数据仓库体系培训内部

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,Advance Your Potential,咨询,解决方案,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,文思信息 版权所有，内部保密材料,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据仓库体系培训,1,主题,2,数据仓库体系规划,数据仓库实施方法论,Q&A,数据仓库规划步骤,3,3,现状分析,体系规划,实施路线,基础数据平台与分析型系统现状总结,银行现有数据仓库体系差距,规划数据仓库系统总体技术方案蓝图,制定相关管理制度与工作流程,规划数据仓库体系分阶段落地方案与实施路线图,指导方针,承前启后,：,着重考虑对前期工作的承接和规划成果的落地实施,敦本务实,：,实施公司、同业经验与银行实际相结合,远近兼顾,：,立足长远与满足当前需求相结合,数据仓库典型体系架构（星型EDW）,4,SASB,YHT,CMS,PMS,。,调度软件,（,Control-M,、,Automation,、,ETL_PLUS,）,ETL,软件,前端软件,管 控 平 台,DM,信用卡集市,DM,信贷集市,DM,风险管理集市,DM,。,ETL,软件,ETL,软件,ETL,软件,前端软件,前端软件,前端软件,数据仓库典型体系架构（集中型EDW）,5,SASB,YHT,CMS,PMS,。,调度软件,（,Control-M,、,Automation,、,ETL_PLUS,）,ETL,软件,Powercenter,Datastage,文本脚本,前端软件,（,BIEE,、,Congnus,、,BO,、,Microstrategy,）,DB,（,TD,、,DB2,、,Oracle,）,缓冲层,模型层,汇总层,集市层,管 控 平 台,数据仓库典型体系架构（混合型EDW）,6,SASB,YHT,CMS,PMS,。,调度软件,（,Control-M,、,Automation,、,ETL_PLUS,）,ETL,软件,Powercenter,Datastage,文本脚本,前端软件,（,BIEE,、,Congnus,、,BO,、,Microstrategy,）,DB,（,TD,、,DB2,、,Oracle,）,缓冲层,模型层,汇总层,集市层,管 控 平 台,库外集市,库外集市,数据仓库体系规划,7,应用体系,应用主题,应用模式,应用方案,实施规划,数据体系,数据架构,ODS,基础层,汇总层,集市层,技术体系,统一交换,统一监控,统一调度,统一发布,统一管控,运维体系,数据存储,数据质量,元数据,安全,组织架构,管控体系,组织架构,管控流程,管控内容,管控体系,从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。,BI环境内的数据架构,8,集市层,汇总层,预连接,/,预处理,ODS,基础层,客户,账户,资产,交易,产品,渠道,财务,账户汇总,交易统计汇总,客户汇总,机构汇总,产品汇总,渠道汇总,指标库,:,规模指标、客户指标、盈利指标、风险指标等,核心,个贷,法贷,基金,存管,国结,IT,人员,业务分析人员,决策用户,高级分析人员,ODS,层,解决源系统快速接入的问题；避免从源系统频繁、重复数据抽取；,源系统一次性分析、一次性抽取、一次性接入；,需要随着源系统变更进行维护,基础层,面向主题整合；保留详细数据和历史数据,按照业务驱动、逐步建设,模型相对稳定；但是随着源系统和数据业务标准的变化，,ETL,加工逻辑会长期变化,应用集市层,面向应用的个性化定制。,汇总层,提供统一的业务口径。,避免集市的重复加工。,随着应用建设逐步完善,模型相对稳定，随着业务扩展可以扩展模型；,随着业务统计口径变化，,ETL,加工逻辑会变化；,不同层次应用场景,1,审计,/,风险管理等需要未经加工的业务原始数据,源数据质量检查规则、常规报告,应用用户、决策用户会访问特定应用,业务人员通过设定业务检查规则来明确模型可用性,业务部门人员多数需要常规报表供日常呈报,业务人员参考整合规则来验证业务正确性,POWER USER,通常需要访问第二层对数据进行深入分析,2,3,4,ODS&EDW,特点比较,ODS:,与源系统保持一致,基本不进行转换和整合,当前最新数据,EDW:,第三范式模型,进行数据整合和转换,当前数据和历史数据,ODS:,状态类数据保存当前最新数据,日志类数据保存,3,个月,针对及其特殊的需要可以考虑对数据保留一定时间段的历史,EDW:,一般最长在线保存,7,年。,事件类数据在线保留时间会短一些，,13,个月左右。,ODS:,全部源系统,不重复保存已经入,EDW,的,Event,类数据,EDW:,全部源系统的原始细节数据，不接入派生和汇总数据。,ODS:,时效性要求高的,不需要需历史数据,需要访问最始数据（审计、稽核类）的应用,EDW:,模型区时效性可以满足要求的,需要访问历史数据的,基于多个系统整合数据的,不是必须访问原始数据的应用,数据模型,数据接入,数据存储,数据应用,ODS,特点,面向数据的,非集成的,易变的,当前数据的,详细的,EDW,特点,面向主题的,集成的,稳定的,随时间变化的,详细的,11,业务处理系统,(OLTP),用户群体,客户,员工,应用,交易处理,帐务处理,访问特征,频繁的更新,偶尔的查询,数据模型,当前状态数据,很少的历史数据,范围比较小,战略性分析,(EDW),用户群,管理人员,高层领导,应用,战略性分析,复杂的查询和报表,预测,访问特征,批量插入,-,很少的更新,频繁的复杂查询,优劣势对比,解决企业的决策需求,不能满足实时监控和实时业务需求,战术性查询,(ODS),用户群体,一线的业务人员,客户,应用,业务领域查询,战术性决策支持,简单的分析（评分）,访问特征,当前数据访问,查询较多,优劣势对比,满足实时监控和实时业务需求,不能满足中远期决策需求,EDW,OLTP 1,OLTP 2,OLTP 3,任务的,连,连续性,ODS&EDW,价值和定位,ODS,最佳数据架,构,构，,ODS,和,EDW,是互为补充,的,的。,ODS层模,型,型,12,偏源系统模,型,型,部分数据保,留,留全量,少量数据保,留,留短暂历史,简,单,单,处,处,理,理,不,考,考,虑,虑,整,整,合,合,考,虑,虑,保,保,留,留,策,策,略,略,基,础,础,层,层,模,模,型,型VS.,汇,汇,总,总,层,层,模,模,型,型,应,用,用,集,集,市,市,层,层,模,模,型,型,数,据,据,仓,仓,库,库,体,体,系,系,规,规,划,划,15,应用体系,应用主题,应用模式,应用方案,实施规划,数据体系,数据架构,ODS,基础层,汇总层,集市层,技术体系,统一交换,统一监控,统一调度,统一发布,统一管控,运维体系,数据存储,数据质量,元数据,安全,组织架构,管控体系,组织架构,管控流程,管控内容,管控体系,从,数,数,据,据,体,体,系,系,、,、,技,技,术,术,体,体,系,系,、,、,应,应,用,用,体,体,系,系,、,、,运,运,维,维,体,体,系,系,和,和,管,管,控,控,体,体,系,系,五,五,个,个,方,方,面,面,阐,阐,述,述,数,数,据,据,仓,仓,库,库,规,规,划,划,。,。,统一,数,数据,交,交换,统一,调,调度,架,架构,统一,监,监控,架,架构,统一,信,信息,发,发布,统一,信,信息,发,发布,定,定位,统一,信,信息,发,发布,平,平台,定,定位,为,为广,发,发银,行,行数,据,据仓,库,库体,系,系的,展,展现,平,平台,，,，用,于,于展,现,现银,行,行的,基,基础,数,数据,平,平台,及,及所,有,有分,析,析型,应,应用,资,资源,。,。分,析,析型,应,应用,资,资源,的,的集,成,成包,含,含前,端,端界,面,面的,整,整合,和,和各,应,应用,后,后台,数,数据,及,及权,限,限的,整,整合,登录,首页,公告,页面,调,调用,功,功能,分析,型,型应,用,用集,成,成,角色,管,管理,授权管理,系统,管,管理,日志,管,管理,会话,管,管理,应用,模,模式,固定,报,报表,即席,查,查询,数据,挖,挖掘,用户,身,身份,管,管理,统一,认,认证,单点,登,登录,安全,审,审计,认证,管,管理,统一,信,信息,发布,内,内容,统一,入,入口,权限,管,管理,应用,集,集成,统一,数,数据,管,管控,架,架构,元,数,数,据,据,管,管,理,理,数据标,准,准管理,数据质,量,量管理,影响分,析,析、血,缘,缘分析,代码标,准,准落地,提供检,核,核对象,定位检,核,核问题,检核指,标,标存储,提供映,射,射源,数据标,准,准存储,数据标,准,准信息,模,模型,数据标,准,准文档,提供检,核,核规则,提供检,核,核问题,检核规,则,则,指标模,型,型,源系统,源系统,源系统,ETL,数据服,务,Stage,FDM,ADM,数据服务,数据服务,数据平,台,台,应用系,统,统,元数据,元数据,元数据,业务元,数,数据,操作元,数,数据,技术元,数,数据,综合信,息,息服务,管,管理,数据标,准,准需求,数据质,量,量需求,元数据,需,需求,银行业,务,务需求,数据仓,库,库体系,规,规划,21,应用体,系,系,应用主,题,题,应用模,式,式,应用方,案,案,实施规,划,划,数据体,系,系,数据架,构,构,ODS,基础层,汇总层,集市层,技术体,系,系,统一交,换,换,统一监,控,控,统一调,度,度,统一发,布,布,统一管,控,控,运维体,系,系,数据存,储,储,数据质,量,量,元数据,安全,组织架,构,构,管控体,系,系,组织架,构,构,管控流,程,程,管控内,容,容,管控,体,体系,从数,据,据体,系,系、,技,技术,体,体系,、,、应,用,用体,系,系、,运,运维,体,体系,和,和管,控,控体,系,系五,个,个方,面,面阐,述,述数,据,据仓,库,库规,划,划。,国内,银,银行,商,商业,智,智能,应,应用,客户,管,管理,支持,国,国内,银,银行,的,的数,据,据仓,库,库应,用,用种,类,类超,过,过,40,余个,，,，主,要,要分,布,布如,下,下,：,运营,管理,风险,管理,财务,管理,信息,管理,客户,信,信息,管,管理,系,系统,（,（,CIM,）,分析,型,型客,户,户关,系,系管,理,理系,统,统（,AC