数据仓库实践系列课程(3)——BI数据架构

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击添加标题,单击添加内容,第二层,第三层,第四层,第五层,*, Pactera,. Confidential.,All Rights Reserved,.,数据仓库实践系列课程（,3,）,BI,数据架构,文思海辉,总体数据架构,ESB,数据采集和交换平台,集成型数据区,历史,数据,访问应用,数据挖掘工具,监管报送平台,即席查询工具,数据集成平台,新核心,系统,老核心,系统,客户,系统,外围,系统,渠道,系统,外部,系统,(,外联平台,),操作型,数据区,分析型数据区,应用,服务区,应用服务器,报表工具,WEB,服务器,历史数据区,统一报表平台,管理会计系统,流动性风险,系统,市场风险系统,历史数据平台,数据挖掘平台,大数据平台,数据,交换区,实时事件处理平台,贴源模型层,（,ODS,）,主题模型层,（,EDW,）,应用,集,市,层,数据缓冲层,共性加工层,(GDM),国家审计署,平台,非现场审计,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,银行有多少数据？,-,范围,出生日期,婚姻状况,投资组合,联系电话,咨询,/,投诉,存取款,信用评级,供养人口,称谓,姓名,是否进入,黑名单,还款,/,迟缴,职业,收入,学历,关联客户,科目,消费,账户余额,房产,理财,产品,促销活动,联系地址,证件信息,偏好渠道,开户机构,内部机构,产品,渠 道,交 易,资源,/,资产,营销,/,策略,性别,财 务,汽车,其他投资,交易,渠道,网银转账,积分明细,兑换历史,管理,机构,客户经理,房贷,存款,信用卡,贷款还款情况,总帐,协议,/,账户,客 户,银行有多少数据？,-,数量,系统,表个数,字段数,AI,108,888,B2I,21,285,CAS,108,1994,CCIF,102,859,CIF,91,500,CIFSC,49,398,CMP,117,2419,CMS2,442,442,CMS3,834,20388,DTS,90,1201,GTS,176,2498,IB,260,4171,IFAR,292,5707,PDS,190,2344,储蓄式国债,47,467,贷记卡外挂,62,3528,记账式国债,68,1221,开放式基金,39,655,总计,3096,49965,特点：,数量多,分布广,内容庞杂,挑战：,这么多的数据怎么管？重点是什么？,数据应该怎么分类？,每类的定义和特点是什么？,跨系统同类数据是否遵循同样的标准？,实施分类管理,贷记卡系统,卡片信息,授信信息,利率信息,额度信息,储蓄系统,客户信息,机构信息,账户信息,利率信息,贷款核销,产品信息,信贷系统,客户信息,机构信息,授信信息,账户信息,利率信息,贷款展期,贷款核销,产品信息,客户信息,机构信息,额度信息,积分信息,账户信息,产品信息,银保通,客户信息,机构信息,账户信息,利率信息,保单信息,产品信息,网上银行,客户信息,账户信息,转账信息,支付信息,产品信息,机构信息,数据模型,7,将各系统、各部门分散、重复的业务概念进行统筹、整合。,从企业级视角进行结构化、规范化的设计，统一数据定义，明晰数据之间的关系。,数据主题,客户,账户,交易,机构,渠道,资产,财务,数据模型设计示例,以“客户”为例,不同的数据模型设计,没有绝对的对错，合适的就是最好的。,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,BI,数据架构,各层次数据模型的定位与特点,各层次数据模型示例,一个相对完整的,BI,数据架构,应用集市层,面向应用,按需定制,共性加工层,初级的数据加工,依赖对应用的提炼,技术缓冲层,ETL,专用的纯技术层,完全与源系统结构一致,近源模型层,基本依照源系统建模,尽量保持业务数据原貌,整合模型层,面向整合,主题设计,提供规范和共享,技术缓冲层,定位,服务于数据加载和转换的需要，不对外提供数据服务,特点,数据原样加载，与源系统结构一致,有增量，有全量,可能需要保留数天历史,(,重加,/,查数,),技术缓冲层示例,表外帐户,贷款户明细,近源模型层,定位,尽量保持源系统数据原貌，提供基于业务数据原貌的访问,特点,简单处理,不考虑整合,保留较短期历史（重点考虑保留策略）,近源模型层示例,开始日期,结束日期,。,整合模型层,定位,长期的，细节的，整合的数据存储，为各类业务需求提供支持,特点,面向主题，数据整合,提供规范和共享,中性设计，偏范式化，灵活可扩展,细节信息，保留长期历史,整合模型层示例,产品,/,服务,事件,协议,渠道,客户,资产,财务,/,风险,地区,/,地址,市场营销,内部机构,共性加工层,定位,提供相对中性，具有业务意义的初级加工数据，支持上层应用的数据加工，或供业务人员的访问,特点,全局考虑，提炼需求共性,多层次设计，多种数据粒度,侧重业务理解，蕴含丰富的业务规则,共性加工层示例：汇总,加工出常用的变量，方便数据处理与查询,遵循业务常用原则,共性加工层示例：统计信息,蕴含一定业务规则的复杂加工,应用集市层,定位,提供特定应用支持,特点,面向应用,形式各异，各自独立,按需定制，满足特定业务的需求,报表模型示例：常见表样,多维模型示例：卡交易量分析,事实表,数据挖掘示例,复杂加工的变量,目标,以数据下载的结构为准，一般与源系统结构相同,数据可能是增量，也可能是全量,用于技术加工,短期的，细节的反应业务原貌的数据存储,直接提供基于源系统结构的简单原貌访问,为,BI,环境中适合的业务需求提供支持,长期的，细节的，整合的数据存储,为,BI,环境中适合的各类业务需求提供支持,相对中性，具业务意义的初加工数据，但不面向特定应用,作为上层应用数据加工的基础，或供业务人员直接访问,服务特定应用,原则,简单处理,关注源系统结构的变化,简单处理，不考虑整合,关注保留策略,面向全局，数据整合,中性设计，灵活扩展,提供规范和共享,提炼应用需求共性,多种数据粒度,易于理解和使用,面向具体应用,按需设计,形式,源系统模型,近源系统模型设计,根据支持应用情况可以保留短期历史,面向主题设计,偏范式化,长期保留历史,初步数据加工,分层设计,形式各异，依具体应用不同,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,各数据层次的定位,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,整合模型层,共性加工层,应用集市层,重点关注的层次,近源模型层,基本依照源系统建模,尽量保持业务数据原貌,整合模型层,面向整合,主题设计,提供规范和共享,应用集市层,面向应用,按需定制,共性加工层,初级的数据加工,依赖对应用的提炼,技术缓冲层,ETL,专用的纯技术层,完全与源系统结构一致,各层设计重点,整合模型层,主题定义,框架设计,整合策略,实施方法,共性加工层,应用筛选,应用提炼,应用集市层,整体性,一致性,整合模型层设计,主题定义,产品客户化,自行设计,项目目标是什么？,可参考,主题都有哪些？,该主题在当前环境下是否适用？,是否需要其他修改？,目标达成！,项目目标是什么？,总是有这些共通的主题：客户、协议,(,账户,),、产品、事件,(,交易,),其他业务信息的归纳,使用业务熟悉的主题词汇,目标达成！,整合模型层设计,框架设计,主实体,名称,含义,分类,分类依据,子类名称,子类含义,关系,主实体间关系,其他重要关系,框架设计体现了模型设计原则,框架决定了模型的整体结构,主实体及其关系,主实体分类,关键实体及重要关系,整合,后的对象标识选择已有,标识还是新建？,整合,前信息是否保留？,选择,单一信息源,(,系统,),？还是多个源？,是否,整合依赖业务现状，需要确定影响性？,整合模型层设计,整合策略,是否整合,同一业务对象有多种实例,确定信息源,源保留策略,整合标识选择,确定业务对象整合策略,共性加工层设计,设计目标,技术层面,避免相同汇总数据的重复计算和存储，减少系统开销,实现共享，降低应用开发和数据查询的复杂度,避免数据加工口径的不一致,业务层面,实现对常用统计口径的统一定义和维护,便于业务人员理解，直接进行数据分析,共性加工层设计,设计理念,中间层是因为需求而产生的，所以一定要基于需求，可以借鉴行业经验，但是每个行的应用建设过程有所不同，所以本行的需求才是根本,需求驱动,中间层是提炼不同应用公共指标，提炼的程度太高会失去汇总层的意义，个性化程度太高会导致与应用层无区别，所以模型设计人员的经验很重要,提炼共性,在中间层再分明细层和汇总层，明细层是协议主题的扩展，是协议的业务呈现。汇总层是除协议外的其他主题业务呈现,架构分明,中间层的建设是一个循环往复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，中间层会不断的丰富和发展，提升其业务价值,迭代开发,共性加工层,数据处理方法,33,预计算,预连接,预聚类,将分散在基础层数据中的很多实体根据应用的要求进行预先连接，这种预连接可以有不同的实现方式，比如可以采用物理表、视图，更多的是采用视图的方式。,将在基础层数据中以及应用集市中难于计算，通常是规则比较复杂，或者计算一次所需的时间比较长的数据预先计算出来，比如日均、重定价日等，但粒度不变，仍为最细的账户粒度，因需要运行的时间也比较长，建议采用物理表的方式。,以维度建模方式对基础数据进行汇总和聚合，不再是最细粒度了；采用物理表与视图结合的方式，对于预聚合粒度比较粗的，数据量上会减少很多，所以适当的多采用物理表的方式，以节约系统资源，提高查询效率，对于预聚类粒度还是很细的，数据量减少不多，建议采用视图方式，如汇总层的客户汇总表。,预连接,预计算,预聚类,Account & Card level summary,卡账户平均余额汇总,average balance,卡账户迟缴历史,Delinquent,卡账户重要交易汇总,important events,最近三个月卡重要交易汇总,events in recent 3 months,最近六个月卡重要交易汇总,events in recent 6 months,账户利润组成汇总,profit components,卡账户利润汇总,profit,卡账户准备金计提记录,risk reservation amount,Customer level summary,客户平均余额汇总,average balance,客户持卡信息汇总,Card holds by customer,客户迟缴历史,Delinquent,客户交易汇总,events,客户重要交易汇总,important events,客户利润汇总,profit,Organization level summary,机构平均余额汇总,average balance,机构发卡汇总,Card issued by org,机构交易汇总,Issuer events,IST,事件汇总,IST events,机构利润汇总,profit,共性加工层,设计示例（信用卡）,建模时将产品层与机构层用一张汇总表来实现。,共性加工层,设计示例（逐层汇总）,应用集市层设计,按需定制,面向应用的,模型设计,尽可能使用共性加工层模型实体,整体性,一致性,加工规则应尽量和已有规则保持一致,业务驱动，按需定制,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,各数据层次的定位,目标,以数据下载的结构为准，一般与源系统结构相同,数据可能是增量，也可能是全量,用于技术加工,短期的，细节的反应业务原貌的数据存储,直接提供基于源系统结构的简单原貌访问,为,BI,环境中适合的业务需求提供支持,长期的，细节的，整合的数据存储,为,BI,环境中适合的各类业务需求提供支持,相对中性，具业务意义的初加工数据，但不面向特定应用,作为上层应用数据加工的基础，或供业务人员直接访问,服务特定应用,原则,简单处理,关注源系统结构的变化,简单处理，不考虑整合,关注保留策略,面向全局，数据整合,中性设计，灵活扩展,提供规范和共享,提炼应用需求共性,多种数据粒度,易于理解和使用,面向具体应用,按需设计,形式,源系统模型,近源系统模型设计,根据支持应用情况可以保留短期历史,面向主题设计,偏范式化,长期保留历史,初步数据加工,分层设计,形式各异，依具体应用不同,重点,理解源结构,理解源结构,主题定义,框架设计,整合策略,实施方法,应用筛选,应用提炼,整体性,一致性,用途,不对外提供数据服务,业务原貌查询,即时报表,数据质量检查,灵活查询,整合规则检查,常规报表,灵活查询,业务规则检查,特定应用,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,不同类型项目的数据层次建议,ODS,视加工过程是否需要而定，非必须，但一般会有,同源设计，基本不做处理,必须，是,ODS,核心模型层,简单处理,视项目具体需求而定，非必须建设层次,只针对必须整合且比较基础的部分才考虑建设此层,视项目具体需求而定，非必须建设层次,视项目具体需求而定，分仓内仓外两种建设策略,EDW,视加工过程是否需要而定，非必须，但一般会有,同源设计，基本不做处理,视项目具体需求而定，非必须建设层次,必须，是,EDW,核心模型层,整合设计,建议保留,兼顾业务需求和数据处理性能双方需求,视具体情况而定，分仓内仓外两种建设策略,按单个应用分别建设,技术缓冲层,近源模型层,整合模型层,共性加工层,应用集市层,BI,数据架构小结,数据层次仅是建议规范的一种表现形式，并不能够代表所有的情形。,通过层次的标准化，可以帮助理解数据的传递路径和定位、使用方式和服务对象、范围等。,需要重点把握的是每个数据层次的定位、原则和用途。,对于某类项目而言，可能在不同的情况下需要的层次会有差异。,课程大纲,引言,BI,环境中的数据层次,各层次设计重点,BI,用户与各层次数据使用,课程总结,Q&A,谢谢,演讲完毕，谢谢观看！,内容总结,数据仓库实践系列课程（3） BI数据架构。数据仓库实践系列课程（3） BI数据架构。客 户。将各系统、各部门分散、重复的业务概念进行统筹、整合。服务于数据加载和转换的需要，不对外提供数据服务。有增量，有全量。尽量保持源系统数据原貌，提供基于业务数据原貌的访问。保留较短期历史（重点考虑保留策略）。侧重业务理解，蕴含丰富的业务规则。数据可能是增量，也可能是全量。数据可能是增量，也可能是全量。相对中性，具业务意义的初加工数据，但不面向特定应用。整合模型层设计主题定义。总是有这些共通的主题：客户、协议(账户)、产品、事件(交易)。框架设计体现了模型设计原则。整合后的对象标识选择已有标识还是新建。共性加工层数据处理方法。Account & Card level summary。卡账户重要交易汇总 important events。最近三个月卡重要交易汇总 events in recent 3 months,