BI的价值解析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,商 务 智 能,(BI),概 述,Business Intelligence,2,培训主要内容,名词解释,商业智能,BI,数据仓库,DW,联机事务处理,OLTP,联机分析处理,OLAP,操作数据存储,ODS,ETL,数据挖掘,DM,3,名词解释一,BI(Business Intelligence),商务智能,DW(Data Warehouse),数据仓库,DM(Data Mining),数据挖掘,ODS(Operational Data Store),操作数据存储,ETL(,Extraction-Transformation-Loading,),抽取,-,转换,-,加载,4,名词解释二,OLTP(on-line transaction processing)联机事务处理,OLAP(Online Analytical Processing)联机分析处理,CDC (Change Data Catching)变化数据捕获,CRM(Customer Relationship Management)客户关系治理,ERP (Enterprise Resource Planning)企业资源预备,5,什么是 BI商务智能,商务智能就好比“数据加工厂”，即把商业活动中累积的数据加工成可用于支持商业决策的信息。BI的范围很广，在实际商务中我们往往只需运用其中的某个局部就可以临时满足企业的需求，如数据仓库，联机事务分析(OLAP)，数据挖掘，决策支持系统(DDS)等。,商业智能是企业利用现代信息技术收集、治理和分析构造化和非构造化的商务数据和信息，制造和累计商务学问和见解，改善商务决策水平，实行有效的商务行动，完善各种商务流程，提升各方面商务绩效，增加综合竞争力的才智和力气。,这一过程(也是浩大系统工程)中所涉及到的技术,工具,治理,理念等等因素都可以纳入BI这个范畴。,是一个过程，是系统工程，是解决方案。,6,BI的组成一：,ODS,可操作数据存储：存储中间数据。,OLTP系统：供给原始数据，往往是几个到上百个系统。,ETL,过程：抽取原始数据，清洗，转换、并导入的过程。,Job Control任务调度把握：把握ETL过程中各个任务。,7,BI的组成二：,终端用户查询和报告工具Report,OLAP工具：供给多维数据治理环境，其典型的应用是对商业问题的建模与商业数据分析。,数据挖掘Data Mining,数据集市(Data Mart)和数据仓库Data Warehouse：包括数据转换、治理和存取等方面，还包括一些业务模型，如财务分析模型。,主管信息系统,(EIS,，,Executive Information System),分析模型Analyse Model,8,BI的架构,BI=(OLTP),DB,+,ETL,+ODS+,DW,+DataMart+OLAP+DM+DSS+,REPORT,+EIS+.,9,BI架构图例,元数据治理,10,DW(Data Warehouse)数据仓库,狭义：,数据仓库是面对主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统,是BI/DW工程中核心的OLAP数据库,广义：,等同于BI,是一个工程，一个过程而不是一个工程。,11,DW(Data Warehouse)数据仓库2,面对主题：操作型数据库的数据组织面对事务处理任务，各个业务系统之间各自分别，而数据仓库中的数据是依据确定的主题域进展组织的。,集成的：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的根底上经过系统加工、汇总和整理得到的，必需消退源数据中的不全都性，以保证数据仓库内的信息是关于整个企业的全都的全局信息。,相对稳定的：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般状况下将被长期保存，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。,反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息，可以对企业的进展历程和将来趋势做出定量分析和猜测。,12,OLTP,(,on-line transaction processing,),联机事务处理,特点：事务驱动的，面对应用的，实时的。,它所擅长的就是处理当前实时的数据，实现企业业务的计算机化，主要针对企业的业务人员。,是传统的关系型数据库的主要应用，主要是根本的、日常的事务处理。,13,OLAP,(,Online Analytical Processing,),联机分析处理,它所擅长的是对企业的当前和历史数据进展分析，对企业的状况进展分析，主要是针对企业治理人员,是数据仓库系统的主要应用，支持简洁的分析操作，侧重决策支持，并且供给直观易懂的查询结果。,14,OLTP与OLAP特点比较,OLTP,OLAP,用户,操作人员，低层管理人员,决策人员,高级管理人员,功能,日常操作处理,分析决策,DB,面向应用,面向主题,设计数据,当前的，最新的，细节的，二维的（行，列），分立的,历史的,聚集的,多维的，集成的,统一的,存取,读,/,写数十条记录,读上百万条记录,工作单位,简单的事务,复杂的查询,用户数,上千个,上百个,DB,大小,100MB-GB,100GB-TB,15,数据仓库建模的根本概念,第三范式,维度,维度的粒度,维度的层次,事实,关系型建模,星型模型,雪花模型,一个符合第三范式的关系必需具有以下三个条件:,1.每个属性的值唯一,不具有多义性;,2.每个非主属性必需完全依靠于整个主键,而非主键的一局部;,3.每个非主属性不能依靠于其他关系中的属性,由于这样的话,这种属性应当归到其他关系中去。,第三范式的定义根本上是围绕主键与非主属性之间的关系而作出的。,维度是指一种视角，而不是一个固定的数字；是一个推断、说明、评价和确定一个事物的多方位、多角度、多层次的条件和概念。,时间是关键维度。,指待分析数据的分割大小,层次构造是一组相互之间具有多对一关系的层次，并且这一组层次共同构成维。,事实表是星型模式或雪花模式中的一个表，它存储用于量度业务如销售量、商品本钱或利润的事实。,事实表还包含指向维表的外键。这些外键使事实表中的每个数据行与其对应的维和层次相关。,16,星型模式,星型模式是一种多维的数据关系,它由一个事实表,(Fact Table),和一组维表,(Dimension Table),组成。,注：每个维表都有一个维作为主键,全部这些维则组合成事实表的主键,换言之,事实表主键的每个元素都是维表的外键。事实表的非主属性称为事实 (Fact),它们一般都是数值或其他可以进展计算的数据;而维大都是文字、时间等类型的数据。,17,雪花模型,雪花模式将层次构造的不同层次进一步分隔到单独的维表中。,18,数据仓库设计的挑战,在数据仓库系统中,对数据库引擎最大的挑战主要是这样几种操作:多表连接、表的累计、数据排序、大量数据的扫描。,如何避开多表连接:在设计模型时对表进展合并,即所谓的预连接 (Pre-Join)。当数据规模小时,也可以承受星型模式,这样能提高系统速度,但增加了数据冗余量。,如何避开表的累计:在模型中增加有关小计数据 (Summarized Data)的项。这样也增加了数据冗余,而且假设某项问题不在预建的累计项内,需临时调整。,如何避开数据排序:对数据事先排序。但随着数据仓库系统的运行,不断有新的数据参与,数据库治理员的工作将大大增加。大量的时间将用于对系统的整理,系统的可用性随之降低。,如何避开大表扫描:通过使用大量的索引,可以避开对大量数据进展扫描。但这也将增加系统的简洁程度,降低系统进展动态查询的力气。,19,ODS(Operational Data Store)操作数据存储,ODS是一个面对主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。,是操作型系统中的集成，用于当前，历史以及其它细节查询(业务系统的一局部)。,为决策支持供给当前细节数据(数据仓库的一局部)。,常常被作为数据仓库的过渡，也是数据仓库工程的可选项之一。,20,为什么需要有一个ODS系统,在业务系统和数据仓库之间形成一个隔离层。,转移一局部业务系统细节查询的功能。,完成数据仓库中不能完成的一些功能。,一般来说，带有ODS的数据仓库体系构造中，DW层所存储的数据都是进展汇总过的数据和运营指标，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进展查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型依据面对主题的方式进展存储，可以便利地支持多维分析等查询功能。即数据仓库从宏观角度满足企业的决策支持要求，而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求。,一般的数据仓库应用系统都具有特殊简洁的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进展抽取并不是一件简洁的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据构造、数据之间的规律关系上都与业务系统根本保持全都，因此在抽取过程中极大降低了数据转化的简洁性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。,在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较简洁的报表生成过程中，对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的全都，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进展，从而降低业务系统的查询压力。,21,什么时候选择ODS,数据源太简洁。,客户需要实时报表。,22,指标,DB,ODS,DW,系统功能,设计目标,事务处理,中层辅助决策,高层决策支持,处理类型,面向应用、联机事务处理,日常关洛和控制的决策，事务处理与决策分析并存,面向分析，高层决策支持分析,主要功能,各部门的,OLTP,企业级的,OLTP,即时,OLAP,OLAP,（长期趋势分析）,需求特征,确定的需求,基于全局应用和中层决策的主题,居于决策分析和主题,数据特征,内容,当前数据,当前或接近当前的数据,历时数据,来源,组织外部,以系统内部为主,系统内部,组织,按业务,按主题,按主题,稳定性,更新频繁,较稳定、允许更新,稳定、不更新,综合性,细节数据,细节数据和综合数据,细节数据和综合数据,特征,分散的数据库,全局一致的数据环境,全局一致的数据环境,系统建设,需求定义,基于事务处理的具体需求,主题的确定较易获取,主题的不断挖掘，很难获取,方法,多,原型法,时间周期,短,较长,很长（,5,10,年）,投资,少,较大,很大,对用户需求,低,较高,很高,DB、DW、ODS之比照,23,生产系统,ODS应用举例,实时,批量接口,实时接口,批量,渠道系统,外围系统,外围系统,核心系统,EAI,ODS,ACRM,DW,OCRM,ECIF,风险管理,全部业务系统的批量数据ETL到ODS,全部业务系统的实时数据均由EAI转发,ODS仅和EAI发生实时数据交换，且这些数据主要是OCRM等治理系统进展实时数据同步,ODS为ECIF等供给批量数据，同时也作为OCRM、DW、ECIF等治理系统的批量数据交换通道,治理系统,ODS统一治理银行的批量数据接口，EAI统一治理银行的实时数据接口。ODS和EAI的实时接口仅用于完成必要的治理系统和ODS之间的数据同步,24,ETL(,Extraction-Transformation-Loading,),抽取,-,转换,-,加载,数据抽取Extract,依据主题要求，把分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层(ODS),清洗Cleansing,剔除垃