操作数据存储(ODS)和数据集市(详解)PPT通用课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,徐俊刚,（,),数据仓库,2009,年,9,月,2008,年,11,月,ODS,的定义和特点,DB-ODS-DW,体系结构,建立,ODS,ODS,案例,数据集市的定义,数据集市的特点,数据集市与数据仓库的区别,数据集市的类型,数据集市的开发方法,数据集市的实施,操作数据存储（,ODS,）和数据集市,第,3,章,ODS,的定义和特点,1,ODS,的由来,1.1,ODS,由来,DB,数据环境：面向应用和联机事务处理，当前的、细节的、分散的数据，不能提供集成的统一的数据环境，共享程度低，不能提供决策支持。,DW,数据环境：面向高层、面向分析，可以提供集成、统一的数据环境，但是一定量的数据是建立,DW,的前提，需要使用历史数据，数据要体现集成性和历史性,实际中往往会有实时决策的需求，上述两者都不能满足要求，因此产生了,ODS,ODS,数据环境：一方面提供全局一致的、细节的、当前的数据，可进行联机事务操作型处理。另一方面是一种面向主题的集成的数据环境。数据量小，可辅助完成日常决策的数据分析处理，同时可以保护投资，保留现有的应用系统。,ODS,的定义和特点,1,ODS,的定义,1.2,ODS,定义,ODS,是,Operational Data Store,的简称，翻译成操作数据存储。,ODS,是数据仓库体系结构的一部分，可以根据需要选择是否采用,ODS,。,它具备数据仓库的部分特征和,OLTP,的部分特征。,ODS,是一个面向主题的、集成的、可变的、当前的,细节,数据集合，用于支持企业对于,即时,性的、操作性的、集成的全局信息的需求。常常被作为数据仓库的过渡。,作为一个中间层次，它既不是联机事务处理，也算不上高层决策分析，是不同于,DB,的一种新的数据环境，是数据仓库扩展后得到的一个混合形式。,ODS,支持对数据的联机修改,增、删与更新等操作,ODS,的定义和特点,1,ODS,的特点,1.3,ODS,特点,面向主题的（与数据仓库类似）,集成的（与数据仓库类似）,可变的,数据可以联机改变，包括增、删及更新等操作。,数据是当前细节级或接近当前的,数据在存取时刻是最新的,数据是最近一段时间之前得到的。,ODS,的定义和特点,1,ODS,和数据仓库的异同,1.4,相同点,面向主题的,集成的,不同点,DW,是静态数据，而,ODS,中的数据是动态的、可更新的,设计目标不同，,ODS,的设计目标是快速执行针对全局信息的少量数据的简单查询工作，这同数据仓库中的大,数据量,复杂查询截然不同。,数据内容不同，,ODS,存储当前或者近期的数据，,DW,存储历史性数据。,ODS,就像你的短期记忆，仅仅记录你的近期信息，而数据仓库就像长期记忆一样，存储相对长久一些的信息,数据容量不同，,ODS,数据容量级别较小，,DW,的数据容量很大,ODS,的定义和特点,1,ODS,的分类,1.5,ODS,类别,I,类,ODS,，与应用系统的数据延迟为,12,秒，实时或近似实时,II,类,ODS,，与应用系统的数据延迟为,24,小时,III,类,ODS,，与应用系统的数据延迟为,1224,小时,IV,类,ODS,，数据仓库中部分决策分析数据回流至,ODS,中,不同,ODS,类别的特点,数据延迟时间越短，,ODS,建设难度越高。,其中,I,类,ODS,的建设难度最高，建设成本也是最高的。而且由于,I,类,ODS,的实时性，对于技术的要求与其它类型,ODS,也有所不同，一般来讲需要用到,EAI,技术，但随着当前企业对数据仓库的实时性要求越来越高，相信,I,类,ODS,会变得越来越重要。,通常在企业应用架构中，,ODS,是一个可选件，但一旦需要用到,ODS,的功能，那么,ODS,本身就将变得极为重要。,目前应用的比较多的是,IV,类,ODS,，因为一旦将决策分析结果加载到,ODS,中，重要决策信息的高性能联机支持将成为可能。,DB-ODS-DW,体系结构,2,简单结构,2.1,应用,DB,DB,DB,ODS,DW,操作型环境,分析型环境,特点：,1)ODS,的记录在,DB,中；,2)DW,的记录在,ODS,中。,DB-ODS-DW,体系结构,2,复杂结构,2.2,Source,Databases,Hub,-,Data Extraction,Transformation,load,Warehouse,Admin.,Tools,Extract,Transform,and Load,Data,Modeling,Tool,Central,Metadata,Architected,Data Marts,Data Access,and Analysis,Central Data Ware,-,house and ODS,Central,Data,Warehouse,Mid,-,Tier,RDBMS,Data,Mart,Mid,-,Tier,RDBMS,Data,Mart,Local,Metadata,Local,Metadata,Local,Metadata,Metadata,Exchange,ODS,OLTP Tools,Data,Cleansing,Tool,Relational,Appl,.Package,Legacy,External,MDB,End,-,User,DW Tools,Source,Databases,Hub,-,Data Extraction,Transformation,load,Warehouse,Admin.,Tools,Extract,Transform,and Load,Data,Modeling,Tool,Central,Metadata,Hub,-,Data Extraction,Transformation,load,Warehouse,Admin.,Tools,Warehouse,Admin.,Tools,Extract,Transform,and Load,Data,Modeling,Tool,Data,Modeling,Tool,Central,Metadata,Architected,Data Marts,Data Access,and Analysis,Central Data Ware,-,house and ODS,Central,Data,Warehouse,Mid,-,Tier,RDBMS,Data,Mart,Mid,-,Tier,RDBMS,Data,Mart,Local,Metadata,Local,Metadata,Local,Metadata,Local,Metadata,Local,Metadata,Metadata,Exchange,ODS,OLTP Tools,Data,Cleansing,Tool,Relational,Appl,.Package,Legacy,External,Data,Cleansing,Tool,Relational,Appl,.Package,Legacy,External,MDB,MDB,End,-,User,DW Tools,DB-ODS-DW,体系结构,2,ODS,在体系结构中的几种作用,2.3,在业务系统和数据仓库之间形成一个隔离层,一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。,ODS,用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。,转移一部分业务系统细节查询的功能,在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。,ODS,的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从,ODS,中进行，从而降低业务系统的查询压力。,DB-ODS-DW,体系结构,2,ODS,在体系结构中的几种作用,2.3,完成数据仓库中不能完成的一些功能,一般来说，带有,ODS,的数据仓库体系结构中，,DW,层所存储的数据都是进行汇总过的数据，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到,ODS,来完成，而且,ODS,的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。,在一个没有,ODS,层的数据仓库应用系统体系结构中，数据仓库中存储的数据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的，实际上也就相当于,ODS,，但与,ODS,所不同的是，这时的细节数据不是“当前、不断变化的”数据，而是“历史的，不再变化的”数据。,建立,ODS,3,ODS,数据模型设计,3.1,数据调研,对与业务系统关联的数据进行调研，弄清楚现有业务系统对应的数据逻辑模型和物理模型,确定数据范围,确定数据范围实际上是对,ODS,进行主题划分的过程，这种划分是基于对业务系统的调研的基础上而进行的，并不十分关心整个数据仓库系统上端应用需求，但是需要把上端应用需求与,ODS,数据范围进行验证，以确保应用所需的数据都已经从业务系统中抽取出来，并且得到了很好的组织。,一般来讲，主题的划分是以业务系统的信息模型为依据的，设计者需要综合各种业务系统的信息模型，并进行宏观的归并，得到企业范围内的高层数据视图，并加以抽象，划定几个逻辑的数据主题范围。在这个阶段，以,ER,模型表示数据主题关系最为恰当。,建立,ODS,3,ODS,数据模型设计,3.1,根据数据范围进行进一步的数据分析和主题定义,在第一步中定义出来了企业范围内的高层数据视图，以及所收集到的各种业务系统的资料，在这一步中，需要对大的数据主题进行分解，并进行主题定义，直到每个主题能够直接对应一个主题数据模型为止。,在这个阶段，将把第一步生成的每个,ER,图中的实体进行分解，分解的结果仍以,ER,表示为佳。,建立,ODS,3,ODS,数据模型设计,3.1,定义主题元素,定义维,维名称，名称应该能够清晰表示出这个维的业务含义。,维成员，也就是这个维所代表的具体的数据,维层次，维成员之间的隶属与包含的层次关系，每个层次需要定义名称,定义度量,度量名称，名称应该能够清晰标书这个度量的业务含义,建立,ODS,3,ODS,数据模型设计,3.1,定义主题元素,定义主题,主题名称和含义，说明该主题主要包含哪些数据，用于什么分析；,主题所包含的维和度量；,主题的事实表，以及事实表的数据。,定义粒度,主题中事实表的数据粒度说明，这种粒度可以通过对维的层次限制加以说明，也可以通过对事实表数据的业务细节程度进行说明。,定义存储期限,主题中事实表中的数据存储周期。,建立,ODS,3,ODS,数据模型设计,3.1,迭代，归并维、度量的定义,在,ODS,中，因数据来自于多个系统，数据主题划分时虽然对数据概念进行了一定程度上的归并，但具体的业务代码所形成的各个维、以及维成员等还需要进一步进行归并，把概念统一的维定义成一个维，不允许同一个维存在不同的实体表示（象不同的业务系统中一样）。,建立,ODS,3,ODS,系统设计,3.2,ODS,数据抽取转换层,数据转换层由各种转换工具及抽取程序组成，主要完成从源数据系统到,ODS,系统的数据转换、净化和载入,ODS,数据访问中间件,ODS,系统中间件的一个关键组成部分就是网络中间件。,中间件的主要作用是提供用户和,ODS,系统数据之间的无缝连接，同时还提供了系统应用程序接口，允许应用程序同本地或异地,ODS,系统进行通信。,另一方面，在,DB,ODS,DW,三层结构中，中间件也是将,