数据仓库介绍

Slide Title,Body Text,Second level,Third level,Data Warehouse,数据仓库,概念、设计及应用,报告人：曹顺良,2001年11月12日,提纲,1.为什,么,么要建,立,立数据,仓,仓库,2.数据仓,库,库的概,念,念及特,性,性,3.数据仓,库,库的结,构,构,4.数据仓,库,库的设,计,计,5.数据仓,库,库的开,发,发过程,6.数据仓,库,库的典,型,型应用,事务处,理,理环境,不,不适宜DSS应用的,原,原因,事务处,理,理和分,析,析处理,的,的性能,特,特性不,同,同,操作型,处,处理对数据,的,的存取,操,操作频,率,率高而,每,每次操,作,作处理,的,的时间,短,短；,在分析,处,处理环,境,境中，,某,某个DSS应用程,序,序可能,需,需要连,续,续几个,小,小时，,从,从而消,耗,耗大量,的,的系统,资,资源。,数据集,成,成问题,数据动,态,态集成,问,问题,历史数,据,据问题,数据的,综,综合问,题,题,抽取程,序,序,用抽取,程,程序能,将,将数据,从,从高性,能,能联机,事,事务处,理,理方式,中,中转移,出,出来，,在,在需要,总,总体分,析,析数据,时,时就与,联,联机事,务,务处理,性,性能不,发,发生冲,突,突。,用抽取,程,程序能,将,将数据,从,从联机,事,事务处,理,理范围,内,内移出,时,时，数,据,据的控,制,制方式,就,就发生,了,了转变,。,。,蜘蛛网,问,问题,数据缺,乏,乏可信,性,性,数据无,时,时基,数据算,法,法上的,差,差异,抽取的,多,多层次,外部数,据,据问题,无起始,的,的公共,数,数据源,生产率,低,低,根据全,部,部数据,生,生成企,业,业报表,定位数,据,据需要,浏,浏览大,量,量文件,抽取程,序,序很多,，,，并且,每,每个都,是,是定制,的,的，不,得,得不克,服,服很多,技,技术上,的,的障碍,。,。,数据转,化,化为信,息,息的不,可,可行性,数据没,有,有集成,化,化,缺乏将,数,数据转,化,化为信,息,息所需,的,的历史,数,数据,体系结,构,构设计,环,环境的,层,层次,数据操,作,作层只,保,保存原,始,始数据,并,并且服,务,务于高,性,性能事,务,务处理,领,领域；,数据仓,库,库层存,储,储不更,新,新的原,始,始数据,，,，此外,一,一些导,出,出数据,也,也在此,存,存在；,数据的,部,部门层,几,几乎只,存,存放导,出,出数据,；,；,在数据,个,个体层,中,中完成,大,大多数,启,启发式,分,分析,操作层,原子/,数,数据仓,库,库层,部门层,个体层,数据仓,库,库的概,念,念,数据仓,库,库是在,企,企业管,理,理和决,策,策中面,向,向主题,的,的、集,成,成的、,与,与时间,相,相关的,、,、不可,修,修改的,数,数据集,合,合。,William H,.,.Inmon,与其他,数,数据库,应,应用不,同,同的是,，,，数据,仓,仓库更,像,像一种,过,过程，,对,对分布,在,在企业,内,内部各,处,处的业,务,务数据,的,的整合,、,、加工,和,和分析,的,的过程,。,。,数据仓,库,库的特,性,性,面向主,题,题,典型的,主,主题领,域,域：客,户,户；产,品,品；交,易,易；帐,目,目,集成的,数据提,取,取、净,化,化、转,换,换、装,载,载,非易失,的,的,数据仓,库,库的数,据,据通常,是,是一起,载,载入和,访,访问的,，,，但并,不,不进行,一,一般意,义,义上的,数,数据更,新,新,随时间,的,的变化,性,性,数据仓,库,库中的,时,时间期,限,限要远,远,远长于,操,操作型,系,系统中,的,的时间,期,期限（510年）,；,；,数据仓,库,库中的,数,数据是,一,一系列,某,某一时,刻,刻生成,的,的复杂,的,的快照,；,；,数据仓,库,库的键,码,码结构,总,总是包,含,含某时,间,间元素,。,。,数据仓,库,库的结,构,构,早期细,节,节级,当前细,节,节级,轻度综,合,合级,数据集,市,市,高度综,合,合级,元数据,操作型,转,转换,数据仓,库,库设计,中,中的几,个,个重要,概,概念,ETL,ETL,（,（Extract/Transformation/Load）用户从,数,数据源,抽,抽取出,所,所需的,数,数据，,经,经过数,据,据清洗,、,、转换,最终,按,按照预,先,先定义,好,好的数,据,据仓库,模,模型，,将,将数据,加,加载到,数,数据仓,库,库中去,。,。,元数据,关于数,据,据的数,据,据，指,在,在数据,仓,仓库建,设,设过程,中,中所产,生,生的有,关,关数据,源,源定义,，,，目标,定,定义，,转,转换规,则,则等相,关,关的关,键,键数据,。,。同时,元,元数据,还,还包含,关,关于数,据,据含义,的,的商业,信,信息。,粒度,数据仓,库,库的数,据,据单位,中,中保存,数,数据的,细,细化或,综,综合程,度,度的级,别,别。细,化,化程度,越,越高，,粒,粒度级,就,就越小,；,；相反,，,，细化,程,程度越,低,低，粒,度,度级就,越,越大。,分割,结构相,同,同的数,据,据被分,成,成多个,数,数据物,理,理单元,。,。任何,给,给定的,数,数据单,元,元属于,且,且仅属,于,于一个,分,分割。,典型的,元,元数据,包,包括：,数据仓,库,库表的,结,结构,数据仓,库,库表的,属,属性,数据仓,库,库的源,数,数据（,记,记录系,统,统）,从记录,系,系统到,数,数据仓,库,库的映,射,射,数据模,型,型的规,格,格说明,抽取日,志,志,访问数,据,据的公,用,用例行,程,程序,数据仓,库,库设计,中,中的几,个,个重要,概,概念(续）,Data Mart,数据集,市,市-,-,-小,型,型的，,面,面向部,门,门或工,作,作组级,数,数据仓,库,库,。,OperationDataStore,操作数,据,据存储,ODS是能支,持,持企业,日,日常的,全,全局应,用,用的数,据,据集合,是不,同,同于DB的一种,新,新的数,据,据环境,是DW扩展后,得,得到的,一,一个混,合,合形式,。,。四个,基,基本特,点,点：面,向,向主题,的,的(Subject-Oriented),、,、集成的,、,、可变,的,的、,当,当前或,接,接近当,前,前的。,data model,数据模,型,型-,-,-（1）逻辑,数,数据结,构,构，包,括,括由DBMS为有效,进,进行数,据,据库处,理,理提供,的,的操作,和,和约束,；,；（2）用于,表,表示数,据,据的系,统,统（例,如,如，ERD或关系,型,型模型,）,）。,artifact,人工关,系,系-,在DSS环境中,用,用于表,示,示参照,完,完整性,的,的一种,设,设计技,术,术。,企业数,据,据模型,到,到数据,仓,仓库数,据,据模型,的,的转换,除去纯,粹,粹用于,操,操作型,环,环境的,数,数据,在企业,键,键码结,构,构中增,加,加时间,元,元素,增加导,出,出数据,创建人,工,工关系,数据模,型,型的规,范,范化/,反,反规范,化,化,为了减,少,少程序,在,在表中,的,的跳转,、,、节省I/O,，,，需将多,个,个相关,的,的表合,并,并；,引入冗,余,余数据,；,；,当访问,概,概率有,很,很大悬,殊,殊时，,要,要对数,据,据做进,一,一步分,离,离；,在物理,数,数据库,的,的设计,中,中引入,导,导出数,据,据可以,减,减少I/O,；,；,建立所,谓,谓的“,创,创造的,”,”索引,或,或创造,的,的简要,记,记录（,如,如卷中,的,的前十,名,名顾客,是,是,）,）,数据仓库体系结构,OLTP,数据源,数据仓库,数据集市,?,数据采集及整合,数据的映射规则、模型,。,（元数据管理）,数据仓库项目流程管理及系统性能管理和监控,?,数据展现及决策,生产,财务,结算,外部,航线,分析,总量,分析,市场,分析,InfoPump,数据分析、,DM,终端用户,终端用户,从操作,型,型的现,存,存系统,到,到数据,仓,仓库中,数,数据转,换,换工作,的,的难点,现有系,统,统缺乏,数,数据集,成,成，跨,越,越不同,应,应用的,数,数据集,成,成性很,差,差,存取现,存,存系统,的,的效率,，,，扫描,已,已有文,件,件成了,数,数据仓,库,库体系,结,结构设,计,计者主,要,要面对,的,的问题,时基的,变,变化,数据要,浓,浓缩,概念,：,数据周,期,期、简,要,要记录,数据周,期,期：,是指从,操,操作型,数,数据发,生,生改变,起,起，到,这,这个变,化,化反映,到,到数据,仓,仓库中,所,所用的,时,时间,。,从操作,型,型环境,知,知道数,据,据的改,变,变到这,个,个变化,反,反映到,数,数据仓,库,库中至,少,少应该,经,经历24小时,。,。,简要记,录,录：,或聚集,记,记录，,是,是把不,同,同操作,型,型数据,的,的详细,信,信息聚,集,集在一,个,个记录,中,中而形,成,成的记,录,录。,好处：,减少,数,数据量,；,；,为用,户,户的访,问,问和分,析,析提供,了,了一种,紧,紧凑的,方,方便的,数,数据组,织,织形式,；,；,缺点：,信,信息的,详,详细程,度,度将会,降,降低。,数据仓,库,库的建,模,模,数据模,型,型,所有的,实,实体都,是,是平等,关,关系。,仅仅从,数,数据模,型,型的角,度,度来着,手,手设计,数,数据仓,库,库会产,生,生一种,“,“平面,”,”效应,。,。,星型连,接,接,事实表,：,：,位于星,型,型连接,的,的中央,，,，它是,被,被大量,载,载入数,据,据的实,体,体。,维表：,周,周围的,其,其它实,体,体。,在很多,情,情况下,：,：文本,数,数据与,数,数值数,据,据是分,离,离开的,。,。,通过数,据,据预连,接,接和建,立,立有选,择,择的数,据,据冗余,，,，设计,者,者为访,问,问和分,析,析过程,大,大大简,化,化了数,据,据。,星型连,接,接应用,于,于设计,数,数据仓,库,库中很,大,大的实,体,体，而,数,数据模,型,型则应,用,用于数,据,据仓库,中,中较小,的,的实体,。,。,Vendor data,Vendor data,Vendor data,vendor_id,供应商,cust_id,客户,order_id,发货,Order data,Order data,order_id,订单,Cust data,Cust data,Cust data,Nonkey data,Order data,Order data,Order data,产品,Product data,Product data,Product data,Product id,Vendor id,Nonkey data,cust id,Nonkey data,order id,Nonkey data,product id,数据建,模,模的十,条,条戒律,必须,回,回答紧,迫,迫的问,题,题；,必须,有,有正确,的,的事实,表,表；,将有,正,正确的,维,维表，,描,描述必,须,须按最,终,终用户,的,的业务,术,术语表,达,达；,必须,理,理解数,据,据仓库,所,所影响,的,的公司,过,过程或,影,影响数,据,据仓库,的,的公司,过,过程；,对于,事,事实表,，,，应该,有,有正确,的,的“粒,度,度”；,根据,需,需要存,储,储正确,长,长度的,公,公司历,史,史数据,；,；,以一,种,种对于,公,公司有,意,意义的,方,方式来,集,集成所,有,有必要,的,的数据,；,；,创建,必,必要的,总,总结表,；,；,创建,必,必要的,索,索引；,能够,加,加载数,据,据仓库,数,数据库,并,并使它,以,以一种,适,适宜的,方,方式可,用,用。,数据集,市,市,外部数,据,据,用自顶,向,向下的,方,方