资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第,2,章 数据仓库,第2章 数,据,据仓库,主要内,容,容,数据仓,库,库基本,概,概念,数据仓,库,库体系,结,结构,数据仓,库,库元数,据,据,数据仓,库,库的数,据,据模式,多维分,析,析,高性能,物,物理数,据,据仓库,设,设计,第,2,章 数据仓库,主要内,容,容,数据仓,库,库基本,概,概念,数据仓,库,库体系,结,结构,数据仓,库,库元数,据,据,数据仓,库,库的数,据,据模式,多维分,析,析,高性能,物,物理数,据,据仓库,设,设计,第,2,章 数据仓库,数据仓,库,库基本,概,概念,随着数,据,据库技,术,术的应,用,用普及,和,和发展,，,，人们,不,不再仅,仅,仅满足,于,于,一般的,业,业务处,理,理，而,对,对系统,提,提出了,更,更高的,要,要求：,提,提供决,策,策支持,（DSS、OLAP）.,应用背,景,景及需,求,求,需求,一种面,向,向分析,的,的环境,；,；,一种把,相,相关的,各,各种数,据,据转换,成,成有商,业,业价值,的,的信息,的,的技术,。,。,第,2,章 数据仓库,数据仓,库,库基本,概,概念,从数据,库,库到数,据,据仓库,数据库,系,系统能,够,够很好,的,的用于,事,事务处,理,理，但,它,它对分,析,析处理,的,的支,持一直,不,不能令,人,人满意,。,。特别,是,是当以,业,业务处,理,理为主,的,的联机,事,事务处,理,理,（OLTP） 应,用,用和以,分,分析处,理,理为主,的,的DSS应用共,存,存于一,个,个数据,库,库系,统时，,就,就会产,生,生许多,问,问题。,例如，,事,事务处,理,理应用,一,一般需,要,要的是,当,当前数,据,据，主,要,要考虑,较,较短,的响应,时,时间；,而,而分析,处,处理应,用,用需要,是,是历史,的,的、综,合,合的、,集,集成的,数,数,据，它,的,的分析,处,处理过,程,程可能,持,持续几,个,个小时,，,，从而,消,消耗大,量,量的系,统,统,资源。,人们逐,渐,渐认识,到,到直接,用,用事务,处,处理环,境,境来支,持,持DSS是行不,通,通的。,要提高,分,分析和,决,决策的,有,有效性,，,，分析,型,型处理,及,及其数,据,据必须,与,与操作,型,型,处理及,其,其数据,分,分离。,必,必须把,分,分析型,数,数据从,事,事务处,理,理环境,中,中提取,出,出,来，按,照,照DSS处理的,需,需要进,行,行重新,组,组织，,建,建立单,独,独的分,析,析处理,环,环,境。,数据仓,库,库技术,正,正是为,了,了构建,这,这种新,的,的分析,处,处理环,境,境而出,现,现的,一种数,据,据存储,和,和组织,技,技术。,第,2,章 数据仓库,数据仓,库,库基本,概,概念,主要通,过,过以下,五,五点区,分,分开来,。,。用户和,系,系统的,面,面向性,OLTP是面向,顾,顾客的,用于事,务,务和查,询,询处理; OLAP是面向,市,市场的,用于数,据,据分析数据内,容,容OLTP系统管,理,理当前,数,数据; OLAP系统管,理,理大量,历,历史数,据,据,提供汇,总,总和聚,集,集机制.数据库,设,设计OLTP采用实,体,体-联系ER模型和,面,面向应,用,用的数,据,据库设,计,计;OLAP采用星,型,型或雪,花,花模型,和,和面向,主,主题的,数,数据库,设,设计.视图OLTP主要关,注,注一个,企,企业或,部,部门内,部,部的当,前,前数据,不涉及,历,历史数,据,据或不,同,同组织,的,的,数据; OLAP则相反.访问模,式,式OLTP系统的,访,访问主,要,要由短,的,的原子,事,事务组,成,成.这种系,统,统需要,并,并行和,恢,恢复机,制,制;OLAP系统的,访,访问大,部,部分是,只,只读操,作,作,OLTP,（on-line transaction processing）,与OLAP,（On-Line AnalyticalProcessing）,区别,第,2,章 数据仓库,操作型数据,分析型数据,细节的,综合的，或提炼的,在存取瞬间是准确的,代表过去的数据,可更新,不更新,操作需求事先可知道,操作需求事先不知道,生命周期符合,SDLC,完全不同的生命周期,对性能要求高,对性能要求宽松,一个时刻操作一个单元,一个时刻操作一个集合,事务驱动,分析驱动,面向应用,面向分析,一次操作数据量小,一次操作数据量大,支持日常操作,支持管理需求,Sdlc :SoftwareDevelopmentLife Cycle,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库与决,策,策支持,系,系统,用户在,进,进行决,策,策制定,时,时需要,得,得到企,业,业各方,面,面的信,息,息，因,此,此用,户一般,首,首先根,据,据各个,业,业务部,门,门数据,库,库中的,数,数据，,创,创建数,据,据仓库,，,，,存储各,种,种历史,信,信息和,汇,汇总信,息,息。,对数据,仓,仓库的,进,进一步,应,应用由,功,功能强,大,大的分,析,析工具,来,来实现,。,。现,在主要,有,有三类,分,分析工,具,具可用,于,于决策,支,支持。,第一类,能,能够支,持,持涉及,分,分组和,聚,聚集查,询,询，并,能,能够对,各,各种复,杂,杂的,布尔条,件,件、统,计,计函数,和,和时间,序,序列分,析,析提供,支,支持的,系,系统。,主,主要由,上,上,述查询,组,组成的,应,应用称,为,为联机,分,分析处,理,理，即OLAP。在支,持,持OLAP查,询的系,统,统中，,数,数据最,好,好看成,是,是一个,多,多维数,组,组,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库与决,策,策支持,系,系统,第二类,系,系统仍,为,为支持,传,传统SQL查询的DBMS，但为,了,了有效,地,地,执行OLAP查询而,进,进行了,特,特殊的,设,设计。,这,这些系,统,统可以,看,看作是,为,为决,策支持,应,应用进,行,行了优,化,化的关,系,系数据,库,库系统,。,。许多,关,关系数,据,据库厂,商,商,对他们,的,的产品,进,进行了,扩,扩展，,并,并且随,着,着时间,的,的推移,，,，专门,的,的OLAP,系统和,支,支持决,策,策支持,的,的关系,数,数据库,系,系统之,间,间的差,别,别将逐,渐,渐取消,第,2,章 数据仓库,数据仓,库,库基本,概,概念,第三类,的,的分析,工,工具可,用,用于在,大,大量的,数,数据集,合,合中，,找,找到有,意,意义,的数据,趋,趋势或,者,者模式,，,，而不,是,是上面,提,提到的,复,复杂数,据,据查询,。,。在数,据,据,分析过,程,程中，,尽,尽管分,析,析者能,够,够判定,得,得到的,数,数据模,式,式是否,有,有意义,，,，,但是生,成,成查询,来,来得到,有,有意义,的,的模式,还,还是很,困,困难的,。,。例如,，,，分析,者,者,查看信,用,用卡使,用,用记录,，,，希望,从,从中找,出,出不正,常,常的信,用,用卡使,用,用行为,，,，,以表明,是,是被滥,用,用的丢,失,失的信,用,用卡；,商,商人希,望,望通过,查,查看客,户,户记录,找,找,出潜在,的,的客户,来,来提高,收,收益。,许,许多应,用,用涉及,的,的数据,量,量很大,，,，很难,用,用,人工分,析,析或者,传,传统的,统,统计分,析,析方法,进,进行分,析,析，数,据,据挖掘,的,的目的,就,就,是对这,种,种大量,数,数据的,分,分析提,供,供支持,。,。,数据仓,库,库与决,策,策支持,系,系统,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,数据仓,库,库理论,的,的创始,人,人W.H,.,.Inmon在其,Buildingthe DataWarehouse一书中,，,，给出,了,了数据,仓,仓库的,四,四个,基本特,征,征：,面向主,题,题，,数据是,集,集成的,，,，,数据是,不,不可更,新,新的，,数据是,随,随时间,不,不断变,化,化。,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,面向主,题,题,主题是,在,在较高,层,层次上,对,对数据,抽,抽象；,面向主,题,题的数,据,据组织,分,分为两,步,步骤：,-抽取主,题,题；-确定每,个,个主题,所,所包含,的,的数据,内,内容,每个主,题,题在数,据,据仓库,中,中都是,由,由一组,关,关系表,实,实现的,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,面向主,题,题,第,2,章 数据仓库,数据库,数据库,面向应,用,用,面向主,题,题,汽车,人寿,健康,意外伤,害,害,主题-顾客,主题-保单,主题-索赔,主题-保费,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,集成的,数据仓,库,库的数,据,据是从,原,原有的,分,分散数,据,据库数,据,据中抽,取,取来的,需要消,除,除数据,表,表述的,不,不一致,性,性（数,据,据的清,洗,洗）,数据的,综,综合,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,集成的,数据库,环,环境,数据仓,库,库环境,应用A1,0,应用B男，女,应用CY，N,集成,映射,编码,多维数,据,据库男，女,应用ACM,应用BInches,应用CCM,映射,转换,多维数,据,据库CM,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库的主,要,要数据,操,操作是,查,查询、,分,分析；,不进行,一,一般意,义,义上的,数,数据更,新,新（过,期,期数据,可,可能被,删,删除）,数据仓,库,库强化,查,查询、,淡,淡化并,发,发控制,和,和完整,性,性保护,等,等技术.,数据仓,库,库定义,及,及特征,不可更,新,新的,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,不可更,新,新的,Insert、Update、Delete,Select,数据库,环,环境,数据的,逐,逐个记,录,录方式,处,处理,数据仓,库,库环境,数据的,批,批量载,加,加载，,存,存取,ETL,访问Select,第,2,章 数据仓库,数据仓,库,库基本,概,概念,不断增,加,加新的,数,数据内,容,容；,不断删,除,除旧的,数,数据内,容,容；,定时综,合,合；,数据仓,库,库中数,据,据表的,键,键码都,包,包含时,间,间项，,以,以标明,数,数据的,历,历史时,期,期,数据仓,库,库定义,及,及特征,随时间,变,变化的,第,2,章 数据仓库,数据仓,库,库基本,概,概念,数据仓,库,库定义,及,及特征,随时间,变,变化的,数据库,环,环境,数据仓,库,库环境,时间期,限,限：当,前,前到30-60天,记录更,新,新,包含或,者,者不包,含,含时间,概,概念,时间期,限,限：年,数据的,复,复杂快,照,照,包含时,间,间概念,第,2,章 数据仓库,主要内,容,容,数据仓,库,库基本,概,概念,数据仓,库,库体系,结,结构,数据仓,库,库元数,据,据,数据仓,库,库的数,据,据模式,多维分,析,析,高性能,物,物理数,据,据仓库,设,设计,Inmon的企业,信,信息化,工,工厂,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,Kimball的维度,数,数据仓,库,库,独立型,数,数据集,市,市,Inmon的企业,信,信息化,工,工厂,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,Kimball的维度,数,数据仓,库,库,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,独立型,数,数据集,市,市,企业级,主题区域级,原子数据,集成仓库,格式,直接访问,数据集市,格式,直接访问,企业信息化工厂,第,3范式,否,物理,维度,*,是,维度数据仓库,维度,是,*,逻辑,*,维度,是,独立型数据集市,N/A,N/A,物理,维度,*,是,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,三种体,系,系结构,的,的特征,比,比较,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,三种体,系,系结构,比,比较,体系结构,提倡者,其他称谓,描 述,维度设计的角色,企业信息化工厂,Bill Inmon,原子数据仓库,企业数据仓库,企业数据仓库是原子数据的一种集成仓库,不能被直接访问,数据集市为部门使用,/分析而重新组织数据,维度设计只应用于数据集市,维度数据仓库,Ralph Kimball,企业数据仓库,总线体系结构,结构化数据集市,虚拟数据集市,维度数据仓库是原子数据的一种集成仓库,可以被访问,包含在维度数据仓库的主题区域，有时称为数据集市,数据集市不要求是独立的数据库,所有数据按维度组织,独立型数据集市,无倡导者但很常见,数据集市,竖井式,烟筒型,孤岛型,主题区域的实现不需要企业环境,可以使用维度设计,Inmon的企业,信,信息化,工,工厂和Kimball的维度,数,数据仓,库,库都关,注,注企业,级,级应用,。,。他们,的,的目,的是支,持,持跨企,业,业或组,织,织机构,的,的分析,型,型需求,。,。这种,方,方法允,许,许在一,个,个主题,区,区域内,处,处理需,求,求，,就像跨,主,主题区,域,域处理,问,问题一,样,样。,关注企,业,业级应,用,用需要,采,采用一,种,种工程,化,化的方,法,法来处,理,理来自,不,不同组,织,织的数,据,据需求,。,。数,据仓库,不,不能仅,凭,凭倾听,几,几次需,求,求就能,设,设计出,来,来。设,计,计团队,必,必须研,究,究、分,析,析公共,数,数据元,素,素,的不同,特,特征，,这,这些特,征,征由于,用,用户不,同,同而有,所,所差别,。,。比如,，,，用户,或,或产品,可,可能在,制,制造、,销,销,售或审,计,计中彼,此,此关联,。,。对于,相,相同的,数,数据元,素,素，在,不,不同的,系,系统中,会,会采用,不,不同的,处,处理方,法,法，,数据仓,库,库设计,必,必须以,一,一种统,一,一的视,图,图来适,应,应所有,不,不同的,观,观点。,相比之,下,下，独,立,立型数,据,据集市,在,在关注,企,企业级,应,应用方,面,面显示,出,出了不,足,足。其,开,开发只,考,考虑了,来自一,个,个小组,或,或部门,的,的需求,。,。由于,这,这种关,注,注的片,面,面性，,其,其开发,不,不会受,制,制于对,跨,跨企业,公,公共,数据元,素,素的探,讨,讨；而,仅,仅仅关,注,注特定,主,主题区,域,域的特,定,定系统,。,。,由于这,两,两种企,业,业体系,结,结构有,相,相同的,范,范围，,因,因此产,生,生了一,个,个相同,的,的体系,结,结构特,点,点：,它们都,有,有一个,独,独立的,原,原子数,据,据的集,成,成仓库,。,。在企,业,业信息,化,化工厂,中,中，这,一,一仓库,被,被称为,企,企,业数据,仓,仓库。,在,在维度,数,数据仓,库,库中，,该,该仓库,被,被称为,维,维度数,据,据仓库,。,。这种,集,集中存,储,储的集,成,成,特性与,关,关注企,业,业级应,用,用是一,致,致的。,它,它汇集,了,了公共,实,实体的,多,多种优,势,势，比,如,如顾客,或,或产品,。,。,同样，,关,关注原,子,子化也,满,满足了,企,企业目,标,标。无,须,须按照,特,特定分,组,组或主,题,题区域,的,的需求,来,来收集,细,细,节数据,。,。取而,代,代之的,是,是，尽,可,可能有,效,效地收,集,集细节,数,数据以,满,满足所,有,有的分,析,析型需,求,求。,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,三种体,系,系结构,比,比较,参考Star Schema完全参,考,考手册数据仓,库,库维度,设,设计权,威,威指南,清,清华,大,大学出,版,版社,对于Inmon体系结,构,构来说,，,，数据,集,集市是,为,为部门,使,使用而,建,建立的,一,一组表,格,格，,并且是,物,物理分,离,离的。,可,可以聚,集,集细节,数,数据以,适,适应部,门,门或小,组,组的特,殊,殊需要,。,。在,这方面,，,，它与,独,独立型,数,数据集,市,市有一,些,些相似,之,之处；,然,然而，,企,企业信,息,息化工,厂,厂中,的数据,集,集市在,企,企业仓,库,库中获,取,取数据,，,，因此,内,内容与,企,企业信,息,息视图,保,保持一,致,致。,而这是,独,独立型,数,数据集,市,市无法,保,保证的,。,。,对于Kimball体系结,构,构来说,，,，不要,求,求数据,集,集市与,物,物理数,据,据分开,存,存储。,相,相,反，它,可,可以是,一,一种逻,辑,辑构件数据仓,库,库表的,子,子集。,单,单独的,数,数据集,市,市报表,可以随,时,时构建,。,。构建,完,完毕后,即,即可从,集,集成仓,库,库中得,到,到报表,。,。数据,集,集市与,企,企业,信息视,图,图保持,一,一致，,要,要么是,由,由于它,们,们将这,种,种视图,具,具体化,，,，要么,是,是由于,它,它们,从数据,集,集市中,获,获取数,据,据。,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构的,争,争论,三种体,系,系结构,比,比较,第,2,章 数据仓库,数据仓,库,库体系,结,结构,用户,可视化,工,工具集,多维分,析,析工具,数据挖,掘,掘工具,多维数,据,据,数据仓,库,库,源数据,源数据,源数据,源数据,源数据,数据来,源,源,数据仓,库,库层,数据仓,库,库,工具层,数据仓,库,库层次,结,结构,第,2,章 数据仓库,RDBMS,数据文,件,件,其他,综合数,据,据,当前数,据,据,历史数,据,据,元数据,抽取、,转,转换、,装,装载,数据仓,库,库,OLAP工具,DM工具,查询工,具,具,分析工,具,具,数据源,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构,数据仓,库,库体系,结,结构实,例,例-税务数,据,据仓库,增量抽,取,取,完全抽,取,取,计,算,算,映,射,射,清,洗,洗,业务要,求,求,数据要,求,求,抽,取,取,转,换,换,加,载,载,数据仓,库,库,数据加,载,载,异常情,况,况处理,及,及回退,机,机制,作业控,制,制管理,第,2,章 数据仓库,数据仓,库,库体系,结,结构,数据仓,库,库体系,结,结构实,例,例-税务数,据,据仓库-ETL,第,2,章 数据仓库,OLTP系统,RDBMS,Sybase,ORACLE,SAP,/,/ERP,5-10年,过去,详细数,据,据,当前,详细数,据,据,轻度,汇总数,据,据,高度,汇总数,据,据,数据集,市,市,分析型CRM,业务指,标,标分析,数据仓,库,库,数据仓,库,库/决策分,析,析系统,EXCEL,数据仓,库,库数据,的,的组织,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据由,操,操作型,环,环境（,综,综合）,导,导入数,据,据仓库,数据具,有,有不同,的,的细节,早期细,节,节级（,过,过期数,据,据）,当前细,节,节级,轻度综,合,合数据,级,级（数,据,据集市,）,）,高度综,合,合数据,级,级,数据仓,库,库数据,的,的组织,数据仓,库,库体系,结,结构,第,2,章 数据仓库,数据仓,库,库体系,结,结构,采购子,系,系统:,订单（,订,订单号,，,，供应,商,商号，,商,商品号,，,，类别,，,，单价,。,。数量,，,，总金,额,额，日,期,期，）,供应商,（,（供应,商,商号，,供,供应商,名,名，地,址,址，电,话,话，）,销售子,系,系统：,客户（,客,客户号,，,，姓名,，,，地址,，,，电话,，,，）,销售（,客,客户号,，,，商品,号,号，数,量,量，单,价,价，日,期,期，）,库存子,系,系统：,进库单,（,（编号,，,，商品,号,号，数,量,量，单,价,价，日,期,期，）,出库单,（,（编号,，,，商品,号,号，数,量,量，单,价,价，日,期,期，）,库存（,商,商品号,，,， 库,房,房号，,类,类别，,单,单价，,库,库存数,量,量，,总金额,，,，日期,，,，）,数据库,系,系统模,式,式（操,作,作型数,据,据）,第,2,章 数据仓库,数据仓,库,库体系,结,结构,商品固,有,有信息,：,：商品,号,号，类,别,别，单,价,价，颜,色,色，,商品采,购,购信息,：,：商品,号,号，类,别,别，供,应,应商号,，,，供应,日,日期，,单,单价，,数,数量，,商品销,售,售信息,：,：商品,号,号，客,户,户号，,数,数量，,单,单价，,销,销售日,期,期，,商品库,存,存信息,：,：商品,号,号，,库,库房号,，,，库存,数,数量，,日,日期，）,采购子,系,系统,销售子,系,系统,库存子,系,系统,面向主,题,题的数,据,据仓库,数,数据模,式,式,第,2,章 数据仓库,数据仓,库,库体系,结,结构,1996-2002年,销售明,细,细表,20032009年,销售明,细,细表,20032009年,每月销,售,售表,20032009年,每季度,销,销售表,数据仓,库,库中的,数,数据组,织,织,数据仓,库,库中的,数,数据分,为,为四个,级,级别：,早,早期细,节,节级，,当,当前细,节,节级，,轻,轻度综,合,合级，,高,高度综,合,合级。,第,2,章 数据仓库,数据仓,库,库体系,结,结构,DW中还有,一,一类重,要,要的数,据,据：元,数,数据（metedata）。,元数据,是,是“关于数,据,据的数,据,据”（RDBMS中的数,据,据字典,就,就是一,种,种元数,据,据）。,数据仓,库,库中的,元,元数据,描,描述了,数,数据的,结,结构、,内,内容、,索,索引、,码,码、数,据,据转换,规,规则、,粒,粒度定,义,义等。,关于元,数,数据,在数据,仓,仓库系,统,统中，,元,元数据,可,可以帮,助,助数据,仓,仓库管,理,理员和,数据仓,库,库的开,发,发人员,非,非常方,便,便地找,到,到他们,所,所关心,的,的数据,。,。在,数据仓,库,库系统,中,中，元,数,数据机,制,制主要,支,支持以,下,下五类,系,系统治,理,理功能,：,：,1描述哪,些,些数据,在,在数据,仓,仓库中,；,；,2定义要,进,进入数,据,据仓库,中,中的数,据,据和从,数,数据仓,库,库中产,生,生的数,据,据；,3记录根,据,据业务,事,事件发,生,生而随,之,之进行,的,的数据,抽,抽取工,作,作时间,安,安排；,4记录并,检,检测系,统,统数据,一,一致性,的,的要求,和,和执行,情,情况；,5衡量数,据,据质量,。,。,第,2,章 数据仓库,数据仓,库,库体系,结,结构,元数据,作,作用及,功,功能,第,2,章 数据仓库,数据仓,库,库体系,结,结构,粒度,是指数,据,据仓库,的,的数据,单,单位中,保,保存数,据,据的细,化,化或综,合,合程度,的,的级别,粒度级,越,越小，,细,细节程,度,度越高,，,，综合,程,程度越,低,低，回,答,答查询,的,的种类,越,越多,粒度影,响,响数据,仓,仓库中,数,数据量,的,的大小,粒度问,题,题是设,计,计数据,仓,仓库的,一,一个重,要,要方面,双重粒,度,度,在数据,仓,仓库的,细,细节级,上,上创建,两,两种粒,度,度,短期储,存,存的低,粒,粒度（,真,真实档,案,案），,满,满足细,节,节查询,具有综,合,合的高,粒,粒度（,轻,轻度综,合,合），,做,做分析,数据仓,库,库的数,据,据组织,第,2,章 数据仓库,数据仓,库,库体系,结,结构,第,2,章 数据仓库,分割,是指把,数,数据分,散,散到各,自,自的物,理,理单元,中,中去，,以,以便能,分,分别独,立,立处理,，,，提高,数,数据处,理,理效率,。,。是粒,度,度之后,的,的第二,个,个主要,设,设计问,题,题,两个层,次,次的分,割,割,系统层,：,：DBMS，一种,定,定义,应用层,：,：开发,者,者，多,种,种定义,多种分,割,割的标,准,准,日期：,最,最常用,的,的,地理位,置,置,组织单,位,位.,第,2,章 数据仓库,数据仓,库,库体系,结,结构,数据仓,库,库的数,据,据组织,第,2,章 数据仓库,数据仓,库,库体系,结,结构,主要内,容,容,数据仓,库,库基本,概,概念,数据仓,库,库体系,结,结构,数据仓,库,库元数,据,据,数据仓,库,库的数,据,据模式,多维分,析,析,高性能,物,物理数,据,据仓库,设,设计,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持：,数据仓,库,库内容,的,的描述,；,；,定义数,据,据抽取,和,和转换,；,；,基于商,业,业事件,的,的抽取,调,调度；,描述数,据,据同步,需,需求；,衡量数,据,据质量,指,指标,元数据,对,对数据,仓,仓库功,能,能的支,持,持：,(一)数据仓,库,库内容,的,的描述,描述数,据,据仓库,中,中的各,种,种复杂,关,关系；,(1)I/O对象：,支,支持数,据,据仓库I/O操作的,各,各种对,象,象。例,如,如,装入到,数,数据仓,库,库中的,源,源系统,文,文件及,可,可被用,户,户访问,表,表的数,据,据均为I/O对象。,元,元数据,要,要描述,该,该I/O对象的,定,定义、,类,类型、,状,状态、,存,存档(刷新)周期以,及,及引发,初,初始存,档,档的事,件,件。,(2)关系：,两,两个I/O对象之,间,间的关,联,联。这,种,种关联,分,分为一,对,对一、,一,一对多,和,和多对,多,多三种,类,类型。,在,在实际,工,工作中,，,，一般,只,只考虑,两,两种类,型,型。即,一,一对一,和,和一对,多,多的关,系,系，多,对,对多可,以,以用多,个,个一对,多,多来表,示,示。,(3)关系成,员,员 描,述,述每个,关,关系中I/O对象的,具,具体角,色,色(在一对,多,多中是,父,父亲还,是,是儿子)、关系,度,度(是一对,一,一还是,一,一对多)及约束,条,条件(是必须,满,满足还,是,是可选,关,关系)。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,(4)关系关,键,键字,描,描述两,个,个I/O对象是,如,如何建,立,立关联,的,的。每,个,个关系,都,都是通,过,过I/O对象,的关键,字,字来建,立,立的,元数据,要,要指明,建,建立每,个,个关系,相,相应对,象,象的关,键,键字。,(5)域分配,将,将实,际,际数据,元,元素与I/O对象的,某,某个域,相,相关联,。,。除了,常,常规的,域,域特征,外,外,还,要说明,每,每个域,的,的所属,源,源系统,及,及访问,日,日期。,这,这两个,特,特征对,数,数据仓,库,库都是,非,非常重,要,要的,(6)数据元,素,素 描,述,述数据,仓,仓库中,基,基本单,元,元(字段级)的特征,。,。这些,特,特征包,括,括定义,、,、类,型、长,度,度、值,域,域标识,等,等。数,据,据元素,要,要能支,持,持多媒,体,体的大,二,二进制,对,对象。,元数据,描,描述了,数,数据仓,库,库中有,什,什么数,据,据及数,据,据间的,关,关系,它们是,用,用户使,用,用和系,统管理,数,数据仓,库,库的基,础,础。基,于,于这种,组,组织的,元,元数据,可,可以开,发,发出各,种,种通用,的,的用户,接,接,口,用来支,持,持用户,从,从数据,仓,仓库中,获,获取数,据,据。用,户,户可以,提,提出所,需,需的表,，,，系统,从,从中选,择表并,得,得到表,之,之间的,关,关系，,重,重复这,个,个过程,直,直到用,户,户得到,他,他们希,望,望的数,据,据。不,仅,仅,如此，,系,系统还,有,有对某,一,一特殊,表,表(I/O对象)及域信,息,息的描,述,述功能,。,。用这,种,种形式,组,组织,的元数,据,据有利,于,于数据,仓,仓库的,扩,扩充，,因,因此不,必,必修改,已,已存在,的,的软件,就,就可在,数,数据仓,库,库,中增加,新,新表。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,（一）,数,数据仓,库,库内容,的,的描述,：,：描述,数,数据仓,库,库中的,各,各种复,杂,杂关系,（二）,定,定义数,据,据抽取,和,和转换,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,从源系,统,统数据,到,到数据,仓,仓库中,目,目标数,据,据的转,移,移是一,项,项复杂,工,工作,其工作,量,量占整,个,个,数据仓,库,库开发,的,的80%。这里,主,主要涉,及,及到以,下,下两个,问,问题：,(1)抽取工,作,作间的,复,复杂关,系,系,一个抽,取,取要经,过,过许多,步,步骤,获取：,从,从外部,或,或内部,源,源数据,系,系统中,获,获取对,决,决策支,持,持系统,用,用户有,用,用的数,据,据。,过滤：,过,过滤掉,不,不需要,的,的内容(如上次,抽,抽取后,一,一直没,有,有改变,的,的数据)。,验证：,从,从DSS用户的,角,角度验,证,证数据,的,的质量,。,。,融合：,将,将本次,抽,抽取的,数,数据与,数,数据仓,库,库中的,数,数据进,行,行融合,；,；,综合：,对,对数据,进,进行综,合,合,生成概,要,要级数,据,据。,装载：,把,把新数,据,据装入,到,到数据,仓,仓库中,。,。,存档：,把,把新装,入,入的数,据,据单独,存,存为一,个,个文件,以便减,少,少更新,操,操作的,数,数据量,。,。,(2)源数据,与,与目标,数,数据之,间,间的映,射,射是一,种,种复杂,的,的多对,多,多关系,。,。元数,据,据要能,够,够描述,这,这些限,制,制,所带来,的,的一系,列,列问题,。,。这组,元,元数据,要,要定义,的,的内容,有,有以下,几,几点：,抽取工,作,作：描,述,述每个,抽,抽取工,作,作，并,为,为其标,识,识源系,统,统。每,一,一抽取,都,都应有,一,一个刷,新,新类型,代,代码,一般有,四,四种刷,新,新类型,，,，包括,全,全仓库,替,替换、,全,全仓库,附,附加、,更,更新替,换,换、更,新,新追加,。,。另外,对,对每,一抽取,都,都要明,确,确其刷,新,新周期(两次抽,取,取之间,的,的间隔)和初始,触,触发事,件,件(系统环,境,境中激,活,活第一,次抽取,的,的事件)。,抽取工,作,作步：,定,定义抽,取,取工作,中,中的步,骤,骤包括,说,说明每,一,一步的,类,类型(如过滤,、,、验证,等,等)及其作,业,业控,制语言(Job ControlLanguge,TCL,),),JCL用来初,始,始化抽,取,取工作,步,步。,抽取表,映,映射：,为,为每个,抽,抽取工,作,作步建,立,立输入,文,文件/表和输,出,出文件/表之间,的,的关联,。,。它应,提,提供两,种类型,的,的属性,以,以满足,抽,抽取工,作,作的特,殊,殊处理,要,要求。,一,一类是,过,过程的,输,输入数,据,据集合;另一类,是,是数,据处理,过,过程标,识,识及其,参,参数。,这,这些属,性,性用来,自,自动生,成,成程序,代,代码以,完,完成相,应,应抽取,工,工作步,。,。,抽取域,映,映射：,为,为每个,抽,抽取工,作,作步建,立,立输入,表,表(文件)的域与,输,输出表(文件)的域之,间,间的关,联,联。,其定义,的,的内容,与,与抽取,表,表类似,但是处,理,理的粒,度,度是表,中,中的每,个,个域。,（二）,定,定义数,据,据抽取,和,和转换,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,记录筛,选,选规则,：,：提供,一,一种过,滤,滤机制,以在抽,取,取工作,的,的每一,步,步骤中,进,进行记,录,录的筛,选,选。,如下是,一,一个规,则,则的例,子,子：,IFRecord,.,.Last_Update,_,_Date,1996_11_01ORRecord.Create_Date ,1996,_,_11,_,_01,THEN Reserve,(,(保留)ELSEDelete,(,(删除),这组元,数,数据可,以,以用来,生,生成源,代,代码以,完,完成数,据,据的转,换,换工作,即完成,由,由操作,型,型数据,转,转,换生成,以,以特殊,形,形式存,放,放的、,面,面向主,题,题的数,据,据仓库,数,数据。,元,元数据,中,中的抽,取,取表映,射,射,和抽取,域,域映射,定,定义了,进,进行实,际,际抽取,转,转换工,作,作的过,程,程。数,据,据仓库,管,管理核,心,心是:利用,该组元,数,数据所,定,定义的,抽,抽取过,程,程生成,某,某种语,言,言的源,代,代码,然后编,译,译成可,执,执行的,程,程序,以完成,数,数据的,抽,抽取工,作,作。其,核,核心也,可,可直接,以,以解释,的,的方式,从,从元数,据,据存储,中,中读出,每,每,个抽取,步,步的处,理,理过程,，,，从而,进,进行数,据,据转换,。,。,（二）,定,定义数,据,据抽取,和,和转换,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,（三）,基,基于商,业,业事件,的,的抽取,调,调度,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,抽取调,度,度(ExtractSchedule)是指数,据,据抽取,的,的时间,安,安排,即什么,时,时间进,行,行从源,数,数据到,数据仓,库,库的抽,取,取工作,。,。抽取,调,调度的,合,合理与,否,否对整,个,个数据,仓,仓库的,有,有效正,常,常运行,影,影响,很大。,元,元数据,必,必须对,数,数据的,抽,抽取安,排,排加以,说,说明。,基,基于商,业,业事件,抽,抽取调,度,度的元,数,数据,要定义,的,的内容,有,有以下,几,几点：,事件：,指,指在公,司,司中能,够,够引发,对,对数据,进,进行处,理,理的各,种,种情况,。,。其中,有,有些是,周,周期性,的,的，,有些是,预,预先安,排,排的，,而,而有些,则,则是突,发,发事件,。,。,事件依,赖,赖：事,件,件之间,的,的关系,及,及描述,这,这些关,系,系的时,间,间规律,性,性和特,征,征。一,般,般要指,明,明主,事件和,从,从事件,以,以及两,者,者的时,间,间间隔,和,和最大,容,容忍时,间,间。,事件日,志,志：刻,画,画了事,件,件发生,的,的时间,安,安排,即指明,事,事件的,调,调度周,期,期。系,统,统应允,许,许用户,定义事,件,件及相,应,应的调,度,度。,抽取调,度,度：对,一,一个事,件,件响应,后,后必须,完,完成的,对,对数据,抽,抽取工,作,作的安,排,排。抽,取,取调度,把,把事件,和相应,的,的抽取,工,工作联,系,系起来,。,。,抽取日,志,志：对,每,每次抽,取,取工作,进,进行记,录,录,并记下,相,相关的,引,引发抽,取,取事件,及,及抽取,调,调度。,抽,抽取,日志可,以,以用来,维,维护系,统,统工作,，,，如输,入,入和输,出,出工作,。,。,时间戳,日,日志：,记,记录下,各,各表被,抽,抽取的,时,时间及,表,表中被,更,更新的,数,数据。,时,时间戳,日,日志可,以,以用来,与系统,数,数据进,行,行比较,以,以引发,抽,抽取工,作,作。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,(四)描述数,据,据同步,需,需求,在一个,公,公司各,部,部门间,的,的数据,协,协调中,时间是,一,一个关,键,键因素,。,。上述,的,的抽取,调,调度,是针对,熟,熟悉公,司,司各部,门,门之间,数,数据同,步,步关系,的,的用户,而,而言的,。,。对不,熟,熟悉的,用,用户，,则,则,需要进,一,一步利,用,用元数,据,据来帮,助,助用户,理,理解数,据,据及数,据,据处理,的,的同步,关,关系，,以,以免误,用,用,数据。,尤,尤其当,数,数据仓,库,库中涉,及,及到复,杂,杂关系,的,的数据,而,而且抽,取,取调度,受,受多个,事,事件制,约,约,时，这,种,种附加,数,数据就,更,更不可,缺,缺少。,时,时间的,元,元数据,要,要定义,的,的内容,主,主要有,：,：,同步视,图,图：为,支,支持不,同,同级别,用,用户而,标,标识同,步,步数据,的,的时间,规,规则。,同,同步视,图,图可,定义为,一,一个特,殊,殊功能,视,视图的,名,名称和,描,描述以,及,及该视,图,图中的,一,一系列,表,表，每,个,个表与,有,有,关的事,件,件相关,联,联。,同步实,例,例：当,实,实际事,件,件发生,时,时,记录下,不,不同系,统,统同步,数,数据集,合,合的更,新,新轨迹,。,。,当一个,同,同步视,图,图中的,数,数据都,已,已满足,时,时，元,数,数据管,理,理机制,就,就提醒,用,用户可,用,用的数,据,据,已经准,备,备好，,系,系统在,抽,抽取调,度,度后生,成,成同步,实,实例。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,(五)衡量数,据,据质量,数据仓,库,库把数,据,据从源,事,事务系,统,统移到,数,数据仓,库,库中的,目,目的是,用,用于决,策,策支持,。,。这,就对数,据,据质量,提,提出了,新,新的要,求,求。若,忽,忽视这,个,个问题,则意味,着,着在坏数据上,做,做决策,其风险,可,可想而,知,知。保,证,证质量,的,的第一,步,步是建,立,立支持,商,商业目,标,标的数,据,据质量,期,期望标,准,准,以及达,不,不到该,标,标准所,需,需冒风,险,险的大,小,小。下,面,面是一,组,组衡量,数,数据质,量,量的公,共,共参数,包,括准确,性,性、完,整,整性、,一,一致性,、,、相关,性,性、时,间,间性、,唯,唯一性,、,、有效,性,性。在,评,评价体,系,系,确定以,后,后，问,题,题往往,变,变为是,否,否把有,质,质量问,题,题的数,据,据放进,数,数据仓,库,库中。,这,这一般,由,由,应用本,身,身决定,。,。对甲,用,用户有,用,用的数,据,据未必,对,对乙用,户,户也有,用,用。因,此,此元数,据,据必须,提,提,供一个,机,机制,即针对,特,特定应,用,用并根,据,据用户,确,确立的,数,数据容,忍,忍程度,来,来提醒,用,用户是,否,否采,用该数,据,据进行,决,决策。,数据质,量,量的元,数,数据要,定,定义的,内,内容有,以,以下几,点,点：,目标质,量,量特征,：,：是针,对,对DSS应用的,某,某一数,据,据域质,量,量评价,的,的期望,尺,尺,度,其基本,属,属性是,目,目标特,征,征值。,实际质,量,量特征,：,：是针,对,对DSS应用的,某,某一数,据,据域质,量,量评价,的,的实际,尺,尺度,其基本,属,属性是,实,实际特,征,征值。,用户描,述,述的VV&C：针对DSS应用需,求,求,从VV&C(验证、,有,有效、,证,证实),对数据,质,质量进,行,行衡量,。,。,用户功,能,能：周,期,期地检,查,查针对,某,某一应,用,用的数,据,据是否,满,满足VV&C或目标,质,质,量的要,求,求。,另外,这组元,数,数据也,应,应从结,构,构上提,供,供记录,一,一级的,管,管理,用以保,证,证数据,质,质,量,消除因,不,不适当,使,使用数,据,据所带,来,来的不,一,一致。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,对,对数据,仓,仓库功,能,能的支,持,持,(五)衡量数,据,据质量,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,分,分类,技术元,数,数据,业务元,数,数据,技术元,数,数据是,存,存储关,于,于数据,仓,仓库系,统,统技术,细,细节的,数,数据，,是,是用,于开发,和,和治理,数,数据仓,库,库使用,的,的数据,。,。描述,和,和设计,如,如何访,问,问和处,理,理,数据，,包,包括查,询,询、汇,总,总、递,交,交等。,它,它主要,包,包括以,下,下信息,：,：,1数据仓,库,库结构,的,的描述,，,，包括,仓,仓库模,式,式、视,图,图、维,、,、层次,结,结,构和导,出,出数据,的,的定义,，,，以及,数,数据集,市,市的位,置,置和内,容,容；,2业务系,统,统、数,据,据仓库,和,和数据,集,集市的,体,体系结,构,构和模,式,式；,3汇总用,的,的算法,，,，包括,度,度量和,维,维定义,算,算法，,数,数据粒,度,度、主,题,题领,域、聚,集,集、汇,总,总、预,定,定义的,查,查询与,报,报告；,4由操作,环,环境到,数,数据仓,库,库环境,的,的映射,，,，包括,源,源数据,和,和它们,的,的内,容、数,据,据分割,、,、数据,提,提取、,清,清理、,转,转换规,则,则和数,据,据刷新,规,规则、,安,安全,（用户,授,授权和,存,存取控,制,制）。,第,2,章 数据仓库,技术元,数,数据,数据仓,库,库元数,据,据管理,技术元,数,数据示,例,例：,用户报,表,表和查,询,询访问,模,模式、,频,频率和,执,执行时,间,间；,审计控,制,制和负,载,载平衡,信,信息；,数据的,技,技术结,构,构；,提供给DSS的记录,系,系统；,源数据,字,字段标,识,识；,从操作,型,型记录,系,系统到DSS的映射,与,与转换,；,；,编码/引用表,转,转换；,物理和,逻,逻辑数,据,据模型,；,；,DSS表名、,键,键和索,引,引；域,值,值；DSS表结构,和,和属性,；,；,数据模,型,型和DSS之间的,关,关系；,操作型,系,系统的,表,表结构,和,和属性,；,；,抽取历,史,史；,DSS表访问,模,模式；DSS归档；,工,工作相,关,关性；,程序名,和,和描述,；,；版本,维,维护；,安,安全性,；,；清洗,规,规则等,。,。,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,业务元,数,数据从,业,业务角,度,度描述,了,了数据,仓,仓库中,的,的数据,，,，它提,供,供了,介于使,用,用者和,实,实际系,统,统之间,的,的语义,层,层，使,得,得不懂,计,计算机,技,技术的,业,业,务人员,也,也能够,“,“读懂,”,”数据,仓,仓库中,的,的数据,。,。,业务元,数,数据为DSS分析人,员,员提供,了,了访问DSS底层的,数,数据仓,库,库和,数据集,市,市中信,息,息的线,路,路图。,第,2,章 数据仓库,业务元,数,数据,数据仓,库,库元数,据,据管理,业务元,数,数据主,要,要包括,以,以下信,息,息：使,用,用者的,业,业务术,语,语所表,达,达的数,据,据模型,、,、对象,名,名和属,性,性名；,访,访问数,据,据的原,则,则和数,据,据的来,源,源；系,统,统所提,供,供的分,析,析方法,以,以及公,式,式和报,表,表的信,息,息；具,体,体包括,以,以下信,息,息：,1企业概,念,念模型,：,：这是,业,业务元,数,数据所,应,应提供,的,的重要,的,的信息,，,，它表,示,示企业,数,数据模,型,型的高,层,层信息,、,、整个,企,企业的,业,业务概,念,念和相,互,互关系,。,。以这,个,个企业,模,模型为,基,基础，,不,不懂数,据,据库技,术,术和SQL语句的,业,业务人,员,员对数,据,据仓库,中,中的数,据,据也能,做,做到心,中,中有数,。,。,2多维数,据,据模型,：,：这是,企,企业概,念,念模型,的,的重要,组,组成部,分,分，它,告,告诉业,务,务分析,人,人员在,数,数据集,市,市当中,有,有哪些,维,维、维,的,的类别,、,、数据,立,立方体,以,以及数,据,据集市,中,中的聚,合,合规则,。,。这里,的,的数据,立,立方体,表,表示某,主,主题领,域,域业务,事,事实表,和,和维表,的,的多维,组,组织形,式,式。,3业务概,念,念模型,和,和物理,数,数据之,间,间的依,靠,靠：以,上,上提到,的,的业务,元,元数据,只,只是表,示,示出了,数,数据的,业,业务视,图,图，这,些,些业务,视,视图与,实,实际的,数,数据仓,库,库或数,据,据库、,多,多维数,据,据库中,的,的表、,字,字段、,维,维、层,次,次等之,间,间的对,应,应关系,也,也应该,在,在元数,据,据知识,库,库中有,所,所体现,。,。,第,2,章 数据仓库,业务元,数,数据,数据仓,库,库元数,据,据管理,业务数,据,据示例,：,：,业务分,析,析员了,解,解的数,据,据结构,（,（与技,术,术用户,比,比较，,产,产品体,系,系对,于业务,用,用户的,意,意义有,所,所不同,）,）；,DSS中信息,的,的常见,访,访问例,程,程；,主题领,域,域（例,如,如产品,、,、客户,、,、销售,等,等）；,表名的,业,业务定,义,义；,属性名,和,和业务,术,术语的,定,定义；,数据质,量,量的统,计,计信息,；,；,DSS字段映,射,射、转,换,换和概,要,要；,下钻、,上,上钻、,钻,钻过和,钻,钻透的,规,规则；,域值；,数据负,责,责人；,数据位,置,置；,DSS刷新日,期,期等。,第,2,章 数据仓库,业务元,数,数据,数据仓,库,库元数,据,据管理,元数据,源,源,元数据,存,存储,元数据,用,用户,ETL工具/处理过,程,程,数据建,模,模工具,业务人,员,员/文档,生产系,统,统应用,数据质,量,量工具,其他元,数,数据源,报表和OLAP工具,版本控,制,制/权限管,理,理,数据仓,库,库元数,据,据,技术元,数,数据,业务元,数,数据,操作元,数,数据,业务用,户,户,管理员,开发人,员,员,第,2,章 数据仓库,关于元,数,数据,数据仓,库,库元数,据,据管理,第,2,章 数据仓库,数据仓,库,库元数,据,据管理,元数据,主,主要工,具,具,常见的元数据位置,元数据类型,常见工具,ETL,数据转换规则,Ardent Datastage,程序任务间的相关性,Sagent Solution,DSS,负载平衡统计及加载统计,Informatic Powermart,SAS Institute,数据谱系（,Data Lineage,）,数据建模工具,逻辑和物理数据模型,Or
展开阅读全文