数据仓库培训案例

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,#,数据仓库,（三）,数据仓,库,库设计,大,大致有,如,如下几,个,个步骤：,2.6,数,数,据,据仓库,的,的设计,明确主,题,题,概念设,计,计,技术准,备,备,逻辑设,计,计,物理设,计,计,数据仓,库,库生成,数据仓,库,库的运,行,行与维,护,护,针对每,一,一个选,定,定的当,前,前实施,的,的主题,概念模,型,型设计,逻辑模,型,型设计,物理模,型,型设计,数据仓,库,库生成,数据仓,库,库运行,与,与维护,2.6,数,数,据,据仓库,的,的设计,2.6,数,数,据,据仓库,的,的设计,确定系,统,统边界,要做的,决,决策类,型,型有哪,些,些？,决策者,感,感兴趣,的,的是什,么,么问题,？,？,这些问,题,题需要,什,什么样,的,的信息,？,？,要得到,这,这些信,息,息需要,包,包含哪,些,些数据,源,源？,概念模,型,型设计,确定系,统,统边界,确定主,要,要的主,题,题及其,内,内容,OLAP设计,2.6,数,数,据,据仓库,的,的设计,确定主,要,要的主,题,题,即明确,数,数据仓,库,库的分,析,析对象,，,，然后,对,对每个,主,主题的,内,内容进,行,行较详,细,细的描,述,述，包,括,括：,确定主,题,题及其,属,属性信,息,息,描述每,个,个属性,的,的取值,情,情况,固定不,变,变的,半固定,的,的,经常变,化,化的,确定主,题,题的公,共,共码键,主题间,的,的关系,：,：主题,间,间联系,及,及其属,性,性,在确定,上,上述内,容,容后，,就,就可以,用,用传统,的,的实体,联,联系模,型,型（E,-,-R模,型,型）来,表,表示数,据,据仓库,的,的概念,数,数据模,型,型。例,如,如：,2.6,数,数,据,据仓库,的,的设计,主题名,公共码键,属性信息,商品,商品号,固有信息：商品号，商品名，类别，颜色等,采购信息：商品号，供应商号，供应价，供应日期，供应量等,销售信息：商品号，顾客号，售价，销售日期，销售量等,库存信息：商品号，库房号，库存量，日期等,供应商,供应商号,固有信息：供应商号，供应商名，地址，电话，供应商类型等,供应商品信息：供应商号，商品号，供应价，供应日期，供应量等,顾客,顾客号,固有信息：顾客号，姓名，性别，年龄，文化程度，住址，电话等,购物信息：顾客号，商品号，售价，购买日期，购买量等,2.6,数,数,据,据仓库,的,的设计,供应商,固,固有信,息,息,供应商,供应商,品,品信息,日期,供应商,号,号,顾客固,有,有信息,顾客号,顾客,日期,顾客购,物,物信息,商品采,购,购信息,商品销,售,售信息,商品,商品号,日期,商品固,有,有信息,商品库,存,存信息,商品、,顾,顾客和,供,供应商,之,之间的E-R,图,图,2.6,数,数,据,据仓库,的,的设计,逻辑模,型,型设计,将ER图转,换,换成关,系,系数据,库,库的二,维,维表,定义数,据,据源和,数,数据抽,取,取规则,在逻辑,模,模型的,设,设计过,程,程中，,需,需要考,虑,虑以下,一,一些问,题,题：,适当的,粒,粒度划,分,分,合理的,数,数据分,割,割策略,定义合,适,适的数,据,据来源,等,等,2.6,数,数,据,据仓库,的,的设计,逻辑模,型,型设计 粒,度,度划分,在设计,过,过程中,需,需要考,虑,虑数据,仓,仓库中,数,数据粒,度,度的划,分,分原则,，,，即数,据,据单元,的,的详细,程,程度和,级,级别。,数据越,详,详细，,粒,粒度越,小,小，级,别,别就越,低,低,数据综,合,合度越,高,高，粒,度,度越大,，,，级别,就,就越高,。,。,一般将,数,数据划,分,分为：详细数,据,据、轻,度,度总结,、,、高度,总,总结三种粒,度,度，或,者,者采用,更,更多级,的,的粒度,划,划分方,法,法。例,如,如：,根据时,间,间跨度,进,进行的,统,统计有,：,：天，,周,周，月,，,，季度,，,，年,对于不,适,适合进,行,行统计,的,的属性,值,值，可,以,以采样,获,获取数,据,据,粒度的,划,划分将,直,直接影,响,响到数,据,据仓库,中,中的数,据,据量以,及,及所适,合,合的查,询,询类型,，,，粒度,划,划分是,否,否适当,是,是影响,数,数据仓,库,库性能,的,的一个,重,重要方,面,面。,2.6,数,数,据,据仓库,的,的设计,商品固,有,有信息,：,：,商品表,（,（商品,号,号，商,品,品名，,类,类型，,颜,颜色，,）/*,细,细节数,据,据*,/,/,商品采,购,购信息,：,：,采购表1（商,品,品号，,供,供应商,号,号，供,应,应日期,，,，供应,价,价，,）,）/*,细,细节数,据,据*,/,/,采购表2（商,品,品号，,时,时间段1，采,购,购总量,，,，）/*,综,综合数,据,据*,/,/,采购表n（商,品,品号，,时,时间段n，采,购,购总量,，,，）,商品销,售,售信息,：,：,销售表1（商,品,品号，,顾,顾客号,，,，销售,日,日期，,售,售价，,销,销售量,，,，）/*,细,细节数,据,据*,/,/,销售表2（商,品,品号，,时,时间段1，销,售,售总量,，,，）/*,综,综合数,据,据*,/,/,销售表n（商,品,品号，,时,时间段n，销,售,售总量,，,，）,商品库,存,存信息,：,：,库存表1（商,品,品号，,库,库房号,，,，库存,量,量，日,期,期，,）,）/*,细,细节数,据,据*,/,/,库存表2（商,品,品号，,库,库房号,，,，库存,量,量，星,期,期，,）,）/*,样,样本数,据,据*,/,/,库存表n（商,品,品号，,库,库房号,，,，库存,量,量，年,份,份，,）,）,其它导,出,出数据,：,：,2.6,数,数,据,据仓库,的,的设计,逻辑模,型,型设计 数,据,据分割,数据的,分,分割是,指,指把逻,辑,辑上是,统,统一整,体,体的数,据,据分割,成,成较小,的,的、可,以,以独立,管,管理的,数,数据单,元,元进行,存,存储（,关,关系）,，,，以便,于,于重构,、,、重组,和,和恢复,，,，以提,高,高创建,索,索引和,顺,顺序扫,描,描的效,率,率。,选择数,据,据分割,的,的因素,有,有：,数据量,的,的大小,数据分,析,析处理,的,的对象,（,（主题,）,）,简单易,行,行的数,据,据分割,标,标准,数据粒,度,度的划,分,分策略,通常采,用,用时,间,间属,性,性作为,数,数据分,割,割的依,据,据,数据分,割,割技术,类,类似于,数,数据库,中,中的数,据,据分片,技,技术，,其,其目的,是,是为了,提,提高数,据,据仓库,的,的性能,。,。,2.6,数,数,据,据仓库,的,的设计,逻辑模,型,型设计 定,义,义数据,来,来源及,其,其抽取,规,规则,定义数,据,据仓库,中,中数据,的,的来源,，,，以及,数,数据的,抽,抽取规,则,则，例,如,如：,主题名,属性名,数据源系统,源表名,源属性名,商品,商品号,库存子系统,商品,商品号,商品,商品名,库存子系统,商品,商品名,商品,类别,采购子系统,商品,类别,2.6,数,数,据,据仓库,的,的设计,物理模,型,型设计,在逻辑,模,模型设,计,计基础,上,上确定,数,数据的,存,存储结,构,构、确,定,定索引,策,策略、,确,确定存,储,储分配,及,及数据,存,存放位,置,置等与,物,物理有,关,关的内,容,容，物,理,理模型,设,设计的,具,具体方,法,法与数,据,据库设,计,计中的,大,大致相,似,似。其,目,目的是,为,为了提,高,高数据,仓,仓库系,统,统的访,问,问性能,。,。常用,的,的一些,技,技术有,：,：,合并表,建立数,据,据序列,引入冗,余,余,表的物,理,理分割,生成导,出,出数据,建立广,义,义索引,2.6,数,数,据,据仓库,的,的设计,在常见,的,的一些,分,分析处,理,理操作,中,中，可,能,能需要,执,执行多,表,表连接,操,操作。,为,为了节,省,省I/O开销,，,，可以,把,把这些,表,表中的,记,记录混,合,合存放,在,在一起,，,，以减,低,低表的,连,连接操,作,作的代,价,价。这,样,样的技,术,术我们,称,称为,合,合并表,。,。,合并表,技,技术与,传,传统关,系,系数据,库,库中的,集,集簇(Clustering)技,术,术类似,。,。,物理模,型,型设计,合并表,2.6,数,数,据,据仓库,的,的设计,按照数,据,据的处,理,理顺序,调,调整数,据,据的物,理,理存放,位,位置，,以,以减少,减,减少系,统,统的磁,盘,盘I/O的开,销,销。,物理模,型,型设计,建立数,据,据序列,1,7,5,8,4,6,2,3,page1page2page3page4,2.6,数,数,据,据仓库,的,的设计,物理模,型,型设计,建立数,据,据序列,1,2,3,4,5,6,7,8,page1page2page3page4,调整后,的,的存储,组,组织,2.6,数,数,据,据仓库,的,的设计,在面向,某,某个主,题,题的分,析,析过程,中,中，通,常,常需要,访,访问不,同,同表中,的,的多个,属,属性，,而,而每个,属,属性又,可,可能参,与,与多个,不,不同主,题,题的分,析,析过程,。,。因此,可,可以通,过,过修改,关,关系模,式,式把某,些,些属性,复,复制到,多,多个不,同,同的主,题,题表中,去,去，从,而,而减少,一,一次分,析,析过程,需,需要访,问,问的表,的,的数量,。,。,采用该,种,种数据,组,组织方,法,法回带,来,来大量,的,的数据,冗,冗余存,储,储，数,据,据仓库,系,系统必,须,须保证,这,这些冗,余,余数据,的,的一致,性,性。由,于,于数据,仓,仓库中,的,的数据,是,是稳定,的,的，很,少,少执行,更,更新操,作,作，不,会,会因此,带,带来过,高,高的数,据,据更新,的,的代价,，,，却可,以,以有效,地,地提高,数,数据仓,库,库系统,的,的性能,。,。,物理模,型,型设计,引入冗,余,余,2.6,数,数,据,据仓库,的,的设计,类似于,在,在逻辑,设,设计阶,段,段的数,据,据分割,。,。,可以根,据,据表中,每,每个属,性,性数据,的,的访问,频,频率和,稳,稳定性,程,程度对,表,表的存,储,储结构,进,进行分,割,割。,对于访,问,问频率,较,较高的,属,属性，,可,可以单,独,独考虑,其,其物理,存,存储组,织,织，以,便,便选择,合,合适的,索,索引策,略,略和特,定,定的物,理,理组织,方,方式。,对于需,要,要频繁,更,更新的,属,属性，,也,也可以,单,单独组,织,织其物,理,理存储,，,，以免,因,因数据,更,更新而,带,带来的,空,空间重,组,组、重,构,构等工,作,作。,物理模,型,型设计,表的物,理,理分割,2.6,数,数,据,据仓库,的,的设计,在原始,的,的细节,数,数据的,基,基础上,进,进行一,些,些统计,和,和计算,，,，生成,导,导出数,据,据，并,保,保存在,数,数据仓,库,库中。,采用该,方,方法既,可,可以避,免,免在分,析,析过程,中,中执行,过,过多的,统,统计或,计,计算操,作,作，减,少,少输入,/,/出的,次,次数，,又,又避免,了,了不同,用,用户进,行,行的重,复,复统计,操,操作可,能,能产生,的,的偏差,。,。,物理模,型,型设计,生成导,出,出数据,2.6,数,数,据,据仓库,的,的设计,用于记,录,录数据,仓,仓库中,数,数据于,最,有,有关的,统,统计结,果,果