数据仓库的设计与开发课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第4章数据仓库设计与开发S,第4章数据仓库设计与开发S,1,引例:沃尔玛的数据仓库,沃尔玛利用NCR的 Teradata可对7.5TB的数据进行存储,这些数据主要包括各个商店前端设备(POS、扫描仪)采集,来的原始销售数据和各个商店的库存数。, Teradata数据库里存有196亿条记录,每天要处理并更新,2亿条记录,要对来自6000多个用户的48万条查询语句,进行处理,销售数据、库存数据每天夜间从3000多个商店自动采集,过来,并通过卫星线路传到总部的数据仓库里。,沃尔玛数据仓库里最大的一张表格(Tabe)容量已超过,300GB、存有50亿条记录,可容纳65个星期3000多个商,店的销售数据,而每个商店有5万到8万个商品品种。,利用数据仓库技术,沃尔玛对商品进行市场类组分析,即,分析哪些商品顾客最有希望一起购买。,引例:沃尔玛的数据仓库,2,思考:,沃尔玛的数据仓库是怎样建成的?,思考:,3,教学目标,掌握,数据仓库的设计和开发方法,数据模型的设计,维度设计,粒度设计,数据仓库的开发步骤,教学目标,4,本章内容,41数据仓库的开发过程及特点,1.数据仓库的开发过程,2.数据仓库的开发特点,42数据模型设计,1.概念模型,2.逻辑模型,3.物理模型,4.维度的设计,4.3数据仓库的粒度设计,44创建数据仓库的基本步骤,本章内容,5,1.数据仓库的开发过程,按照生命周期发法可将数据仓库开发的全部过程,分成三个阶段。,(1)数据仓库规划分析阶段,(2)数据仓库设计实施阶段,(3)数据仓库的使用维护阶段,这三个阶段不是简单的循环往复,而是不断完善,提高的过程,般情况下,数据仓库系统都不可能在一个循环过程,完成,而是经过多次循环开发,每次循环都会给系,统增加新的功能,这种循环的工作永远不会终结,数,据仓库也就一直处于一个不断完善、不断提高的循环,过程中。,1.数据仓库的开发过程,6,数据仓库开发的生命周期,规划与,开发概念,开发逻,确定需,模型,辑模型,数据仓,库评价,规划分析阶段,设计体,系结构,数据仓库,数据仓使用维护阶段(开发过程,库维护,数据库元,设计实施阶段(数据设计,数据仓,确定数,库应用,数据装,据抽取,开发,载预测,中间件,数据仓库开发的生命周期,7,数据仓库开发的生命周期,1)DW规划分析阶段,调查、分析DW环境;完成DW的开发规划;,确定DW开发需求。,建立包括实体图、星型模型、雪花模型、,元数据模型及数据源分析的主题域数据模,型,并且根据主题域数据模型开发Dw逻辑,模型。,数据仓库开发的生命周期,8,数据仓库开发的生命周期,2)DW设计实施阶段,根据DW的逻辑模型设计DW体系结构;,为DW中每个目标字段确定其在业务系统或,外部数据源中的数据来源;,开发或购买用于抽取、清洗、转换和聚合,数据等中间件程序;,将数据从数据源加载到DW,并且进行测试,数据仓库开发的生命周期,9,数据仓库开发的生命周期,3)DW使用维护阶段,投入使用,且在使用中改进、维护DW;,对DW进行评价,为下一个循环开发提供依,据,数据仓库开发的生命周期,10,数据仓库的设计与开发课件,11,数据仓库的设计与开发课件,12,数据仓库的设计与开发课件,13,数据仓库的设计与开发课件,14,数据仓库的设计与开发课件,15,数据仓库的设计与开发课件,16,数据仓库的设计与开发课件,17,数据仓库的设计与开发课件,18,数据仓库的设计与开发课件,19,数据仓库的设计与开发课件,20,数据仓库的设计与开发课件,21,数据仓库的设计与开发课件,22,数据仓库的设计与开发课件,23,数据仓库的设计与开发课件,24,数据仓库的设计与开发课件,25,数据仓库的设计与开发课件,26,数据仓库的设计与开发课件,27,数据仓库的设计与开发课件,28,数据仓库的设计与开发课件,29,数据仓库的设计与开发课件,30,数据仓库的设计与开发课件,31,数据仓库的设计与开发课件,32,数据仓库的设计与开发课件,33,数据仓库的设计与开发课件,34,数据仓库的设计与开发课件,35,数据仓库的设计与开发课件,36,数据仓库的设计与开发课件,37,数据仓库的设计与开发课件,38,数据仓库的设计与开发课件,39,数据仓库的设计与开发课件,40,数据仓库的设计与开发课件,41,数据仓库的设计与开发课件,42,数据仓库的设计与开发课件,43,数据仓库的设计与开发课件,44,数据仓库的设计与开发课件,45,数据仓库的设计与开发课件,46,数据仓库的设计与开发课件,47,数据仓库的设计与开发课件,48,数据仓库的设计与开发课件,49,数据仓库的设计与开发课件,50,数据仓库的设计与开发课件,51,数据仓库的设计与开发课件,52,数据仓库的设计与开发课件,53,数据仓库的设计与开发课件,54,