资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,*,交通管理数据仓库及辅助决策系统,数据仓库建设汇报,提纲,建设思路,数据存储,抽取思路,仓库设计,建设思路,采用自上而下的建设思路。即先从数据集市入手,就某一个特定的主题先做数据集市,再建设数据仓库。,数据存储-ODS,各业务数据,根据数据分析,有选择性的通过,ETL,进入,ODS,数据存储-DW,ODS,中的数据,根据数据集市设计,通过,ETL,进入,DW,抽取思路-策略,抽取策略:全量抽取和增量抽取,全量抽取可以采用完全抽取的方式,将需要的数据经过必要的转换全部抽取出来,增量抽取是将自上次抽取后,发生变化的数据,(,新增、修改,),经过必要的转换抽取出来。,抽取思路-基本方案,基本方案,事实表抽取转换,首次抽取实行全量抽取,然后一定周期内实行增量抽取,而增量抽取时,;,执行了一定周期的增量抽取后,原则上需要重新全量抽取一次,再执行增量抽取。,无变化维表转换,如果属性值发生了变化,抽取时采用更新的方式同步变化内容,。,缓慢变化维表转换,1,、覆盖(在维表中只保留最后状态的数据),2,、全历史记录(在维表中保留所有的历史记录,),仓库设计,采用星型架构的维度建模法,仓库设计,事实表,按照每个业务数据需要,存储主要的维度信息和度量信息,以及一些需要的描述信息。,目前由于没有确定的需求,事实表是根据通用性来设计,即分析数据的所有可分析角度和可分析指标,全部存储到事实表中,分析时根据需要建立集市。,事实表里,主键采用,NUMBER,型,维度表的代理键也全部采用,NUMBER,型。主要是为了数据存储时节省空间,也为了在事实表与维度表关联时加快速度。,仓库设计,维度表,维度表为事实的各个分析角度,主键,使用,number,型,作为事实表的引用外键。,每个维度表的字段数可以适量的多,但是记录数尽可能的少。,仓库设计,度量,每个事实的统计分析角度,通过一定的计算得到的分析数值,
展开阅读全文