第3章数据仓库系统的设计与开发课件

第第3章章 数据仓库数据仓库系统的设计与开发系统的设计与开发 通过对数据仓库的概念、体系结构与存储结构、ETL过程等内容了解以后，如何建立数据仓库系统呢？7/12/20247/12/20241数据仓库与数据挖掘数据仓库与数据挖掘3.1 数据仓库系统的设计与开发概述数据仓库系统的设计与开发概述 l建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 l数据仓库系统的生命周期数据仓库系统的生命周期 l创建数据仓库系统的两种思维模式创建数据仓库系统的两种思维模式 l数据仓库数据库的设计步骤数据仓库数据库的设计步骤 7/12/20247/12/20242数据仓库与数据挖掘数据仓库与数据挖掘建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤 数数据据仓仓库库系系统统的的建建立立是是一一个个复复杂杂而而漫漫长长的过程。涉及到：的过程。涉及到：l源数据库系统源数据库系统l数据仓库对应的数据库系统数据仓库对应的数据库系统l数据分析与报表工具数据分析与报表工具l7/12/20247/12/20243数据仓库与数据挖掘数据仓库与数据挖掘建立一个数据仓库系统的参考步骤建立一个数据仓库系统的参考步骤l收集和分析业务需求步骤收集和分析业务需求步骤 l建立数据模型和数据仓库的物理设计建立数据模型和数据仓库的物理设计 l定义数据源定义数据源 l选择数据仓库技术和平台选择数据仓库技术和平台 l从从操操作作型型数数据据库库中中抽抽取取、清清洗洗及及转转换换数数据据到到数数据仓库据仓库 l选选择择访访问问和和报报表表工工具具，选选择择数数据据库库连连接接软软件件，选择数据分析和数据展示软件选择数据分析和数据展示软件 l更新数据仓库更新数据仓库 7/12/20247/12/20244数据仓库与数据挖掘数据仓库与数据挖掘数据仓库系统的生命开发周期数据仓库系统的生命开发周期 l数数据据仓仓库库系系统统的的开开发发与与设设计计是是一一个个动动态态的的反反馈馈和循环过程。和循环过程。l一个数据仓库系统包括：一个数据仓库系统包括：数据仓库数据库数据仓库数据库数据分析应用系统数据分析应用系统7/12/20247/12/20245数据仓库与数据挖掘数据仓库与数据挖掘数据仓库系统的生命开发周期数据仓库系统的生命开发周期 7/12/20247/12/20246数据仓库与数据挖掘数据仓库与数据挖掘建立数据仓库系统的两种思维模式建立数据仓库系统的两种思维模式 l自顶向下（自顶向下（Top-downTop-down）将数据通过将数据通过ETLETL汇集到数据仓库中，然后再把汇集到数据仓库中，然后再把数据通过复制的方式存入各个数据集市中。数据通过复制的方式存入各个数据集市中。l自底向上（自底向上（Bottom-UpBottom-Up）通过通过ETL将数据汇集到数据集市中，再将数据汇集到数据集市中，再将数据汇集到数据仓库中。将数据汇集到数据仓库中。7/12/20247/12/20247数据仓库与数据挖掘数据仓库与数据挖掘数据仓库数据库的设计步骤数据仓库数据库的设计步骤 7/12/20247/12/20248数据仓库与数据挖掘数据仓库与数据挖掘3.2 基于基于SQL Server的数据仓库数的数据仓库数据库设计过程详解据库设计过程详解 lSQL Server 2005介绍介绍集成了三个服务。集成了三个服务。lSQL Server 2005的数据仓库架构的数据仓库架构7/12/20247/12/20249数据仓库与数据挖掘数据仓库与数据挖掘MS SQL Server 2005MS SQL Server 2005的数据仓库架构的数据仓库架构 7/12/20247/12/202410数据仓库与数据挖掘数据仓库与数据挖掘3.2 基于基于SQL Server的数据仓库数的数据仓库数据库设计过程详解据库设计过程详解 包括以下步骤：包括以下步骤：l分析组织的业务状况及数据源结构分析组织的业务状况及数据源结构 l组织需求调研，收集业务需求组织需求调研，收集业务需求 l采采用用信信息息包包图图法法进进行行数数据据仓仓库库的的概概念念模模型型设计设计 l利用星形图进行数据仓库的逻辑模型设计利用星形图进行数据仓库的逻辑模型设计 l数据仓库的物理模型设计数据仓库的物理模型设计 7/12/20247/12/202411数据仓库与数据挖掘数据仓库与数据挖掘分析组织的业务状况及数据源结构分析组织的业务状况及数据源结构以以 SQL SQL Server Server 20052005实实 例例 数数 据据 库库Adventure Adventure Works Works DWDW中中所所描描述述Adventure Adventure Works CyclesWorks Cycles公司的用户需求为例。公司的用户需求为例。公司概况公司概况业务系统流程介绍业务系统流程介绍 对数据源结构的分析与理解对数据源结构的分析与理解7/12/20247/12/202412数据仓库与数据挖掘数据仓库与数据挖掘组织需求调研，收集业务需求组织需求调研，收集业务需求坚坚持持数数据据驱驱动动+用用户户（需需求求）驱驱动动的的设设计计理理体体念念，因因此此需需要要充充分分了了解解用用户户的的需需求求，进而对需求进行分析。进而对需求进行分析。l关于用户需求的调研（确定主题域）关于用户需求的调研（确定主题域）l对对用用户户需需求求调调研研结结果果的的分分析析（确确定定度度量量指标和维度）指标和维度）7/12/20247/12/202413数据仓库与数据挖掘数据仓库与数据挖掘物理模型物理模型 星型、雪花模型星型、雪花模型 物理数据模型物理数据模型概念模型概念模型逻辑模型逻辑模型面向用户的需求面向用户的需求细细 化化层层次次更详细的更详细的技术细节技术细节信息包图信息包图采用信息包图法进行概念模型设计采用信息包图法进行概念模型设计 7/12/20247/12/202414数据仓库与数据挖掘数据仓库与数据挖掘信信信信息息息息包包包包图图图图：是是是是数数数数据据据据仓仓仓仓库库库库的的的的数数数数据据据据模模模模型型型型的的的的第第第第一一一一层层层层或或或或最最最最高高高高层层层层。由由由由于于于于大大大大多多多多数数数数商商商商务务务务数数数数据据据据是是是是多多多多维维维维的的的的，但但但但传传传传统统统统的的的的数数数数据据据据模模模模型型型型表表表表示示示示三三三三维维维维以以以以上上上上的的的的数数数数据据据据有有有有一一一一定定定定困困困困难难难难。而而而而信信信信息息息息包包包包图图图图简简简简化化化化了了了了这这这这一一一一过过过过程程程程并并并并且且且且允允允允许许许许用用用用户户户户设设设设计计计计多多多多维维维维信信信信息息息息包包包包并并并并与与与与开开开开发发发发者者者者和和和和其其其其他他他他用用用用户户户户建建建建立立立立联联联联系系系系。这这这这种种种种模模模模型型型型集集集集中中中中在在在在用用用用户户户户对对对对信信信信息息息息包包包包的的的的需需需需要要要要，信信信信息息息息包包包包提提提提供供供供了了了了分分分分析析析析人人人人员员员员思思思思维维维维模模模模式式式式的的的的可视化表示。可视化表示。可视化表示。可视化表示。l信息包图法简介信息包图法简介 7/12/20247/12/202415数据仓库与数据挖掘数据仓库与数据挖掘工作：工作：确定系统边界：决策类型、需要的信息、原确定系统边界：决策类型、需要的信息、原确定系统边界：决策类型、需要的信息、原确定系统边界：决策类型、需要的信息、原始信息始信息始信息始信息确定主题域及其内容：主题域的公共键码、确定主题域及其内容：主题域的公共键码、确定主题域及其内容：主题域的公共键码、确定主题域及其内容：主题域的公共键码、联系、属性组联系、属性组联系、属性组联系、属性组确定维度：如时间维、销售位置维、产品维、确定维度：如时间维、销售位置维、产品维、确定维度：如时间维、销售位置维、产品维、确定维度：如时间维、销售位置维、产品维、组别维等组别维等组别维等组别维等确定类别：相应维的详细类别确定类别：相应维的详细类别确定类别：相应维的详细类别确定类别：相应维的详细类别确定指标和事实：用于进行分析的数值化信确定指标和事实：用于进行分析的数值化信确定指标和事实：用于进行分析的数值化信确定指标和事实：用于进行分析的数值化信息息息息7/12/20247/12/202416数据仓库与数据挖掘数据仓库与数据挖掘l信息包图的建立信息包图的建立 信息包：信息包：信息包：信息包：维度维度维度维度类别类别类别类别 空白信息包图样式空白信息包图样式空白信息包图样式空白信息包图样式指标和事实7/12/20247/12/202417数据仓库与数据挖掘数据仓库与数据挖掘例试画出销售分析的信息包图。例试画出销售分析的信息包图。例试画出销售分析的信息包图。例试画出销售分析的信息包图。解：首先根据销售分析的实际需求，确定信息包的解：首先根据销售分析的实际需求，确定信息包的解：首先根据销售分析的实际需求，确定信息包的解：首先根据销售分析的实际需求，确定信息包的维度、类别和指标与事实：维度、类别和指标与事实：维度、类别和指标与事实：维度、类别和指标与事实：（1 1 1 1）维度：包括日期维、区域维、产品维、客户维、）维度：包括日期维、区域维、产品维、客户维、）维度：包括日期维、区域维、产品维、客户维、）维度：包括日期维、区域维、产品维、客户维、广告维（待用）等。广告维（待用）等。广告维（待用）等。广告维（待用）等。（2 2 2 2）类别：确定各维的详细类别，如：日期维包括）类别：确定各维的详细类别，如：日期维包括）类别：确定各维的详细类别，如：日期维包括）类别：确定各维的详细类别，如：日期维包括年（年（年（年（5 5 5 5）、季度（）、季度（）、季度（）、季度（20202020）、月（）、月（）、月（）、月（60606060）、日（）、日（）、日（）、日（1800180018001800），），），），括号中的数字分别指出各类别的数量；区域维包括括号中的数字分别指出各类别的数量；区域维包括括号中的数字分别指出各类别的数量；区域维包括括号中的数字分别指出各类别的数量；区域维包括国家（国家（国家（国家（10101010）、省州（）、省州（）、省州（）、省州（100100100100）、城市（）、城市（）、城市（）、城市（500500500500）、销售点）、销售点）、销售点）、销售点（8000800080008000），括号中的数字同样分别指出各类别的数），括号中的数字同样分别指出各类别的数），括号中的数字同样分别指出各类别的数），括号中的数字同样分别指出各类别的数量；类似地，可以确定产品维、客户维、广告维等量；类似地，可以确定产品维、客户维、广告维等量；类似地，可以确定产品维、客户维、广告维等量；类似地，可以确定产品维、客户维、广告维等的详细类别。的详细类别。的详细类别。的详细类别。（3 3 3 3）指标和事实：确定用于进行分析的数值化信息，）指标和事实：确定用于进行分析的数值化信息，）指标和事实：确定用于进行分析的数值化信息，）指标和事实：确定用于进行分析的数值化信息，包括实际销售额、计划销售额和计划完成率。包括实际销售额、计划销售额和计划完成率。包括实际销售额、计划销售额和计划完成率。包括实际销售额、计划销售额和计划完成率。7/12/20247/12/202418数据仓库与数据挖掘数据仓库与数据挖掘销售分析的信息包图销售分析的信息包图日期维区域维产品维客户维广告维（待用）年度年度(5)国家国家(10)产品类别产品类别(500)年龄分组年龄分组(7)广告费分组广告费分组(2)季度季度(20)省州省州(100)产品名称产品名称(9000)收入分组收入分组（8）月月(60)城市城市(500)信用组（信用组（2）日日（1800）销售点销售点(8000)指标和事实:实际销售额、计划销售额、计划完成率信息包：信息包：销售分析销售分析维度维度类别类别7/12/20247/12/202419数据仓库与数据挖掘数据仓库与数据挖掘l设计基于主题域的概念模型设计基于主题域的概念模型 供应商ID相关信息有关信息商品信息供应商供应商主题供应商主题顾客顾客ID顾客主题顾客主题商品商品ID商品主题商品主题7/12/20247/12/202420数据仓库与数据挖掘数据仓库与数据挖掘利用星形图进行数据仓库的逻辑模利用星形图进行数据仓库的逻辑模型设计型设计 l根据分析需求与信息包图制作星形图根据分析需求与信息包图制作星形图 销售分析客户广告区域时间产品7/12/20247/12/202421数据仓库与数据挖掘数据仓库与数据挖掘l根据分析需求与信息包图制作雪花图根据分析需求与信息包图制作雪花图 销售分析客户广告区域时间产品产品类别雪花模型对星型模型的维度表进一步标准化，对星型雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。模型中的维度表进行了规范化处理。7/12/20247/12/202422数据仓库与数据挖掘数据仓库与数据挖掘l确定主题的属性组确定主题的属性组 主题名 公共键码属性组商品商品商品号商品号基本信息：商品号、商品名、类型和颜色等基本信息：商品号、商品名、类型和颜色等采购信息：商品号、供应商号、供应价、供应日期采购信息：商品号、供应商号、供应价、供应日期和供应量等和供应量等库存信息：商品号、库房号、库存量和日期等库存信息：商品号、库房号、库存量和日期等销售销售销售单号销售单号基本信息：销售单号、销售地址等基本信息：销售单号、销售地址等销售信息：客户号、商品号、销售价、销售量和销销售信息：客户号、商品号、销售价、销售量和销售时间等售时间等客户客户客户号客户号7/12/20247/12/202423数据仓库与数据挖掘数据仓库与数据挖掘l事实表及其特征事实表及其特征度量是客户发生事件或动作的事实记录，如客度量是客户发生事件或动作的事实记录，如客户打电话，可能选择的度量有通话时长、通话次数户打电话，可能选择的度量有通话时长、通话次数和通话费用等。客户购买商品，可能选择的度量有和通话费用等。客户购买商品，可能选择的度量有购买的次数、购买商品的金额和购买商品的数量等。购买的次数、购买商品的金额和购买商品的数量等。事实表则是在星型模型或雪花模型中用来记录事实表则是在星型模型或雪花模型中用来记录业务事实，并作相应指标统计的表。业务事实，并作相应指标统计的表。事实表的特征有：事实表的特征有：记录数量情况记录数量情况维度表情况维度表情况7/12/20247/12/202424数据仓库与数据挖掘数据仓库与数据挖掘l事实表的类型与设计事实表的类型与设计 事实是一种度量，所以事实表中的这种指标往往事实是一种度量，所以事实表中的这种指标往往需要具有数值化和可加性的特征。即：需要具有数值化和可加性的特征。即：要考虑决策分析的需要（必要的数据）要考虑决策分析的需要（必要的数据）要考虑系统运行的需要（派生的数据）要考虑系统运行的需要（派生的数据）7/12/20247/12/202425数据仓库与数据挖掘数据仓库与数据挖掘l粒度的选择与设计步骤粒度的选择与设计步骤 根据需求和系统运行情况确定粒度：根据需求和系统运行情况确定粒度：粒度的不同选择导致逻辑模型的差异粒度的不同选择导致逻辑模型的差异粒度的不同选择导致数据存储容量的差异粒度的不同选择导致数据存储容量的差异粒度的设计步骤：粒度的设计步骤：粗略估计数据量粗略估计数据量确定粒度的级别确定粒度的级别粒度设计实例：粒度设计实例：7/12/20247/12/202426数据仓库与数据挖掘数据仓库与数据挖掘l关于数据仓库的聚合模型关于数据仓库的聚合模型l数据的分割处理数据的分割处理 l星形图中的维度表简介星形图中的维度表简介 l常用维度的设计模式常用维度的设计模式 7/12/20247/12/202427数据仓库与数据挖掘数据仓库与数据挖掘l事实表及其特征事实表及其特征l事实表的类型与设计事实表的类型与设计 l粒度的选择与设计步骤粒度的选择与设计步骤 l关于数据仓库的聚合模型与数据的分割处关于数据仓库的聚合模型与数据的分割处理理 l星形图中的维度表简介星形图中的维度表简介 l常用维度的设计模式常用维度的设计模式 7/12/20247/12/202428数据仓库与数据挖掘数据仓库与数据挖掘数据仓库的物理模型设计数据仓库的物理模型设计 l物理模型设计的主要工作物理模型设计的主要工作l物理存储结构设计的原则物理存储结构设计的原则 l数据仓库索引设计的特殊性数据仓库索引设计的特殊性 l存储优化与存储策略存储优化与存储策略 7/12/20247/12/202429数据仓库与数据挖掘数据仓库与数据挖掘3.3 使用使用SQL Server 2005建立多建立多维数据模型维数据模型 lSQL Server 2005示例数据仓库环境示例数据仓库环境的配置与使用的配置与使用 l基于基于SQL Server 2005示例数据库的示例数据库的多维数据模型的建立与应用多维数据模型的建立与应用。7/12/20247/12/202430数据仓库与数据挖掘数据仓库与数据挖掘 3.3 使用使用SQL Server 2005建立多建立多维数据模型维数据模型l在在SQL Server 2005数据库环境中安数据库环境中安装数据仓库组件、示例和工具装数据仓库组件、示例和工具 l利用示例数据仓库利用示例数据仓库（AdventureWorks DW）环境及帮）环境及帮助系统学习助系统学习 7/12/20247/12/202431数据仓库与数据挖掘数据仓库与数据挖掘 结束语当你尽了自己的最大努力时，失败也是伟大的，所以不要放弃，坚持就是正确的。When You Do Your Best,Failure Is Great,So DonT Give Up,Stick To The End谢谢大家荣幸这一路，与你同行ItS An Honor To Walk With You All The Way演讲人：XXXXXX 时 间：XX年XX月XX日