数据仓库第4章35711

,单击此处编辑母板标题样式,单击此处编辑幻灯片母版样式,第二级,第三级,第四级,第五级,*,第 4 章 OLAP 技术,本章学习目标：,(1)通过 OLAP 技术概念介绍了解 OLAP 的发展和特点。,(2)通过多维分析学习掌握多维的基本概念。,(4)通过 OLAP 的实施掌握 OLAP 实施方法。,(5)通过多维 OLAP 与关系 OLAP 的学习掌握多维 OLAP 与关系 OLAP 的概念。,（6）通过 OLAP 技术评价学习掌握对 OLAP 技术的评价。,第 4 章 OLAP 技术,4.1 OLAP 技术概念,4.2 OLAP 与多维分析,4.3 OLAP 的实施,4.4 多维 OLAP 与关系 OLAP,4.5 OLAP 技术评价,练习,4.1 OLAP 技术概念,在线分析处理或联机分析处理(线分析的处理上的 OLAP，)是一个应用广泛的数据仓库使用技术。,两个特点，在线性(On_Line)，多维分析(Multi_Analysis)，,4.1.1 OLAP 的发展,针对特定问题的联机数据查询和分析,对原始数据按照用户的观点进行转换处理,反映用户眼中问题某一真实方面（“维”）,快速、稳定、一致和交互式的存取,允许用户对这些数据按照需要进行深入的观察,4.1.2 OLAP 的特性,1.快速性,系统能在数秒内对用户的多数分析要求做出反应,2.可分析性,用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告,3.多维性,提供对数据分析的多维视图和分析,4.信息性,能及时获得信息，并且管理大容量信息,4.2 OLAP 与多维分析,4.2.1 多维基本概念,维、维的层次、维成员、多维数据集、数据单元、多维数据集的度量值和聚集,1.维,“上卷”,“下钻”,销售地区,西南,华中,华东,四川,云南,河南,湖北,江苏,上海,4.2 OLAP 与多维分析,2.多维数据集,产品,北京,上海 化妆品,江苏 玩具,服装,电器,1 2 3 4 时间（月）,销售数量：10000,服装切片,3.维成员,维的一个取值、,不同维层次取值的组合、维成员描述所关心的主题在维中的位置,数据单元可以表示为：（维1维成员，维2维成员，维3维成员，维4维成员，观察变量值）,4.多维数据集的度量值,多维数据集的核心值,5.聚集,立方体中包括很多层次，这些层次可以向用户提供某一层次的概括数据,通过聚集，形成基于维的有决策分析意义的一些数据交集,4.2.2 多维分析,1.多维的切片,（维 1，维2，维i成员，维n，观察变量）是多维数据集（维1，维2，维i，维n，观察变量）在维i上的一个切片,2.多维的切块,在（维1，维2，维i，维k，维n，观察变量）多维数据集上，对维i，维k，选定了维成员，那（维1，维2，维i成员，维k成员，维n，观察变量）就是多维数据集（维1，维2，维i，维k，维n，观察变量）在维i，维k上的一个切块,4.2.2 多维分析,3.旋转,2002年,2003年,1季度,2季度,3季度,4季度,1季度,2季度,3季度,4季度,北京市,123,56,45,66,134,56,23,55,上海市,134,103,98,87,102,139,97,82,天津市,67,73,59,96,73,69,62,94,4.2.2 多维分析,3.旋转,北京市,上海市,天津市,2002年,1季度,123,134,67,2季度,56,103,73,3季度,45,98,59,4季度,66,87,96,2003年,1季度,134,102,73,2季度,56,139,69,3季度,23,97,62,4季度,55,82,94,4.2.2 多维分析,4.其它OLAP操作,“上卷”（roll_up）、“下钻”（drill_down）、“钻过”（drill_across）和“钻透”（drill_through）等钻取操作。“上卷”是指沿某一个维的概念分层向上归约；“下钻”是上卷的逆向操作，它是沿某一个维的概念分层向下或引入新的维来实现；“钻过”是指对多个事实表进行查询；“钻透”是指对立方体操作时，利用数据库关系，钻透立方体的底层，进入后端的关系表。,OLAP的其它操作还有统计表中最高值和最低值的项数，计算平均值、增长率、利润、投资回报率等统计计算。,4.2.3 维的层次关系,简单层次,复杂层次,全国,江苏,北京,上海,苏州市,扬州市,宝应县,4.2.4 维的类关系,类的划分，只能依据同一层次的维成员集合来划分,维的层次与类组合图,产品维,产品大类,产品用途类,产品销地类,产品产地类,产品小类,4.2.5 OLAP与数据仓库关系,从OLAP使用的效率角度考虑，设计数据仓库时考虑因素。,尽可能使用星型架构，如果采用雪花结构，就要最小化事实表底层维度表以后的维度表数量。,为用户设计包含事实表的维度表。,维度表的设计应该符合通常意义上的范式约束，维度表中不要出现无关的数据。,事实表中不要包含汇总数据，事实表中所包含的用户需要访问的数据应该具有必需的粒度。,对事实表和维度表中的关键字必须创建索引；同一种数据尽可能使用一个事实表。,保证数据的参考完整性，避免事实表中的某些数据行在立方体进行聚集运算时没有参加进来。,4.3 OLAP的实施,业务处理系统 第三层 第二层 第一层,客户端,数据抽取 数据清理,、转换,数据加载 多维化处理,可视化处理,图,4.7,数据仓库与,OLAP,关系图,数据仓库,OLAP服务器,数据准备区,4.4 多维OLAP与关系OLAP,产品名称,销售地区,销售数量,电器,电器,电器,服装,服装,服装,江苏,上海,北京,江苏,上海,北京,940,450,340,830,350,270,4.4.1 多维数据库,江苏,上海,北京,电器,服装,940,830,450,350,340,270,4.4.1 多维数据库,产品名称,销售地区,销售数量,电器,电器,电器,电器,服装,服装,服装,服装,汇总,汇总,汇总,汇总,江苏,上海,北京,汇总,江苏,上海,北京,汇总,江苏,上海,北京,汇总,940,450,340,1730,830,350,270,1450,1770,800,610,3180,江苏,上海,北京,汇总,电器,服装,汇总,940,830,1770,450,350,800,340,270,610,1730,1450,3180,4.4.2 多维数据库的数据存储,维数扩展到三维或更高的维度时，多维数据库MDDB就成了一种“超立方”体的结构,在MDDB中，其数据的存储是由许多类似于数组的对象来完成,对象中包含了经过高度压缩的索引和指针，利用这些索引和指针将许多存储数据的单元块联结在一起,实际组合中往往由于各种原因会导致某些组合没有具体的值，或值是空的或者为零。,产生了多维数据库的稀疏矩阵问题,4.4.3 多维数据库与数据仓库,直接从业务处理系统中抽取数据,问题：,1.增加数据抽取部分的工作量,2.缺乏统一的数据源和结论,3.加大系统的维护工作量,4.缺乏对元数据的有效管理,5.加大OLAP系统的开发投入,4.4.4 MOLAP的创建与功能,1.MOLAP的创建,阶段：,选择功能,确定分析数值,构造分析维,定义逻辑模型,2.MOLAP功能,快速响应能力,与多维数据库进行交互的能力,挖掘信息间的内在联系,各种模型,数据导航能力,4.4.5 ROLAP实现的三个规则,1.支持OLAP原则,2.数据存储在某一个关系型数据库中,3.支持某种形式的聚集导航,4.4.6 ROLAP的多维表示方法,1.星型模式在关系数据库中的表示,产品ID,时间ID 销售商ID,地址ID,图,4.8,星型模式的关系数据库表示,产品ID,销售商ID,地址ID,时间ID,销售数量,销售成本,总收入,销售商维度表,地理位置维表,时间维表,产品维表,2.雪花模式在关系数据库中的表示,产品维表,产品ID,时间ID 销售商ID,地址ID,图,4.9,雪花模式的关系数据库表示,地理位置维表,时间维表,产品ID,产品名称,公司ID,公司名称,产品颜色ID,产品颜色,产品商标ID,商标名称,产品类型ID,产品类型名,销售商维度表,产品ID,销售商ID,地址ID,时间ID,销售数量,销售成本,总收入,产品ID,公司ID,产品颜色ID,产品商标ID,产品类型ID,4.4.7 ROLAP的创建与功能,1.ROLAP的创建,选择功能、确定分析数值、构造分析维、定义逻辑模型,数据添加、数据管理、元数据存储、应用工具构造,2.ROLAP的功能,提供基于关系数据的商业视图,维层次支持,模型的自定义,细剖细节层次,数据的备分恢复和安全功能,元数据导航,OLAP服务器性能的协调等功能,4.5 OLAP技术评价,4.5.1 MOLAP与ROLAP的比较,1.查询性能,2.数据加载性能,3.分析能力,4.数据集市的大小,5.维的管理,6.维护能力,4.5.2 OLAP的衡量标准,1.多维性,2.直观性,3.可访问性,4.解释性批处理提取,5.OLAP分析模型,6.客户机/服务器结构性,7.透明性或开放性,8.多用户性,9.处理非正规数据性,4.5.2 OLAP的衡量标准,10.存储OLAP结果,11.提取丢失值,12.处理丢失值,13.弹性报告,14.一致性能报告,15.对物理层的自动调整,16.通用维,17.无限维与聚合层,18.无限制跨维操作,4.5.3 OLAP服务器和工具的评价标准,1.OLAP功能,2.访问性能,3.引擎功能,4.管理能力,练习,1.什么是OLAP？OLAP是一种技术？还是一种数据库？,2.OLAP的系统结构有哪几种？不同的结构在进行在线分析时各有什么特点？,3.MOLAP和ROLAP在OLAP的数据存储中各有什么特点？在什么情况下，选择MOLAP？在什么情况下，选择ROLAP？,4.OLAP中的数据切片是如何实现的？,5.OLAP中的钻取操作可以用来为哪些决策提供帮助？,6.请用一种OLAP工具完成对旅店房客的多维分析：总费用与细目费用，时间、居住时间长短与节假日，客户职务与客户所服务的行业。,