OLAP的三大实现技术

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,OLAP,的三大实现技术,周红庆,1100214019,计算机应用技术,目录,OLAP,的实现技术,OLAP,实例分析,OLAP,的实现技术,关系型联机分析处理（,ROLAP,，,Relational OLAP,）,多维联机分析处理（,MOLAP,，,Multi-Dimensional OLAP,）,混合型联机分析处理（,HOLAP,，,Hybrid OLAP,）,关系数据存储与,多维,数据,存储,关系型,OLAP,数据存储,在关系数据库中，没有数组的概念，因此多维数据必须被映像成平面型的关系表中的行。具有代表性的是非标准化的星型模式的设计，它将基本信息存储在一个单独的事实表中，而有关维的支持信息则被存储在其他表中。,预处理的结果一般被存放在大量的综合汇总表中，这些综合汇总表分别有不同的聚集及组合。他们每个都需要关键字来标识，并且通过索引来获得高效的访问。,多维数据存储与关系数据存储,多维,数据库中的数据存储,多维数据库是由许多经压缩的，类似于数组的对象构成，这种对象通常带有高度压缩的索引及指针结构。每个对象由聚集成组的单元块组成，每个单元块都类似于多维数组的结构存储，并通过直接偏移计算进行存取。,由于索引只需一个较小的数来标识单元块，因此多维数据库的索引一般较小，只占数据空间的一小部分，正因为它们如此之小，以至于可以很容易地将整个索引装进内存，这将极大地提高性能。,在实际分析过程中，可能需要把任一维与其他维进行组合，因而需要能够旋转数据立方体及切片的视图，即以多维方式显示数据。,在多维数据库中，并非维间的每种组合都会产生具体的值，实际上，许多组合没有具体值，是空的或者值为,0,。另外，许多值重复，如一年中的价格可能不变。因此多维数据库必须具有高效的稀疏数据处理能力，能略过零元、缺失和重复数据。,多维数据存储与关系数据存储,关系数据存储与多维数据存储的比较,关系数据库按表中存放的,关键字记录来存放数据，数据可用通用语言,SQL,来访问；而多维数据存储在逻辑上按数组保存数据，它既没有通用或一致的多维模型，也没有标准的或通用的数据访问方法。,利用关系数据存储，数据仓库的尺寸可以非常大。通过使用索引和一些特殊的技术，可以增大存储的尺寸，以便在多维查询时获得可接受的性能。在多维存储中，数据存储的大小通常是有限的，但数据存储可利用压缩技术，例如稀疏矩阵压缩，可以在较少空间存放更多数据。,存储在多维数据库中的信息具有更详尽的索引，可以常驻内存。且在逻辑上按数组保存数据，所以它可以在不影响索引的情况下更新数据。,关系型联机分析,处理（,ROLAP,）,ROLAP,ROLAP,将分析用的多维数据存储在关系数据库中，并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。,ROLAP,主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟,OLAP,（,Virtual OLAP,）。,尽管,数据按关系型格式存储，但对用户来说，数据却是按多维方式给出。为了隐藏存储格式，应创建元数据的语义层，此层将映射到关系表。为改善响应时间，还应为概括数据或聚集数据生成元数据。所有元数据存放于可被维护和管理的关系数据库中。,DB,DW,基础数据,元数据,计算结果,多维综合引擎,多维,视图,SQL,存取,多维,存取,RDBMS,服务器,关系型,OLAP,服务器 客户,关系型联机分析处理（,ROLAP,）,设计基本步骤：,（,1,）利用星型模式、雪花模式、混合模式等技术来构造维模型。,（,2,）添加适当的聚集和概括数据。,（,3,）把大的数据库分解成可管理的部分来提高效率。,（,4,）添加生成的索引或位模式索引来增强功能。,（,5,）生成并存储元数据。元数据包括对维的定义、维到关系表格的映射、维间的层次关系、概括和聚集的定义和,描述、公式和计算及其,他数据等。,关系型联机分析处理（,ROLAP,）,执行查询的步骤：,（,1,）利用数据的应用视图或维视图来构造客户工具。,（,2,）从客户工具查询,OLAP,并实时检查元数据。,（,3,）创建多种,SELECT,语句和,/,或相关子查询，并把它们提交给关系数据库。,（,4,）在数据库查询结果上完成多维功能，例如公式和计算，从字节到应用描述的转换。,（,5,）将结果返回给客户工具以便进一步处理和显示，或者立即进行显示。,关系型联机分析处理（,ROLAP,）,提供给用户和管理员的主要功能有：,（,1,）关系数据库的商业视图。,（,2,）维层次支持。,（,3,）计算、统计和财会功能，它们都可由用户扩充。,（,4,）细剖细节层次。,（,5,）选择前后端工具。,（,6,）数据库管理员可以增强已有的备份和恢复功能，并可提供数据库的子集来进行个例分析。,（,7,）利用元数据导航。,（,8,）具有使用权限的多级安全性控制。,关系型联机分析处理（,ROLAP,）,可能会遇到的问题：,（,1,）此方法允许使用星型和雪花模式分解数据并进行特殊处理。这增强了功能，但代价却为关系数据库的灵活性和可扩充性带来了负面影响。这使得修改数据库会产生更多困难，而且可能需要批量修改。,（,2,）除非是批量装载，所用的星型模式及其变形，以及所用的聚集和概括数据都假定数据是静态的。,（,3,）进行行一级的计算，例如，当利润等于收入减成本时，需要置换行和列。即使采用多个,SELECT,语句，此种计算仍会受到限制。,（,4,）管理并维护元数据是一个长期的问题，并且长期消耗成本。,关系型联机分析处理（,ROLAP,）,ROLAP,的实现,将,数据的多维结构划分为两类表,：,事实表（,用来存储事实的度量值及各个维的码值,）,维度表（维的描述信息，包括维的层次及成员类别等）,按照两种结构设计：,星型模型,雪花模型,关系型联机分析处理（,ROLAP,）,用关系模式表达多维概念的示例图,星型模式,销售事物表,产品代码,邮政编码,销售商代码,财政周序号,销售数量,销售成本,总销售额,财政周序号,产品代码,销售商代码,邮政编码,产品维表,时间维表,销售渠道维表,地理维表,关系型联机分析处理（,ROLAP,）,用关系模式,表达多维概,念的示例图,雪花模式,销售事物表,产品代码,邮政编码,销售商代码,财政周序号,销售数量,销售成本,总销售额,财政周序号,产品代码,销售商代码,邮政编码,商标代码,公司代码,产品类代码,产品小类代码,产品代码,当前时间,财政周序号,财政年度序号,销售店代码,零售商代码,城市名称,国家,地区,邮政编码,商标代码,商标名称,产品代码,产品名称,产品小类代码,产品小类名称,公司代码,公司名称,零售商代码,零售商名称,销售店代码,零售店名称,财政周序号,财政周名称,财政年度序号,财政年度名称,产品类代码,产品类名称,商标表,产品表,产品类表,产品小类表,公司表,产品维表,地理维表,销售渠道维表,零售商表,销售商店表,时间维表,财政年度表,财政周表,关系型联机,分析处理（,ROLAP,）,注：在,ROLAP,中，多维数据立方体并没有真正存在，通常需要在接受客户,OLAP,请求后，,ROLAP,服务器需要将,SQL,语句转化为多维存取语句，并利用连接运算拼合出多维数据立方体，因此,ROLAP,的响应时间较长。,关系型联机,分析处理（,ROLAP,）,销售事物表,产品维表,时间维表,销售渠道维表,地理维表,JOIN,产品代码,产品维,地区维,销售商代码,财政周序号,邮政编码,时间维,通过联接提取事实,多维联机,分析处理,（,MOLAP,）,MOLAP,MLOAP,是基于多维数据库的,OLAP,技术，在多维数据存储,的,方,式,OLAP,的服务设施包含,OLAP,服务软件和多维数据库，数据在逻辑上按数组存储，一般可选用超立方体或多立方体方式。在超立方体方式中，大于三位的对象用平面来描述，每一维都把它看成与其他维成直角。,维的属性值被映射为多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。,由于,MOLAP,采用了新的存储结构，从物理层实现起，因此又称为物理,OLAP(Physical OLAP),。,多维联机,分析处理,（,MOLAP,）,基于多维数据库,(MDDB),的,OLAP,MOLAP,OLAP,服务器：存储,OLAP,服务软件和多维数据库,MDDB,存储：采用,“,超立方,体,”,形式,MDDB,存取,：多维操作,DB,DW,多维视图,基础数据,计算结果,多维数据,库引擎,客户,多维,存取,多维联机分析处理（,MOLAP,）,设计基本步骤：,（,1,）选择功能，例如，销售收入分析和财经分析报表。,（,2,）指明数字信息，例如存储类似销售收入和顾客的度量信息。,（,3,）确定维（时间，地区和产品等）以及每一维的粒度，例如，时间是按月和季度，地区按市、县或地区等。,（,4,）定义逻辑模型并装载多维数据存储，这可以直接从数据源中获得，也可以过滤并匹配数据仓库所选内容。,多维联机分析处理（,MOLAP,）,提供给用户的主要功能：,（,1,）对内涵查询的快速响应，只有快速响应才能保证分析和思考的过程。,（,2,）与多位数据,库进行交互，使其支持预测、预先计划、进行预算等应用。,（,3,）发掘各维元素或信息间丰富的联系，以便发现微妙的关系。,（,4,）强大的计算引擎和比较分析，包括分级、比较、按百分比分类、最大值、最小值、平均值、平均转手率、按时期比较等。,（,5,）交叉维计算，或对基于电子表格的应用按行计算。,（,6,）综合统计和财务功能，如现金转账、趋势分析、时间序列分析等。,（,7,）灵巧计时，日期中的年、当前时刻、财务或内部的日历等。,（,8,）具有查询数据仓库底层细节数据的能力。,（,9,）沿单维或多维处理的基准点、表格、细剖和统览以及其他强有力的导航功能。,多维联机分析处理（,MOLAP,）,可能会遇到的问题：,（,1,）所支持的多维数据库的尺寸小于关系数据库的尺寸。这时可利用稀疏矩阵技术来节省空间，其副作用是增加操作、因为，存储的是概括和聚集信息，所以存储的需求要比原来的小。,（,2,）按粒度的级别（概括的、聚集的、预计算和派生的数据,）,来存储数据会带来副作用，如细剖无法达到细节数据级。,（,3,）高层次级别的数据具有访问和安全性控制，但没有基于使用的权限和子集级的访问控制。,（,4,）维结构的改变需要重组多维数据库，常用的备份和恢复功能会受限。,（,5,）因需要特定的前后端，会限制选择。但在扩充多维数据库的前后端后，又会导致它不能移植至另一多维数据库。,多维联机分析处理（,MOLAP,）,MOLAP,首先对事实表中的所有外键进行排序，并将排序后的具体指标数值一一写进虚拟的多维立方体中。当然，虚拟的多维立方体只是为了便于理解而构想的，,MOLAP,实际的数据存储放在数据文件,(Data File),中，其数据放置的顺序与虚拟的多维立方体按,x,y,z,坐标展开的顺序是一致的,(,如上图,),。同时，为了数据查找的方便，,MOLAP,需要预先建立维度的索引，这个索引被放置在,MOLAP,的概要文件,(Outline),中。,图中左边是,ROLAP,方式，右边是,MOLAP,方式，两者对应的是同一个三维模型。,概要文件是,MOLAP,的核心，相当于,ROLAP,的数据模型设计。概要文件包括所有维的定义（包括复杂的维度结构）以及各个层次的数据汇总关系,(,例如在时间维，日汇总至月，月汇总至季，季汇总至年,),，这些定义往往从关系型维表中直接引入即可。概要文件也包括分析指标的定义，因此可以在概要文件中包含丰富的衍生指标，这些衍生指标由基础指标计算推导出来。,一旦概要文件定义好，,MOLAP,系统可以自动安排数据存储的方式和进行数据查询。从,MOLAP,的数据文件与,ROLAP,的事实表的对比可以看出，,MOLAP,的数据文件完全不需要纪录维度的外键，在维度比较多的情况下，这种数据存储方式大量地节省了空间。,多维联机分析处理（,MOLAP,）,但是，如果数据相当稀疏，虚拟的多维立方体中很多数值为空时，,MOLAP,的数据文件需要对相关的位置留空，而,ROLAP,的事实表却不会存储这些纪录。为了有效地解决这种情况，,MOLAP,采用了稀疏维和密集维相结合的处理方式。,多维联机分析处理（,MOLAP,）,多维联机分析处理（,MOLAP,）,在实际应用中，不可能所有分析的维度都是密集的，也绝少存在所有分析的维度都是稀疏的，因此稀疏维和密集维并用的模式几乎主导了所有的,MOLAP,应用。而稀疏维和密集维的定义全部集中在概要文件中，因此，只要预先定义好概要文件，所有的数据分布就自动确定了。,在这种模式中，密集维的组合组成了的数据块,(Data Block),，每个数据块是,I/O,读写的基础单位,(,如上图,),，所有的数据块组成了数据文件。稀疏维的组合组成了索引文件，索引文件的每一个数据纪录的末尾都带有一个指针，指向要读写的数据块。因此，进行数据查询时，系统先搜索索引文件纪录，然后直接调用指针指向的数据块进行,I/O,读写,(,如果该数据块尚未驻留内存,),，将相应数据块调入内存后，根据密集维的数据放置顺序直接计算出要查询的数据距离数据块头的偏移量，直接提取数据下传到客户端。因此，,MOLAP,方式基本上是索引搜索与直接寻址的查询方式相结合，比起,ROLAP,的表,/,索引搜索和表连接方式，速度要快得多。,ROLAP,和,MOLAP,的优缺点比较,混合型联机分析处理（,HOLAP,）,HOLAP,：,迄今为止，对,HOLAP,还没有一个正式的定义。但很明显，,HOLAP,结构不应该是,MOLAP,与,ROLAP,结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求,。,混合型联机分析处理（,HOLAP,）,对于常用的维度和维层次，在,HOLAP,中使用多维数据表来记录。,对于不常用的维度和数据，采用类似于,ROLAP,星型结构来存储。,允许将大量详细数据存放在关系数据库中，而聚集保持在分离的,MOLAP,存储中。,HOLAP,在主要性能上都介于,MOLAP,和,ROLAP,之间，其技术复杂度高于,MOLAP,和,ROLAP,。,HOLAP,得益于,ROLAP,的可伸缩性,和,MOLAP,的快速计算。（如,MS SQL SERVER),在,HOLAP,的多维数据表中的数据维度少于,MOLAP,中的维度表，数据存储容量也少于,MOLAP,方式。,HOLAP,在数据存取速度上又低于,MOLAP,。,OLAP,实例分析,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,混合型联机分析处理（,HOLAP,）,