数据仓库与联机分析处理

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,An Introduction to Database System,单击此处编辑母版标题样式,中国人民大学信息学院,数据库系统概论,An Introduction to Database System,第十七章 数据仓库与联机分析处理技术,An Introduction to Database System,数据仓库的产生,操作型处理（也叫事务处理）：对数据库联机的日常操作，通常是对一个或一组记录的查询和修改,特点：快速响应用户请求，对数据的安全性、完整性以及事务吞吐量要求很高。,分析型处理：对数据的查询和分析操作，通常是对海量的历史数据查询和分析,特点：要访问的数据量非常大，查询和分析的操作十分复杂。,数据仓库技术,为了构建新的分析处理环境而出现的一种数据存储和组织技术,An Introduction to Database System,第十七章 数据仓库与联机分析处理技术,17.1 数据仓库技术,17.2 联机分析处理技术,17.3 数据挖掘技术,17.4 小结,An Introduction to Database System,17.1 数据仓库技术,表17.1 操作型数据和分析型数据的区别,操作型数据,分析型数据,细节的,综合的，或提炼的,在存取瞬间是准确的,代表过去的数据,可更新,不更新,操作需求事先可知道,操作需求事先不知道,生命周期符合SDLC,完全不同的生命周期,对性能要求高,对性能要求宽松,一个时刻操作一元组,一个时刻操作一集合,事务驱动,分析驱动,面向应用,面向分析,一次操作数据量小,一次操作数据量大,支持日常操作,支持管理决策需求,An Introduction to Database System,数据仓库技术(续),数据仓库定义：,是一个用以更好地支持企业（或组织）决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。,本质上和数据库一样，是长期储存在计算机内的、有组织、可共享的数据集合。,An Introduction to Database System,数据仓库技术(续),一、数据仓库的基本特征,数据仓库的数据是,面向主题,的；,数据仓库的数据是,集成,的；,数据仓库的数据是,不可更新,的；,数据仓库的数据是,随时间不断变化,的,An Introduction to Database System,数据仓库技术(续),二、数据仓库中的数据组织,数据仓库的数据组织结构,An Introduction to Database System,数据仓库技术(续),三、数据仓库系统的体系结构,数据仓库体系结构,An Introduction to Database System,数据仓库技术(续),数据仓库的后台工具,包括数据抽取、清洗、转换、装载和维护(Maintain)工具。,数据仓库服务器,相当于数据库系统中的DBMS，负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前台工具提供存取接口(如SQL查询接口),OLAP服务器,透明地为前台工具和用户提供多维数据视图,OLAP服务器则必须考虑物理上这些分析数据的存储问题,前台工具,包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等,An Introduction to Database System,第十七章 数据仓库与联机分析处理技术,17.1 数据仓库技术,17.2 联机分析处理技术,17.3 数据挖掘技术,17.4 小结,An Introduction to Database System,17.2 联机分析处理技术,OLAP(On-Line Analytical Processing)即联机分析处理，是以海量数据为基础的复杂分析技术,一、多维数据模型,数据分析时用户的数据视图，是面向分析的数据模型，用于给分析人员提供多种观察的视角和面向分析的操作,可用这样来一个多维数组来表示：(维,1,，维,2,，维,n,，度量值),An Introduction to Database System,联机分析处理技术(续),一、多维数据模型,(,续,),例如：,(,地区，时间，电器商品种类，销售额,),三维数组可以用一个立方体来直观地表示,一般地多维数组用多维立方体,CUBE,（超立方体）来表示,An Introduction to Database System,联机分析处理技术(续),二、多维分析操作,常用的OLAP多维分析操作,切片(slice),切块(dice),旋转(pivot),向上综合(roll-up),向下钻取(drill-down)等,An Introduction to Database System,联机分析处理技术(续),三、OLAP的实现方式,按照多维数据模型的不同实现方式,MOLAP结构,ROLAP结构,HOLAP结构,An Introduction to Database System,OLAP的实现方式(续),MOLAP结构,以,多维立方体CUBE,来组织数据，以,多维数组,来存储数据，支持直接对多维数据的各种操作。,多维数据库(Multi-Dimension DataBase，简记为MDDB)。,例如：Arbor公司的Essbase,An Introduction to Database System,联机分析处理技术(续),ROLAP结构,用,RDBMS或扩展的RDBMS,来管理多维数据，用,关系的表,来组织和存储多维数据,两类表：一类是事实(fact)表，另一类是维表,事实表用来描述和存储多维立方体的度量值及各个维的码值；,维表用来描述维信息。,ROLAP用,“星形模式”,和,“雪片模式”,来表示多维数据模型,An Introduction to Database System,联机分析处理技术(续),星形模式（,Star Schema,）通常由一个中心表,(,事实表,),和一组维表组成,如下图所示的星形模式,星形模式的中心是销售事实表,维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表,图17.4 星形模式,An Introduction to Database System,联机分析处理技术(续),雪片模式就是对维表按层次进一步细化后形成的,图17.5 雪片模式,An Introduction to Database System,第十七章 数据仓库与联机分析处理技术,17.1 数据仓库技术,17.2 联机分析处理技术,17.3 数据挖掘技术,17.4 小结,An Introduction to Database System,17.3 数据挖掘技术,一、数据挖掘的概念,概念：数据挖掘是从大量数据中发现并提取隐藏在内的、人们事先不知道的但又可能有用的信息和知识的一种新技术,目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素,数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术,决策支持系统(DSS)跨入了一个新阶段,An Introduction to Database System,数据挖掘技术(续),二、数据挖掘和传统分析方法的区别,本质区别：数据挖掘是在没有,明确假设的前提下,去挖掘信息，发现知识,数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征,An Introduction to Database System,数据挖掘技术(续),三、数据挖掘的数据源,从数据仓库中来,优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少了清理数据的工作量,缺点：建立数据仓库是一项巨大的工程，耗时耗力,从数据库中来,如果只是为了数据挖掘，可以把一个或几个OLTP数据库导入一个只读的数据库中，然后在上面进行数据挖掘,An Introduction to Database System,数据挖掘技术(续),四、数据挖掘的功能,概念描述,关联分析,分类和预测,聚类,孤立点检测,趋势和演变分析,An Introduction to Database System,数据挖掘技术(续),典型的数据挖掘系统的体系结构,数据挖掘步骤,明确挖掘任务,对所选择数据进行预处理,选择具体的算法进行挖掘,对挖掘出的模式进行评价,消减重复部分,展现最终的结果,An Introduction to Database System,第十七章 数据仓库与联机分析处理技术,17.1 数据仓库技术,17.2 联机分析处理技术,17.3 数据挖掘技术,17.4 小结,An Introduction to Database System,17.4 小结,数据仓库用于数据的存储和组织,OLAP集中于数据的分析,数据挖掘则致力于知识的自动发现,将它们结合起来就成为一种新的DSS构架，成为商务智能(Business Intelligence，BI)的3个支柱,即：DWOLAPDM支持BI的可行方案,An Introduction to Database System,