第七章数据仓库和OLAP系统中的安全问题

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,数据仓库的定义,数据仓库理论的创始人在其?Building the Data Warehouse?一书中，给出了数据仓库的四个根本特征：面向主题，数据是集成的，数据是不可更新的，数据是随时间不断变化的。,根本概念,数据仓库定义,数据仓库是一个面向决策主题的、集成的、时变的、非易失、以读为主的数据集合。,数据仓库系统的分类,Web数据仓库；并行数据仓库；多维数据仓库；压缩数据仓库等。,OLAP定义,OLAP是针对某个特定的主题进展联机数据访问、处理和分析，通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给用户。,面向决策主题的,数据仓库围绕一些主题,排除对于决策无用的数据,提供特定主体的简明视图。,集成的,构造数据仓库是将多个异种数据源集成在一起,确保命名约定,编码构造,属性度量等一致性。,时变的,数据存储从历史的角度提供信息.在数据仓库,隐式或显式地包含时间元素。,非易失的,数据仓库总是物理地别离存放数据；由于这种别离，数据仓库不需要事务处理，恢复和并发控制。通常数据仓库只需要两种数据访问:数据的初始化装入和数据访问。,以读为主的,数据仓库中的数据主要是提供决策进展查询，一般不一定都需要即时更新，可以定期刷新或按需刷新。,数据仓库根本特性,数据仓库工程流程管理及系统性能管理和监控,OLTP,数据源,数据仓库,数据集市,数据采集及整合,数据的映射规那么、模型,。,元数据管理,数据展现及决策,生产,财务,结算,外部,地区,分析,总量,分析,市场,分析,E,T,L,数据分析、,DM,终端用户,终端用户,数据仓库体系构造,数据仓库的构造,早期细节级,当前细节级,轻度综合级,数据集市,高度综合级,元数据,操作型转换,数据仓库中的几个重要概念,ETL,ETLExtract/Transformation/Load用户从数据源抽取出所需的数据，经过数据清洗、转换,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。,元数据,关于数据的数据，指在数据仓库建立过程中所产生的有关数据源定义、目标定义、转换规那么等相关的关键数据。同时元数据还包含关于数据含义的商业信息。,Data Mart,数据集市 - 小型的，面向部门或工作组级数据仓库。,Operation Data Store,操作数据存储 ODS是能支持企业日常的全局应用的数据集合，是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个根本特点：面向主题的(Subject -Oriented)、集成的、可变的、 当前或接近当前的。,粒度,数据仓库的数据单元中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。,分割,构造一样的数据可以被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。,数据仓库中的几个重要概念,(,续,),操作数据库与数据仓库的区别,操作数据库系统的主要任务是联机事务处理OLTP,数据仓库在数据分析和决策方面为用户提供效劳，这种系统称为联机分析处理OLAP,操作型数据,分析型数据,细节的,综合的，或提炼的,在存取瞬间是准确的,代表过去的数据,可更新,不更新,操作需求事先可知道,操作需求事先不知道,生命周期符合,SDLC,完全不同的生命周期,对性能要求高,对性能要求宽松,一个时刻操作一个单元,一个时刻操作一个集合,事物驱动,分析驱动,面向应用,面向分析,一次操作数据量小,一次操作数据量大,支持日常操作,支持管理需求,采购子系统:,订单订单号，供给商号，商品号，类别，单价。数量，总金额，日期， ,供给商供给商号，供给商名，地址， ，,销售子系统：,客户客户号，姓名，地址， ， ,销售客户号，商品号，数量，单价，日期， ,库存子系统：,进库单编号，商品号，数量，单价，日期， ,出库单编号，商品号，数量，单价，日期， ,库存商品号， 库房号，类别，单价，库存数量，,总金额，日期， ,商品固有信息：商品号，类别，单价，颜色，,商品采购信息：商品号，类别，供给商号，供给日期，单价，数量，,商品销售信息：商品号，客户号，数量，单价，销售日期， ,商品库存信息：商品号， 库房号，库存数量，日期， ,商品主题域：,采购子系统,销售子系统,库存子系统,3,、数据仓库中的数据组织,数据仓库中的数据分为四个级别：早期细节级，当前细节级，轻度综合级，高度综合级。,19851998,年,销售明细表,19982003,年,销售明细表,19982003,年,每月销售表,19982003,年,每季度销售表,DW中还有一类重要的数据：元数据metedata。元数据是“关于数据的数据RDBMS中的数据字典就是一种元数据。,数据仓库中的元数据描述了数据的构造、内容、索引、码、数据转换规那么、粒度定义等。,4、数据仓库系统构造,RDBMS,数据文件,其他,综合数据,当前数据,历史数据,元数据,抽取、转换、装载,数据仓库,OLAP,工具,DM,工具,查询工具,分析工具,二、数据仓库设计,数据仓库的设计分为如下三个阶段：,数据仓库建模,分析主题域,确定粒度层次,确定数据分割策略,构建数据仓库,数据的存储构造与存储策略,DSS应用编程,三、操作数据存储ODS ,在许多情况下，DB-DW的两层体系构造并不适合企业的数据处理要求。因为，虽然可以粗略地把数据处理分成操作型和分析型，但这两种处理处理并不是泾渭清楚的。,ODSOperational Data Store作为一个中间层次，一方面，它包含企业全局一致的、细节的、当前的或接近当前的数据，另一方面，它又是一个面向主题、集成的数据环境，适合完成日常决策的分析处理。,四、数据仓库的实现,数据仓库的工具主要有：数据预处理工具，数据分析 OLAP 工具，数据挖掘工具，OLAP效劳器。,数据仓库和OLAP工具基于多维数据模型在数据仓库中，通常以多维方式来存储数据。 。,根本概念,维：人们观察数据的特定角度。,维的层次：人们观察数据的特定角度可能存在细节程度不同的多个描述方面，我们称其为维的层次。,多维分析的根本动作,切片，旋转，上卷，下钻。,Sales volume as a function of product, month, and region,Product,Region,Month,Dimensions: Product, Location, Time,Hierarchical summarization paths,Industry Region Year,Category Country Quarter,Product City Month Week,Office Day,Total annual sales,of TV in U.S.A.,Date,Product,Country,All, All, All,sum,sum,TV,VCR,PC,1Qtr,2Qtr,3Qtr,4Qtr,Canada,Mexico,sum,产品销售,情况,某年某月产品销售情况,选定两个维：产品维和地区维,时间维,数据切片,产品维,地区维,产品维,地区维,基于RDBMS的数据仓库实现,关系数据库将多维数据库中的多维构造分为两类：一类是事实表，用来存储事实的度量值以及各个维的码值；另一类是维表。,数据仓库的设计模型有：星型模式，雪花模式，混合模式,数据仓库的设计也可以理解为面向OLAP的数据库设计。,在星型模式中，主要数据存储在事实表中，没有冗余，并符合3NF或BCNF。,维值信息存储在维表中。维表一般不需要标准化。主要原因是维表是静态的，是否会产生因更新而导致异常也就不重要了。,Products,Pid pname category price,Locations,Locid city state country,Pid timeid locid sales,Timeid date month quarter year holiday_flag,Times,Sales,定单号,销售员号,客户号,产品号,日期标识,地区名称,数量,总价,定单号,定货日期,客户号,客户名称,客户地址,销售员号,姓名,城市,产品号,产品名称,单价,日期标识,日,月,年,地区名称,省,事实表,星型模式,定单号,销售员号,客户号,产品号,日期标识,地区名称,数量,总价,定单号,定货日期,客户号,客户名称,客户地址,销售员号,姓名,城市,产品号,产品名称,单价,日期标识,日,月,年,地区名称,省,事实表,雪花模式,产品号,公司代码,公司代码,公司名称,地址,销售记录代码,报修记录代码,服务响应代码,服务反馈代码,安全备件数量,销售记录代码,客户代码,商品代码,购买时间代码,报修记录代码,报修时间,故障现象,服务响应代码,服务人员代码,预判故障代码,预判备件代码,响应时间代码,预约时间代码,服务承诺时间,服务反馈代码,实际故障代码,到达时间代码,故障处理完毕时间代码,实际使用备件代码,服务承诺时间,客户代码,客户名称,客户地址,联系方式,商品代码,商品名称,商品类型,时间代码,小时,天,月,年,故障代码,故障名称,故障描述,故障机型,故障类别,备件代码,备件名称,备件类型,备件库存量,时间代码,小时,天,月,年,人员代码,人员名称,技术专长,人员薪酬,效劳事实表,报修维表,时间维表,效劳响应维表,人员维表,故障维表,备件维表,效劳反响维表,销售记录维表,商品维表,时间维表,客户维表,时间代码,小时,天,月,年,时间维表,27,数据仓库的主要应用,信息处理,支持查询和根本的统计分析，并使用表或图进展报告。,分析处理,支持根本的OLAP操作，在汇总的和细节的历史数据上操作。,数据挖掘,支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进展分类和预测，并用可视化工具提供挖掘结果.,OLAP开展背景,60年代，关系数据库之父提出了关系模型，促进了联机事务处理(OLTP)的开展(数据以表格的形式而非文件方式存储)。1993年，提出了OLAP概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进展的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进展大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，提出了多维数据库和多维分析的概念，即OLAP。,OLTP数据 OLAP数据,原始数据 导出数据,细节性数据 综合性和提炼性数据,当前值数据 历史数据,可更新 不可更新，但周期性刷新,一次处理的数据量小 一次处理的数据量大,面向应用，事务驱动 面向分析，分析驱动,面向操作人员，支持日常操作 面向决策人员，支持管理需要,什么是,OLAP,？,定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进展快速、稳定一致和交互性的存取，允许管理决策人员对数据进展深入观察。,定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进展快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义),OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维这个概念，因此OLAP也可以说是多维数据分析工具的集合。,OLAP相关根本概念,1维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维(时间维、地理维等)。,2维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。,3维的成员：维的一个取值。是数据项在某维中位置的描述。(“某年某月某日是在时间维上位置的描述),4多维数组：维和变量的组合表示。一个多维数组可以表示为：(维1，维2，维n，变量)。(时间，地区，产品，销售额),5数据单元(单元格)：多维数组的取值。(2000年1月，上海，笔记本电脑，$100000),OLAP,特性,(1)快速性:用户对OLAP的快速反响能力有很高的要求。系统应能在5秒内对用户的大局部分析要求做出反响。,(2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。,(3)多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。,(4)信息性:不管数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。,OLAP根本操作,上卷操作：通过维层次，在数据立方体上进展聚集。,下钻操作：是上卷操作的逆操作，由不太详细的数据到更详细的数据。,切片和切块：切片在给定的数据立方体的一个维上进展选择，切块那么是在两个或两个以上的维进展选择。,旋转操作：是改变维度的位置关系，使最终用户可以从其他视角来观察多维数据。,OLTP,和,OLAP,的区别,用户和系统的面向性,:,OLTP,是面向顾客的,用于事务和查询处理；,OLAP,是面向市场的,用于数据分析。,数据内容,:,OLTP,系统管理当前数据；,OLAP,系统管理大量历史数据,提供汇总和聚集机制。,数据库设计,:,OLTP,采用实体,-,联系,ER,模型和面向应用的数据库设计；,OLAP,采用星型或雪花模型和面向主题的数据库设计。,视图:,OLTP主要关注一个企业或部门内部的当前数据,不涉及历史数据或不同组织的数据；,OLAP那么相反，不仅关注本企业或组织内部的当前数据，而且更多地涉及到历史数据和其他组织的数据。,访问模式:,OLTP系统的访问主要由短的原子事务组成，这种系统需要并行和恢复机制。,OLAP系统的访问大局部是只读操作。,OLTP,和,OLAP,的区别,(,续,),OLAP效劳器类型,关系OLAP(ROLAP)模型,使用关系或扩大关系DBMS存放并管理数据仓库。,多维OLAP(MOLAP)效劳器,这些效劳器通过基于数组的多维存储，支持数组的多维视图。,混合OLAP(HOLAP)效劳器,结合ROLAP和MOLAP技术，得宜于ROLAP的可伸缩性和MOLAP的快速计算。,ROLAP体系构造,SQL,Result,Set,Info.,Request,Result,Set,Database Server,R,DBMS,Front-end Tool,ROALP Architecture,ROLAP Server,Metadata,Request,Processing,MOLAP体系构造,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,MOALP Architecture,MOLAP Server,Metadata,Request,Processing,HOLAP体系构造(续),Result Set,SQL Query,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,Hybrid Architecture,MOLAP Server,用户图形界面,API,数据库,数据仓库,数据库,元数据,OLAM,引擎,OLAP,引擎,MDDB,数据方,API,数据库,API,基于约束的数据挖掘,数据清理,过滤,挖掘结果,数据集成,数据过滤,数据集成,第一层,数据存储,第二层,多维数据库,第三层,OLAP/OLAM,第四层,用户界面,一个集成的,OLAM,和,OLAP,结构,OLAP,的,Web,表现方式,静态方法,静态HTML报表,动态方法,通过HTML模板及元数据动态生成报表,改进方法,使用Java或ActiveX,CGI,API,HTML,Java Scrip,ActiveX,客户浏览器,Web,服务器应用,OLAP Server,基于,Web,的,OLAP,结构,Database Server,7.2 平安需求与平安策略,数据仓库的平安涉及许多方面. 将数据从操作型数据库加载到数据仓库的数据加载过程以及前端应用程序与OLAP 效劳器(或数据仓库) 间的通信都对网络平安提出了要求。数据仓库的平安需求特指OLAP的平安需求,主要有以下几种：,a. 隐藏整个N 维立方体是最直接的平安需求. 如在典型商业系统中,指定普通用户只能查看“产品立方体中的数据,不能查看“客户立方体中的数据.,b. 如果不允许局部用户查看某些特定的维成员上的数据,对这些用户就需要隐藏立方体的某些切片.,7.2 平安需求与平安策略,c. 隐藏度量与隐藏切片类似.,d. 通常详细记录比综合数据更敏感,所以有时需要限制对低于某个维层次的数据的访问,即隐藏维层次. 如不允许用户访问在时间维上比“月更细粒度的数据,即不能访问每天的数据.,e. 隐藏某些切片上的维层次,b 和d 的结合.,f . 隐藏某些切片上的度量,b 和c 的结合.,g. 类似于隐藏切片,隐藏切块(多个片) .,h. 特殊环境下需要动态的、数据驱动的平安策略,访问请求是否许可依赖于维成员或度量的值.,i. 推演控制,防止非法用户通过智能查询推断出隐藏的信息.,7.3,数据仓库访问控制,按照建立方法的不同，数据仓库平安模型大致分为以下几类：,1.基于角色的访问控制模型,2.基于元数据的访问控制模型,3.基于数据源的访问控制模型,4.基于多为数据库的超立方体数据模型的访问控制模型,Thank You !,不尽之处，恳请指正！,