《数据仓库》PPT课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据仓库,(Data Warehouse),演讲人：沈国峰 制作人：黄健 傅承阳 年,12,月,14,日,农历十一月初九,从数据库到数据仓库,数据仓库的,概念,数据仓库的特征,数据仓库的商业价值,数据仓库的发展现状及发展方向,内容提要,从数据库到数据仓库,由数据库（,DB,）发展到数据仓库（,DW,）主要有以下几点原因：,数据太多，信息贫乏（,data rich,information poor,）：随着数据库技术的发展，企事业单位建立了大量的数据库，数据越来越多，而辅助决策信息却很贫乏，如何将大量的数据转化为辅助决策信息成为了研究的热点。,异构环境数据的转换与共享：由于各类数据库产品的增加，异构环境的数据随之增加，如何实现这些异构环境数据的转换和共享也成了研究的热点。,利用数据进行事务处理转变为利用数据支持决策：数据库用于事务处理，若要达到辅助决策，则需要更多的数据，例如：如何利用历史数据的分析来进行预测。对大量数据的综合得到宏观信息等均需要大量的数据。,就在数据仓库的概念提出后的几年时间内就得到了迅速的发展，各种各样的数据仓库产品也不断出现并陆续进入市场。,目前市场上主流的数据仓库产品有以下几种：,(,Business Objects,、,Oracle,、,IBM,、,Sybase,、,Informix,、,NCR,、,Microsoft,、,SAS,、,CA,),。,数据仓库与数据库的,区别,1,、数据库用于事务处理，而数据仓库则用于决策分析,2,、数据库保持事务处理的当前状态，而数据仓库既保存过去,的数据也保存当前的数据。,3,、数据仓库的数据是大量数据库的集成,4,、对数据库的操作比较明确，操作数据量少；而对数据仓库,的操作不明确，操作数据量大。,数据库与数据仓库的,详细对比,数据库,数据仓库,数据库,数据仓库,面向应用,面向主题,一个操作存取一个记录,一个操作存取一个集合,数据是详细的,数据是综合或提炼的,数据非冗余,数据时常冗余,保存当前数据,保存过去和现在的数据,操作频繁,相对不频繁,数据可更新,数据几乎不更新,事务处理需要当前数据,决策分析需要过去和现在的数据,重复地操作数据,启发式地操作数据,很少有复杂计算,很多复杂的计算,操作需求事先可知,操作需求临时决定,支持事务处理,支持决策分析,从,OLTP,到,OLAP,On-Line Transaction Processing,联机事务处理系统,(OLTP),也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。,这样做的最大优点是可以即时地处理输入的数据，及时地回答,。也称为实时系统,(Real time System),。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间,(Response Time),，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。,OLTP,数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。,定义,On-Line Analysis Processing,联机分析处理系统,(OLTP),联机分析处理（,OLAP,）,的概念最早是由关系数据库之父于,1993,年提出的。当时，,Codd,认为联机事务处理,(OLTP,）已不能满足终端用户对数据库复杂查询分析的需要，,SQL,对大数据库进行的简单查询也不能满足用户分析的需求,。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，因此,Codd,提出了多维数据库和多维分析的概念即,OLAP,。,OLAP,是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果，,OLAP,的技术核心就是“维度”这个概念。,定义,ROLAP,各个软件开发厂家见仁见智，其中一个流派，认为可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结构（,star schema,）就出现了。后来又演化出雪花结构。为了与多维数据库相区别，则把基于关系型数据库的,OLAP,称为,Relational OLAP,，简称,ROLAP,。,MOLAP,MuiltDimension OLAP,简称,MOLAP,，代表产品有,Hyperion(,原,Arbor software)Essbase,、,Ms Olap,、,oracle express,等。,立方体，页，片的数据,维,=,主键,只存放一次，重复使用,强制性保证数据完整性,节省磁盘空间,极容易地结合数据和公式,支持共享的商业逻辑,保证数据的一致性,每一个单元都被索引,因此有很高的存取效率,1月 2月 3月,芬达,可乐,雪碧,北京 上海 南京,ROLAP,和,MOLAP,的,功能区别,Legacy/Operational/External Systems,Transaction,Systems,Decision,Support,Systems,Knowledge Workers,Strategic,Tactical,What-If,Analysis,Customized,Applications,Drill&Pivot,Analysis,Forecasting,Modeling,Time-Series,Query&,Reporting,MOLAP,ROLAP,MDB,RDBMS,Data Cache,linkage,运 筹 帷 幄，,决 胜 千 里。,什么是数据仓库？,A data warehouse is a,subject-oriented,integrated,nonvolatile,and,time-variant,collection of data in support of,managements decisions,.,数据仓库之父,Bill Inmon,subject-oriented,主题：是指用户使用数据仓库进行决策时所关心的重点方面，如收入、客户、销售渠道等,所谓面向主题，是指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的。,integrated,集成：是指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总，因此数据仓库中的信息是关于整个企业的一致的全局信息。,nonvolatile,是指一旦数据载入数据仓库以后，一般很少进行修改，更多的是对信息进行访问查询操作。,time-variant,是指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时刻到当前各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。,其他特点：,数据仓库的数据量很大：通常数据仓库的数据量为,10GB,级，相当于一般数据库（,100M,左右）的,100,倍，而且大型的数据仓库更可以达到,TB,级的数据量。,数据仓库中数据量的比重是：索引和综合数据占,2/3,以上，而原始数据则占不到,1/3,，这和数据库正好形成了鲜明的对比。,数据仓库软硬件要求较高：既需要一个巨大的硬件平台又需要一个并行的数据库系统。,粒度,是指数据仓库的数据单位中保存数据的细化或综合程度的级别,粒度级越小，细节程度越高，综合程度越低，回答查询的种类越多,粒度影响数据仓库中数据量的大小,粒度问题是设计数据仓库的一个重要方面,粒度的选择,双重粒度：,大多数组织的最佳解决方法就是采用多重粒度级的形式,短期储存的低粒度（真实档案），满足细节查询,具有综合的高粒度（轻度综合），做分析，可以满足综合查询,如何权衡？,企业面临的挑战,适应经济全球化趋势,面对激烈的和市场竞争,成本控制,企业重组合并,增长的利率,个性化需求越来越高,定价问题日趋复杂,开拓新的销售渠道,可用信息的收集,客户信息,One-to-One,客户关系,“,丰富的数据,贫乏的信息,”,企业每天产生大量的数据，这些数据都分散在企业的各处，如何获取这些数据，并将这些数据提炼成有意义的一致的信息成为了一种挑战,将数据变成企业资产,数据仓库的商业价值,来源：,By Wayne Eckerson ,Smart Campanies in the 21st Century,数据仓库化的过程,数据仓库支持的企业商业智能化过程（闭环的自学习过程）,数据仓库解决方案,改善商业过程,Improve or,Re-invent,Business,Processes,改善库存管理,自动补给,优化渠道管理,提高产品管理能力,改善投资,/,供货商的谈判,供应链管理,快速引进和测量新的营销活动、产品和服务,改进或,再造业务,过程,举例,以银行为例，数据仓库可以在竞争力、客户、风险、利润、组织机构等几个方面对银行产生影响。例如,银行可以根据数据仓库中的信息做出决策,应对日益严峻的竞争,不断革新业务和产品。银行还可以利用数据仓库分析传统业务的发 展趋势、产品之间的差距和机会、银行业务行为和绩效、交叉销售的机会、市场细分、交易渠道使用 情况、竞争对手的产品、合理的价格等。,一旦数据仓库中的信息按照上述方式进行组织,银行就可以通过以下机会获得业务优势,如：市场促销、产品客户化、产品包装、银行业务评估、绩效跟踪、交叉销售、风险管理、渠道使用情况、设定优惠价格、竞争对手联盟、客户份额预估、费用 预先确定等。,数据仓库应用现状,目前数据仓库在很多企业中的应用还是停留在完成 了报表的生成和日常事务的分析，并没有对数据 进行深人的挖掘，这样并不能给银行带来真正的 效益,也远远没有发挥出数据仓库的商业应用价值。,在对数据仓库的应用中还存在着一个问题，由于业务系统平台不统一,依然有许多错综复杂的数据互不关联，导致数据仓库不能有效地发挥其作用。,另外,数据仓库的提出和应用通常都是技术 部门在其中扮演重要角色,业务部门参与的较少，但实际上，没有业务部门与技术部门之间的很好 协调，数据仓库是不可能应用成功的。因为数据 仓库技术是管理科学、计算机科学、网络科学以及一系列分析手段的大融合。,在我国，由于现在对数据仓库的分析还缺乏经验。,数据仓库在使用时很重要的一个问题是如何建立模型，而这要求使用者对相关的业务非常熟悉并具有相应的 管理和分析能力，否则得出的结论很可能是就无 用的。,数据仓库发展方向,首先要统一信息系统的平台，采用统一的数据结构，在数据抽取方面，未来的技术发展将集中 在系统集成化方面。他将互连、转换、复制、调度、监控纳入标准化的统一管理，使所有的数据都按相同的结构集中存放在一起，以适应数据仓库本 身或数据源可能的变化，使系统更便于管理和维 护。,其次，为了让电脑技术人员知道数据仓库可以“做什么”，业务人员知道具体的分析要“怎么做”，应将技术部门与相关的业务部门进行很好协调，充分发挥技术人员和业务人员的优势，根据具体情况选用合适的方法建立模 型。,最后，当数据模型建好以后，要使其发挥应有的作用，就应在其上建立相应的应用系统,包括客户关系管理系统、市场分析和风险控制系统等等。这就需要在数据仓库上进行数据挖掘，构建决策 支持系统,(,DSS,),充分体现建设数据仓库的意义，从而最终为企业带来经济和社会效益。,