CRM与数据仓库课件

1/43CRM与数据仓库与数据仓库 计算机科学系计算机科学系 张秀萍张秀萍1/432/43本章内容4.1数据仓库概述4.2数据仓库与数据库的区别4.3 数据仓库的建模模型4.4OLAP与数据集成4.5 数据仓库的实施2/43本章内容4.1数据仓库概述3/434.1数据仓库概述 4.1.1 数据仓库的产生4.1.2 数据仓库的概念及特征4.1.3 数据仓库的内容3/434.1数据仓库概述4.1.14/43 数据仓库与CRM有着难以割舍的密切关系，从某种意义上说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以对客户行为的分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。对于客户量大、市场策略对企业影响较大的企业来说，必须在客户关系管理系统中包含数据仓库。4.1 4.1 数据仓库概述数据仓库概述4/43数据仓库与CRM有着难以割舍的密切关系，5/43数据仓库的产生数据仓库的产生早期的数据库主要支持联机事务处理决策支持对数据分析的需求传统数据库系统不适宜DSS事务处理和分析处理的性能特性不同数据集成问题数据动态集成问题历史数据问题数据的综合问题操作繁简问题4.1 4.1 数据仓库概述数据仓库概述5/43数据仓库的产生早期的数据库主要支持联机事务处理4.16/43 有人感叹：20年前查询不到数据是因为数据太少了，而今天查询不到数据是因为数据太多了。要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。4.1 4.1 数据仓库概述数据仓库概述数据仓库的产生数据仓库的产生6/43有人感叹：20年前查询不到数据是因为数据太7/43 目前，数据仓库一词尚没有一个统一的定义。著名的数据仓库专家W.H.Inmon在其著作Building the Data Warehouse一书中给予如下描述：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。数据仓库的概念数据仓库的概念4.1 4.1 数据仓库概述数据仓库概述7/43目前，数据仓库一词尚没有一个统一的定义。数据8/43 数据仓库概念的两个层次数据仓库概念的两个层次 功能上：数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；内容和特征上：数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。数据仓库的概念数据仓库的概念4.1 4.1 数据仓库概述数据仓库概述8/43数据仓库概念的两个层次数据仓库的概念4.1数据9/43面向主题(subject-oriented)数据仓库围绕一些主题，如客户、供应商、产品和销售组织。数据仓库关心决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。因此数据仓库排除对决策无用的数据，提供特定主题的简明视图。集成性(integrated)构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机事务处理记录，集成在一起。使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。数据仓库的特征数据仓库的特征4.1 4.1 数据仓库概述数据仓库概述9/43面向主题(subject-oriented)数据仓库10/43非易失性(nonvolatile)数据一旦进入数据仓库就不再改变，因此不需要传统数据库中类似插入、更新、删除等操作，在数据仓库中只有装载操作。时变性(time-variant)数据仓库中数据都是和时间相关，并且每隔一段时间后，运作数据库系统中的数据将被抽取、转换后集成到数据仓库中。数据仓库的特征数据仓库的特征4.1 4.1 数据仓库概述数据仓库概述10/43非易失性(nonvolatile)数据仓库的特征411/43数据仓库的特征数据仓库的特征4.1 4.1 数据仓库概述数据仓库概述11/43数据仓库的特征4.1数据仓库概述12/43数据仓库的特征数据仓库的特征4.1 4.1 数据仓库概述数据仓库概述12/43数据仓库的特征4.1数据仓库概述13/43数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。数据仓库的内容数据仓库的内容4.1 4.1 数据仓库概述数据仓库概述13/43数据仓库并没有严格的数学理论基础，也没有成熟的14/43数据仓库本质数据仓库本质 数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库所要研究和解决的问题就是从数据库中获取信息。4.1 4.1 数据仓库概述数据仓库概述14/43数据仓库本质数据仓库实际上是一个“以大型数15/434.2数据仓库与数据库的区别15/434.2数据仓库与数据库的区别16/43 目前，人们要利用现有的数据，进行分析和推理，从而为决策提供依据。这种需求既要求联机服务，又涉及大量用于决策的数据。而传统的数据库系统已无法满足这种需求：1.所需历史数据量很大，而传统数据库一般只存储短期数据。2.涉及许多部门的数据，而不同系统的数据难以集成。3.对大量数据的访问性能明显下降4.2 4.2 数据仓库与数据库的区别数据仓库与数据库的区别16/43目前，人们要利用现有的数据，进行分析和推理17/43目的不同数据库用于事务处理；数据仓库用于决策支持存储方式不同数据库中的数据以表格方式存储；数据仓库中以数组方式存储查询方式不同数据库中应用OLTP(在线事务处理)；数据仓库应用OLAP(在线分析处理)或数据挖掘4.2 4.2 数据仓库与数据库的区别数据仓库与数据库的区别17/43目的不同4.2数据仓库与数据库的区别18/43数据类型不同数据库针对交易型数据设计的，关心的是短期内每一笔交易的细节信息，并对这些交易记录进行增删改的操作；数据仓库一般只涉及从数据集中观察数据，并不进行增删改等操作。完成任务的性质不同前者要求实时性、交互性，而后者需要涉及大范围的数据计算，复杂的基于多个层次的查询语言。响应时间不同数据库要求响应时间短，数据仓库要求响应时间合理4.2 4.2 数据仓库与数据库的区别数据仓库与数据库的区别18/43数据类型不同4.2数据仓库与数据库的区别19/43 可以看出，数据仓库最根本的特点是物理的存放数据，而且这些数据并非是最新的、专有的，而是来源于其它的数据库。数据仓库的建立并不是要取代原有的数据库，而是建立在一个较全面、完善的信息应用的基础上，用于支持高层决策分析。4.2 4.2 数据仓库与数据库的区别数据仓库与数据库的区别19/43可以看出，数据仓库最根本的特点是物理的存20/434.3数据仓库的建模模型 4.3.1数据仓库的体系结构4.3.2数据仓库的建模模型20/434.3数据仓库的建模模型4.21/43数据仓库系统体系结构数据仓库系统体系结构4.4 4.4 数据仓库的建模模型数据仓库的建模模型21/43数据仓库系统体系结构4.4数据仓库的建模模型22/43 数据仓库数据模型采用多维数据模型。可以以星型模型、雪花模型等形式存在。几个相关概念几个相关概念：事实表事实表（Fact）：存储用户需要查询分析的数据，事实表中一般 包含多个维（Dimension）和度量（Measurement）。维维：数据立方中的空间坐标轴，例如时间维、地区维、产品维。粒度粒度：每个维可以分成若干等级，例如时间维可以分成年、月、日，描述了不同的查询层次。度量度量：是数据的实际意义，描述数据“是什么”，即一个数值的测量指标，如：人数、单价、销售量等。4.3 4.3 数据仓库的建模模型数据仓库的建模模型22/43数据仓库数据模型采用多维数据模型。23/431.星型模型：度量的实际数据存放在事实表中。维的详细信息，如不同的层次划分和相应数据等在维表中存储，事实表中存放各个维的标识码键。事实表和维表将通过这些键关联起来，构成一种星型模型。这种模式图像星星爆发，维表围绕中心事实表显示在射线上。在星型模式中，每维只用一个表表示，每个表包含一组属性。4.3 4.3 数据仓库的建模模型数据仓库的建模模型23/431.星型模型：4.3数据仓库的建模模型24/434.3 4.3 数据仓库的建模模型数据仓库的建模模型24/434.3数据仓库的建模模型25/432.雪花模型：对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为雪花模型。雪花模型是星型模型的变种，其中某些维表是规范的，把数据进一步分解到附加的表中。这种模型图形成类似于雪花的形状。4.3 4.3 数据仓库的建模模型数据仓库的建模模型25/432.雪花模型：4.3数据仓库的建模模型26/4326/4327/434.4OLAP与数据集成 4.4.1 联机分析处理4.4.2 数据集成27/434.4OLAP与数据集成4.28/43联机分析处理联机分析处理联机分析处理,On-LineAnalysisProcessing,支持通过多维的方式对数据进行分析、查询和生成报表，其基本功能是对用户当前及历史数据进行分析以辅助领导决策。相关概念：维维：数据立方中的空间坐标轴，例如时间维、地区维、产品维。粒度粒度：每个维可以分成若干等级，例如时间维可以分成年、月、日，描述了不同的查询层次。4.4 OLAP4.4 OLAP与数据集成与数据集成28/43联机分析处理4.4OLAP与数据集成29/43OLAPOLAP特性特性（1 1）多多维维性性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。（2 2）快快速速性性:用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。（3 3）可可分分析析性性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。（4 4）共享性：）共享性：满足大量用户间数据的共享（5 5）信信息息性性:不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。4.4 OLAP4.4 OLAP与数据集成与数据集成29/43OLAP特性（1）多维性:多维性是OLAP的关键属30/43OLTP vs OLAP OLTPOLTP 细节的细节的 综合的或派生的综合的或派生的 当前的当前的 历史的历史的 可更新可更新 不可更新不可更新 需求事先可知道需求事先可知道 需求事先不知道需求事先不知道 符合系统生命周期符合系统生命周期 完全不同的生命周期完全不同的生命周期 对性能要求高对性能要求高 对性能要求相对宽松对性能要求相对宽松 事务驱动事务驱动 数据驱动数据驱动 面向应用面向应用 面向分析面向分析 一次操作数据量小一次操作数据量小 一次操作数据量大一次操作数据量大 支持日常事务支持日常事务 支持管理需求支持管理需求 OLAPOLAP4.4 OLAP4.4 OLAP与数据集成与数据集成30/43OLTPvsOLAPO31/43OLAP的分析思路的分析思路 OLAP是决策支持领域的一部分。传统的查询和报表工具是告诉你数据库中都有什么（what happened），OLAP则更进一步告诉你下一步会怎么样（What next）、和如果我采取这样的措施又会怎么样（What if）。用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。比如，一个分析师想找到什么原因导致了贷款拖欠，他可能先做一个初始的假定，认为低收入的人信用度也低，然后用OLAP来验证他这个假设。如果这个假设没有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考虑，一直进行下去，直到找到他想要的结果或放弃。4.4 OLAP4.4 OLAP与数据集成与数据集成31/43OLAP的分析思路OLAP是决策支持领32/43OLAP中的操作中的操作应用OLAP工具进行的分析操作主要有：钻取、旋转、切片钻取：沿着维上粒度的粗细方向进行的分析操作，改变维的层次，变换分析的粒度。它包括向上钻取和向下钻取。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据；而drill down则相反，它从汇总数据深入到细节数据进行观察旋转：参与分析的维的变化，即在表格中重新安排维的放置（例如行列互换）切片：将某维固定观察其他维的变化，即一部分维上选定值后，关心度量数据在剩余维上的分布。4.4 OLAP4.4 OLAP与数据集成与数据集成32/43OLAP中的操作应用OLAP工具进行的分析操作主要33/43OLAP的分析方法的分析方法(一一)钻取钻取按时间维向下钻取按时间维向上钻取604.4 OLAP4.4 OLAP与数据集成与数据集成33/43OLAP的分析方法(一)钻取按时间维向下钻取按时间34/43OLAP的分析方法的分析方法(二二)旋转旋转4.4 OLAP4.4 OLAP与数据集成与数据集成34/43OLAP的分析方法(二)旋转4.4OLAP与数据35/43OLAP的分析方法的分析方法(三三)切片、切块切片、切块4.4 OLAP4.4 OLAP与数据集成与数据集成35/43OLAP的分析方法(三)切片、切块4.4OLAP36/43数据集成数据集成数据集成的目的：1.访问多种数据源的数据2.转换成统一格式3.校验数据的完整性4.存储数据到数据仓库中4.4 OLAP4.4 OLAP与数据集成与数据集成36/43数据集成数据集成的目的：4.4OLAP与数据集成37/43数据集成的四个阶段1.数据抽取(DataExtraction)使用规定的标准选择数据，并把数据传送到数据仓库中2.数据转换(DataTransformation)建立不同数据源的源字段到数据仓库字段的映射3.数据清理(DataCleaning)把事实表中的属性字段对应的值逐个在维表中查询，审查字段值是否合理，并加以记录4.数据装载(DataLoading)将经过数据抽取、转换、清理的数据，以及经过校正的脏数据导入到数据仓库4.4 OLAP4.4 OLAP与数据集成与数据集成数据集成数据集成37/43数据集成的四个阶段4.4OLAP与数据集成数据集38/434.5数据仓库的实施38/434.5数据仓库的实施39/434.5 数据仓库的实施数据仓库的实施 总的来说，数据仓库的实施是为了建立一个良好的数据组织和管理环境，以满足决策支持的需要。数据仓库包含了数据、技术、应用三方面的要求，所以只有把良好的数据模型、合理的技术和准确的应用设计结合起来，形成一套有效的方法，才能建立起一个成功的数据仓库。39/434.5数据仓库的实施总的来说，数据仓库40/43主要包括五个部分五个部分的内容：1.数据仓库的设计建模对数据仓库的数据组织进行逻辑结构的设计2.数据转换与集成将数据进行提取、转换、装载到数据仓库（或集市）中4.5 4.5 数据仓库的实施数据仓库的实施40/43主要包括五个部分的内容：4.5数据仓库的实施41/433.数据存储与管理保证数据的安全性、完整性、一致性4.数据的分析和展现利用OLAP对数据进行多维分析、汇总，形成图表或报表5.数据仓库的维护和管理对数据仓库中元数据的管理4.3 4.3 数据仓库的实施数据仓库的实施41/433.数据存储与管理4.3数据仓库的实施42/43本章小结数据仓库与CRM有着难以割舍的密切关系，客户关系管理的很多工作都是以数据仓库为基础展开的。从某种意义上说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以对客户行为进行分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。42/43本章小结数据仓库与CRM有着43/43下节提示在客户关系管理中，和数据仓库技术一样，数据挖掘技术也有着同样重要的作用。那么什么是数据挖掘？它在客户关系管理中有什么作用？下次课学习“第五章第五章 CRM与数据挖掘与数据挖掘”。43/43下节提示在客户关系管理中，