数据仓库与数据挖掘技术课件

数据仓库与数据挖掘技术第一章第一章 数据仓库与数据挖掘概述数据仓库与数据挖掘概述1.1 数据仓库引论1.2 数据挖掘引论1.3 数据挖掘与数据仓库的关系1.4 数据仓库与数据挖掘的应用数据仓库的定义n n 综合对数据仓库的各种理解以及其特征，综合对数据仓库的各种理解以及其特征，我们可以定义我们可以定义:数据仓库是一种为信息分析提供了良好数据仓库是一种为信息分析提供了良好的基础并支持管理决策活动的分析环境，的基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集新的、随时间变化的、分层次的多维的集成数据集合。成数据集合。2与数据仓库相关的几个概念数据（数据（datadata）是一组表）是一组表示数量、行动和目标的示数量、行动和目标的非随机的可以鉴别的符非随机的可以鉴别的符号号,是对客观事物记录下是对客观事物记录下来的，可以鉴别的符号。来的，可以鉴别的符号。这些符号包括数字、字这些符号包括数字、字符、文字、图形、图像、符、文字、图形、图像、声音。声音。操作数据操作数据 原子数据原子数据 汇总数据汇总数据 特定查询响应特定查询响应数据仓库环境n n数据类型的分类 n n元数据是指用来描述数据仓库数据库内容的数据。以后将详细讨论元元数据是指用来描述数据仓库数据库内容的数据。以后将详细讨论元数据。数据。n n数据库是一组内部相关联的数据集合。其中关系数据库是表的集合，数据库是一组内部相关联的数据集合。其中关系数据库是表的集合，每个表都有惟一的名字，且每个表都由一组字段（属性）所存放的记每个表都有惟一的名字，且每个表都由一组字段（属性）所存放的记录组成。录组成。n n数据库管理系统（数据库管理系统（DBMSDBMS）是用来管理和存取数据库的一组软件。该）是用来管理和存取数据库的一组软件。该软件具有如下机制：数据库结构定义，数据的存储、并发、共享或分软件具有如下机制：数据库结构定义，数据的存储、并发、共享或分布的数据访问，数据的一致性和安全性。布的数据访问，数据的一致性和安全性。n n数据库系统是一个由硬件、软件、数据库和管理人员组成的复杂系统。数据库系统是一个由硬件、软件、数据库和管理人员组成的复杂系统。随着信息技术不断的发展，对数据处理的技术和人们对数据的需求也随着信息技术不断的发展，对数据处理的技术和人们对数据的需求也在不断的进化，如图在不断的进化，如图1.21.2所示的数据库系统及相关技术的演化。所示的数据库系统及相关技术的演化。n n数据集市（数据集市（data martsdata marts）通常是指较为小型化、针对特定目标且建）通常是指较为小型化、针对特定目标且建设成本较低的一种数据仓库。为了特定的应用目的或应用范围，而从设成本较低的一种数据仓库。为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject datasubject data）。）。数据库系统及相关技术的演化 n n数据仓库技术从本质上讲，是一种信息集成数据仓库技术从本质上讲，是一种信息集成技术技术，它从多个信息源中获取原始数据，经过加工处理后，存储在数据仓库的内部数据库中。为了使数据仓库用户能有效地使用数据仓库中的信息，进行深层次的综合分析和决策，数据仓库系统要向用户提供一整套数数据仓库系统要向用户提供一整套数据访问和分析工具。据访问和分析工具。通过所提供的访问工具，为数据仓库的用户提供统一、协调和集成的信息环境，支持企业全局的决策过程和对企业经营管理的深入综合分析。1.1.3 数据仓库的特点数据仓库的特点1主题与面向主题主题与面向主题2数据仓库数据的集成性数据仓库数据的集成性3数据仓库数据的不可更新性数据仓库数据的不可更新性4DW数据的时态性数据的时态性1.1.4 数据进入数据仓库的基本过程与建数据进入数据仓库的基本过程与建立数据仓库的步骤立数据仓库的步骤1 1数据进入数据仓库的基本过程数据进入数据仓库的基本过程数据进入数据仓库的基本过程数据进入数据仓库的基本过程 操作数据向数据仓库的移动包括以下五个过程：提取、操作数据向数据仓库的移动包括以下五个过程：提取、变换、净化、加载和汇总。变换、净化、加载和汇总。2 2建立数据仓库的步骤建立数据仓库的步骤建立数据仓库的步骤建立数据仓库的步骤1)1)收集和分析业务需求；收集和分析业务需求；2)2)建立数据模型和数据仓库的物理设计；建立数据模型和数据仓库的物理设计；3)3)定义数据源；定义数据源；4)4)选择数据仓库技术和平台；选择数据仓库技术和平台；5)5)从操作型数据库中提取、转换和净化数据到数据仓库；从操作型数据库中提取、转换和净化数据到数据仓库；6)6)选择访问和报表工具；选择访问和报表工具；7)7)选择数据库连接软件；选择数据库连接软件；8)8)选择数据分析和数据展示软件；选择数据分析和数据展示软件；9)9)更新数据仓库；更新数据仓库；1.1.5 分析数据仓库的内容分析数据仓库的内容操作型数据操作型数据操作型数据操作型数据分析型数据分析型数据分析型数据分析型数据细节细节的的的的综综合的，或提合的，或提合的，或提合的，或提炼炼的的的的在存取期在存取期在存取期在存取期间间是准确的是准确的是准确的是准确的代表代表代表代表过过去的数据去的数据去的数据去的数据可更新可更新可更新可更新不更新不更新不更新不更新操作需求事先可知道操作需求事先可知道操作需求事先可知道操作需求事先可知道操作需求事先不知道操作需求事先不知道操作需求事先不知道操作需求事先不知道生命周期符合生命周期符合生命周期符合生命周期符合SDLCSDLC完全不同的生命周期（完全不同的生命周期（完全不同的生命周期（完全不同的生命周期（CLDSCLDS）对对性能要求高性能要求高性能要求高性能要求高对对性能要求性能要求性能要求性能要求宽宽松松松松一个一个一个一个时时刻操作一刻操作一刻操作一刻操作一单单元元元元一个一个一个一个时时刻操作一人集合刻操作一人集合刻操作一人集合刻操作一人集合事事事事务驱动务驱动分析分析分析分析驱动驱动面向面向面向面向应应用用用用面向分析面向分析面向分析面向分析一次操作数据最小一次操作数据最小一次操作数据最小一次操作数据最小一次操作数据量大一次操作数据量大一次操作数据量大一次操作数据量大支持日常操作支持日常操作支持日常操作支持日常操作支持管理需求支持管理需求支持管理需求支持管理需求操作型数据和分析型数据的区别操作型数据和分析型数据的区别 1.2.1 为什么要进行数据挖掘为什么要进行数据挖掘 1数据挖掘的作用数据挖掘的作用 数据挖掘解决诸如欺诈甄别（数据挖掘解决诸如欺诈甄别（fraud detectionfraud detection）、保留）、保留客户（客户（customer retentioncustomer retention）、）、消除摩擦（消除摩擦（attritionattrition）、）、数据库营销（数据库营销（database marketingdatabase marketing）、市场细分）、市场细分（market segmentationmarket segmentation）、风险分析（）、风险分析（risk risk analysisanalysis）、亲和力分析（）、亲和力分析（affinity analysisaffinity analysis）、客户满）、客户满意度（意度（customer satisfactioncustomer satisfaction）、破产预测）、破产预测（bankruptcy predictionbankruptcy prediction）、职务分析（）、职务分析（portfolio portfolio analysisanalysis）等业务问题提供了有效的方法。）等业务问题提供了有效的方法。2数据挖掘的背景数据挖掘的背景（1 1）数据挖掘的商业背景）数据挖掘的商业背景（2 2）数据挖掘的技术背景）数据挖掘的技术背景（3 3）数据挖掘的社会背景）数据挖掘的社会背景 3 3数据挖掘对企业的影响数据挖掘对企业的影响数据挖掘对企业的影响数据挖掘对企业的影响 零售零售业业业务问题业务问题增加增加对对直接信函（直接信函（direct maildirect mail）的响）的响应应率率解决方案解决方案销销售人售人员员通通过过数据挖掘建立的数据挖掘建立的预测预测模型以了解哪些人最有可能模型以了解哪些人最有可能对对直接信函作出响直接信函作出响应应获获得的收得的收益益由于将直接信函由于将直接信函发发送送给给正确的客正确的客户户而增加了而增加了销销售售额额保保险险业业业务问题业务问题减少保减少保险险欺欺诈诈案件的案件的发发生数量生数量解决方案解决方案业务业务人人员员通通过过数据挖掘建立数据挖掘建立预测预测模型模型识别识别出哪些出哪些赔偿赔偿要求最可要求最可能具有欺能具有欺诈诈性性获获得收益得收益由于减少欺由于减少欺诈诈造成的造成的费费用而增加了利用而增加了利润润金融金融业业业务问题业务问题改改进预测进预测市市场场波波动动的能力，在金融市的能力，在金融市场场建模中得到广泛建模中得到广泛应应用。用。如何采用神如何采用神经经网网络络方法提高金融增益和在采用数据挖掘技方法提高金融增益和在采用数据挖掘技术术建立股票市建立股票市场场模型。模型。解决方案解决方案金融分析金融分析员员通通过过数据挖掘建立数据挖掘建立预测预测模型以模型以识别识别出出历历史上曾引起史上曾引起过过市市场场被被动动的因素所具有的模式的因素所具有的模式获获得收益得收益由于投由于投资资更加准确而增加了收入更加准确而增加了收入1.2.2 什么是数据挖掘什么是数据挖掘 1 1数据挖掘概念数据挖掘概念数据挖掘概念数据挖掘概念定义定义1 1 G.PiatetskyG.Piatetsky Shapior,W.J.FrawleyShapior,W.J.Frawley等定义数据挖掘为从数据库的大量等定义数据挖掘为从数据库的大量数据中揭示出隐含的、先前未知的、潜在有用的信息的非平凡过程。数据中揭示出隐含的、先前未知的、潜在有用的信息的非平凡过程。定义定义2 2 有人简单认为，数据挖掘就是数据库中知识的发现。有人简单认为，数据挖掘就是数据库中知识的发现。定义定义3 3 有人认为，数据挖掘为发现数据中隐藏的模式和关系的过程。有人认为，数据挖掘为发现数据中隐藏的模式和关系的过程。定义定义4 4 有人认为，数据挖掘就是从大量数据中提取或挖掘知识。有人认为，数据挖掘就是从大量数据中提取或挖掘知识。定义定义5 Fayyad5 Fayyad等在等在“知识发现知识发现9696国际会议上国际会议上”认为，知识发现是从数据库中认为，知识发现是从数据库中发现知识的全部过程，而数据挖掘则是此全部过程中一个特定的关键一步。发现知识的全部过程，而数据挖掘则是此全部过程中一个特定的关键一步。这种观点将数据挖掘的对象局限于数据库。这种观点将数据挖掘的对象局限于数据库。定义定义6 6 数据挖掘广义的定义为在一些事实或观察数据的集合中寻找模式的决策数据挖掘广义的定义为在一些事实或观察数据的集合中寻找模式的决策支持的过程。支持的过程。综上所述，我们定义数据挖掘为综上所述，我们定义数据挖掘为 在不同的数据源中包括结构化的数据、半结构化的数据和在不同的数据源中包括结构化的数据、半结构化的数据和在不同的数据源中包括结构化的数据、半结构化的数据和在不同的数据源中包括结构化的数据、半结构化的数据和非结构化的数据，即既可以是数据库，也可以是文件系统，或非结构化的数据，即既可以是数据库，也可以是文件系统，或非结构化的数据，即既可以是数据库，也可以是文件系统，或非结构化的数据，即既可以是数据库，也可以是文件系统，或其他任何组织在一起的数据集合，通过一定的工具与方法寻找其他任何组织在一起的数据集合，通过一定的工具与方法寻找其他任何组织在一起的数据集合，通过一定的工具与方法寻找其他任何组织在一起的数据集合，通过一定的工具与方法寻找出有价值的知识的一类深层次的数据分析方法。出有价值的知识的一类深层次的数据分析方法。出有价值的知识的一类深层次的数据分析方法。出有价值的知识的一类深层次的数据分析方法。2 2数据挖掘的分类数据挖掘的分类数据挖掘的分类数据挖掘的分类分分分分类标类标准准准准类别类别按数据挖掘方法的直按数据挖掘方法的直按数据挖掘方法的直按数据挖掘方法的直接性接性接性接性直接数据挖掘、直接数据挖掘、间间接数据挖掘接数据挖掘按数据分析的角度分按数据分析的角度分按数据分析的角度分按数据分析的角度分类类描述式数据挖掘、描述式数据挖掘、预测预测式数据挖掘式数据挖掘按挖掘的数据按挖掘的数据按挖掘的数据按挖掘的数据库库分分分分类类关系型、事关系型、事务务型、面向型、面向对对象型、主象型、主动动型、空型、空间间型、型、文本型、多媒体、异构数据文本型、多媒体、异构数据库库按挖掘的按挖掘的按挖掘的按挖掘的规则类规则类关关联规则联规则、分、分类规则类规则、聚、聚类规则类规则、趋势趋势分析、偏分析、偏差分析、模式分析、特征差分析、模式分析、特征规则规则、总结规则总结规则按采用的技按采用的技按采用的技按采用的技术术分分分分类类模糊和粗集方法、人工神模糊和粗集方法、人工神经经网网络络、遗传遗传算法、决算法、决策策树树、最近、最近邻邻技技术术、规则归纳规则归纳、可、可视视化技化技术术按挖掘知按挖掘知按挖掘知按挖掘知识识的抽象的抽象的抽象的抽象层层次分次分次分次分类类原始原始层层次、高次、高层层次和多次和多层层次次按挖掘知按挖掘知按挖掘知按挖掘知识识的反映事的反映事的反映事的反映事物之物之物之物之间间的性的性的性的性质质分分分分类类同同类类共性广共性广义义知知识识、特征型知、特征型知识识、属性差、属性差别别知知识识、关关联联型知型知识识、预测预测型知型知识识、离群型知、离群型知识识、3 3与数据挖掘相关的几个概念与数据挖掘相关的几个概念与数据挖掘相关的几个概念与数据挖掘相关的几个概念n n1 1）直接数据挖掘）直接数据挖掘）直接数据挖掘）直接数据挖掘n n利用可用的数据建立一个模型，模型对剩余的数据，对一个特定的变量利用可用的数据建立一个模型，模型对剩余的数据，对一个特定的变量利用可用的数据建立一个模型，模型对剩余的数据，对一个特定的变量利用可用的数据建立一个模型，模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述，分类、估值、预言（可以理解成数据库中表的属性，即列）进行描述，分类、估值、预言（可以理解成数据库中表的属性，即列）进行描述，分类、估值、预言（可以理解成数据库中表的属性，即列）进行描述，分类、估值、预言属于直接数据挖掘。属于直接数据挖掘。属于直接数据挖掘。属于直接数据挖掘。n n2 2）间接数据挖掘）间接数据挖掘）间接数据挖掘）间接数据挖掘n n不是选出某一具体的变量用模型进行描述；而是在所有的变量中建立起不是选出某一具体的变量用模型进行描述；而是在所有的变量中建立起不是选出某一具体的变量用模型进行描述；而是在所有的变量中建立起不是选出某一具体的变量用模型进行描述；而是在所有的变量中建立起某种关系。相关性分组或关联规则、聚集、描述和可视化属于间接数据某种关系。相关性分组或关联规则、聚集、描述和可视化属于间接数据某种关系。相关性分组或关联规则、聚集、描述和可视化属于间接数据某种关系。相关性分组或关联规则、聚集、描述和可视化属于间接数据挖掘。挖掘。挖掘。挖掘。n n3 3）描述式数据挖掘）描述式数据挖掘）描述式数据挖掘）描述式数据挖掘n n以简洁概要的方式描述数据，并提供数据的有意义的一般知识。以简洁概要的方式描述数据，并提供数据的有意义的一般知识。以简洁概要的方式描述数据，并提供数据的有意义的一般知识。以简洁概要的方式描述数据，并提供数据的有意义的一般知识。n n4 4）预测式数据挖掘）预测式数据挖掘）预测式数据挖掘）预测式数据挖掘n n分析数据，建立一个或一组模型，并试图预测新数据集的行为。分析数据，建立一个或一组模型，并试图预测新数据集的行为。分析数据，建立一个或一组模型，并试图预测新数据集的行为。分析数据，建立一个或一组模型，并试图预测新数据集的行为。3 3与数据挖掘相关的几个概念（续）与数据挖掘相关的几个概念（续）与数据挖掘相关的几个概念（续）与数据挖掘相关的几个概念（续）n n5 5）数据库查询工具和数据挖掘工具之间的差异）数据库查询工具和数据挖掘工具之间的差异 查询工具能帮助用户从数据库数据中找到新的、有意义的事实。查询工具能帮助用户从数据库数据中找到新的、有意义的事实。这类问题是查询所要访问的是对象是否在某一特定的位置。这这类问题是查询所要访问的是对象是否在某一特定的位置。这与目前数据库系统中大部分的查询操作是相似的。通过这类问与目前数据库系统中大部分的查询操作是相似的。通过这类问题使你可以确定对象将到达的位置。题使你可以确定对象将到达的位置。n n6 6）信息）信息n n7 7）知识）知识(knowledge)(knowledge)n n8 8）数据、信息与知识的转化关系）数据、信息与知识的转化关系1.2.3 数据挖掘的特点数据挖掘的特点n n1 1）处理的数据规模十分庞大；）处理的数据规模十分庞大；n n2 2）由于用户不能形成精确的查询要求，因此需要靠）由于用户不能形成精确的查询要求，因此需要靠DMDM技技术来寻找其可能感兴趣的东西；术来寻找其可能感兴趣的东西；n n3 3）DMDM对数据的迅速变化做出快速响应，以提供决策支持对数据的迅速变化做出快速响应，以提供决策支持信息；信息；n n4 4）DMDM既要发现潜在规则，还要管理和维护规则，随着新既要发现潜在规则，还要管理和维护规则，随着新数据的不断加入，规则需要随着新数据更新；数据的不断加入，规则需要随着新数据更新；n n5 5）DMDM中规则的发现基于统计规律，发现的规则不必适合中规则的发现基于统计规律，发现的规则不必适合于所有数据，而且当达到某一阈值时，便认为有此规则。于所有数据，而且当达到某一阈值时，便认为有此规则。1.2.4 数据挖掘的基本过程与步数据挖掘的基本过程与步骤骤 1 1数据挖掘的基本过程数据挖掘的基本过程数据挖掘的基本过程数据挖掘的基本过程n n （1 1）数据准备）数据准备n n数据准备（数据准备（data preparationdata preparation）：本阶段又可进一步细分成数据集成、）：本阶段又可进一步细分成数据集成、数据选择和预分析。数据选择和预分析。n n（2 2）挖掘挖掘n n挖掘（挖掘（miningmining）：）：DMDM处理器（处理器（data mining processordata mining processor）综合利用）综合利用前面提到的多种前面提到的多种DMDM方法分析数据。方法分析数据。n n（3 3）表述表述n n表述（表述（presentationpresentation）：与检验证型工具一样，）：与检验证型工具一样，DMDM将获取的信息以将获取的信息以便于用户理解和观察的方式反映给用户，这时可以利用可视化工具。便于用户理解和观察的方式反映给用户，这时可以利用可视化工具。n n（4 4）评价评价n n评价（评价（assessassess）：如果分析人员对分析结果不满意，可以递归地执行）：如果分析人员对分析结果不满意，可以递归地执行上述三个过程，直到满意为止。上述三个过程，直到满意为止。2进行数据挖掘的步骤进行数据挖掘的步骤n n (1)(1)问题定义问题定义问题定义问题定义问题定义主要是指利用数据挖掘可以分析哪些问问题定义主要是指利用数据挖掘可以分析哪些问问题定义主要是指利用数据挖掘可以分析哪些问问题定义主要是指利用数据挖掘可以分析哪些问题。题。题。题。n n (2)(2)发现信息发现信息发现信息发现信息通过数据挖掘分析从其客户那里发现更多的信息。通过数据挖掘分析从其客户那里发现更多的信息。通过数据挖掘分析从其客户那里发现更多的信息。通过数据挖掘分析从其客户那里发现更多的信息。n n (3)(3)制定计划制定计划制定计划制定计划n n (4)(4)采取行动采取行动采取行动采取行动n n (5)(5)监测效果监测效果监测效果监测效果1.2.5 分析数据挖掘的内容分析数据挖掘的内容n n1）直销n n2）争取客户n n3）保留客户n n4）交叉销售n n5）趋势分析n n6）欺诈检测1.3 数据挖掘与数据仓库的关系数据挖掘与数据仓库的关系n n用户包括偶然用户（用户包括偶然用户（casual usercasual user）、高级用户）、高级用户（power userpower user）和专家（）和专家（expertexpert）。）。n n查询协同管理包括一些访问工具和系统管理工具，查询协同管理包括一些访问工具和系统管理工具，为用户访问数据仓库和其他系统提供手段。为用户访问数据仓库和其他系统提供手段。n n数据仓库管理包括安全和特权管理，跟踪数据的数据仓库管理包括安全和特权管理，跟踪数据的更新，更新，数据质量检查，管理和更新元数据数据质量检查，管理和更新元数据，审计，审计和报告数据仓库的使用和状态，删除数据，复制、和报告数据仓库的使用和状态，删除数据，复制、分割和分发分割和分发数据，备份和恢复，存储管理。数据，备份和恢复，存储管理。n n信息发布系统即把数据仓库中的数据或其他相关信息发布系统即把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。的数据发送给不同的地点或用户。1.4.1 数据挖掘在零售业的应用数据挖掘在零售业的应用n n超市可以采用两种不同的方式从事信息中介，一超市可以采用两种不同的方式从事信息中介，一种方式是针对匿名客户，另一种是针对注册或有种方式是针对匿名客户，另一种是针对注册或有忠诚卡的客户。忠诚卡的客户。（1 1）重心从商品转换到客户）重心从商品转换到客户分析特定客户群的购买模式，厂商可以了解特定的客户的购买模型。分析特定客户群的购买模式，厂商可以了解特定的客户的购买模型。（2 2）数据分析）数据分析卖主（供应商）可以通过数据挖掘技术来增加商品的利润率，通过竞争卖主（供应商）可以通过数据挖掘技术来增加商品的利润率，通过竞争成为成为“种类首领种类首领”。1.4.2 数据挖掘技术在商业银行数据挖掘技术在商业银行中的应用中的应用n n在银行业，数据挖掘主要用于信用欺诈的建模和预测、风险评估、趋势分析、收益分析以及辅助直销活动。n n在金融市场，已将神经网络用于股票价格预测、购买权交易、债券等级评定、资产组合管理、商品价格预测、合并和买进以及金融危机预测等方面。n n19961996年，年，年，年，银行系统和技术银行系统和技术银行系统和技术银行系统和技术评论认为评论认为评论认为评论认为“数据数据数据数据挖掘技术将是本年度金融服务领域最重要的应用。挖掘技术将是本年度金融服务领域最重要的应用。挖掘技术将是本年度金融服务领域最重要的应用。挖掘技术将是本年度金融服务领域最重要的应用。”n n在进行数据挖掘的银行包括美国第一银行、在进行数据挖掘的银行包括美国第一银行、HeadlandHeadland抵押公司、抵押公司、FCCFCC国家银行、联邦住房贷国家银行、联邦住房贷款抵押公司、款抵押公司、Wells FargoWells Fargo银行、银行、NationsBancNationsBanc服务公司、服务公司、N.A.MellonN.A.Mellon银行、银行、AdvataAdvata抵押公司、抵押公司、化学银行、化学银行、Chevy ChaseChevy Chase银行、美国银行公司和银行、美国银行公司和USAAUSAA联邦储蓄银行联邦储蓄银行 1.4.3 数据挖掘在电信部门的应数据挖掘在电信部门的应用用n n19981998年，西部电信用年，西部电信用SASSAS的企业挖掘数据产品作的企业挖掘数据产品作为数据挖掘平台，开发了一项企业营销战略系统。为数据挖掘平台，开发了一项企业营销战略系统。n n19951995年年9 9月，月，DECDEC公司的公司的Evan DaviesEvan Davies和和Hossein PakravenHossein Pakraven提交的一份报告对客户跳槽提交的一份报告对客户跳槽造成的损失进行了量化，同时他们估计获得一个造成的损失进行了量化，同时他们估计获得一个新客户的费用高达新客户的费用高达400400美元。美元。1.4.4 数据挖掘在贝斯出口公司数据挖掘在贝斯出口公司的应用的应用n n贝斯出口公司是英国最大的啤酒出口商。该公司选择了IBM的智能挖掘器作为其数据挖掘的商务解决方案。1.4.5 数据挖掘如何预测信用卡数据挖掘如何预测信用卡欺诈欺诈n n对于这一问题可以有下列3种解决的途径：n n1 1）使用查询工具从关系数据库中以适当的格式抽取所需）使用查询工具从关系数据库中以适当的格式抽取所需要的信息。采用要的信息。采用Brio,Businee ObjectsBrio,Businee Objects及及CongnosCongnos等公等公司开发的工具将很容易构造出模型。由于用这种方法需要司开发的工具将很容易构造出模型。由于用这种方法需要将数据下载到客户端计算机中，所以能够从数据仓库中创将数据下载到客户端计算机中，所以能够从数据仓库中创建视图来表示将要挖掘的虚拟数据。建视图来表示将要挖掘的虚拟数据。n n2 2）通过从关系数据仓库中抽取记录数据，这将会受到一）通过从关系数据仓库中抽取记录数据，这将会受到一定的限制。定的限制。n n3 3）通过构造）通过构造SQLSQL语句以适当格式得到所需的数据。语句以适当格式得到所需的数据。1.4.6 数据挖掘在证券行业的应数据挖掘在证券行业的应用用n n关于股票预测，市场上有许多采用数据挖掘技术关于股票预测，市场上有许多采用数据挖掘技术对股票进行预测的软件。如对股票进行预测的软件。如NETPROPHETNETPROPHET是神是神经网络应用公司开发的一个股票预测应用软件，经网络应用公司开发的一个股票预测应用软件，它采用了神经网络技术，将输出的结果用两条曲它采用了神经网络技术，将输出的结果用两条曲线分别表示实际股票值和预测股票值。线分别表示实际股票值和预测股票值。第二章第二章 数据仓库的分析数据仓库的分析 n n2.1影响数据仓库成功的因素n n2.2数据仓库的生命周期n n2.3数据仓库的基本体系结构n n2.4数据仓库的逻辑结构2.1 影响数据仓库成功的因素影响数据仓库成功的因素特征特征特征特征操作（事操作（事操作（事操作（事务处务处理）需要理）需要理）需要理）需要数据数据数据数据仓库仓库（DSSDSS）需要）需要）需要）需要易易易易变变性性性性动态动态静静静静态态通用性通用性通用性通用性当前的当前的当前的当前的历历史的史的史的史的时间维时间维暗指暗指暗指暗指“现现在在在在”明确的，可明确的，可明确的，可明确的，可见见的的的的粒度粒度粒度粒度原始的，原始的，原始的，原始的，详细详细的的的的详细详细的和可的和可的和可的和可导导出的出的出的出的汇总汇总更新更新更新更新连续连续的，随机的的，随机的的，随机的的，随机的定期的，定期的，定期的，定期的，计计划的划的划的划的任任任任务务可重复的可重复的可重复的可重复的不可不可不可不可预预期的期的期的期的灵活性灵活性灵活性灵活性低低低低高高高高性能性能性能性能要求高性能要求高性能要求高性能要求高性能通常可接受低性能通常可接受低性能通常可接受低性能通常可接受低性能决策支持系统与事务之间在数据库要求上的差异决策支持系统与事务之间在数据库要求上的差异 影响数据仓库成功的因素 2.2.1 数据仓库计划与准备阶段数据仓库计划与准备阶段 1用户需求分析用户需求分析 2可行性研究可行性研究 3用户的认可用户的认可 4建设数据仓库的协调与阻力分析建设数据仓库的协调与阻力分析 5开发项目计划制定开发项目计划制定 6创建数据仓库所使用的关键资源创建数据仓库所使用的关键资源数据仓库的生命周期 2.2.2 数据仓库的其他阶段数据仓库的其他阶段n n1）系统分析n n2）系统设计（整体设计与详细设计）n n3）系统测试2.3 数据仓库的基本体系结构 n n客户应用，是供用户访问查询，并以直观方式展示分析结果；n n数据仓库，是存储不同程度的数据和元数据；n n集成器，是将从运作数据库中提取的数据经过转换、计算、综合等操作，集成到数据仓库中；n n监视器，是负责感知数据源发生的变化，并按需求提取数据；n n数据源，是为DW提供最底层的运作数据库系统及外部数据。2.4.1 数据仓库中的粒度数据仓库中的粒度2.4.2 数据仓库中的数据分割数据仓库中的数据分割n n数据分割的常用标准：按时间、商业行业、地理位置、组织单位等。这些标准都是由开发人员来选择，且还要选择是在应用层上进行分割，还是在系统层上进行分割。在系统层进行分割在一定程度上是DBMS和系统的一种功能。而在应用层分割需要应用程序代码来完成，每年的数据定义既可以相同，也可以不相同，同时从一个处理集转移到另一个处理集没有损失。2.4.3 数据仓库中的数据组织数据仓库中的数据组织n n数据仓库中有这些数据组织：简单堆积结构、轮转综合数据存储、简单直接文件和连续组织。2.4.4 数据仓库中的快照数据仓库中的快照n n快照是为一些事件的发生而产生的。n n本组成形式由4个部分组成：键码（key）、时间单元、只和关键码相关联的初始数据、与初始数据或关键码无直接关系的二次数据。2.4.5 数据仓库中的元数据数据仓库中的元数据n n元数据（metadata）是关于数据的数据，对数据的结构、内容、键码、索引等的描述。元数据在操作型的环境中和分析型的环境中具有不同的作用。n n元数据是描述数据仓库内数据的结构和建立方法的数据。可按其用途的不同分为两类：技术元数据和商业元数据。n n技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。第三章 数据仓库的设计与实施 n n3.1从数据库到数据仓库n n3.2面向主题的数据仓库设计n n3.3开发数据仓库的物理设计n n3.4数据仓库的实施3.1 从数据库到数据仓库从数据库到数据仓库数据数据库库系系统统数据数据仓库仓库系系统统数据数据数据数据类类型型型型操作型数据操作型数据分析型数据分析型数据数据数据数据数据组织组织方式方式方式方式面向面向应应用用面向主面向主题题视图视图机制机制机制机制虚表存虚表存储储，只存，只存视图结视图结构构实视图实视图存存储储系系系系统统开开开开发发方法方法方法方法需求需求驱动驱动数据数据驱动驱动面向面向面向面向应应用用用用面向面向OLTPOLTP应应用用面向面向OLAPOLAP应应用用工具工具工具工具数据数据查询查询、开、开发发分析和一般分析和一般查询查询功能功能功能功能复复杂杂简单简单优优化化化化事事务处务处理和理和访问访问系系统统的决策与分析的决策与分析索引索引索引索引有限数量有限数量完善完善结结构构自由空自由空自由空自由空间间需要附加数据空需要附加数据空间间无无更新开更新开更新开更新开销销大大无无更新操作更新操作更新操作更新操作增、增、删删、改、改频频繁繁少少3.2.1 数据建模数据建模n n1）数据仓库的开发过程n n2）基于开发过程的数据建模型的主要内容3.2.2 星型连接星型连接3.3.1数据仓库设计工具的选择数据仓库设计工具的选择 1数据获取工具的选择数据获取工具的选择 2数据工具的选择数据工具的选择3.3.2 物理数据模型设计物理数据模型设计n n硬件平台的选择：数据仓库的硬盘容量通常是操作数据硬件平台的选择：数据仓库的硬盘容量通常是操作数据库硬盘容量的库硬盘容量的2323倍。选择硬件平台时要考虑的问题：倍。选择硬件平台时要考虑的问题：是否提供并行的是否提供并行的I/OI/O？对多？对多CPUCPU的支持能力如何？的支持能力如何？n n不同存储介质的特点比较表不同存储介质的特点比较表 存存储储介介质质速度速度价格价格主存主存非常快非常快非常非常贵贵扩扩展内存展内存非常快非常快贵贵高速高速缓缓存存非常快非常快贵贵DASDDASD快快适中适中光光盘盘不慢不慢不不贵贵缩缩微胶片微胶片慢慢便宜便宜3.3.3 数据仓库中数据表的数量与规范化 n n在数据模型处理过程中，如果程序在很多表中跳在数据模型处理过程中，如果程序在很多表中跳转，每次程序从一个表跳到另一个，就要进行转，每次程序从一个表跳到另一个，就要进行I/OI/O变换，既要存取数据，又要存取索引找到数据。变换，既要存取数据，又要存取索引找到数据。如果许多程序需要大量的如果许多程序需要大量的I/OI/O时，性能就会受到影时，性能就会受到影响，这就要进行小计。响，这就要进行小计。n n当数据序列产生的数量是稳定的、按序列存取的，当数据序列产生的数量是稳定的、按序列存取的，且数据的创建与修改在统计上是以很规律的方式且数据的创建与修改在统计上是以很规律的方式进行的时候，可以采用数据数组。进行的时候，可以采用数据数组。3.4.1 数据仓库的实施应注意的数据仓库的实施应注意的问题问题n n在数据仓库的实施过程中要考虑以下问题：投资在数据仓库的实施过程中要考虑以下问题：投资回报率；在具体实施时应自顶向下还是自下到上；回报率；在具体实施时应自顶向下还是自下到上；在人力资源的问题上要考虑培训还是雇用；在设在人力资源的问题上要考虑培训还是雇用；在设计上要有前瞻性，把问题覆盖的范围思考大一些，计上要有前瞻性，把问题覆盖的范围思考大一些，但实施从小处开始。但实施从小处开始。3.4.2 在实施数据仓库过程中应避免的错误 1 1错误项目的发起错误项目的发起错误项目的发起错误项目的发起 2 2制订了不可能完成的目标制订了不可能完成的目标制订了不可能完成的目标制订了不可能完成的目标 3 3犯政治幼稚病犯政治幼稚病犯政治幼稚病犯政治幼稚病 4 4把所有能找到的数据全都放到数据仓库中把所有能找到的数据全都放到数据仓库中把所有能找到的数据全都放到数据仓库中把所有能找到的数据全都放到数据仓库中 5 5认为设计数据仓库就是设计事务数据库认为设计数据仓库就是设计事务数据库认为设计数据仓库就是设计事务数据库认为设计数据仓库就是设计事务数据库 6 6选择一个面向技术的而不是面向用户的人做选择一个面向技术的而不是面向用户的人做选择一个面向技术的而不是面向用户的人做选择一个面向技术的而不是面向用户的人做数据仓库项目经理数据仓库项目经理数据仓库项目经理数据仓库项目经理 7 7只专注内部关系型数据，而忽略外部数据、只专注内部关系型数据，而忽略外部数据、只专注内部关系型数据，而忽略外部数据、只专注内部关系型数据，而忽略外部数据、文本、图像甚至声音、视频数据文本、图像甚至声音、视频数据文本、图像甚至声音、视频数据文本、图像甚至声音、视频数据 8 8用交叠的或冲突的数据定义交付数据用交叠的或冲突的数据定义交付数据用交叠的或冲突的数据定义交付数据用交叠的或冲突的数据定义交付数据 9 9 相信软硬件供应商对性能、能力和可扩展性相信软硬件供应商对性能、能力和可扩展性相信软硬件供应商对性能、能力和可扩展性相信软硬件供应商对性能、能力和可扩展性的承诺的承诺的承诺的承诺 1010相信一旦数据仓库建立起来并开始运行，你相信一旦数据仓库建立起来并开始运行，你相信一旦数据仓库建立起来并开始运行，你相信一旦数据仓库建立起来并开始运行，你的任务就完成了的任务就完成了的任务就完成了的任务就完成了 1111专注于动态生成查询、数据挖掘和定期生成专注于动态生成查询、数据挖掘和定期生成专注于动态生成查询、数据挖掘和定期生成专注于动态生成查询、数据挖掘和定期生成报表报表报表报表3.4.3 数据仓库项目实施成功的要诀数据仓库项目实施成功的要诀n n许多数据仓库项目的指导方针都是成功的。Anahory和Murray提供了足有145组指导方针，所有这些都是为了那些负责数据仓库项目的人而设计的，目的是帮助他们得到成功的结论。n n数据仓库专家Larry Greenfield已经出版了他关于一个成功数据仓库项目的建议第四章第四章 信息分析的基本技术信息分析的基本技术 n n4.1自动信息分析的基本技术n n4.2联机分析n n4.3Rough的信息分析技术信息分析技术的不同方面与层次分类 4.1.1智能代理智能代理n n智能代理（Agent）是一种在计算机网络上无疲劳工作执行重复性、可预料任务的,为人们建立知识的软件包。n n智能代理具有长期性、半自动化、参与活动，且具有适应性。1 1智能代理定义智能代理定义智能代理定义智能代理定义n nAgentAgent的设计是用来完成某类任务的，能在一定环境中自主的设计是用来完成某类任务的，能在一定环境中自主发挥作用、有生命周期的计算实体。发挥作用、有生命周期的计算实体。Agent Agent 是一种抽象实是一种抽象实体，它能作用于自身和环境，并能对环境做出反映，具有知体，它能作用于自身和环境，并能对环境做出反映，具有知识、目标和能力。识、目标和能力。2 2多多多多AgentAgent与移动与移动与移动与移动AgentAgentn n多多AgentAgent是由多个可执行网络计算的是由多个可执行网络计算的AgentAgent组成的集合，能组成的集合，能对问题求解，能随环境改变而自动修改自己的行为，并能通对问题求解，能随环境改变而自动修改自己的行为，并能通过网络与其他过网络与其他AgentAgent进行通信、交换、合作，协同完成求解进行通信、交换、合作，协同完成求解同一问题的分布式智能系统。同一问题的分布式智能系统。n n移动移动AgentAgent是是Agent Agent 与与InternetInternet技术相结合的产物，它可技术相结合的产物，它可以自主地在网络上从一台主机移动到另一台主机，根据用户以自主地在网络上从一台主机移动到另一台主机，根据用户指定的任务进行自动检索、收据和过滤信息，代表用户进行指定的任务进行自动检索、收据和过滤信息，代表用户进行商务活动。商务活动。3 3建造建造建造建造AgentAgent的方法的方法的方法的方法4.1.2 群体智能群体智能 1蚁群算法蚁群算法 2多多Agent分布式的市场营销知识获取分布式的市场营销知识获取结构结构多Agent分布式市场营销知识获取结构4.1.3 小波分析小波分析n n小波变换是一种信号处理技术，它将一个信号小波变换是一种信号处理技术，它将一个信号分解为不同频率的子波段。在实际工程中，有分解为不同频率的子波段。在实际工程中，有用信号通常表现为低频信号或是一些比较平稳用信号通常表现为低频信号或是一些比较平稳的信号，而噪声（离群）则通常表现为高频信的信号，而噪声（离群）则通常表现为高频信号。号。4.1.4 分形技术分析分形技术分析n n分形理论（分形理论（fractal theoryfractal theory）的创始人）的创始人MandelbrotMandelbrot在在2020世纪世纪6060年代就应用自相似性和标度不变性，对棉花价格进行了研究。年代就应用自相似性和标度不变性，对棉花价格进行了研究。n n称集称集F F是分形的，是具备如下典型的性质：是分形的，是具备如下典型的性质：n n1 1）F F具有精细的结构，即有任意小比例的不规则的细节；具有精细的结构，即有任意小比例的不规则的细节；n n2 2）F F是如此的不规则以至于无论它的整体和局部都不能用微积是如此的不规则以至于无论它的整体和局部都不能用微积分或传统的几何语言来描述；分或传统的几何语言来描述；n n3 3）F F通常有某种自相似或自仿射的性质，可能是近似的，也可通常有某种自相似或自仿射的性质，可能是近似的，也可能是统计近似意义上的；能是统计近似意义上的；n n4 4）一般地）一般地F F有有“分形维数分形维数”（以某种定义），通常严格大于它（以某种定义），通常严格大于它的拓扑维数；的拓扑维数；n n5 5）在大多令人感兴趣情形下，）在大多令人感兴趣情形下，F F以非常简单的方法，可能由迭以非常简单的方法，可能由迭代给出定义；代给出定义；n n6 6）F F通常有通常有“自然自然”的外貌。的外貌。4.2.1联机分析联机分析OLAP的基本术语的基本术语n n定义定义1 OLAP(1 OLAP(联机分析处理联机分析处理)是针对特定问题的联机是针对特定问题的联机数据访问和分析。通过对信息数据访问和分析。通过对信息(维数据维数据)的多种可能的的多种可能的观察形式进行快速、稳定一致和交互性的存取，允观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。许管理决策人员对数据进行深入观察。n n定义定义2 OLAP(2 OLAP(联机分析处理联机分析处理)是使分析人员、管理是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的，并对真实反化出来的、能够真正为用户所理解的，并对真实反映企业数据特性的信息进行快速、一致、交互地存映企业数据特性的信息进行快速、一致、交互地存取，从而获得对数据更深入了解的一类软件技术取，从而获得对数据更深入了解的一类软件技术 (OLAP(OLAP委员会的定义委员会的定义)。n nOLAPOLAP的目标是满足决策支持或多维环境特定的查询的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是和报表需求，它的技术核心是“维维”这个概念，因这个概念，因此此OLAPOLAP也可以说是多维数据分析工具的集合。也可以说是多维数据分析工具的集合。4.2.2 OLAP体系结构和处理的特性体系结构和处理的特性4.2.3 OLAP多维数据结构与多维数据结构与OLAP的分类的分类 1OLAP多维数据结构多维数据结构 2OLAP的分类的分类4.2.4 OLAP的多维数据分析方法的多维数据分析方法 1切片（切片（slice）2切块（切块（Dice）3旋转（旋转（turning）/转轴转轴(pivot)4钻取钻取(drill)4.2.5 OLAP评价准则评价准则n n准则准则1 OLAP1 OLAP模型必须提供多维概念视图。模型必须提供多维概念视图。n n准则准则2 2 透明性准则。透明性准则。n n准则准则3 3 存取能力准则。存取能力准则。n n准则准则4 4 稳定的报表性能。稳定的报表性能。n n准则准则5 5 客户客户/服务器体系结构。服务器体系结构。n n准则准则6 6 维的等同性准则。维的等同性准则。n n准则准则7 7 动态的稀疏矩阵处理准则。动态的稀疏矩阵处理准则。n n准则准则8 8 多用户支持能力准则。多用户支持能力准则。n n准则准则9 9 非受限的跨维操作。非受限的跨维操作。n n准则准则10 10 直观的数据操纵。直观的数据操纵。n n准则准则11 11 灵活的报表生成。灵活的报表生成。n n准则准则12 12 非受限维与聚集层次。非受限维与聚集层次。4.2.6 OLAP的发展与流行的的发展与流行的OLAP工具选择工具选择 1OLAP的发展的发展 2流行的流行的OLAP工具选择工具选择1 1）Hyperion Hyperion EssbaseEssbase：2 2）Oracle Express Oracle Express 3 3）IBM DB2 OLAP Server IBM DB2 OLAP Server 4 4）Sybase Power dimensionSybase Power dimension 5 5）Informix Informix MetacubeMetacube 4.3.1 粗糙集理论的基本概念和粗糙集理论的基本概念和理论基础理论基础1.1.知识、划分与等价关系知识、划分与等价关系2.2.信息表、不可分辨关系和基本集信息表、不可分辨关系和基本集3.3.粗糙集的下、上近似及边界区粗糙集的下、上近似及边界区4.3.2 粗糙集在信息分析中的特粗糙集在信息分析中的特征表示征表示定义4 设U是论域，=1,2,m是对象集，中任何对象所具有的特征所组成的集合，称为特征集（property set）：T=t1,t2,tn。这些特征可由如下的“属性-值”表示：t=(a,v),。由特征集构成的表，称之为特征表 第五章第五章 数据挖掘过程数据挖掘过程n n5.1数据挖掘的方法与基本流程n n5.2确定主题和定义数据挖掘任务n n5.3数据预处理n n5.4数据挖掘的模型建立与理解n n5.5数据挖掘中常见的一些问题n n5.6事先无法预测的有价值知识5.1.1 SEMMA方法方法n nSASSAS的的Enterprise MinerEnterprise Miner中包含了一个可以影中包含了一个可以影射为射为SEMMASEMMA方法的分析流图方法的分析流图n nSASSAS的的SEMMASEMMA方法即抽样（方法即抽样（samplesample）、探索）、探索（exploreexplore）、修改（）、修改（modifymodify）、模型）、模型(model)(model)和评价和评价(assess)(assess)等英文头的缩写，它等英文头的缩写，它是由一个过程流图驱动的是由一个过程流图驱动的 5.1.2 数据挖掘的基本流程 5.2 确定主题和定义数据挖掘任务 n n首先确定与任务相关的数据，即我想挖掘什么数据集 n n确定数据挖掘研究的范围，即想挖掘什么类型的知识，什么背景知识在这里可能有用，哪些度量可以用来评估模式的兴趣度 5.2.1 确定主题确定主题n n保持力控制、风险预测、收益率分析、数据趋势分析、雇员分析、区域分析、分类、聚类和可视化研究都可作为主题的类型。5.2.2 定义数据挖掘任务定义数据挖掘任务n n1 1）首先定义与任务相关的数据，即要确定数据选择的条件、）首先定义与任务相关的数据，即要确定数据选择的条件、数据分组条件、相关属性或维等。要使得挖掘效率高，可建数据分组条件、相关属性或维等。要使得挖掘效率高，可建立视图进行挖掘，数据仓库可满足这些条件。立视图进行挖掘，数据仓库可满足这些条件。n n2 2）确定与数据挖掘任务相关的知识类型，即从特征化和判）确定与数据挖掘任务相关的知识类型，即从特征化和判别式、关联、分类、预测、聚类和演变分析等中找出一种或别式、关联、分类、预测、聚类和演变分析等中找出一种或几种类型。模式模板，包括元模式（元规则或元查询）可以几种类型。模式模板，包括元模式（元规则或元查询）可以指导知识的发现过程。指导知识的发现过程。n n3 3）获取一定的背景知识，背景知识是正确的作出概念分层）获取一定的背景知识，背景知识是正确的作出概念分层和用户对数据保持联系。概念分层包括模式分层、集合分组和用户对数据保持联系。概念分层包括模式分层、集合分组分层、操作导出的分层和基于规则的分层。分层、操作导出的分层和基于规则的分层。n n4 4）度量与数据挖掘任务相关的模式兴趣度：兴趣度度量包）度量与数据挖掘任务相关的模式兴趣度：兴趣度度量包括评估模式的简洁性（如规则长度）、确定性（置信度）、括评估模式的简洁性（如规则长度）、确定性（置信度）、实用性（支持度）和新颖性。实用性（支持度）和新颖性。5.3.1数据的收集和准备数据的收集和准备n n数据的收集和准备是开展数据挖掘的最大障碍。n n数据准备一般包含两方面：从多种数据源中去综合数据挖掘所需要的数据，从多种数据源中去综合数据挖掘所需要的数据，保证数据质量的综合性、易用性和时效性，这保证数据质量的综合性、易用性和时效性，这有可能要用到数据仓库的思想和技术；有可能要用到数据仓库的思想和技术；如何从现有数据中衍生出所需要的指标，这主如何从现有数据中衍生出所需要的指标，这主要取决于数据挖掘者的分析经验和工具的方便要取决于数据挖掘者的分析经验和工具的方便性