数据挖掘基本概念与应用课件

报告内容n 数据挖掘的基本概念数据挖掘的基本概念n 数据挖掘与统计分析数据挖掘与统计分析n 数据挖掘的基本算法数据挖掘的基本算法n 数据挖掘实施方法论数据挖掘实施方法论n 总结与讨论总结与讨论n 数据挖掘的基本概念数据挖掘的基本概念报告内容 数据挖掘的基本概念 数据挖掘的基本概念改变未来世界的十大新兴技术nTechnology Review（麻省理工学院（麻省理工学院2002年年1月出刊）月出刊）机器与人脑的接口机器与人脑的接口塑胶晶体管塑胶晶体管数据挖掘（数据挖掘（Data Mining）数字权利管理数字权利管理生物测定学（生物测定学（Biometrics）语言识别处理语言识别处理微光学技术（微光学技术（Microphotonics）解开程序代码（解开程序代码（Untangling Code）机器人设计机器人设计微应用流体学（微应用流体学（Microfluidics）改变未来世界的十大新兴技术Technology Revie什么是数据挖掘？DataInformationKnowledgeWisdomn存在太多数据挖掘的定义，但基本上有这样一种描述结构存在太多数据挖掘的定义，但基本上有这样一种描述结构To find/discover/extract /dredge/harvest、Interesting/novel/useful/implicit/actable/meaningful、Information/knowledge/patterns/trends/rules/anomalies、In massive data/large data set/large database/data warehouse、Data+contextInformation+rulesKnowledge+experience什么是数据挖掘？DataInformationKnowled为什么会出现数据挖掘？n数据爆炸性增长是数据挖掘技术应运而生的根本原因。数据爆炸性增长是数据挖掘技术应运而生的根本原因。只见树木，不见森林（只见树木，不见森林（Drowning in data but starving for information）计算复杂度计算复杂度数据管理问题数据管理问题数据类型的多样性数据类型的多样性处理大容量数据是数据挖掘技术区别于其他数据分析方法的唯一标志吗？为什么会出现数据挖掘？数据爆炸性增长是数据挖掘技术应运而生的其他数据分析方法：统计学n从处理数据的角度看、从处理数据的角度看、数据规模不同数据规模不同数据来源不同：观测数据（数据来源不同：观测数据（Secondary Analysis）VS 试验数据（试验数据（Primary Analysis）数据类型不同（结构化数据、半结构化数据、非结构化数据）数据类型不同（结构化数据、半结构化数据、非结构化数据）n从分析思想的角度看从分析思想的角度看更关注实证性分析（更关注实证性分析（Empirical Analysis）而非探索性分析（）而非探索性分析（Exploratory Analysis）更关注模型（更关注模型（Model）而非算法（）而非算法（Algorithm）n但二者具有相当密切的联系但二者具有相当密切的联系从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉更加深入的渗透和交叉（如探索性数据分析，更加深入的渗透和交叉（如探索性数据分析，EDA）数据挖掘是数据驱动的探索性分析!其他数据分析方法：统计学从处理数据的角度看、数据挖掘是数数据挖掘：多学科的汇合数据挖掘数据库技术统计学其它学科信息科学机器学习可视化人工智能科学计算数据挖掘：多学科的汇合数据挖掘数据库技术统计学其它学科信息科数据挖掘是一个过程-“from data mining to knowledge discovery in database”.U.fayyad,G.P.Shapiro and P.Smyth(1996)数据挖掘是一个过程“from data mining to数据挖掘过程中的数据预处理n数据清洗数据清洗填充缺失值填充缺失值,修均噪声数据修均噪声数据,识别或删除孤立点识别或删除孤立点,并解决数据不一致问题并解决数据不一致问题主要分析方法：分箱（主要分析方法：分箱（BinningBinning）、聚类、回归）、聚类、回归n数据集成数据集成多个数据库、数据方或文件的集成多个数据库、数据方或文件的集成n数据变换数据变换规范化与汇总规范化与汇总n数据简化数据简化减少数据量的同时减少数据量的同时,还可以得到相同或相近的分析结果还可以得到相同或相近的分析结果主要分析方法：抽样、主成分分析主要分析方法：抽样、主成分分析n数据离散化数据离散化数据简化的一部分数据简化的一部分,但非常重要但非常重要(尤其对于数值型数据来说尤其对于数值型数据来说)数据挖掘过程中的数据预处理数据清洗数据挖掘过程中的数据探索n探索性数据分析（探索性数据分析（Exploratory Data Analysis,EDAExploratory Data Analysis,EDA）探索性地查看数据，概括数据集的结构和关系探索性地查看数据，概括数据集的结构和关系对数据集没有各种严格假定对数据集没有各种严格假定“玩玩”数据数据n主要任务主要任务数据可视化（数据可视化（a picture is worth a thousand wordsa picture is worth a thousand words）残差分析（数据拟合残差分析（数据拟合+残差）残差）数据的重新表达（什么样的尺度对数抑或平方根会简化分析？）数据的重新表达（什么样的尺度对数抑或平方根会简化分析？）方法的耐抗性（对数据局部不良的不敏感性，如中位数耐抗甚于均值）方法的耐抗性（对数据局部不良的不敏感性，如中位数耐抗甚于均值）n常见方法常见方法统计量，如均值、方差、根方差、协方差、峰度、偏度、相关系数等统计量，如均值、方差、根方差、协方差、峰度、偏度、相关系数等统计图，如饼图、直方图、散点图、箱尾图等统计图，如饼图、直方图、散点图、箱尾图等模型，如聚类模型，如聚类数据挖掘过程中的数据探索探索性数据分析（Explorator什么不是数据挖掘？n定量分析（定量分析（Quantitative Analysis）的需要存在企业管理运行的各个侧）的需要存在企业管理运行的各个侧面或环节，但并非所有的定量分析问题都可以归结到数据挖掘范畴的面或环节，但并非所有的定量分析问题都可以归结到数据挖掘范畴的问题。问题。简单的报表、图表及多维分析仍是日常分析工作的主要内容简单的报表、图表及多维分析仍是日常分析工作的主要内容小样本数据的分析传统统计分析方法更成熟有效，如趋势预测小样本数据的分析传统统计分析方法更成熟有效，如趋势预测某些特定业务问题无法用数据挖掘算法加以解决，例如某些特定业务问题无法用数据挖掘算法加以解决，例如资源最优配置问题是个运筹学问题资源最优配置问题是个运筹学问题某些物流管理问题或者供应链管理问题是个随机规划问题某些物流管理问题或者供应链管理问题是个随机规划问题营销预演本质是个系统仿真问题营销预演本质是个系统仿真问题什么不是数据挖掘？定量分析（Quantitative Ana报告内容n 数据挖掘的基本概念数据挖掘的基本概念n 数据挖掘与统计分析数据挖掘与统计分析n 数据挖掘的基本算法数据挖掘的基本算法n 数据挖掘实施方法论数据挖掘实施方法论n 总结与讨论总结与讨论n 数据挖掘与统计分析数据挖掘与统计分析报告内容 数据挖掘的基本概念 数据挖掘与统计分析统计学与数据挖掘的联系n从处理数据数据挖掘中采用了大量统计学的思想、方法和工具从处理数据数据挖掘中采用了大量统计学的思想、方法和工具聚类分析（无监督学习过程，统计分析中的主要技术）聚类分析（无监督学习过程，统计分析中的主要技术）K-MeansSelf Organizing Map(SOM)数据分类（有监督学习过程）数据分类（有监督学习过程）统计分类技术：距离判别，费雪判别，贝叶斯判别统计分类技术：距离判别，费雪判别，贝叶斯判别数据挖掘中的分类技术数据挖掘中的分类技术：决策树，神经网络：决策树，神经网络 其他方法其他方法相关分析相关分析主成分分析主成分分析回归分析回归分析序列分析序列分析统计学与数据挖掘的联系从处理数据数据挖掘中采用了大量统计学的统计学与数据挖掘的区别n数据数据样本数量不同（在统计学中样本数量大于样本数量不同（在统计学中样本数量大于30，则成为大样本），则成为大样本）数据来源和质量不同数据来源和质量不同数据挖掘既可以处理结构化数据，也可以处理非结构化和异型数据数据挖掘既可以处理结构化数据，也可以处理非结构化和异型数据n方法方法数据挖掘的前提是占有大量数据，统计中的实验设计、抽样设计并不适数据挖掘的前提是占有大量数据，统计中的实验设计、抽样设计并不适用用有些数据挖掘的分析方法是统计学中没有的，如强调实时分析有些数据挖掘的分析方法是统计学中没有的，如强调实时分析统计分析方法在对大规模数据处理时占用系统的资源和时间太多，不适统计分析方法在对大规模数据处理时占用系统的资源和时间太多，不适宜采用，因此数据挖掘大量采用神经网络、遗传算法等人工智能方法宜采用，因此数据挖掘大量采用神经网络、遗传算法等人工智能方法n模型（模式）模型（模式）模型（统计学）模型（统计学）VS 模式（数据挖掘）模式（数据挖掘）统计建模强调模型的普适性，数据挖掘强调从数据中发现模式统计建模强调模型的普适性，数据挖掘强调从数据中发现模式n算法算法统计学强调模型，运算量居于次要地位统计学强调模型，运算量居于次要地位数据挖掘的精华在于结果的未知性，强调探索性分析，与之对应的是算数据挖掘的精华在于结果的未知性，强调探索性分析，与之对应的是算法而不是模型法而不是模型n方法论方法论统计学：以数学为基础，每种方法有严格的证明体系统计学：以数学为基础，每种方法有严格的证明体系数据挖掘：采用实验方法，不具有很强的严谨性数据挖掘：采用实验方法，不具有很强的严谨性统计学与数据挖掘的区别数据数据挖掘相对于统计学的特点n使用数据挖掘工具无须具备太专业的统计知识，处理大量的实际数据更使用数据挖掘工具无须具备太专业的统计知识，处理大量的实际数据更有优势，使得数据挖掘人员可以集中精力在业务建模方面有优势，使得数据挖掘人员可以集中精力在业务建模方面n数据挖掘从大型数据库提取所需数据，利用专属计算机软件进行分析，数据挖掘从大型数据库提取所需数据，利用专属计算机软件进行分析，更能满足企业的需求更能满足企业的需求 n从理论的角度来看，数据挖掘与统计学不同，其目的在于方便企业的末从理论的角度来看，数据挖掘与统计学不同，其目的在于方便企业的末端使用者应用，而非为统计学家提供检验工具端使用者应用，而非为统计学家提供检验工具 数据挖掘相对于统计学的特点使用数据挖掘工具无须具备太专业的统报告内容n 数据挖掘的基本概念数据挖掘的基本概念n 数据挖掘与统计分析数据挖掘与统计分析n 数据挖掘的基本算法数据挖掘的基本算法n 数据挖掘实施方法论数据挖掘实施方法论n 总结与讨论总结与讨论n 数据挖掘的基本算法数据挖掘的基本算法报告内容 数据挖掘的基本概念 数据挖掘的基本算法几个基本概念n模型（模型（Model）vs 模式（模式（Pattern）数据挖掘的根本目的就是把样本数据中隐含的结构泛化（数据挖掘的根本目的就是把样本数据中隐含的结构泛化（Generalize）到总体）到总体（Population）上去）上去模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析所有点，例如聚类分析模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一模式：对数据集的一种局部性的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析个子集，例如关联分析n算法（算法（Algorithm）：一个定义完备（）：一个定义完备（well-defined）的过程，它以数据作为输）的过程，它以数据作为输入并产生模型或模式形式的输出入并产生模型或模式形式的输出n描述型挖掘（描述型挖掘（Descriptive）vs 预测型挖掘（预测型挖掘（Predictive）描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征预测型挖掘：根据观察到的对象特征值来预测它的其他特征值预测型挖掘：根据观察到的对象特征值来预测它的其他特征值描述型挖掘可以是目的，也可以是手段描述型挖掘可以是目的，也可以是手段几个基本概念模型（Model）vs 模式（Pattern）几类基本的挖掘算法n关联规则（模式、描述型）关联规则（模式、描述型）发现数据集中的频繁模式发现数据集中的频繁模式例如：例如：buy(x,”diapers”)buy(x,”beers”)0.5%,60%n分类与预测（模型、预测型）分类与预测（模型、预测型）发现能够区分或预测目标变量（唯一的）的规则或者函数发现能够区分或预测目标变量（唯一的）的规则或者函数分类的目标变量一般是类别型的，而预测则是数量型的，并不必然带有任何时分类的目标变量一般是类别型的，而预测则是数量型的，并不必然带有任何时间延续型的暗示间延续型的暗示例如：股票市值的预测，病人病情的判断例如：股票市值的预测，病人病情的判断n聚类（模型、描述型）聚类（模型、描述型）对数据分组以形成新类，类标记是未知的对数据分组以形成新类，类标记是未知的例如：市场细分例如：市场细分n孤立点探测（孤立点探测（Outlier Detection）（模式、预测型）（模式、预测型）分析异常或噪声数据的行为模式分析异常或噪声数据的行为模式例如：欺诈检测例如：欺诈检测几类基本的挖掘算法关联规则（模式、描述型）广东发展银行信用卡中心的数据挖掘模型 申请评分卡申请评分卡(分类模型、分类模型、Logistic回归算法回归算法)计算申请信用卡的人在将来产生坏账的概率计算申请信用卡的人在将来产生坏账的概率自变量是离散型变量自变量是离散型变量评分需要进行标准化处理评分需要进行标准化处理 行为评分卡行为评分卡(分类模型、分类模型、Logistic回归算法回归算法)包括：拖欠、催收、销售等包括：拖欠、催收、销售等自变量是连续型变量自变量是连续型变量广东发展银行信用卡中心的数据挖掘模型 申请评分卡(分类模型广东移动数据挖掘项目中的数据挖掘算法 客户流失客户流失(分类模型、分类模型、Logistic回归算法回归算法)彩铃彩铃WAP购买倾向预测购买倾向预测(分类模型、分类模型、Logistic回归算法回归算法)彩信增量销售预测彩信增量销售预测(分类模型、分类模型、Logistic回归算法回归算法)彩铃用户流失预测彩铃用户流失预测(分类模型、分类模型、Logistic回归算法回归算法)客户价值增长预测客户价值增长预测(分类模型、分类模型、Logistic回归算法回归算法)竞争对手流失预测竞争对手流失预测(分类模型、分类模型、Logistic回归算法回归算法)集团客户分群集团客户分群(聚类模型、聚类模型、K-Means算法算法)集团客户级别打分集团客户级别打分(分类模型、分类模型、Logistic回归算法回归算法)产品关联分析产品关联分析(关联规则关联规则)个人客户分群分析个人客户分群分析(聚类模型、聚类模型、K-Means算法算法)集团客户流失预警模型集团客户流失预警模型(AHP方法方法+Logistic回归算法回归算法)广东移动数据挖掘项目中的数据挖掘算法 客户流失(分类模型、客户分群客户分群(聚类模型、聚类模型、K-Means算法算法)客户流失客户流失(分类模型、分类模型、Logistic回归算法回归算法)潜在用户定位潜在用户定位(分类模型、分类模型、Logistic回归算法回归算法)商城的交叉销售商城的交叉销售(关联规则关联规则)产品收入预测产品收入预测（时间序列的预测方法）（时间序列的预测方法）腾讯公司中的数据挖掘算法客户分群(聚类模型、K-Means算法)腾讯公司中的数据挖分类问题的基本定义n给定一数据集合（训练集）给定一数据集合（训练集）数据记录由一系列变量组成数据记录由一系列变量组成其中有一个变量是目标分类标签其中有一个变量是目标分类标签n寻找一模型，使目标分类变量值是其他变量值的一个函数寻找一模型，使目标分类变量值是其他变量值的一个函数n利用上述函数，一未知分类变量值的数据记录能够尽可能准确地被判定到某利用上述函数，一未知分类变量值的数据记录能够尽可能准确地被判定到某一类别中去一类别中去一般会有另一独立地数据集（测试集）用以验证所构建分类函数的准一般会有另一独立地数据集（测试集）用以验证所构建分类函数的准确性，避免过度拟合确性，避免过度拟合分类问题的基本定义给定一数据集合（训练集）分类过程示意训练集训练集分类学习分类学习训练集训练集分类器分类器IF rank=professorOR years 6THEN tenured=yesJef is YES!分类过程示意训练集分类学习训练集分类器IF rank=回顾简单的一元线性回归问题n y=b b0+b b1x+u y称为被解释变量或者因变量，是一个称为被解释变量或者因变量，是一个连续变量连续变量 x称为解释变量或者自变量，是一个连续变量称为解释变量或者自变量，是一个连续变量 b b0、b b1称为回归系数称为回归系数 u是随机误差，一般假设服从标准正态分布是随机误差，一般假设服从标准正态分布yxy=b0+b1x+u.回顾简单的一元线性回归问题 y=b0+b1x+uLogistic回归进行分类和预测nLOGISTIC回归是一种特殊的回归模回归是一种特殊的回归模型，与古典的线性回归模型不同，其型，与古典的线性回归模型不同，其响应变量（响应变量（Response Variable）是一）是一分类变量（分类变量（Categorical Variable）而）而非连续变量（非连续变量（Continuous Variable）。）。响应变量是一个二值化的变量，通常响应变量是一个二值化的变量，通常以以10表示某一事件发生或者不发生。表示某一事件发生或者不发生。n应用应用Logistic回归得到的概率回归得到的概率p通常表通常表示在将来某段时间后某一事件发生的示在将来某段时间后某一事件发生的概率。概率。Odds:目标事件发生的数量目标事件发生的数量/非目标非目标事件发生的数量事件发生的数量.Odds ratio=prob(目标事件目标事件)/prob(非非目标事件目标事件)=p/(1-p)p=prob(目标事件目标事件)prob表示事件发生的概率表示事件发生的概率Logit:log of odds ratio=log(p/(1-p)Logistic回归回归:拟合下面的模型拟合下面的模型logit=a0+a1*X1+ak*Xkp=prob(目标事件目标事件)=exp(logit)/(1+exp(logit)p的取值范围的取值范围:0,1pLogistic回归进行分类和预测LOGISTIC回归是一种流失类模型案例n 建模目的：预测某一段时间之后客户流失的概率。建模目的：预测某一段时间之后客户流失的概率。n 确定时间窗口：确定时间窗口：n 确定目标变量：定义在确定目标变量：定义在Data Window中正常而在中正常而在Forecast Window中流中流失的客户为失的客户为0，而没有流失的客户为，而没有流失的客户为1。n 选择自变量：在电信的客户流失模型中，我们一般使用下面几种类型选择自变量：在电信的客户流失模型中，我们一般使用下面几种类型的变量。的变量。客户流失指标客户流失指标 客户信息数据（人口统计学数据、合同数据）客户信息数据（人口统计学数据、合同数据）呼叫数据呼叫数据 计费和支持数据计费和支持数据 一些转换之后得到的变量一些转换之后得到的变量 其它数据其它数据Data WindowForecast WindowTime LagMM-1M-2M-3MM-5M+1M+2流失类模型案例 建模目的：预测某一段时间之后客户流失的概率。流失类模型案例n 模型的评价模型的评价Lift值值R方方ROC曲线曲线K-S值值n 模型的应用模型的应用P值大的客户具有更高的流失倾向值大的客户具有更高的流失倾向模型的评分分布模型的评分分布划定划定Cut Off Line。对。对Cut Off Line的划定可以采用更多的市场数的划定可以采用更多的市场数据进行参考，如正确挽留一个客户准备的平均收益和成本，错误据进行参考，如正确挽留一个客户准备的平均收益和成本，错误挽留一个客户的平均成本，客户流失的平均损失等。有了这些数挽留一个客户的平均成本，客户流失的平均损失等。有了这些数据可以进一步使用贝叶斯方法建立数量化的分类模型，以确定对据可以进一步使用贝叶斯方法建立数量化的分类模型，以确定对Cut Off Line的划定。的划定。频数评分0 10000Cut Off Line非流失流失流失类模型案例 模型的评价频数评分0 10000Cut Of分类中的决策树（Decision Tree）归纳n决策树决策树 类似于流程图的树型结构类似于流程图的树型结构内部节点代表对某个属性的一次测试内部节点代表对某个属性的一次测试分支代表测试的输出结果分支代表测试的输出结果叶节点代表分类标签或分布叶节点代表分类标签或分布n决策树的生成包括两个阶段决策树的生成包括两个阶段树的创建树的创建首先首先,所有训练样本都位于根节点所有训练样本都位于根节点递归地基于选择属性来划分样本集递归地基于选择属性来划分样本集树的修剪树的修剪识别并删除那些反映噪声或孤立点的分支识别并删除那些反映噪声或孤立点的分支n应用决策树应用决策树:对未知样本进行分类对未知样本进行分类在决策树上测试样本的各个属性值在决策树上测试样本的各个属性值分类中的决策树（Decision Tree）归纳决策树 决策树示意age?overcaststudent?credit rating?noyesfairexcellent40nonoyesyesyes30.40n示例：是否购买计算机？示例：是否购买计算机？决策树示意age?overcaststudent?credi决策树在电信客户流失问题中的应用实例结论：ARPU=120元,租期已满23个月以上，平均拨打电话少于270秒，六个月內账单迟缴4次以上，拨打号码平均少于10个的客户得分770。A ARPURPU租期租期已满已满2323个个月以上月以上六六个个月內月內账单迟缴账单迟缴4 4次以上次以上拨打号码拨打号码平均平均少于少于1010个个120120是非平均平均拨打电话拨打电话少少于于270270秒秒是非70.0%不退租（1000）是77.0%退租（1200）是非非Etc.Etc.Etc.Etc.决策树在电信客户流失问题中的应用实例结论：ARPUB)=#AB/#N，表示，表示A和和B同时出现的概率。同时出现的概率。n期望可信度：期望可信度：Support(A)=#A/#N，表示，表示A出现的概率。出现的概率。n置信度：置信度：Confidence(A=B)=Support(A=B)/Support(B)n改善度：改善度：Lift(A=B)=Confidence(A=B)/Support(B)关联规则的量度支持度：Support(A=B)=#AB/#关联规则的度量n发现具有最小置信度和支持度的全部规发现具有最小置信度和支持度的全部规则则 X Y Z 支持度支持度(support),s,事务中包含事务中包含X&Y&Z的概率的概率置信度置信度(confidence),c,事务中包含事务中包含X&Y的条件下的条件下,包含包含Z的条件概率的条件概率n令最小支持度为令最小支持度为50%,50%,最小置信度为最小置信度为50%,50%,则有则有A A C (50%,66.6%)C (50%,66.6%)C C A (50%,100%)A (50%,100%)顾客购买尿布顾客购买尿布顾客购买两者顾客购买两者顾客购买啤酒顾客购买啤酒关联规则的度量发现具有最小置信度和支持度的全部规则 X 对支持度与置信度的批判n示例示例总共总共50005000名学生名学生,其中其中30003000人玩篮球人玩篮球37503750人吃谷类食品人吃谷类食品20002000人既玩篮球又吃谷类食品人既玩篮球又吃谷类食品play basketballplay basketball eat cerealeat cereal 40%,66.7%40%,66.7%是一个误导规则是一个误导规则,因因为吃谷类食品的学生占学生总数的为吃谷类食品的学生占学生总数的75%,75%,比比66.7%66.7%更高更高play basketballplay basketball not eat cerealnot eat cereal 20%,33.3%20%,33.3%其实是一个更精确其实是一个更精确的规则的规则,尽管它的支持度和置信度都比较低尽管它的支持度和置信度都比较低对支持度与置信度的批判示例关联规则的应用n市场购物篮分析（市场购物篮分析（Market Basket Analysis）例如一个事务是客户的一个购物清单，同一客户的两份清单被认为是例如一个事务是客户的一个购物清单，同一客户的两份清单被认为是两个不同的事务两个不同的事务数据项是所有可能陈列货物的全集数据项是所有可能陈列货物的全集目标是发现同时出现的货品组合间的关联模式目标是发现同时出现的货品组合间的关联模式应用：商品货价设计、仓储规划、网页布局、产品目录设计等等应用：商品货价设计、仓储规划、网页布局、产品目录设计等等n交叉销售（交叉销售（Cross Selling）客户依次购买不同产品的序列客户依次购买不同产品的序列目标是发现在购买某一产品组合之后客户可能购买的另一产品或服务目标是发现在购买某一产品组合之后客户可能购买的另一产品或服务应用：网络故障分析、网站门户设计等应用：网络故障分析、网站门户设计等关联规则的应用市场购物篮分析（Market Basket A关联规则的应用实例（手机邮箱精确营销）我们定义我们定义LIFT值大于值大于1的规则为强关联规则。的规则为强关联规则。发现这样的关联规则是有价值，有意义的。发现这样的关联规则是有价值，有意义的。关联规则是基于统计方法发现的数据当中的内在规律，而这种规律在现实中是否有意义还关联规则是基于统计方法发现的数据当中的内在规律，而这种规律在现实中是否有意义还需要市场业务人员作进一步的验证。需要市场业务人员作进一步的验证。关联规则的应用实例（手机邮箱精确营销）我们定义LIFT值大于从算法到应用从算法到应用广东移动数据挖掘项目的技术特点n几种主要的数据挖掘技术都已经得到广泛的应用几种主要的数据挖掘技术都已经得到广泛的应用聚类分析聚类分析关键规则关键规则分类预测模型（决策树，分类预测模型（决策树，Logistic回归）回归）n应用了数据挖掘技术之外的机器学习和统计建模技术应用了数据挖掘技术之外的机器学习和统计建模技术KPI预测（混沌时间序列分解预测方法，预测（混沌时间序列分解预测方法，BP神经网络预测方法）神经网络预测方法）集团客户流失预警（层次分析法）集团客户流失预警（层次分析法）更多的数据分析方法更多的数据分析方法n新的挖掘课题更侧重于高级数量分析新的挖掘课题更侧重于高级数量分析客户生命周期（管理营销学的实践，多模型支撑的分析过程）客户生命周期（管理营销学的实践，多模型支撑的分析过程）响应模型（市场分析模型与数据挖掘模型的应用结合）响应模型（市场分析模型与数据挖掘模型的应用结合）运筹学模型（应用于经营规划的优化）运筹学模型（应用于经营规划的优化）广东移动数据挖掘项目的技术特点几种主要的数据挖掘技术都已经得报告内容n 数据挖掘的基本概念数据挖掘的基本概念n 数据挖掘与统计分析数据挖掘与统计分析n 数据挖掘的基本算法数据挖掘的基本算法n 数据挖掘实施方法论数据挖掘实施方法论n 总结与讨论总结与讨论n 数据挖掘实施方法论数据挖掘实施方法论报告内容 数据挖掘的基本概念 数据挖掘实施方法论数据挖掘过程模型（DM Process Model）n用以管理并指导用以管理并指导Data Miner有效、准确开展数据挖掘工作以期获得最佳挖掘有效、准确开展数据挖掘工作以期获得最佳挖掘成果的一系列工作步骤的规范标准。成果的一系列工作步骤的规范标准。由厂商提出的由厂商提出的SPSS的的5A（Assess,Access,Analysis,Act,Automat）SAS的的SEMMA（Sample,Explore,Modify,Model,Assess）MICROSOFE的的OLEDB for DM由行业组织提出的由行业组织提出的CRISP-DM（Cross Industry Standard Process for DM）CRISP-DM起源于起源于1998年，当时年，当时NCR、Clementine（1998年为年为SPSS收购）、收购）、OHRA和和Daimler-Benz（现为（现为Daimler-Chrysler）的联合项目组提出）的联合项目组提出CRISP-DM的六个阶段的六个阶段数据挖掘过程模型（DM Process Model）用以管理TERADATA的挖掘方法论Scope Business Problem 度量数称胜Teradata Data WarehouseExplore Business Facts in DB(EDA)望闻问切Model 奇正之变，不可胜穷也Deploy工欲善其事，必先利其器Clean Data Clean Data 谨谨防假做真防假做真时时真亦假，真亦假，无为无为有有处处有有还无还无Select&Sample 必也正名乎TERADATA的挖掘方法论Scope Business PCRISP-DM中的元任务（Generic Tasks）CRISP-DM中的元任务（Generic Tasks）CRISP-DM中的业务理解CRISP-DM中的业务理解CRISP-DM中的数据理解CRISP-DM中的数据理解电信行业数据挖掘与商务智能产业链整体解决方案整体解决方案提供商提供商系统集成商系统集成商数据挖掘和数据挖掘和商务智能用户商务智能用户咨询服务咨询服务提供商提供商专业化服务和专业化服务和实施维护商实施维护商交付解决方案交付解决方案和项目规划和项目规划交付产品和协交付产品和协助助IT规划规划提供用户需求提供用户需求分析分析委托开发委托开发需求分析和咨需求分析和咨询服务询服务集成开发集成开发系统维护和数系统维护和数据分析服务据分析服务整体解决方案提供商：NCR、IBM、Oracle、Microsoft、SAS特定解决方案提供商：DataStage等ETL工具Cognos、BO、Brio等报表工具Splus、SPSS等挖掘工具Unica等专业解决方案系统集成商：AsiaInfo、联创宝信、中软、菲奈特咨询服务提供商：埃森哲、德勤、华院、吉贝克专业化服务和实施维护提供商：首航财务电信行业数据挖掘与商务智能产业链整体解决方案系统集成商数据挖数据挖掘厂商挖掘和统计分析平台SAS EMSPSS ClementineS+MinerStatistic Data Miner与数据库集成挖掘平台IBM IMOracleNCR Teradata MinerSQL 2005 DM 行业运用及解决方案UnicaKXENHNC数据挖掘厂商挖掘和统计分析平台SAS EM与数据库集成挖掘平报告内容n 数据挖掘的基本概念数据挖掘的基本概念n 数据挖掘与统计分析数据挖掘与统计分析n 数据挖掘的基本算法数据挖掘的基本算法n 数据挖掘实施方法论数据挖掘实施方法论n 总结与讨论总结与讨论n 总结与讨论总结与讨论报告内容 数据挖掘的基本概念 总结与讨论总结n数据挖掘的思想也许比我们想象的更加深邃数据挖掘的思想也许比我们想象的更加深邃n数据挖掘的算法太多了，但用到一种，就要透彻把握一种数据挖掘的算法太多了，但用到一种，就要透彻把握一种n数据挖掘是一个循环的探索过程，各个环节同等重要数据挖掘是一个循环的探索过程，各个环节同等重要n实施数据挖掘是一个战略性的举措实施数据挖掘是一个战略性的举措n数据挖掘不是万能的，没有数据挖掘也未必是万万不能的数据挖掘不是万能的，没有数据挖掘也未必是万万不能的nBusiness First,Technique Second总结数据挖掘的思想也许比我们想象的更加深邃有待研究的课题n数据挖掘在数据挖掘在SNS中的应用中的应用nStreaming data analysis and mining(IBM 研究院）研究院）n中文文本挖掘中文文本挖掘（中文预处理技术）（中文预处理技术）nWeb Mining 有待研究的课题数据挖掘在SNS中的应用参考文献参考文献网络资源u u u u u 网络资源 www.dmresThank you!Thank you!