BI数据挖掘交流方案课件

内容内容纲要要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具1内容纲要 BI的相关背景1BIBI的相关背景的相关背景BI（Business Intelligence，商业智能）是目前全球IT市场中非常热门的一个话题；其关键推进因素是ERP等系统的相对完善后，形成了海量数据，如何发挥这些数据的价值其实就是BI所需要解决的问题；BI是 数据-信息-知识 的一个逐步转化过程；BI系统主要由 数据仓库DW(Data Warehouse)，联机分析处理OLAP(Online Analytical Processing)，数据挖掘-DM(Data Mining)三大部分组成；2BI的相关背景BI（Business IntelligencBIBI的相关背景的相关背景BI系统结构3BI的相关背景BI系统结构3内容内容纲要要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具4内容纲要 BI的相关背景4典型的业务问题典型的业务问题如何优化下一阶段的营销活动？如何优化下一阶段的营销活动？如何优化下一阶段的营销活动？如何优化下一阶段的营销活动？高价值客户中，谁可能流失？高价值客户中，谁可能流失？高价值客户中，谁可能流失？高价值客户中，谁可能流失？谁贡献的利润最多？谁花费的成本最高？谁贡献的利润最多？谁花费的成本最高？谁贡献的利润最多？谁花费的成本最高？谁贡献的利润最多？谁花费的成本最高？客户都有什么样的消费特点？客户都有什么样的消费特点？客户都有什么样的消费特点？客户都有什么样的消费特点？5典型的业务问题如何优化下一阶段的营销活动？高价值客户中，谁数据挖掘都可以应用到何处？数据挖掘都可以应用到何处？6数据挖掘都可以应用到何处？6何谓数据挖掘？何谓数据挖掘？数据数据数据数据信息信息信息信息决策决策决策决策数据挖掘是一个从海量数据中抽取前所未知的，数据挖掘是一个从海量数据中抽取前所未知的，可理解的，可操作信息的过程。可理解的，可操作信息的过程。7何谓数据挖掘？数据信息决策数据挖掘是一个从海量数据中抽取前数据库与数据挖掘发展历程数据库与数据挖掘发展历程8数据库与数据挖掘发展历程8数据挖掘是一门交叉学科数据挖掘是一门交叉学科数据挖掘数据挖掘数据库技术统计学其他学科信息科学机器学习可视化技术9数据挖掘是一门交叉学科数据挖掘数据库技术统计学其他学科信息内容内容纲要要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具10内容纲要 BI的相关背景10数据挖掘的过程数据挖掘的过程商业理解商业理解数据理解数据理解数据准备数据准备 数据 挖掘建立模型建立模型模型评估模型评估模型发布模型发布11数据挖掘的过程商业理解数据理解数据准备 数据建立模型模型评商业理解商业理解定义商业目标定义数据挖掘目标12商业理解定义商业目标12数据理解数据理解需要的数据可以获得的数据对可获得的数据进行观察、分析用直方图显示输入数据分布聚类以发现孤立点在保持数据特征的基础上抽样过滤不想要的数据值映射13数据理解需要的数据13数据准备数据准备一定要保证数据质量！14数据准备一定要保证数据质量！14建立模型建立模型确定抽样规则选择合适的算法调整算法的参数15建立模型确定抽样规则15模型评估模型评估使用一组新数据评估构建好的模型16模型评估使用一组新数据评估构建好的模型16模型发布模型发布制作成自动化处理软件包，上线使用。17模型发布制作成自动化处理软件包，上线使用。17数据挖掘过程中工作量比例数据挖掘过程中工作量比例18数据挖掘过程中工作量比例18数据挖掘的过程数据挖掘的过程数据仓库选择的数据选择转换挖掘理解转换后的数据可理解的信息抽取的信息19数据挖掘的过程数据仓库选择的选择转换挖掘理解转换后的数据可内容内容纲要要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具20内容纲要 BI的相关背景20业务问题与数据挖掘算法间关系业务问题与数据挖掘算法间关系Debt$40KQ QQ QQ QQ QII123456factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析信用特性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售21业务问题与数据挖掘算法间关系Debt 隐层-输出结点结点(神经元）神经元）30神经网络分类结点(神经元）30BP算法原理算法原理网络结构的确定1.输入层结构由输入变量（属性）来定。每个属性为一个输入结点；2.输出层结构由输出结果来定。有几个输出值，就有几个输出结点；3.隐藏层 层数和结点数点的确定：主要靠经验。4.初始权值的确定：取决于对问题的了解和先验知识，那部分作用强，权值就设得大些；靠经验。训练过程：一个神经元连接权重调整的过程。1.前向传播阶段输入层隐层输出层2.反向传播阶段计算输出的结果和目标结果的差距经输出层隐层输入层 反推神经元连接的权重调整3.对每个输入样本重复上述步骤，直到网络收敛为止31BP算法原理网络结构的确定31聚类聚类低高高高1 1 1 12 2 2 28 8 8 84 4 4 45 5 5 53 3 3 37 7 7 76 6 6 6因素二因素三因素一示例示例32聚类低高高高12845376因素二因素三因素一示例32聚类算法聚类算法演示图分群神经网络（Kohonen）33聚类算法演示图分群33关联规则关联规则34关联规则34关联规则关联规则对于规则 A=B,A=B的支持度同时包含A、B的事务数总事务数 A=B的置信度（A交B）的支持度A的支持度LIFT（A=B的置信度）B的支持度35关联规则对于规则 A=B,35序列模式序列模式100购买C产品的顾客在未来的时间里都购买了X产品。36序列模式100购买C产品的顾客在未来的时间里都购买了X产相似序列相似序列37相似序列37相似序列相似序列38相似序列38RBF预测预测RBF(Radial Basis Function)神经网络预测结果是个连续型变量39RBF预测RBF(Radial Basis FunctiRBF预测预测根据输出空间，将输入空间划分为区域p计算每个区域的区域中心40RBF预测根据输出空间，将输入空间划分为区域计算每个区域的RBF预测预测计算每个中心的权重Y=f(x1,x2,x3)41RBF预测计算每个中心的权重Y=f(x1,x2,x3)4RBF预测预测第一步：训练第二步：应用42RBF预测第一步：42内容内容纲要要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具43内容纲要 BI的相关背景43常用数据挖掘工具常用数据挖掘工具pIntelligent Miner(IBM);pClementine(SPSS);pSAS Enterprise Miner(SAS)；44常用数据挖掘工具Intelligent Miner(IBM新业务营销新业务营销留住老客户留住老客户(提升老客户活跃度提升老客户活跃度)识别与培养影响力高识别与培养影响力高端端根据客户本业务行为特征及偏好开展针对性营销，改进客户体验客户流失预警及客户挽留靠影响力高端带动数据数据数据发展新客户发展新客户发现潜在客户，进行交叉销售靠影响力高端带动数据数据识别影响力高端根据影响力高端的需求特点设计产品制定能激发影响力高端积极进行横向传播的营销策略数据数据数据营销方式营销方式营销方式营销方式注释注释:电信新业务营销思路电信新业务营销思路新业务营销留住老客户识别与培养影响力高端根据客户本业务行为特项目整体操作框架项目整体操作框架项目整体操作框架基于用户彩铃生命周期细分的算法描述基于用户彩铃生命周期细分的算法描述数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求基于用户彩铃生命周期细分的算法描述数据源整合需求用户细分模型彩铃潜在用户决策树模彩铃潜在用户决策树模型型彩铃目标用户（N=20228；L=13.2%）IVR用户N1：IVR用户（N=1238；L=35.1%）N6：ARPU58元（N=8880；L=19.3%）N2：非IVR用户（N=18940；L=11.74%）ARPU=66.5元N3：ARPU=66.5（N=862；L=44.8%）N4：ARPU=58N8：短信发送=10条（N=5076；L=22.9%）短信发送量=10N12：ARPU增量=15元（N=2479；L=30%）ARPU增量=15N18：有漫游（N=808；L=11.5%）N17：没有漫游（N=1788；L=18.3%）漫游业务漫游业务N16：有漫游（N=821；L=20%）N15：没有漫游（N=1658；L=34.9%）梦网短信用户N22：非梦网短信用户（N=1029；L=31.2%）N21：梦网短信用户（N=629；L=41%）N23：彩信用户（N=194；L=26.8%）N24：非彩信用户（N=627；L=17.9%）彩信用户新业务个数=1N25：是（N=1069；L=20.6%）N26：否（N=719；L=14.9%）N13：彩信用户（N=282；L=24.5%）N14：非彩信用户（N=3522；L=13.7%）彩信用户ARPU增量=15N19：是（N=1555；L=20.6%）N20：否（N=1967；L=8.3%）漫游业务N28：有漫游（N=401；L=13.7%）N27：没有漫游（N=1154；L=23%）动感地带学生套餐and ARPU30N10：非学生套餐（N=9626；L=4.7%）N9：学生套餐（N=434；L=13%）数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求彩铃潜在用户决策树模型彩铃目标用户IVR用户N1：IVR用户改造平台，从用户出发重新规划彩铃铃音内容属性分析个人铃音库中铃音内容属性特点抽提出用户铃音内容偏好依据用户铃音内容偏好进行针对性营销对应归类打标数据汇总营销效果回馈贴铃音内容偏好标签铃音内容偏好铃音内容偏好属性标签构建思路框架属性标签构建思路框架数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求改造平台，从用户出发重新规划彩铃铃音内容属性分析个人铃音库中49彩铃铃音内容属性标签应用示例彩铃铃音内容属性标签应用示例歌手歌手地域地域表达情绪表达情绪铃音类型铃音类型音乐来源音乐来源榜单榜单音乐时尚观音乐时尚观DIYDIY彩铃彩铃铃音标铃音标签签秋天不回来秋天不回来黄金甲黄金甲Girl of your dreamsGirl of your dreams（开篇版）（开篇版）数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求彩铃铃音内容属性标签应用示例歌手地域表达情绪铃音类型音乐来源50用户铃音内容偏好用户铃音内容偏好抽提示例抽提示例用户用户A A：铃音库中铃音：铃音库中铃音：用户用户B B：铃音库中铃音：铃音库中铃音：用户用户A A的铃音内容属性偏好特征：的铃音内容属性偏好特征：无跟随倾向；时尚族；喜欢主流男歌手，但无明显的歌手倾向；偏好国语，大众流行POP；影视插曲；情感属性：伤感；休闲圈；不具标新立异特质；用户用户B B的铃音内容属性偏好特征的铃音内容属性偏好特征：无跟随倾向；时尚族；喜欢新歌；无明显的歌手倾向，喜欢女歌手；偏好英文歌曲，大众流行POP；专辑CD；情感属性：欢乐激情；休闲圈；不具标新立异特质；提取用户彩提取用户彩铃内容属性铃内容属性偏好特征偏好特征 数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求用户铃音内容偏好抽提示例用户A：用户B：用户A的铃音内容属性51