行业数据挖掘应用

数据挖掘数据挖掘行业应用行业应用议程议程 数据挖掘现状 银行行业应用 电讯行业应用 政府行业应用 司法行业应用数据挖掘定义n通俗地讲，数据挖掘就是对海量数据进行精加工；严格地说，数据挖掘是一种技术，从大量的数据中抽取出潜在的、不为人知的有价值信息、模式和趋势，然后以易于理解的可视化形式表达出来，其目的是为了提高市场决策能力、检测异常模式、控制可预见风险、在经验模型基础上预言未来趋势等。 数据挖掘方法nCRISP-DM（Cross-Industry Standard Process for Data Mining）就是公认的、较有影响的方法论之一。n商业理解（Business Understanding）n数据理解(Data Understanding)n数据准备(Data Preparation)n建模(Modeling)n评估(Evaluation)n发布(Deployment)。 数据挖掘过程n数据挖掘的过程就是一个不断探索数据特征、建立和检验模型，发现客户消费行为特征的过程。 行业应用过程Characteristic AnalysisMultivariate model buildReject InferenceStatistical AnalysisCustomised ScorecardProduct IdentificationFile Data AvailabilitySamplingData Extraction/CostData IntegritySet cut-off ScoreImplementationValidationGeneric ScorecardExternal Data SourceScorecard VendorOutsourcingScorecard Monitoring行业应用分布行业应用方法n数据挖掘存在一个较长的应用周期。n数据挖掘应用的有效方法是：从一个较小的、关键的问题出发，建立起相对有效的模型，并通过应用实践不断检验和完善模型，逐步替使用者解决问题。 银行行业应用n1、客户细分n2、存贷款业务交叉销售n3、预防客户流失n4、信用卡风险控制n5、防范信贷风险及欺诈n6、其他挖掘主题客户流失分析n业务目标：得出最可能流失的客户名单，交由客户服务部门采取挽留措施；n建模数据：客户个人资料、消费情况、历史流失情况；n挖掘模型：神经网络、C5.0决策树、线性回归n部署数据：新的客户资料、消费情况n挖掘结果：预测出每个新客户的流失概率，并从中取概率最大的一部分。客户流失分析n尽可能减少客户流失，增加交叉销售，吸引有价值的新客户，在与客户发生关系的整个过程中增加盈利能力。客户信用评分n业务目标：给每个客户进行信用评分，以便确定客户的贷款授信、信用卡透支额度等；n建模数据：客户个人资料、历史信用情况；n挖掘模型：神经网络、C5.0决策树、线性回归n部署数据：新的客户个人资料n挖掘结果：为新客户给出信用评分（0-1）Credit Decision洗钱行为监测n业务目标：分析客户交易行为，从中找出少部分异常的交易，重点检查是否为洗钱；n建模数据：帐号及相应的交易行为信息；n挖掘模型：K-means聚类、TwoStep聚类n部署数据：同建模数据；n挖掘结果：筛选出与大多数交易行为不同的交易记录。Risk GradingDebit $1344. 12Debit $234. 01Debit $987.56Debit $6543.22Debit $32423.11Total $2556.00Debit $1344. 12Debit $234. 01Debit $987.56Debit $6543.22Debit $32423.11Total $2556.00Debit $1344. 12Debit $234. 01Debit $987.56Debit $6543.22Debit $32423.11Total $2556.00客户风险控制n风险控制C u sto m e r fa ilsto p a yL o sin g m o n e yW ro n g Stra te gyC h a n ge in m a rk e t p rice sP ro ce ssin g fa ilu re s a n d fra u d sR e gu la to ry co m p lia n ceC u sto m e r fa ilsto p a yL o sin g m o n e yW ro n g Stra te gyC h a n ge in m a rk e t p rice sP ro ce ssin g fa ilu re s a n d fra u d sR e gu la to ry co m p lia n ce客户行为分析n客户行为及资料聚类客户评价分析客户欺诈分析n欺诈数据挖掘及评分00.20.40.60.8102004006008001000客户财务数据挖掘n1) 公司之间的相似程度，它们的距离，合并。n2) 公司有金融比率值高或很高，其他则低或很低。 n3) 金融分析家和有经验的投资者可以通过改变金融比率的选择，开始新的聚类分析。他们可以从多次、多层聚类分析的结果中获得更多有用的信息。 银行其他应用n(1) 构建信用评级模型来评估贷款申请人或信用卡申请人的信用风险n(2) 构建探测欺诈模型来对可能的欺诈交易及早发出警告 n(3) 更好地理解消费者和客户（例如通过购物篮分析） n(4) 将用户分类（例如通过聚类）。所获结果可以用来制定邮寄类别、有针对性的广告和促销活动等。n(5) 构建模型来预测购买特定产品或服务的概率，从而推动交叉销售和向上销售。 银行行业案例n金融行业金融行业n中国建设银行 -基于SPSS统计分析产品的风险预警管理系统光大银行 -采用Clementine产品，进行企业信贷风险数据数据分析中国银行 -建立信用风险评级管理系统，有效组建内部评级分析体系nFirst Union(美国第六大银行企业) -现在我们确切明白了需要做些什么来满足客户的需求和期望，我们的交付系统也发生了重大变化。Barclays Bank(英国领先的金融服务集团) - Barclays的市场研究小组可以进行不断增加的有效的调查，从而在研究客户需 求时可以从数据中获取更多的价值美国汇丰银行 -预测分析帮助我们在合适的时间、用合适的产品和服务来接触合适的人。而SPSS为我们提供了进行这些分析的有力武器。 SPSS银行业用户The World Bank Group电讯行业应用n电信运营商拥有许多成熟的数据库应用系统如网管系统、财务系统、计费账务系统、112障碍管理系统、缴费销账系统等，并产生了大量的业务处理数据。如果针对客户关系管理相关决策分析的需求，对这些数据进行重组整合，就能充分利用这些宝贵的数据，体现信息的真正价值。 电讯行业应用n快速占领市场，扩大市场份额快速占领市场，扩大市场份额 n牢牢掌握大客户，防止流失牢牢掌握大客户，防止流失 n了解竞争对手，强化竞争优势了解竞争对手，强化竞争优势 n分析收入组成，制定战略决策分析收入组成，制定战略决策 n发现欺诈规律，减少欺诈行为发现欺诈规律，减少欺诈行为 电讯客户流失n电信客户流失涉及以下的一些问题： 1.哪些现有客户即将流失? 2.现有客户的流失概率如何? 3.哪些因素造成了客户的流失? 4.客户流失对客户自身会造成什么影响? 5.客户流失对电信公司的影响如何? 6.不同类别客户的流失情况有什么差别? 7.如果某个客户将要流失，他会在多长时间内流失? n销售提升解决方案销售提升解决方案n制定或推荐什么样的产品或者服务组合，然后我们就可以成功地对这些客户设定有效的销售战略。发现现有和潜在的客户需求，基于对客户的行为描述来制定提供有针对性的策略来获得最佳的新客户。25电讯行业应用电讯行业应用n欺诈防范解决方案欺诈防范解决方案n利用数据挖掘和统计分析技术，对欠费行为进行事前预测，在恶意欠费发生前就采取防范措施，就可以大幅减少欠费行为给运营商带来的巨额损失。n利用数据描述技术，可以对已知的欺诈性客户和非欺诈性客户进行有关的数据分析，发现可能影响客户欠费的因素n然后，我们可以根据对以上因素的分析和统计，构建预测模型，并应用到当前客户数据库中，利用上述预测结果，我们可以适时地对大客户进行重点跟踪，并在必要时采取措施，以减少损失。 电讯行业案例n邮电通信邮电通信江苏移动经营分析系统项目 -建立了大客户异动分析、潜在大客户预测、分类业务套餐测算和消费模型分析等四个专题模型内蒙古移动市场细分项目 -优化配置营销费用，提高营销活动的市场回应率曲靖联通客户流失分析项目 -通过对用户通话行为数据、用户资料数据和用户使用曲靖联通服务的情况等数据的深入分析，对影响流失各个因素进行了探索性分析并建立了预测客户流失的Logistic回归模型。英国电信 -建立探索模型，更好地客户的行为特征CallCounter -CallCounter用SPSS快速、方便地对呼叫数据进行分析，发现收入损失的地方，并提出解决建议。为其客户节约了时间和费用。西南贝尔 -Gallagher和他的同事们都在使用SPSS来进行高水平的、足以影响公司决策的数据分析。 n美国 Verizon公司(美国最大的无线通讯运营) -建立客户流失分析模型并采取适当的市场策略进行挽留Vodafone（埃及）公司 -对客户的资料数据、客户详单（CDR）数据进行了聚类分析，并将结果用于新产品推出、交叉销售和服务改进国内电信业用户江苏移动江苏移动内蒙移动内蒙移动中国电信中国电信辽宁移动辽宁移动吉林移动吉林移动广东电信研究院广东电信研究院江苏电信江苏电信四川移动四川移动海南移动海南移动福建移动福建移动深圳联通深圳联通SPSS 电信业用户税务行业应用n地方税务局要进行下一年度的税收收入预测，以制订新年度的工作计划。 n构建稽查选案系统是税务信息化建设 司法行业应用n司法应用主题网络信息挖掘（聚类、决策树、关联规则）情报分析挖掘（聚类、决策树、关联规则）案件分析挖掘（聚类、主成分、神经元网络）嫌疑人分析（聚类、决策树）串并案分析（关联规则）情报分析挖掘n定量分析，就是把已经获得的情报进行数理逻辑化的处理，就这些情报的真伪、多寡、轻重、远近等进行分析。作为一种解析模式，这个模式相对恒定，可以处理相关、相类的情报材料。 情报分析挖掘n六个分析区间:第一 区 间 :情报来源分析 （聚类、关联）第二 区 间 :情报真伪分析 （聚类、决策树）第三 区 间 :情报的归类分析（决策树）第 四区 间 :情报指向分析 （决策树）第五 区 间 :情报转化分析 （关联规则）第六 区 间 :情报矫正分析（聚类、主成分/因子、神经元网络）案件分析挖掘n利用计算机数据仓库，可以在拟定的算法下对大量的行为记录进行分析，从而发现案件的规律、趋势，了解不同案件行为之间的关联，譬如何种状态会诱发何种行为，相信这是国安领域数据挖掘的新方向。 政府行业案例n政府机构政府机构n南京市地税局 -建立科学的稽查管理方案北京市地税局 -成功实现了科学评估纳税指标，科学预测税收情况澳大利亚昆士兰州消防和援救管理局 -提取和分析累计超过40万条重大事故报告的数据n苏格兰东艾尔郡州议会 -该州议会服务民众的能力得到了提高魁北克健康和社会服务地方委员会 -通过数据清理技术提高了数据的可利用性 n美国弗吉尼亚青少年审判局 -SPSS提高了我们的统计能力，并向我们提供了制定更好决策所需的信息n美国夏洛特-卡罗莱纳警察局 -对居民对社区警务的满意度进行评估n英国农渔食品部(MAFF)-使用 SPSS Clementine 的神经网络和规则归纳算法来发现数据中隐藏的模式n法国地方研究机构IAURIF -采用 SPSS Clementine 的规则归纳算法得到了意想不到的结果 英国西米德兰警察局 -确定关键案件的模式和趋势 SPSS 能源, 学术&政府用户制造行业应用n六大主题：销售与生产能力的关系分析财务的数据挖掘技术质量与品种的优化分析生产、运输成本的控制分析客户关系及营销分析企业利润状况的趋势和预测 制造行业应用n生产成本分析成本分析收集整理ERP 成本系统和其它相关系统的数据，生成生产单元、辅助单元、因素分析和成本会计等主题，建立相关分析模型，对产品成本进行跟踪分析、动态监控各产品的竞争力，全面分析产品的综合效益，为实现企业效益最大化提供决策参考。差异分析因素分析趋势分析单单位位计计划划日日期期指指标标科科目目项项目目专题分析产产品品制造行业应用n生产成本预测明细产品成本测算收集整理质量设计数据、成本数据、销售价格数据和生产率标准数据等，生成明细产品成本主题，实现明细产品成本标准的自动生成与信息共享，建立产品标准成本测算、盈利能力分析、评价体系对产品进行边际贡献分析与评价，为产品定价及合理组织生产提供决策依据。 牌号牌号厂别厂别产品产品成本预测成本预测类型类型制造行业应用n产品质量分析功能包括信息查询，产品化学成分、工艺参数、力学性能、表面质量、尺寸精度的统计分析以及质量判定分析等。成材率分析成材率分析废品率分析废品率分析合格率分析合格率分析产别产别考核类型考核类型产品形态产品形态品种品种来源来源牌号牌号产品类型产品类型规格规格制造行业应用n产品成份分析分析产品成份中各因素的作用及权重。炉号炉号取样号取样号钢种钢种上抛日期上抛日期类别类别判定判定化学成份分析化学成份分析炉号炉号合同号合同号牌号牌号产品别产品别MIC_NOMIC_NO代表样号代表样号物理性能分析物理性能分析规格规格网络信息挖掘主题网络信息挖掘主题1).热点网站分析热点网站分析根据实际用户的浏览情况，发现焦点网站的网站（聚类分析）可以提供三种统计类型的报告： 1)user-based 例如：频繁访问本站的前N名的用户地址2)path-based 例如：被频繁访问的前N名的路径3)group-based 例如：被频繁访问的前N名的page group2).代理结构分析代理结构分析从proxy 的访问信息中可以分析网站的代理模式和路径（网络图分析、关联规则）网络信息挖掘主题网络信息挖掘主题3）个性分析挖掘）个性分析挖掘根据发现的个性喜好，动态地分析用户类别（决策树）在此基础上，利用数据挖掘算法发现：最常访问方式及路径、最常访问网站页面网络信息挖掘主题网络信息挖掘主题4）隐藏信息挖掘）隐藏信息挖掘通过网络访问内容及访问路径，发现隐藏信息（决策树）网络信息挖掘主题网络信息挖掘主题网络信息数据挖掘对象网络信息数据挖掘对象Usage Data:数据的抽象对象1.User2.Page View(Click) 用户在某个时刻看到的浏览器中的内容3.Click Stream 一组连续的page view 请求4.User Session (transaction)用户的阶段性的click stream,可以跨多个服务器5.Server Session 用户的,在一个服务器上的阶段性的click stream6.Episode 用户session中的一段有意义的click streamUsage Data:数据的抽象方法Raw DataPage ViewClick StreamUser SessionServer SessionEpisodes网络信息数据挖掘方法网络信息数据挖掘方法Usage Preprocessing的流程1.数据清理2.识别User/Session 3.识别Page View4.识别Episode网络信息数据挖掘流程网络信息数据挖掘流程谢谢！