数据挖掘的价值

数据挖掘的价值：寿险行业数据挖掘应用分析寿险是保险行业的一个重要分支，具有巨大的市场发展空间，因此，随着寿险市 场的开放、外资公司的介入，竞争逐步升级，群雄逐鹿已成定局。如何保持自身 的核心竞争力，使自己始终立于不败之地，是每个企业必须面对的问题。信息技 术的应用无疑是提高企业竞争力的有效手段之一。寿险信息系统经过了多年的发 展，已逐步成熟完善，并积累了相当数量的数据资源，为数据挖掘提供了坚实的 基础，而通过数据挖掘发现知识，并用于科学决策越来越普遍受到寿险公司的重 视。数据挖掘数据挖掘(Data Mining，DM)是指从大量不完全的、有噪声的、模糊的、随机 的数据中，提取隐含在其中的、有用的信息和知识的过程。其表现形式为概念(Concep ts)、规则(Rules)、模式(Pa tt erns)等形式。 目前业内已有很多成熟的数据挖掘方法论，为实际应用提供了理想的指导模型。 CRISP-DM (Cross-Industry Standard Process for Data Mining 就是公认的、 较有影响的方法论之一。CRISP-DM强调，DM不单是数据的组织或者呈现，也不 仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践 检验的完整过程。 CRISP-DM 将整个挖掘过程分为以下六个阶段：商业理解(Business Understanding)，数据理解(Data Understanding)，数据准备(Data Preparation)，建模(Modeling)，评估(Evaluation)和发布(Deployment)。商业理解就是对企业运作、业务流程和行业背景的了解；数据理解是对现有企业 应用系统的了解；数据准备就是从企业大量数据中取出一个与要探索问题相关的 样板数据子集。建模是根据对业务问题的理解，在数据准备的基础上，选择一种 更为实用的挖掘模型，形成挖掘的结论。评估就是在实际中检验挖掘的结论，如 果达到了预期的效果，就可将结论发布。在实际项目中，CRISP-DM模型中的数 据理解、数据准备、建模、评估并不是单向运作的，而是一个多次反复、多次调 整、不断修订完善的过程。行业数据挖掘经过多年的系统运营，寿险公司已积累了相当可观的保单信息、客户信息、交易 信息、财务信息等，也出现了超大规模的数据库系统。同时，数据集中为原有业 务水平的提升以及新业务的拓展提供了条件，也为数据挖掘提供了丰厚的土壤。根据CRISP-DM模型，数据挖掘首先应该做的是对业务的理解、寻找数据挖掘的 目标和问题。这些问题包括：代理人的甄选、欺诈识别以及市场细分等，其中市 场细分对企业制定经营战略具有极高的指导意义，它是关系到企业能否生存与发 展、企业市场营销战略制定与实现的首要问题。针对寿险经营的特点，我们可以从不同的角度对客户群体进行分类归纳，从而形 成各种客户分布统计，作为管理人员决策的依据。从寿险产品入手，分析客户对 不同险种的偏好程度，指导代理人进行重点推广，是比较容易实现的挖掘思路。由于国内经济发展状况不同,各省差异较大，因此必须限定在一个经济水平相当 的区域进行分析数据的采样。同时，市场波动也是必须要考虑的问题，一个模型 从建立到废弃有一个生命周期，周期根据模型的适应性和命中率确定，因此模型 需要不断修订。挖掘系统架构 挖掘系统包括规则生成子系统和应用评估子系统两个部分。规则生成子系统主要完成根据数据仓库提供的保单历史数据，统计并产生相关规 律，并输出相关结果。具体包括数据抽取转换、挖掘数据库建立、建模（其中包括了参数设置）、模型评估、结果发布。发布的对象是高层决策者，同时将模型提交给应用评估子系统.根据效果每月动态生成新的模型。图1 CRISP-DM方法论模型乜耐：*应用评估子系统可以理解为生产系统中的挖掘代理程序，根据生成子系统产生的 规则按照一定的策略对保单数据进行非类预测。通过系统的任务计划对生产数据 产生评估指标。具体包括核心业务系统数据自动转入数据平台、规则实时评估、 评估结果动态显示、实际效果评估。规则评估子系统根据规则进行检测。经过一 段时间的检测，可利用规则生成子系统重新学习，获得新的规则，不断地更新规 则库，直到规则库稳定。目前比较常用的分析指标有: 险种、交费年期、被保人职业、被保人年收入、被保人年龄段、被保人性别、被保人婚姻状况等。实践中，可结合实际数据状况，对各要素进行适当的取舍，并做不同程度的概括以形成较为满意的判定树，产生可解释的结论成果。图2数据挖掘系统架构