用于电信业中无力偿还客户的决策支持的数据挖掘

,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Data mining for decision support on customer insolvency in telecom business,第一部分,应用背景及客户需求分析,为什么要建立这样一个决策支持来区分无力偿还客户？,情况描述：,电信公司与其他服务提供公司一样，经常会遭受无力偿还客户（使用了所提供的服务却没有付费）。尽管针对这些客户采取了一定的预防措施，然而在大多数情况下，这些措施显得太晚了，并且没有显著的作用。因此，一些客户逃脱付费的行为导致了公司财政遭受相当大的损失。,解决方法,在电信行业垄断局面被打破的今天，各方面竞争日益激烈，侦测和预防此类行为对该行业来讲是个重要的目标。建立一个可以事先预测客户无力偿还行为的可用的模型，对服务供应商来说就意味着一个有用的决策支持工具。,决定使用数据挖掘技术的原因,注意到电信公司收集到了大量的数据，这些数据涉及到公司与客户间交流的多个不同方面，这些数据可能包含了关于无力偿还预测的有价值的信息。比如：,a)客户简介,b)所使用的服务,c)公司与客户间的经济联系,最终目标,与其他欺诈检测问题中的欺诈者相似，普遍认为无力偿还客户一般与其它客户表现不同，尤其是在该要付费的关键时期。,目标：,揭示这些行为模式，可以把无力偿还客户同其他的客户区别开来。,一些固有难题,一些固有的限制使得该研究是一个特殊的难题。,a),无力偿还客户的行为可归结为欺诈性结果或一些不从属客户意愿的因素（如不可抗力、社会因素）。很明显我们要研究的是前者，因为预测后者是相当困难的，实际上，后者的存在使得对前者的确认变得相当困难。,b,）可获得的数据集，常常以一种有限而失真的方式表现各个客户。这是因为信息的来源只限于电信公司以及该公司所维护的关于客户的信息。由于各种道德和法律因素，这些信息不能和其他来源的信息相互联系，客户只是被表示为某些服务的使用者，而没有揭示其它可能影响客户行为模式或无力偿还行为的社会或财政方面的因素。,c),在大量可用的数据中，可以定义许多参数，常常由主要的交易数据演绎而来，可以描述客户行为。绝大多数相关参数的选择对我们的问题来讲是个冗长乏味的过程，部分基于统计分析工具技术，部分基于相关研究人员对所给问题的参数重要性的理解。因此，确定这些参数的子集，并随后使用适当的工具来选出大部分相关参数是个关键的阶段。,第二部分,类似应用问题的回顾,电信,公,公司,对,对无,力,力偿,还,还客,户,户的,预,预测,和,和以,下,下几,个,个领,域,域的,欺,欺诈,检,检测,问,问题,相,相似,。,。,a),移,移动,通,通讯,b),常,常规,通,通讯,c),信,信用,卡,卡或,名,名片,操,操作,几个,问,问题,的,的共,同,同点,：,：,a),提供,服,服务,的,的公,司,司收,入,入损,失,失显,著,著，,超,超出,了,了允,许,许的,毛,毛差,额,额。,b),无法,预,预测,的,的人,类,类行,为,为给,欺,欺诈,检,检测,带,带来,了,了相,当,当大,的,的困,难,难。,c),只有,在,在处,理,理了,海,海量,数,数据,后,后才,能,能获,取,取信,息,息。,d),欺诈,案,案例,很,很少,与,与合,法,法的,作,作比,。,。,第三,部,部分,无力,偿,偿还,检,检测,KDD,过程,的,的结,果,果,KDD的9个,步,步骤,1),问题,定,定义,和,和应,用,用领,域,域,2),创建,目,目标,数,数据,集,集,3),数据,清,清洗,和,和预,处,处理,4),数据,缩,缩减,和,和投,影,影,5),选择,数,数据,挖,挖掘,函,函数,？,？,6),选择,数,数据,挖,挖掘,算,算法,7),实施,数,数据,挖,挖掘,8),解释,结,结果,9),利用,发,发现,的,的知,识,识,1,）问,题,题定,义,义和,应,应用,领,领域,无力,偿,偿还,预,预测,的,的功,能,能：,可预,测,测拒,绝,绝在,接,接下,来,来的,支,支付,日,日拒,绝,绝支,付,付电,话,话帐,单,单的,无,无力,偿,偿还,客,客户,，,，以,便,便于,电,电信,公,公司,仍,仍有,时,时间,采,采取,预,预防,措,措施,。,。,三个,目,目标,为该,公,公司,设,设定,的,的3,个,个主,要,要目,标,标：,1）,检,检测,到,到尽,可,可能,多,多的,无,无力,偿,偿还,客,客户,2）,最,最小,化,化虚,假,假警,报,报，,比,比如,：,：有,偿,偿还,力,力的,客,客户,被,被错,判,判为,无,无力,偿,偿还,的,的客,户,户,3）,及,及时,对,对SP发,出,出警,告,告以,便,便对,可,可能,的,的无,力,力偿,还,还者,采,采取,措,措施,。,。,帐单,过,过程,（,（,BP,）的,时,时间,序,序列,图,图,研究,项,项目,的,的任,务,务,调查,研,研究,如,如下,的,的假,设,设：,无力,偿,偿还,客,客户,在,在BP结,束,束及,之,之前,的,的一,个,个关,键,键时,期,期内,，,，他,们,们的,呼,呼叫,习,习惯,和,和电,话,话使,用,用通,常,常会,发,发生,变,变化,。,。此,外,外，,呼,呼叫,习,习惯,的,的改,变,变和,支,支护,习,习惯,的,的模,式,式都,被,被检,验,验是,否,否可,以,以对,未,未来,的,的无,力,力偿,还,还行,为,为进,行,行安,全,全的,预,预测,。,。,2,）建,立,立一,个,个目,标,标数,据,据集,客户,行,行为,可,可能,由,由许,多,多特,征,征来,描,描述,，,，大,部,部分,不,不能,简,简单,的,的从,信,信息,系,系统,和,和电,信,信设,备,备操,作,作中,获,获得,。,。,对本,研,研究,来,来讲,，,，可,得,得的,两,两种,数,数据,：,：,1.,统计,客,客户,信,信息,(,客户,资,资料,),2.,可提,供,供帐,单,单信,息,息，,支,支付,行,行为,和,和电,话,话服,务,务使,用,用情,况,况,(CDR),的时,间,间依,赖,赖数,据,据。,涉及,的,的未,加,加工,数,数据,前提,：,：数,据,据被,整,整合,并,并保,存,存在,一,一个,为,为此,研,研究,目,目标,而,而构,建,建的,数,数据,仓,仓库,中,中。,在本,研,研究,中,中所,涉,涉及,的,的未,加,加工,数,数据,：,：,来自,客,客户,资,资料,的,的客,户,户信,息,息,来自,交,交换,中,中心,的,的电,话,话连,接,接信,息,息,来自,帐,帐单,信,信息,系,系统,的,的帐,单,单数,据,据,来自,帐,帐单,信,信息,系,系统,的,的客,户,户支,付,付报,告,告,由于,支,支付,失,失败,而,而引,起,起的,电,电话,连,连接,断,断开,报,报告,支付,后,后电,话,话重,新,新连,接,接的,报,报告,永久,废,废弃,合,合同,的,的报,告,告,数据,来,来源,情,情况,地域,跨,跨度,：,：,数据,来,来自,三,三个,不,不同,的,的地,域,域，,农,农村,、,、半,农,农村,、,、工,业,业区,/,城镇,。,。,数据,量,量：,三,三个,数,数据,的,的共,100,，,000,客户,。,。,时间,跨,跨度,：,：,17,个月,，,，即,帐单,数,数据,从,从,10/19992/2001,；,呼叫,记,记录,数,数据,从,从,8/199912/2000,。,总计,有,有,10GB,的未,加,加工,数,数据,！,！,3),数据,清,清洗,和,和预,处,处理,任务,：,：,评估,所,所收,集,集数,据,据的,质,质量,，,，过,虑,虑掉,对,对该,研,研究,无,无用,的,的信,息,息，,找,找出,数,数据,仓,仓库,中,中各,种,种数,据,据项,的,的内,在,在联,系,系。,方法,：,：,1.,去除,低,低费,用,用的,电,电话,呼,呼叫,。,。,2.,数据,同,同步,。,。,4),数据,缩,缩减,与,与投,影,影,在统,计,计推,理,理的,协,协助,下,下，,对,对一,些,些特,征,征进,行,行和,最,最终,目,目标,之,之间,的,的相,关,关测,试,试，,来,来揭,示,示有,区,区分,力,力的,特,特征,，,，对,此,此两,类,类客,户,户分,类,类。,而,而那,些,些无,区,区分,力,力的,特,特征,就,就被,去,去除,了,了。,在此,阶,阶段,所,所做,的,的统,计,计测,试,试,1.,每个,电,电话,帐,帐户,都,都从,属,属于,23,种中,的,的某,一,一种,。,。使,用,用,chi-square,假设,检,检验,来,来核,对,对不,同,同类,别,别的,电,电话,帐,帐户,对,对于,两,两类,客,客户,的,的分,布,布独,立,立性,。,。,Reject,2.,计算,两,两类,客,客户,的,的双,月,月帐,单,单的,欠,欠费,平,平均,数,数，,且,且发,现,现无,力,力偿,还,还客,户,户的,尤,尤其,高,高。,该,该发,现,现在,所,所有,的,的电,话,话连,接,接种,类,类中,是,是一,致,致的,。,。为,证,证实,此,此点,实,实施,了,了一,项,项假,设,设检,验,验：,两,两类,客,客户,和,和不,同,同种,类,类的,帐,帐户,的,的平,均,均欠,费,费数,是,是同,质,质的,。,。,Reject,3.,对特,征,征“,双,双月,帐,帐单,的,的额,外,外收,费,费”,在,在两,类,类客,户,户和,不,不同,种,种类,帐,帐户,中,中的,同,同质,性,性实,施,施假,设,设检,验,验。,证,证明,了,了两,类,类用,户,户间,在,在此,特,特征,上,上差,异,异显,著,著。,Reject,4.,对特,征,征“,分,分期,付,付款,”,”研,究,究一,个,个客,户,户要,求,求分,期,期付,款,款的,次,次数,。,。假,设,设“,两,两类,客,客户,中,中要,求,求分,期,期付,款,款的,客,客户,的,的比,例,例相,同,同”,被,被拒,绝,绝。,证,证明,在,在两,类,类客,户,户在,此,此特,征,征上,有,有明,显,显不,同,同。,Reject,5),定义,数,数据,挖,挖掘,功,功能,及,及特,征,征选,择,择,预测,客,客户,是,是否,是,是无,力,力偿,还,还客,户,户可,以,以视,为,为一,个,个分,类,类问,题,题，,该,该问,题,题具,有,有以,下,下特,征,征：,1.,在原,始,始数,据,据集,中,中，,已,已知,的,的帐,户,户组,中,中每,个,个,BP,期间,两,两类,客,客户,的,的分,布,布非,常,常不,平,平均,，,，大,约,约有,99.3%,的有,力,力偿,还,还客,户,户，,0.7%,的无,力,力偿,还,还客,户,户。,2.,在数,据,据集,中,中无,力,力偿,还,还客,户,户的,绝,绝对,数,数目,很,很小,，,，因,为,为在,每,每个,已,已知,的,的,BP,期间,只,只有,几,几个,无,无力,偿,偿还,客,客户,的,的,case,。,3.,如前,所,所述,，,，两,类,类的,错,错分,引,引起,的,的代,价,价不,同,同。,解决,方,方案,创建,一,一个,新,新的,数,数据,集,集，,专,专用,于,于数,据,据挖,掘,掘功,能,能。,新数,据,据集,特,特性,目标,：,：创,建,建一,个,个有,力,力偿,还,还客,户,户的,代,代表,性,性的,样,样本,，,，使,得,得算,法,法可,以,以有,效,效的,训,训练,。,。,组,成,成,结,结,构,构,：,：,两,两,类,类,用,用,户,户,的,的,比,比,例,例,发,发,生,生,了,了,变,变,化,化,，,，,90%,的,有,有,力,力,偿,偿,还,还,客,客,户,户,，,，,10%,的,无,无,力,力,偿,偿,还,还,客,客,户,户,。,。,实,现,现,方,方,法,法,：,：,保,保,留,留,原,原,始,始,数,数,据,据,集,集,