数据挖掘与应用-课件

数据挖掘与应用数据挖掘与应用2因变量为二分变量的情形若因变量只有两种取值,可不失一般性地假设它们为0和t。设模型预测观测i属于类别0和类别1的概率分别为 和 。可使用以下方法得到Yi的预测值:如果 0.5，令 =1，否则令 =0。3获取Yi的预测值也可定义分类利润,令P(l2l1)表示将实际属于类别l1的观测归入类别l2所产生的利润。缺省地P(00)=P(11)=1,P(10)=P(01)=0。在实际应用中,需要依照实际情况设置分类利润的值。例如,在直邮营销中,假设类别1代表潜在顾客响应(即进行了购买),类别0代表潜在顾客不响应。P(00)和P(01)对应于不邮寄产品目录,带来的利润为0。P(10)对应于将实际不响应的顾客错误判断为响应而邮寄产品目录,带来的利润为负,等于联系顾客成本(包括产品目录制作、邮寄等成本)的负值。P(11)对应于将实际响应的顾客正确判断为响应而邮寄产品目录,带来的利润为顾客的购买金额减去联系成本的差;因为P(11)只能取一个值,这个地方采纳的购买金额是顾客的平均购买金额。4获取Yi的预测值给 赋值时需要比较期望利润:将观测i归入类别0所带来的期望利润为 P(00)+P(01)，而将观测i归入类别1所带来的期望利润为 P(10)+P(11)；如果前者小于后者，即则令 =1，否则令 =0。5获取Yi的预测值也可定义分类损失,令C(l2l1)表示将实际属于类别l1的观测归入类别l2所产生的损失。缺省地C(00)=C(11)=0,C(10)=C(01)=0。给 赋值时需要比较期望损失:将观测i归入类别0所带来的期望损失为 C(00)+C(01)，而将观测i归入类别1所带来的期望损失为 C(10)+C(11)；如果前者大于后者，即则令 =1，否则令 =0。6混淆矩阵最简单的模型评估方法是使用下表所示的混淆矩阵,表中Nl1l2为实际属于类别l1而被预测属于类别l2的观测数;显然,N00+N01+N10+N11=ND。7混淆矩阵实际属于类别0的观测中被误分入类别1的比例为N01/(N00+N01),实际属于类别1的观测中被误分入类别0的比例为N10/(N10+N11),总的误分类率为(N01+N10)/ND。8平均利润或平均损失当分类利润和分类损失取缺省值时,评估模型的平均利润或平均损失等价于评估总误分类率。如果定义了分类利润或分类损失，还可评估模型的平均利润 或平均损失 。9更加细致的评估我们能够直截了当使用模型预测概率以对模型进行更加细致的评估。设某个关于直邮营销的历史数据集D中有100,000位顾客,总体响应率为20%,也就是说,假如把产品目录邮寄给这100,000位顾客,实际会收到20,000份响应。将这100,000位顾客依照预测概率 从大到小进行排列,我们将考虑联系其中的某些顾客。为了方便讨论起见,按十分位数将排列好的顾客等分为十组,考虑联系第一组的顾客、第二组的顾客,等等;但实际中能够精确到联系多少位顾客。10更加细致的评估响应率:被联系的人中响应的比例,即基准响应率:不使用任何模型而随机联系顾客时所得的响应率,出于随机性,它等于总体响应率。捕获响应率:联系顾客所得的响应人数占响应者总人数的比例,即基准捕获响应率:不使用任何模型而随机联系顾客时所得的捕获响应率,出于随机性,它等于被联系人数占顾客总人数的比例。提升值:使用模型所得的响应率与基准响应率之比。假如提升值大于1,说明使用模型挑选联系人比随机挑选效果更好。11非累积响应情况12累积响应情况13响应率图14响应率图ideal表示理想情况:之后,当非累积被联系人都属于非响应者时,非累积响应率变成0,而累积响应率等于响应者总人数与累积被联系人数之比,最后达到总体响应率。任意响应者的预测响应概率都大于所有非响应者的预测响应概率,因此,若依照预测响应概率从大到小排序,响应者都排在非响应者的前面。当累积被联系人数不超过响应者总人数时,不管是非累积依然累积情形,被联系的所有人都是响应者,因此非累积响应率和累积响应率都是100%;“model”表示使用模型挑选联系人的情况;“baseline”表示不使用任何模型而随机联系顾客的基准情况。实际的模型当然无法达到理想效果,但模型的效果越接近理想效果越好。15响应率图非累积捕获响应率图模型效果越接近理想效果越好。在理想情况下,当累积被联系人数不超过响应者总人数时,不管是非累积依然累积情形,被联系的所有人都是响应者,因此非累积捕获相应率和累积捕获响应率都等于相应的被联系人数与响应者点人数之比。之后非累积捕获响应率变为0,而累积捕获响应率变成100%。累积捕获响应率图16准确度比率从累积捕获响应率图还能够计算一个数值指标:准确度比率(Accuracy Ratio)。首先计算模型的累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积,它度量了使用模型相比于基准情况而言增加的预测性能;然后计算理想累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积,它度量了理想情况相比于基准情况而言增加的性能;准确度比率是这两个面积的比值。准确度比率的取值在0至1之间,取值0表示使用模型的预测效果和基准情况一样,取值1表示模型的预测效果和理想情况一样;准确度比率的值越接近于1,模型效果越好。17准确度比率数学上,准确度比率被定义为(1)r模型(q)表示联系模型预测概率的排序处于前面比例q(oq1)的顾客时所得的累积捕获响应率,01 r模型(q)dq表示模型的累积捕获响应率曲线之下的面积。18准确度比率基准累积捕获响应率r基准(q)=q,因此基准累积捕获响应率曲线之下的面积为 。公式中的分子计罢了模型的累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积,类似可推出分母计罢了理想累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积。积分的近似:示例中使用十分位数,积分可用来近似;在实际应用时可精确到每一位顾客,积分可用 来近似。19受试者操作特性曲线受试者操作特性曲线(Receiver Operating Characteristic Curve以下简称ROC曲线)也是衡量模型预测能力的一种常用工具,它来源于并经常应用于医学领域。假设习齐模型预测响应概率大于某个临界值C的顾客都预测为响应者,而将其他顾客都预测为非响应者。20受试者操作特性曲线特异度(specificity)定义为真阴性(true negative)观测数与阴性总观测数之比。敏感度(sensitivity)定义为真阳性(true positive)观测数与阳性总观测数之比。真阳性观测数指的是实际响应而模型也预测响应的顾客数,阳性总观测数指的是实际响应的顾客数(特别容易推出,此处敏感度等于累积捕获响应率)。真阴性观测数指的是实际不响应而模型也预测不响应的顾客数;阴性总观测数指的是实际不响应的顾客数。21受试者操作特性曲线C的值从1变化到0时,特异度和敏感度的值都会变化,将“1-特异度”作为横轴、敏感度作为纵轴作图,这种变化在图中形成的曲线就被称为ROC曲线。当C=1时,所有顾客都被预测为可不能响应,因此特异度=1(1-特异度=0),敏感度=0;当C=0时,所有顾客都被预测为会响应,因此特异度=0(1-特异度=1),敏感度=1。ROC曲线是连接(0,0)点和(1,1)点的一条曲线。22受试者操作特性曲线理想情况下,任意响应者的预测响应概率都大于所有非响应者的预测响应概率。因此,存在C*使得预测响应概率大于C*的所有顾客都是响应者,而其他顾客都是非响应者。23受试者操作特性曲线当CC*时,所有实际非响应者都被正确地预测为不响应;因为特异度是实际非响应者中被模型预测为非响应者的比例,因此特异度=1(1-特异度=0),而敏感度是实际响应者中被模型预测为响应者的比例;当CC*时,所有实际响应者都被正确地预测为响应,因此敏感度=1,当C的值从C*变化到0时,特异度从1变化到0(1-特异度”从0变化到1)。因此理想的ROC曲线由连接(0,0)点和(1,0)点的线段与连接(1,0)点和(1,1)点的线段组成。24受试者操作特性曲线因此基准的ROC曲线就是连接(o,o点和(1,1)点的一条对角直线。在基准情况下,任意选取一部分顾客,其中响应者所占的比例都等于总体响应率,非响应者所占的比例都等于总体非响应率。对任意C值:特异度都等于预测非响应者人数占顾客总人数的比例;而敏感度都等于预测响应者人数占顾客总人数的比例;它们的和总是等于1。25受试者操作特性曲线一般而言,模型的ROC曲线落在理想ROC曲线与基准ROC曲线之间。基准ROC曲线下的面积为0、5,理想ROC曲线下的面积为1,一般模型ROC曲线下的面积在0、5至1之间,这个值越接近1,模型效果越好。ROC曲线下的面积也可作为衡量模型效果的一个数值指标。26受试者操作特性曲线对模型的预测效果而言,特异度和敏感度都是越大越好,然而这两者之间需要平衡。有时在实际应用中,我们希望选择截断值C以使特异度与敏感度的和达到最大;这时能够取45度角直线簇敏感度=+(1-特异度)特异度+敏感度=+1与ROC曲线的切点,选取切点对应的C值。27盈利评估除了考察顾客的响应情况,还能够考察直邮营销的盈利情况。前面讨论过分类利润,涉及顾客的平均购买金额,但在实际中顾客购买的金额通常大小不一。评估模型效果时使用顾客的实际购买金额评估将更加细致。28盈利评估假设联系顾客的成本为每人1元。29盈利评估30盈利评估出于随机性,它等于联系所有顾客所得利润(累计利润表最后一行的利润-13,060)与被联系人数占顾客总人数的比例的乘积。基准利润:不使用任何模型而随机联系顾客所得的利润。非累积利润图累积利润图非累积情形下,基准利润等于总利润的1/10,即-1,306;累积情形下,基准利润等于总利润的i/10,即-1、3061i(i=1,10)。31因变量为二分变量的情形在实际应用中,有时D中类别1和类别0的比例1及0不同于模型以后要应用的数据中的比例1及0,而又希望依照D评估模型对以后要应用的数据的预测性能。这时,需要给D中的观测赋予不同的权重wi:属于类别1的观测被赋予权重wi=1/1属于类别0的观测被赋予权重wi=0/0在计算各项评估指标时,都需要考虑权重,例如,响应率不再简单地是响应人数与被联系人数的比例,而是响应者的权重之和与被联系者的权重之和的比例。32因变量为多分变量的情形若因变量有离散的多种取值,可不失一般性地假设它们为1,K。我们在统计决策的一般框架下来讨论。假设对每一位顾客i,可采纳的决策di都有M种估计取值:Al,AM。设模型预测顾客i属于各类别的概率为:,。分类问题是统计决策的一种特例，在这种情形下，di有K种可能取值：对l=1,K，决策Al表示将顾客归入类别l,即令 =l。33因变量为多分变量的情形能够使用决策利润来进行决策。假如对顾客i采纳决策di=Am,那么带来的期望利润为令P(dy)表示对实际属于类别y的顾客采纳决策d而产生的利润。应选取使期望利润最大的决策。34因变量为多分变量的情形在分类问题中:若因变量为名义变量,缺省地选取的决策为将顾客i归入使 最大的类别l;若因变量为定序变量，缺省地 ，选取的决策为将顾客i归入使最大的类别l，即使最小的类别l。35因变量为多分变量的情形也能够使用决策损失来进行决策。令C(dy)为对实际属于类别y的顾客采纳决策d而产生的损失。假如对顾客i采纳决策di=Am,那么带来的期望损失为应选取使期望损失最小的决策。36因变量为多分变量的情形在分类问题中:若因变量为名义变量,缺省地选取的决策为将顾客i归入使1-最小即 最大的类别l;若因变量为定序变量，缺省地 ，选取的决策为将顾客i归入使最小的类别l。可以看出，使用决策利润或决策损失进行决策是等价的。37因变量为多分变量的情形能够评估模型的平均利润或平均损失 。在分类问题中:若因变量为名义变量,还可评估对D的总误分类率为特别容易看出,假如决策利润或决策损失取缺省值,那么评估平均利润或平均损失等价于评估误分类率若因变量为定序变量,还可评估按序数距离加权的误分类率与因变量是二分变量的情形类似,我们还能够使用混淆矩阵来评估模型。38因变量为多分变量的情形要对模型进行更加细致的评估,需要更加细致地考察决策利润或决策损失,这个地方仅讨论使用决策利润的情形。为了绘出响应率图、捕获响应率图、ROC图、利润图等,我们需要能够依照模型预测结果对观测进行排序,并定义谁是(实际)响应者,谁是(实际)非响应者。解决方法如下:模型预测的决策di带来的实际利润为P(diyi),可把实际利润大于某个临界值的顾客定义为响应者,而把其他顾客定义为非响应者。按照它从大到小的顺序可以将顾客进行排列。模型预测的决策di带来的期望利润为39因变量为多分变量的情形在实际应用中,假如D中各类别的比例1(l=1,K)不同于模型以后要应用的数据中的比例l,而又希望依照D评估模型对以后要应用的数据的预测性能,就需要给D中的观测赋予不同的权重wi:属于类别l的顾客被赋予权重wi=l/l。40因变量为连续变量的情形若因变量为连续变量,可计算下列一些评估指标:均方误差:均方误差:均方误差:均方误差:还可绘出Yi与 的散点图，或者Yi-与 的散点图。感谢您的聆听！感谢您的聆听！