贝叶斯决策理论课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章,贝叶斯决策理论,2.1,引言,2.2,几种常用的决策规则,2.3,正态分布时的统计决策,2.4,关于分类器的错误率问题,2.1,引 言,模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去。,例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。,两类的识别问题。,2.1 引 言,根据医学知识和以往的经验医生知道：,患病的人，白细胞的浓度服从均值,2000,，方差,1000,的正态分布；未患病的人，白细胞的浓度服从均值,7000,，方差,3000,的正态分布；一般人群中，患病的人数比例为,0.5%,。,一个人的白细胞浓度是,3100,，医生应该,做出怎样的判断？,贝叶斯决策理论,贝叶斯决策理论方法的假设：,各类别总体的概率分布是已知的；,要决策分类的类别数是一定的。,在连续情况下，假设要识别的对象有,d,种特征量,x,1,，,x,2,，,x,d,，,这些特征的所有可能的取值范围构成了,d,维特征空间，称,x,= ,x,1,，,x,2,，,x,d,T,为,d,维特征向量。,2.1 引 言,假设说明,假设要研究的分类问题有,c,个类别,i,，,i,=l,，,2,，,c,；,对应于各个类别,i,出现的先验概率,P,(,i,),及类条件概率密度函数,p,(,x,/,i,),是已知的。,如果在特征空间已观察到某一向量,x,，,x,= ,x,1,，,x,2,，,x,d,T,那么应该把,x,分到哪一类去才是最合理呢？,这就是本章所要研究的主要问题。,2.1 引 言,2.2,几种常用的决策规则,基于最小错误率的贝叶斯决策,基于最小风险的贝叶斯决策,在限定一类错误率条件下使另一类错误率为最小的两类别决策,极小化极大决策,序贯分类方法,2.2.1基于最小错误率的贝叶斯决策,利用概率论中的贝叶斯公式，得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。,2.2,几种常用的决策规则,举例说明,以鱼分类为例说明解决问题的过程。,假设已抽取出,d,个表示鱼的特征，成为一个,d,维空间的向量,x,，,目的是要将,x,分类为鲈鱼或者鲑鱼。,如果用,表示状态，就是将,x,归类于两种可能的自然状态之一，则,=,1,表示鲈鱼,=,2,表示鲑鱼,2.2.1基于最小错误率的贝叶斯决策,只以先验概率决策存在问题,假设已知出现鲈鱼的先验概率为,P,(,1,),和出现鲑鱼的先验概率为,P,(,2,)。,在两类别问题中存在,P,(,1,)+,P,(,2,)=1,2.2.1基于最小错误率的贝叶斯决策,只以先验概率决策存在问题,若,P,(,1,),P,(,2,)，,=,1,；,P,(,1,),P,(,2,)，,出现的鱼归为鲈鱼。如果仅做一次判别，这种分类可能是合理的；如果多次判别，则根本未达到要把鲈鱼与鲑鱼区分开的目的。,2.2.1基于最小错误率的贝叶斯决策,解决方法,利用对鱼观察到的光泽度提高分类器的性能。不同的鱼产生不同的光泽度，将其表示为概率形式的变量，设,x,是连续的随机变量，其分布取决于类别状态，表示为,p,(,x,|,),，即,类条件概率分布,(class-conditional probability density),函数，则,p,(,x,|,1,),与,p,(,x,|,2,),之间的区别就表示为鲈鱼与鲑鱼间光泽度的区别，,如图2.1所示：,2.2.1基于最小错误率的贝叶斯决策,图,2.1,类条件概率密度函数图,概率函数已经归一化，每条曲线下的面积为,1,2.2.1基于最小错误率的贝叶斯决策,已知：状态先验概率,P,(,i,),，,i,=1,，,2,。,类条件概率密度,p,(,x,|,i,),，,i,=1，2，,利用贝叶斯公式,2.2.1基于最小错误率的贝叶斯决策,条件概率,P,(,i,|,x,),称为状态的后验概率,贝叶斯公式实质上是通过观察,x,把状态的先验概率,P,(,i,),转化为状态的后验概率,P,(,i,|,x,),，,如图2.2所示。,2.2.1基于最小错误率的贝叶斯决策,图,2.2,P,(,1,),=2/3,和,P,(,2,)=1/3,及图,2.1,下的后验 概率图,基于最小错误率的贝叶斯决策规则为：,如果,P,(,1,|,x,),P,(,2,|,x,),，,则把,x,归类于鲈鱼,1,；,反之,P,(,1,|,x,),P,(,2,|,x,),，,则把,x,归类于鲑鱼,2,。,2.2.1基于最小错误率的贝叶斯决策,上面的规则可简写为：,如果,P,(,i,|,x,)=,P,(,j,|,x,),，,则,x,i,利用贝叶斯公式(1)还可以得到几种最小错误率贝叶斯决策规则的等价形式：,如果,p,(,x,|,i,),P,(,i,)=,p,(,x,|,j,),P,(,j,),，,则,x,i,2.2.1基于最小错误率的贝叶斯决策,对上式的,l,(,x,),取自然对数的负值，可写为,1,若,，则,x,2,若,h,(,x,)=,ln,l,(,x,)=,ln,p,(,x|,1,)+ ln,p,(,x|,2,) ,则,x,举例,假设在某个局部地区细胞识别中正常(,1,),和异常(,2,),两类先验概率分别为正常状态：,P,(,1,)=0.9；,异常状态：,P,(,2,)=0.1。,现有一待识的细胞，其观察值为,x,，,从类条件概率密度分布曲线上查得,p,(,x,|,1,)=0.2，,p,(,x,|,2,)=0.4。,试对该细胞,x,进行分类。,2.2.1基于最小错误率的贝叶斯决策,解：利用贝叶斯公式，分别计算出,1,及,2,的后验概率。,P,(,2,|,x,)=1,P,(,1,|,x,)=1,0.818=0.182,根据贝叶斯决策规则,(2),，有,P,(,1,|,x,) = 0.818 ,P,(,2,|,x,) = 0.182,所以合理的决策是把,x,归类于正常状态。,2.2.1基于最小错误率的贝叶斯决策,从这个例子可见，决策结果取决于实际观察到的类条件概率密度,p,(,x,|,i,),和先验概率,P,(,i,),两者。,在这个例子中由于状态,1,的先验概率比,2,的先验概率大好几倍，使先验概率在做出决策中起了主导作用。,2.2.1基于最小错误率的贝叶斯决策,最小错误率贝叶斯决策规则证明,错误率平均错误率，以,P,(,e,),来表示，其定义为,2.2.1基于最小错误率的贝叶斯决策,2.2.1基于最小错误率的贝叶斯决策,多类别决策,在多类决策的最小错误率贝叶斯决策规则。如果,P,(,i,|,x,)=,P,(,j,|,x,)，,则,x,i,p,(,x,|,i,),P,(,i,)=,p,(,x,|,j,)P,(,j,)，,则,x,i,2.2.1基于最小错误率的贝叶斯决策,多类别决策,多类别决策过程中，要把特征空间分割成,R,1,，,R,2,，,R,c,个区域，可能错分的情况很多，平均错误概率,P,(,e,),将由,c,(,c,1),项组成。,2.2.1基于最小错误率的贝叶斯决策,P,(,e,) = ,P,(,x,R,2,|,1,)+,P,(,x,R,3,|,1,)+,P,(,x,R,c,|,1,),P,(,1,),c,行,+,P,(,x,R,1,|,2,)+,P,(,x,R,3,|,2,)+,P,(,x,R,c,|,2,),P,(,2,),+,+,P,(,x,R,1,|,c,)+,P,(,x,R,2,|,c,)+,P,(,x,R,c,-1,|,c,),P,(,c,),每行,c,1,项,2.2.1基于最小错误率的贝叶斯决策,即：,直接求,P,(,e,),的计算量较大。如果代之计算平均正确分类概率,P,(,c,),，,则,P,(,e,)=1,P,(,c,),c,项,2.2.1基于最小错误率的贝叶斯决策,Bayes,Decision Theory (General),Generalize,Bayes,Decision Theory by,允许使用多于一个的特征,(allowing to use multi features),允许多于两种类别状态,(allowing to use more that two states),允许有其他行为而不仅仅是判定类别,(allowing actions rather than choosing states),引入损失函数代替误差概率,(introducing a loss function rather than probability of error),2.2.1基于最小错误率的贝叶斯决策,2.2.2基于最小风险的贝叶斯决策,x,:,feature vector (d1),x,= ,x,1,，,x,2,，,x,d,T,状态空间,states (classes),由,c,个自然状态(,c,类)组成。,=,1,，,2,，,c,actions (allows possibility of rejection),A,= ， ， ,loss for taking action i for state j,2.2,几种常用的决策规则,2.2.2基于最小风险的贝叶斯决策,根据贝叶斯公式，后验概率为,其中,2.2.2基于最小风险的贝叶斯决策,对于给定的,x,如果采取决策,，从决策表可见，对应于决策 ， 可以在,c,个 ，,j,=1，,c,值中任取一个，其相应概率为,P,(,j,|,x),。,因此在采取决策 情况下的条件期望损失,R,( |,x),为,i,=1，2，,，,a,2.2.2基于最小风险的贝叶斯决策,定义期望风险,R,为,期望风险,R,反映对整个特征空间上所有,x,的取值采取相应的决策,所带来的平均风险；,只是反映了对某一,x,的取值采取决策 所带来的风险。,如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的,x,做出决策时，其期望风险也必然最小。,最小风险贝叶斯决策,2.2.2基于最小风险的贝叶斯决策,最小风险贝叶斯决策规则为,如果,则,最小风险贝叶斯决策的实现步骤：,2.2.2基于最小风险的贝叶斯决策,在,已知,P,(,j,),，,p,(,x|,j,),，,j,=1,，,2,，,c,及给出待识别的,x,的情况下，根据贝叶斯公式计算出后验概率：,j,=1,，,2,，,c,2.2.2基于最小风险的贝叶斯决策,利用计算出的后验概率及决策表，按,(2-15),计算出采取 ，,i,=1,，,2,，,a,的条件风险,R,( |,x),i,=1,，,2,，,a,2.2.2基于最小风险的贝叶斯决策,对中得到的,a,个条件风险值,R,( |,x),，,i,=1,，,2,，,a,进行比较，找出使条件风险最小的决策 ，即,即 就是最小风险贝叶斯决策。,2.2.2基于最小风险的贝叶斯决策,举例,例,2.2,假设在某个局部地区细胞识别中正常,(,1,),和异常,(,2,),两类先验概率分别为正常状态：,P,(,1,)=0.9,；,异常状态：,P,(,2,)=0.1,。,现有一待识的细胞，其观察值为,x,，,从类条件概率密度分布曲线上查得,p,(,x,|,1,)=0.2,，,p,(,x,|,2,)=0.4,。,损失函数分别为 ， ， ， 。试对该细胞,x,按最小风险贝叶斯决策进行分类。,2.2.2基于最小风险的贝叶斯决策,当,x,1,时决策为,x,1,的损失，,当,x,1,时决策为,x,2,的损失，,当,x,2,时决策为,x,2,的损失，,当,x,2,时决策为,x,1,的损失。,2.2.2基于最小风险的贝叶斯决策,举例,解：已知条件为,P,(,1,)=0.9,，,P,(,2,)=0.1,，,p,(,x,|,1,)=0.2,，,p,(,x,|,2,)=0.4,，,c,= 2,， ， ，,， 。,根据例,2.1,的计算结果可知后验概率为,P,(,1,|,x) = 0.818,，,P,(,2,|,x) = 0.182,2.2.2基于最小风险的贝叶斯决策,再按,下式,计算出条件风险,由于,2.2.2基于最小风险的贝叶斯决策,x,2,最小错误率和最小风险贝叶斯决策规则的关系。,设损失函数为01损失函数,i,，,j,=1，2，,c,2.2.2基于最小风险的贝叶斯决策,条件风险为,表示对,x,采取决策,i,的条件错误概率,2.2.2基于最小风险的贝叶斯决策,的最小风险贝叶斯决策就等价于,的最小错误率贝叶斯决策。,由此可见，最小错误率贝叶斯决策就是在,0,1,损失函数条件下的最小风险贝叶斯决策。前者是后者的特例。,在0 1损失函数时，使,2.2.2基于最小风险的贝叶斯决策,有大量的方式来表述最小风险决策规则，每种都有自己的优点。用后验概率的形式表述为，如果,那么判决为,1,。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,通常，一次错误判决所造成的损失比正确判决要大，且因子,21,-,11,和,12,-,22,都是正的。,实践中，尽管必须通过损失函数的差别对后验概率作调整，但是判决通常是依据最可能的类别状态来决定的。,利用贝叶斯公式，也可用先验概率和条件密度来表示后验概率，这种等价规则为：,如果,那么判决为,1,。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,另一种表示方法是，在合理假设,21,11,的条件下，如果下式成立，则判决为,1,。,这种判决规则的形式主要依赖于,x,的概率密度。,2.2.2基于最小风险的贝叶斯决策,两类分类问题的最小风险贝叶斯决策,2.2.2基于最小风险的贝叶斯决策,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,在两类别决策问题中，有犯两种错误分类的可能性：,(1),在采取决策,1,时其实际自然状态为,2,；,(2),在采取决策,2,时其实际自然状态为,1,，这两种错误的概率分别是,P,(,2,),P,2,(,e,),和,P,(,1,),P,1,(,e,),。,最小错误率贝叶斯决策是使这两种错误率之和,P,(,e,),为最小。,2.2,几种常用的决策规则,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,由于先验概率,P,(,1,),和,P,(,2,),对具体问题来说往往是确定的，所以一般称,P,1,(,e,),，,P,2,(,e,),为两类错误率。,实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能地小。,2.2,几种常用的决策规则,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,例如在癌细胞识别中，把异常误判为正常的损失更为严重，所以常希望这种误判的错误率,P,2,(,e,),很小，即,P,2,(,e,)=,0,，,0,是一个很小的常数，在这种条件下再要求,P,1,(,e,),尽可能地小。,这样的决策可看成是在,P,2,(,e,)=,0,条件下，求,P,1,(,e,),极小值的条件极值问题。,2.2,几种常用的决策规则,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,可以用求条件极值的拉格朗日,(Lagrange),乘子法解决。,拉格朗日乘子法是一种在等式约束条件下的优化算法。基本思想是将等式的约束问题转化为无约束问题。,拉格朗日乘子法为：,2.2,几种常用的决策规则,=0,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,按,Lagrange,乘子法建立数学模型为,2.2,几种常用的决策规则,目的是求,的极小值,已知,根据类条件概率密度的性质，有,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,则,2.2,几种常用的决策规则,对,x,和,求导,得,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2,几种常用的决策规则,满足,左式,的最佳 及满足右式的边界面就能使 极小。此时其决策规则可以写为,如果,，则,x,2,1,或,如果,，,则,2,x,1,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,与最小错误率贝叶斯决策规则对比,2.2,几种常用的决策规则,这种在限定一类错误率 为常数而使另一类错误率 最小的决策规则也称,Neyman,-Pearson,决策规则。,则,x,1,2,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2,几种常用的决策规则,可以看出,Neyman,-Pearson,决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策用的阈值是先验概率之比,P(,2,)/,P,(,1,),，而,Neyman,-Pearson,决策用的阈值则是,Lagrange,乘子 ，类似地，最小风险贝叶斯决策规则可以写成似然比形式：即,2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策,2.2,几种常用的决策规则,但在高维时，求解边界面是不容易的，这时可利用似然比密度函数来确定 。似然比为,l,(,x)=,p,(,x|,1,)/,p,(,x|,2,),，,似然比密度函数为,p,(,l,|,2,),，,求解,的显式解不容易求出。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,从最小错误率或最小风险贝叶斯决策中可以看出其决策都是与先验概率,P,(,i,),有关的。,如果对给定的,x,，其,P,(,i,),不变，按照贝叶斯决策规则，可以使错误率或风险最小。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,但如果,P,(,i,),是可变的，或事先对先验概率毫无所知，若再按某个固定的,P,(,i,),条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。,极小化极大决策就是在考虑,P,(,i,),变化的情况下，如何使最大可能的风险为最小，也就是在最差的条件下争取最好的结果。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,通常做出错误决策总是比做出正确决策所带来的损失要大，即,及,再假定决策域,R,1,和,R,2,已确定，则风险,R,可按式得出,2.2.4,极小化极大决策,2.2,几种常用的决策规则,则,2.2.4,极小化极大决策,2.2,几种常用的决策规则,目的是要分析风险,R,与先验概率,P,(,1,),之间的关系。两类情况下,P,(,1,),与,P,(,2,),应满足下式,P,(,1,),+,P,(,2,)=1,目的是要分析风险,R,与先验概率,P,(,1,),之间的关系。两类情况下,P,(,1,),与,P,(,2,),应满足下式,2.2.4,极小化极大决策,2.2,几种常用的决策规则,一旦,R,1,和,R,2,被确定，风险,R,就是先验概率,P,(,1,),的线性函数，即,R,=,a,+,b P,(,1,),2.2.4,极小化极大决策,2.2,几种常用的决策规则,其中,=,R,mm,，极小化极大风险,=0,，对于极小化极大求解,2.2.4,极小化极大决策,2.2,几种常用的决策规则,在已知类概率密度函数，损失函数及某个确定的先验概率,P,(,1,),时，可以按最小风险贝叶斯决策找出两类的分类决策面，把特征空间分割成两部分,R,1,和,R,2,，使其风险为最小。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,在,(0,，,1),区间内，对先验概率,P,(,1,),取若干个不同的值，分别按最小风险贝叶斯决策确定其相应的决策域，从而计算出其相应的最小风险,R,，这样就得出最小贝叶斯风险,R,与先验概率,P,(,1,),的关系曲线，如图,2.4,的曲线部分所示。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,在,(0,，,1),区间内，,对应,直线,方程,：,R,=,a,+,b P,(,1,),，,风险值在,(,a,，,a,+,b,),的范围变化，其最大风险为,a,+,b,。,R,*,a,2.2.4,极小化极大决策,2.2,几种常用的决策规则,在,(0,，,1),区间内，,那么风险,R,就为,如果在某个,P,(,1,),情况下，能找出其决策域使,P,(,1,),的系数,b,=0,，即,2.2.4,极小化极大决策,2.2,几种常用的决策规则,在,(0,，,1),区间内，,红线表明不管,P,(,1,),作什么变化，其风险都不再变化，其最大风险也等于,a,，这时就使最大风险最小。,R,*,b,2.2.4,极小化极大决策,2.2,几种常用的决策规则,结论：在作最小风险贝叶斯决策时，若考虑,P,(,1,),有可能改变或对先验概率毫无所知的情况，则应选择使最小贝叶斯风险,R,*,为最大值时的,P,*(,1,),来设计分类器，即对应于图,2.4(b),中的,B,点，其风险,R,b,*,相对于其他的,P,(,1,),为最大，而能保证在不管,P,(,1,),如何变化时，使最大风险将为最小，将这样的决策称为,极小化极大决策。,2.2.4,极小化极大决策,2.2,几种常用的决策规则,因此，极小化极大决策的任务就是寻找使贝叶斯风险为最大时的决策域,R,1,和,R,2,，它对应于积分方程的解。,用极小化极大决策进行分类是偏于保守的分类方法。,2.2.5,序贯分类方法,2.2,几种常用的决策规则,前面所讲方法中都认为,d,个特征都同时给出且不考虑获取特征所花的代价。,有些实际问题,(,如医疗诊断,),中特征的获取要花一定代价，这样除了错分会造成损失外还应考虑获取特征所花的代价。,可能会有这样的情况，获取了,k,个特征,(,k,g,j,(,x,),对一切,j,i,成立，则将,x,归于,i,类。,2.2,几种常用的决策规则,多类情况,贝叶斯分类器可以简单自然地表示成这种形式：在最小错误率的情况下，,g,i,(,x,),可定义为：,g,i,(,x,)=,P,(,i,|,x,),g,i,(,x,)=,p,(,x,|,i,),P,(,i,),g,i,(,x,)=,ln,p,(,x,|,i,)+ln,P,(,i,),2.2.,6,分类器、判别函数及判定面,多类情况,决策面方程,各决策域,R,i,被决策面所分割，这些决策面是特征空间中的超曲面，相邻的两个决策域在决策面上其判别函数值是相等的，如图2-5所示。如果,R,i,和,R,j,是相邻的，则分割它们的决策面方程应满足,g,i,(,x,)=,g,j,(,x,),2.2.,6,分类器、判别函数及判定面,多类情况,图2.5 (,a,),一维情况决策面为分界点,p,(,x,|,1,),P,(,1,),p,(,x,|,2,),P,(,2,),p,(,x,|,3,),P,(,3,),x,R,1,R,3,R,2,R,3,决策边界,2.2.,6,分类器、判别函数及判定面,决策面方程,多类情况,2.2.,6,分类器、判别函数及判定面,决策面方程,多类情况,图,2-6,在这个二维的两类问题的分类器中，概率密度为高斯分布，判决边界由两个,双曲线构成，因此判决区域,R,2,并非是简单,的连通的。椭圆轮廓线标记出,1/e,乘以概,率密度的峰值,分类器设计,分类器可看成是由硬件或软件组成的一个“机器”。,它的功能是先计算出,c,个判别函数,g,i,，,再从中选出对应于判别函数为最大值的类作为决策结果，下图用框图形式表示了这种分类器。,很多由软件组成的分类器已经模块化。,2.2.,6,分类器、判别函数及判定面,多类情况,2.2.,6,分类器、判别函数及判定面,分类器设计,多类情况,分类器的网络结构,两类问题,判别函数,在两类情况下。仅定义一个判别函数,g,(,x,)=,g,1,(,x,),g,2,(,x,),并将决策规则表示为,如果,g,(,x,)0,，,则决策,1,；,g,(,x,)0,，,则决策,2,。,显然，可定义出如下的判别函数：,g,(,x,)=,P,(,1,|x,),P,(,2,|x,),g,(,x,)=,p,(,x,|,1,),P,(,1,),p,(,x,|,2,),P,(,2,),2.2.,6,分类器、判别函数及判定面,两类问题,决策面方程,决策面方程,g,(,x,)=0,相应于前面,(2),的决策面方程为,p,(,x,|,1,),P,(,1,),p,(,x,|,2,),P,(,2,)=0,其它可类似得出。,2.2.,6,分类器、判别函数及判定面,两类问题,分类器设计,两类分类器可看作只是计算判别函数,g,(,x,),的一个,机器,。它根据计算结果的符号将,x,分类，其结构框图如,2.7,所示。,判别计算,阈值单元,g,x,1,x,2,x,d,+ 1,1,1,2,决策,图 2.7,+1,-1,2.2.,6,分类器、判别函数及判定面,两类问题,例2.3 对例2.1，2.2分别写出其判别函数和决策面方程。,解,:,对例,2.1,利用前面式中的,(2),g,(,x,)=,p,(,x,|,1,),P,(,1,),p,(,x,|,2,),P,(,2,),其对应的判别函数为,g,(,x,)=0.9,p,(,x,|,1,),0.1,p,(,x,|,2,),决策面方程为,g,(,x,)=0,即,9,p,(,x,|,1,),p,(,x,|,2,)=0,2.2.,6,分类器、判别函数及判定面,对例2.2，判别函数可定义为,故其判别函数为,而,g,(,x,),=,0.9,p,(,x,|,1,),0.6,p,(,x,|,2,),决策面方程为,g,(,x,)=0,即,9,p,(,x,|,1,),6,p,(,x,|,2,)=0,2.2.,6,分类器、判别函数及判定面,练习题,在两类问题中，遵循贝叶斯规则的条件误差率由式,(7),P,(error|,x,)=min,P,(,1,|,x,),，,P,(,2,|,x,),给出，尽管后验概率是连续的，当用式,(5),2.2.1基于最小错误率的贝叶斯决策,计算总误差时，这种形式的条件误差率实际将导致一个不连续的被积函数。,(a),证明对任意密度，可将,(7),式替换成,P,(error|,x,)=2,P,(,1,|,x,),P,(,2,|,x,),的积分，且可获得总误差率的上界。,(b),证明如果对任给,1,，使用,P,(error|,x,)=,P,(,1,|,x,),P,(,2,|,x,),，那么将不能保证此积分可以得到一个误差率的下界。,2.2.1基于最小错误率的贝叶斯决策,解：,(a),假设没有一般的损失，对于给定的,x,，,P,(,2,|,x,),P,(,1,|,x,),，则,P,(error|,x,)=,P,(,1,|,x,),，因为,P,(,1,|,x,),1,P,(,2,|,x,),，意味着,P,(,2,|,x,)1/2,或,2,P,(,2,|,x,)1,，,2,P,(,2,|,x,),P,(,1,|,x,),P,(,1,|,x,)=,P,(error|,x,),则对于任意,x,，遵从积分,2.2.1基于最小错误率的贝叶斯决策,所以,2,P,(,1,|,x,),P,(,2,|,x,),为,P,(error|,x,),提供了上界。,解：,(b),从,(a),知,P,(,2,|,x,)1/2,，对于,2,，,P,(,2,|,x,),不大于,1/,。,如,4/3,、,P,(,1,|,x,),0.4,和,P,(,2,|,x,)=0.6,。此时,P,(error|,x,),P,(,1,|,x,),0.4,。则,P,(,1,|,x,),P,(,2,|,x,),4/30.40.6=0.32,P,(error|,x,),故对于所有的,P,(,1,|,x,),值没有提供一个上界。,(c),令,P,(error|,x,)=,P,(,1,|,x,),，此时对于所有的,x,，有,P,(,2,|,x,),P,(,1,|,x,),1,，如,3,，,P,(,2,|,x,)1/3,，同,(b),中假设,P,(,1,|,x,),0.4,和,P,(,2,|,x,)=0.6,。此时,P,(error|,x,),P,(,1,|,x,),0.4,。则,P,(,1,|,x,),P,(,2,|,x,),30.40.6=0.72,P,(error|,x,),所以不能得到一个误差率的下界。,2.2.1基于最小错误率的贝叶斯决策,假设两个等概率的一维密度具有如下形式：对任给,i,=1,，,2,及,0,b,i,，,2.2.1基于最小错误率的贝叶斯决策,(a),写出每个密度的解析表达式，即对任意的,a,i,和正的,b,i,，将每一个函数归一化。,(b),计算似然比，作为,4,个变量的函数。,(c),绘出在,a,1,=0,，,b,1,1,，,a,2,1,，,b,2,2,时的似然比,p,(,x,|,1,)/,p,(,x,|,2,),的曲线图。,解,：设给定的概率密度形式是：,2.2.1基于最小错误率的贝叶斯决策,(a),为了求,k,假设概率密度函数是归一化的，并设函数的积分是,1,。,结果为,2,b,i,k,1,或,k,=1/(2,b,i,),。注意归一化与,a,i,无关。,解,：因此分布为,2.2.1基于最小错误率的贝叶斯决策,(b),似然比可以直接写为,(c),对于,a,1,=0,，,b,1,1,，,a,2,1,，,b,2,2,时的似然比为,解,：曲线如图所示：,2.2.1基于最小错误率的贝叶斯决策,0,1,2,x,0.5,1,1.5,2,2.5,3,3.5,4,p,(,x,|,1,),p,(,x,|,2,),考虑,0-1,损失函数的极小化极大原则，即，,11,=,22,=0,且,12,=,21,=1,。,(a),证明在这种情况下判决区域将满足,2.2.1基于最小错误率的贝叶斯决策,(b),此解是否总是唯一的？如果不是，请构造一个简单的反例。,解：使用标准的,0-1,损失函数,11,=,22,=0,且,12,=,21,=1,进行讨论。,(a),假设先验概率为,P,(,1,),和,P,(,2,)=1-,P,(,1,),。,Bayes,风险由教材,(12),、,(13),式给出,2.2.1基于最小错误率的贝叶斯决策,(12),(13),解：为了获得最小风险的先验概率，对上式求,P,(,1,),的微分，并令其为零,2.2.1基于最小错误率的贝叶斯决策,解：,(b),此解并不总是唯一的，给出一个简单的反例,(counterexample),。令,P,(,1,)=,P,(,2,)=0.5,且,2.2.1基于最小错误率的贝叶斯决策,容易验证决策域,R,1,=-0.5,，,0.25,和,R,1,=0,，,0.5,满足,(a),中的等式，这样解就不是唯一的。,