资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.3 Bayes 决策规则,2.3.1,最小错误率的Bayes决策,利用Bayes公式，可以在模式分类中尽量减少分类的错误；称之为最小错误率的Bayes决策,考虑对正常人和病人的识别问题。,假设每个要识别的人有d个基本特性的特征，如身高、体重、温度、脉搏等，从而组成一个d维空间的向量，识别的目的就是要将分类成正常人或病人。,如果用 表示人的健康状态，则,表示健康状态,表示患病状态,对人个体的识别就是 把归类于 、这两种可能状态。,类别状态是一个随机变量，但其概率分布是已知的，则有健康状态概率 和患病状态概率 是已知的。即 、是先验概率。,在两类问题中，显然存在：,+=1 (2.3-1),为简单起见，只用一个特征即温度进行分类，有d=1。,在自然条件下，观察到的类别条件概率分布为已知，并且有:(分布如图2,1所示),是健康状态下观察 的类条件概率密度,是患病状态下观察 的类条件概率密度,1.由于已知：状态先验概率,类条件概率密度,2.利用Bayes公式，则有状态的后验概率,：,(2.3-2),图2.1 类条件概率密度,图2.2,后验概率,0.2,0.4,0.6,0.8,1,3.最小错误率的 Bayes决策规则,如果,，则把 归类于 ；反亦反之。则决策规则可简写为：,(2.3-3),4.最小错误率分析,（1）错误率,错误率是指平均错误率，以 表示,有定义：,=,(2.3-4),其中，表示在整个 d维空间上积分,（2）条件错误概率,在 条件下的错误概率为 。根据Bayes决策规则：则决策结果；,则决策结果,显然，在作出决策 时，的条件错误概率为；,在作出决策 时，的条件错误概率为 从而有条件错误概率：,=,（3）Bayes决策的本质,实际上是对每个 都使取小者，从而积分：,(2.3-6),也必然达到最小。也即 达到最小,这说明最小错误率Bayes决策规则确实使错误率最小。,这种方法可以推广到多类的分类决策之中。,2.3.2 最小风险的Bayes决策,在决策中有时需要考虑一个比错误率更广泛的概念风险。,对事物的分类，第一考虑的是尽可能正确的分类。第二要考虑错误判断分类带来的后果。例如，把健康人归类为病人，或把病人归类为健康人。这会带来精神压力或延误病情，即会引起损失。,最小风险的Bayes决策是考虑各种错误造成损失不同而提出的决策。,在最小风险决策中，需要考虑损失函数。,1.基本概念,（1）观察对象,是 维随机向量：(2.3-7),其中：为一维随机变量,（2）状态空间,状态空间由C个自然状态（C类）组成：,=(2.3-8),(3)决策空间A,决策空间A由 个决策 组成,(2.3-9),按一般理解，C个状态，有C个决策即够了，但实际上，对于C个类别有C种不同决策之外，还允许有其他决策，例如“拒绝”决策，则这时就有 =C+1。,（4）损失函数,损失函数 表示为：,（2.3-10）,表示为状态为 ，而所采用的决策为 时所带来的损失。根据状态，损失和决策则可得一般决策表,表2.3-1 一般决策表,2.最小风险Bayes决策,（1）已知先验概率 以及类条件概率密度,（2）求后验概率,从ayes公式有：,其中 (2.3-11）,（3）条件期望损失（条件风险）,由于考虑错判造成的损失，故不能以后验概率大小作决策，而必须考虑决策是否使损失最小。,对于给定的观察对象 ，如果采用决策 ，从决策表可知，损失函数 可以在C个 中任取一个值，其相应概率为 ，从而有在决策 情况下的条件期望损失为：,=E =,(2.3-12),条件期望损失 也称条件风险。,条件期望损失反映了对 的某一取值采用决策 所带来的风险。,（4）期望风险,由于 是随机向量，对于 的不同观察值，采取决策 时，其条件风险的大小是不同的。所以，究竟采取哪种决策将随 的值而定。这样，决策 可以看成随机向量 的函数，并记为 ，它也是一个随机变量。,期望风险 可定义为：,（2.3-13）,其中：是 d维特征空间的体积元，积分在整个特征空间进行。,期望风险及反映对整个特征向量空间所有 的取值采取相应决策 所带来的平均风险。,在Bayes决策中，应要求采取一系列决策行动 使期望风险R最小。,（5）最小风险Bayes决策规则,如果，在采取每一个决策或行动时，都使其条件风险最小，则对所有的 作出决策时，其期望风险也必定最小最小风险Bayes决策。,最小风险Bayes决策规则表示为：,如果 则,（2.3-14）,在求实际问题决策时，最小风险Bayes决策步骤如下,：,)已知 在给出待识别的 的情况下，以Bayes公式求取后验概率,（2.3-15）,）利用后验概率及决策表，按条件期望损失 的式子：,=（2.3-16）,求取条件风险。,）对求出的 个条件风险值 ，进行比较，找出使条件风险最小的决策 ，即,（2.3-17）,则 就是最小风险Bayes决策。,最小风险,B,ayes决策的例子,例：假设在某个地区人们的健康状态 和患病状态 的先验概率分别为：,健康状态：=0.9,患病状态：=0.1,现有一个待识别的个体，其观察值为 ，从类条件概率密度分布曲线上查得：,试按最小风险Bayes决策进行分类。,解：（1）已知条件有,=0.9,=0.1,决策表为：,有：=0；=6；=1；=0,（2）用Bayes公式，分别求 、的后验概率,（3）根据 求出条件风险,=,=60.182=1.092,=10.818=0.818,（4）最小风险决策,由于 ，则说明决策 的风险小于决策 ，故取 为决策。,在决策表中可以看出，当取 为决策时，损失最小的是 =0，显然，对应的状态是 ，故而最后识别的结果为：个体属于患病状态 类。,最小错误率与最小风险Bayes决策的关系,1.,0-1 损失函数,定义,：如果损失函数取下面形式,=,i,j=1,，c （2.3-18）,则称其为0-1 损失函数。,在0-1 损失函数中，假定对C类只有C个决策，并且，对于正确决策（i=j时）没有损失，而对任何错误决策其损失为1。,2采用0-1 损失函数时的条件风险,条件风险这时为：,=（2.3-19）,很明显，根据前面的条件错误概率的含义，则,是对x采用决策,i,的条件错误概率。,3用0-1 损失函数时的最小风险Bayes决策,=,（2.3-20）,同理有：（2.3-21）,对于最小风险Bayes决策：,（2.3-22）,则可写成：,=,（2.3-23）,上式中右边给出的是最小错误率，则决策可根据上式确定。,从而可知：最小错误率的Bayes决策是在0-1 损失函数下的最小风险的Bayes决策。,最小风险Bayes决策要求：,a.有符合实际情况的先验概率,b.有符合实际情况的类条件概率密度,c.有合适的损失函数,
展开阅读全文