模式识别-贝叶斯决策理论和应用60452

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021/2/8,#,武汉大学电子信息学院,IPL,第二章 贝叶斯决策理论,模式识别理论及应用,Pattern Recognition-Methods and Application,内容目录,IPL,第二章 贝叶斯决策理论,2.1 引言,2,1,3,4,2.2 基于判别函数的分类器设计,2.3 基于最小错误率的Bayes决策,2.4 基于最小风险的Bayes决策,2.5 正态分布的最小错误率Bayes决策,2,.6 讨论,5,6,模式识别与神经网络,2.1 引言,数据获取,预处理,特征提取与选择,分类决策,分类器设计,信号空间,特征空间,3,第二章 Bayes决策理论,基本概念,模式分类,：根据识别对象的观测值确定其类别,样本与样本空间：,类别与类别空间：,c,个类别（类别数已知）,4,第二章 Bayes决策理论,决策,把,x分到哪一类最合理？,理论基础之一是,统计决策理论,决策：是从样本空间S，到决策空间,的一个,映射,，表示为,D:S-,引言,5,第二章 Bayes决策理论,决策准则,引言,评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。,Bayes,决策常用的准则：,最小错误率准则,最小风险准则,在限定一类错误率条件下使另一类错误率为最小的准则,最小最大决策准则,6,第二章 Bayes决策理论,2.2 基于判别函数的分类器设计,判别函数,(discriminant function),：相应于每一类定义一个函数，得到一组判别函数,g,i,(,x,),i,=1,2,c,决策区域与决策面,(,decision region/surface,),：,7,第二章 Bayes决策理论,8,第二章 Bayes决策理论,决策规则(decision rule),规则表达1,规则表达2,9,第二章 Bayes决策理论,分类器设计,分类器是某种由硬件或软件组成的“机器”：,计算,c,个判别函数,g,i,(,x,),最大值选择,MAX,g,1,.,.,.,g,2,g,c,.,.,.,x,1,x,2,x,n,a(x),判别函数,多类识别问题的Bayes最小错误率决策：,g,i,(,x,)=,P,(,i,|,x,),10,第二章 Bayes决策理论,2.3 Bayes最小错误率决策,以两类分类问题为例：已知先验分布,P,(,i,),和观测值的类条件分布,p(,x,|,i,),，,i,=1,2,问题,：对某个样本,x，x,1,?,x,2,？,即选择,P,(,1,|,x,)，,P,(,2,|,x,),中最大值对应的类作为决策结果,该决策使得在观测值,x,下的条件错误率,P,(e|,x,),最小。Bayes决策理论是最优的,以后验概率为判决函数：,决策规则：,11,第二章 Bayes决策理论,后验概率,P,(,i,|,x,),的计算,Bayes公式,：假设已知先验概率,P,(,i,),和观测值的类条件分布,p,(,x,|,i,),，,i,=1,2,最小错误率决策,12,第二章 Bayes决策理论,公式简化,比较大小不需要计算,p,(,x,)：,最小错误率决策,13,第二章 Bayes决策理论,公式简化,对数域中计算，变乘为加：,最小错误率决策,判别函数中与类别,i,无关的项，对于类别的决策没有影响，可以忽略,14,第二章 Bayes决策理论,Bayes最小错误率决策例解,两类细胞识别问题：正常(,1,)和异常(,2,),根据已有知识和经验，两类的先验概率为：,正常(,1,)：,P,(,1,)=0.9,异常(,2,)：,P,(,2,)=0.1,对某一样本观察值x，通过计算或查表得到：,p,(,x,|,1,)=0.2，,p,(,x,|,2,)=0.4,如何对,细胞,x,进行分类？,最小错误率决策,15,第二章 Bayes决策理论,Bayes最小错误率决策例解,（2）,利用,贝叶斯公式,计算,两类的,后验概率,：,最小错误率决策,决策结果,16,第二章 Bayes决策理论,图解,最小错误率决策,p(,x,|,1,),p(,x,|,2,),p(,1,|,x,),p(,2,|,x,),类条件概率密度函数,后验概率,17,第二章 Bayes决策理论,决策的错误率,条件错误率,：,最小错误率决策,（平均）错误率是条件错误率的数学期望,（平均）错误率,：,18,第二章 Bayes决策理论,决策的错误率（2）,最小错误率决策,条件错误率,P(e|,x,),的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x,1,，或者x,2,。,条件错误率,为：,19,第二章 Bayes决策理论,决策的错误率（3）,Bayes最小错误率决策,使得每个观测值下的条件错误率最小因而保证了,（平均）错误率最小。,Bayes决策,是一致最优决策。,最小错误率决策,20,第二章 Bayes决策理论,决策的错误率（4）,设,t,为两类的分界面，则在特征向量,x,是一维时，,t,为,x,轴上的一点。两个决策区域:R,1,(-，t)和R,2,(t，+),最小错误率决策,21,第二章 Bayes决策理论,22,第二章 Bayes决策理论,2.4 基于最小风险的Bayes决策,决策的,风险,：,做决策要考虑决策可能引起的,损失,。,以医生根据白细胞浓度判断一个人是否患血液病为例：,没病(,1,)被判为有病(,2,)，还可以做进一步检查，损失不大；,有病(,2,)被判为无病(,1,)，损失严重。,23,第二章 Bayes决策理论,损失矩阵,损失的定义：(N类问题)做出决策,D,(,x,)=,i,，但实际上,x,j,，受到的损失定义为：,损失矩阵或决策表：,最小风险决策,24,第二章 Bayes决策理论,期望条件风险与期望风险,期望条件风险,：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险R(D(x)|x),最小风险决策,期望风险,：条件风险对观测值x的数学期望,25,第二章 Bayes决策理论,基于最小风险的Bayes决策,基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小,Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。,最小风险决策,决策规则：,26,第二章 Bayes决策理论,最小风险决策的计算,给定损失矩阵，算出每个决策的条件风险，取最小的。,某些特殊问题，存在简单的解析表达式。,最小风险决策,27,第二章 Bayes决策理论,两类问题最小风险Bayes决策,最小风险决策,用Bayes公式展开，最小风险Bayes决策得到：,28,第二章 Bayes决策理论,Bayes最小风险决策例解,两类细胞识别问题：正常(,1,)和异常(,2,),根据已有知识和经验，两类的先验概率为：,正常(,1,)：,P,(,1,)=0.9,异常(,2,)：,P,(,2,)=0.1,对某一样本观察值x，通过计算或查表得到：,p,(,x,|,1,)=0.2，,p,(,x,|,2,)=0.4,11,=0，,12,=6，,2,1,=1，,22,=0，,按最小风险决策如何对,细胞,x,进行分类？,最小风险决策,29,第二章 Bayes决策理论,Bayes最小风险决策例解（2）,后验概率：,P,(,1,|x)=0.818，,P,(,2,|x)=0.182,决策结果,最小风险决策,30,第二章 Bayes决策理论,最小风险决策的一般性,基于,最小错误率,的Bayes决策可作为,最小风险,Bayes决策的一种特殊情形。,只需要定义损失为：,最小风险决策,决策正确时，损失为0决策错误时，损失为1,31,第二章 Bayes决策理论,2.5 正态分布的最小错误率Bayes决策,Bayes决策中，类条件概率密度的选择要求：,模型合理性,计算可行性,常用概率密度模型：正态分布,观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。,计算、分析最为简单的模型。,32,第二章 Bayes决策理论,一元,正态分布,正态分布,Bayes,决策,一元正态分布及其两个重要参数：,均值（中心）,方差（分散度）,33,第二章 Bayes决策理论,多元正态分布,观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：,正态分布,Bayes,决策,34,第二章 Bayes决策理论,多元正态分布的性质,参数,和,完全决定分布,不相关性等价于独立性,边缘分布和条件分布的正态性,线性变换的正态性,线性组合的正态性,正态分布,Bayes,决策,35,第二章 Bayes决策理论,正态分布的最小错误率Bayes决策,观测向量的类条件分布服从正态分布：,判别函数的计算：,正态分布,Bayes,决策,判别函数中与类别,i,无关的项，对于类别的决策没有影响，可以忽略,36,第二章 Bayes决策理论,最小距离分类器与线性分类器,第一种特例：,判别函数的简化计算：,正态分布,Bayes,决策,最小距离分类器,线性分类器,37,第二章 Bayes决策理论,最小距离分类器与线性分类器,第二种特例：,判别函数的简化计算：,正态分布,Bayes,决策,Mahalanobis,距离,线性分类器,38,第二章 Bayes决策理论,正态模型的,Bayes,决策面,两类问题正态模型的决策面：,决策面方程：,g,1,(,x,)=,g,2,(,x,),两类的协方差矩阵相等，决策面是超平面。,两类的协方差矩阵不等，决策面是超二次曲面。,正态分布,Bayes,决策,39,第二章 Bayes决策理论,正态模型的,Bayes,决策面,正态分布,Bayes,决策,40,第二章 Bayes决策理论,正态分布下的几种决策面的形式,正态分布,Bayes,决策,41,第二章 Bayes决策理论,正态分布的,Bayes,决策例解,两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。,根据医学知识和以往的经验，医生知道：,患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；,一般人群中，患病的人数比例为0.5%。,一个人的白细胞浓度是3100，医生应该做出怎样的判断？,正态分布,Bayes,决策,42,第二章 Bayes决策理论,数学表示：用,表示“类别”这一随机变量，,1,表示患病，,2,表示不患病；,x,表示“白细胞浓度”这个随机变量。,例子中，医生掌握的知识非常充分，他知道：,1),类别的先验分布：P(,1,)=0.5%P(,2,)=99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布,正态分布,Bayes,决策,正态分布的Bayes决策例解,43,第二章 Bayes决策理论,2)观测数据白细胞浓度分别在两种情况下的类条件分布：,P(,x,|,1,),N,(2000,1000)P(,x,|,2,),N,(7000,3000),P(3100|,1,)=2.1785e-004,P(3100|,2,)=5.7123e-005,P(,1,|3100)=1.9%,P(,2,|3100)=98.1%,医生的判断：正常,正态分布,Bayes,决策,正态分布的Bayes决策例解,44,第二章 Bayes决策理论,2.6 讨论,基于Bayes决策的最优分类器,Bayes决策的三个前提：,类别数确定,各类的先验概率,P,(,i,)已知,各类的条件概率密度函数,p(,x,|,i,)已知,问题的转换：,基于样本估计概率密度,基于样本直接确定判别函数,45,第二章 Bayes决策理论,习题,试简述先验概率，类条件概率密度函数和后验概率等概念间的关系：,试写出利用先验概率和分布密度函数计算后验概率的公式,EX2.5,EX2.15,EX2.17,EX2.23,46,第二章 Bayes决策理论,