统计模式识别-贝叶斯分类器h课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,统计模式识别（二）,贝叶斯分类器,速冻大哥个,0,规范,统计模式识别（二）贝叶斯分类器速冻大哥个0规范,内容,贝叶斯分类的基本原理,最小错误率贝叶斯分类,最小风险贝叶斯分类,最大似然比贝叶斯分类,正态分布中的贝叶斯分类,内容,回顾：,线性分类器设计思路,梯度下降法,感知器法,回顾：线性分类器设计思路,哈哈统计,有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是：,“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。,统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均,哈哈统计 有一个从没带过小孩的统计学家，因为妻子出,统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。,统计学是面对不确定情况寻求决策、制定方法的一门科学,人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征,PR,中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。,统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的,1、贝叶斯公式及其意义：,一、贝叶斯分类原理：,P(B,k,|A)是事件A发生时事件B,k,发生的条件概率；,P(B,k,)是事件B,k,发生的概率；,p(A|B,k,)是事件B,k,发生时事件A发生的条件概率密度；,p(A)是事件A发生的条件概率密度；,贝叶斯公式表达了两个相关事件在先后发生时的推理关系,1、贝叶斯公式及其意义：一、贝叶斯分类原理：P(Bk|A)是,2、作为统计判别问题的模式识别：,以两类分类问题来讨论：,设有两个类别,1,和,2,，理想情况，,1,和,2,决定了特征空间中的两个决策区域。,确定性分类：,我们任取一个样本,x,，当它位于,1,的决策区域时，我们判别,x,1,；当它位于,2,的决策区域时，我们判别,x,1,。也可以说：当,x,位于,1,的决策区域时，它属于,1,的概率为1，属于,2,的概率为0。,随机性统计分类：,如我们任取一个样本,x,，当它位于,1,的决策区域时，它属于,1,的概率为小于1，属于,2,的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。,2、作为统计判别问题的模式识别：以两类分类问题来讨论：,3、先验概率和后验概率：,先验概率：,根据大量样本情况的统计，在整个特征空间中，任取一个特征向量,x,，它属于类,j,的概率为,P,(,j,),也就是说，在样本集中，属于类,j,的样本数量于总样本数量的比值为,P,(,j,),。我们称,P,(,j,),为先验概率,。,显然，有：,P,(,1,),P,(,2,),P,(,c,)1,后验概率：,当我们获得了某个样本的特征向量,x,，则在,x,条件下样本属于类,j,的概率,P(,j,|x),称为后验概率。,后验概率就是我们要做统计判别的依据。,3、先验概率和后验概率：先验概率：,4、后验概率的获得：,后验概率是无法直接得到的，因此需要根据推理计算，由已知的概率分布情况获得。,根据贝叶斯公式可得：,其中：,p(x|,j,)为类,j,所确定的决策区域中，特征向量x出现的概率密度，称为,类条件概率密度,，又称为,似然函数,。,p(x),为全概率密度，可由全概率公式计算得到。,4、后验概率的获得：后验概率是无法直接得到的，,以细胞识别为例：,细胞切片的显微图像经过一定的预处理后，抽取出,d,个特征。每一细胞可用一个,d,维的特征向量,x,表示。希望根据,x,的值分到正常类,1,或异常类,2,中去。,假定可以得到,P,r,（,1,）、,P,r,（,2,），,P,r,（,1,）+,P,r,（,2,）=1,和,p,(,x,|,1,)、,p,(,x,|,2,)。,如果只有先验概率，那么合理的选择是把,x,分到,P,r,（,1,）、,P,r,（,2,）大的一类中去。一般由于,P,r,（,1,）,P,r,（,2,），这样就把所有的细胞分到了正常的一类。失去了意义。,以细胞识别为例：细胞切片的显微图像经过一定的预处理后，抽取,如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，假定,x,是一维的特征（如胞核的总光强度）。,p,(,x,|,1,)和,p,(,x,|,2,)已知：,利用贝叶斯公式：,如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，,得到的,P,r,（,i,|,x,）称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的,x,，把先验概率转换为后验概率。,得到的Pr（i|x）称为状态（正常、异常）的后验概率。上,5 贝叶斯分类,估计密度,函数,p,(,x|,i,),i,=1，2,，,M,p,(,x|,1,),p,(,x|,2,),p,(,x|,M,),p,(,1,),p,(,2,),p,(,M,),最大值选择器,判别结果,x,贝叶斯分类器,5 贝叶斯分类估计密度p(x|1)p(x|2)p(x|,贝叶斯分类的前提,要决策分类的类别数是一定的。,各类别总体的概率分布是一定的。,贝叶斯分类的前提要决策分类的类别数是一定的。,二、几种贝叶斯分类判别规则：,1、最小错误率贝叶斯分类：,若有c个分类，若取得样本的特征向量x的条件下，某个类对应的后验概率后验概率P(,k,|x),最大，则判别x,k,发生错误分类的可能性最小，因此，以下判别规则称为最小错误率贝叶斯分类：,若,P(,k,|x)max,P(,j,|x)，,则,x,k,j1,2,c,二、几种贝叶斯分类判别规则：1、最小错误率贝叶斯分类：,1、最小错误率贝叶斯分类,例,：某地区细胞识别；,P,(,1,)=0.9，,P,(,2,)=0.1 未知细胞,x,，,先从类条件概率密度分布曲线上查到：,解,：该细胞属于正常细胞还是异常细胞，先计算后验概率,P,(,x,/,1,)=0.2，,P,(,x,/,2,)=0.4,1、最小错误率贝叶斯分类例：某地区细胞识别；P(1)=0,下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。,证明：,错误率是对所有,x,的平均错误率,P,r,（,e,）,两类时的条件错误概率为：,令,t,是两类的分界面，当,x,是一维时，即,x,轴上的一点。,下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。证明,统计模式识别-贝叶斯分类器h课件,要使,P,r,（,e,）是最小的，可从两个思路看：,要使 最小，使对每个,x,，,P,r,（,e|,x,）都要最小。所以取后验概率最大的。,假如将分界面移到,t,点,t,应是错误率最小的分界点，相应的规则也是错误率最小。,要使Pr（e）是最小的，可从两个思路看：要使,对于多类情况，最小错误率决策规则为：,若 ，则,或若,则,对于多类情况，最小错误率决策规则为：若,2、最小风险贝叶斯分类：,最小错误率贝叶斯分类只考虑分类错误的概率最小，但是，每次分类错误带来的损失是不一样的，例如：,要判断某人是正常(,1,)还是肺病患者(,2,),于是在判断中可能出现以下情况：,第一类，判对(正常正常),11,；第二类，判错(正常肺病),21,；,第三类，判对(肺病肺病),22,；第四类，判错(肺病正常),12,。,第二类和第四类属于分类错误。,显然，第四类错误带来的损失大于第二类错误带来的损失。,2、最小风险贝叶斯分类：最小错误率贝叶斯分类只考虑分,地震预报,细胞识别,地震预报细胞识别,2、最小风险贝叶斯分类：,为评估分类错误的风险，引入以下概念：,行动,i,：,表示把模式x判决为,i,类的一次动作。,损失函数,ij,=(,i,|,j,)：,表示模式,x,本来属于,j,类错判为,i,所受损失,条件平均风险（也叫条件期望损失）：,对未知x采取一个判决行动,i,(x)所冒的风险（或所付出的代价）,2、最小风险贝叶斯分类：为评估分类错误的风险，引入以下概念：,对于实际问题，最小风险的贝叶斯决策可按如下步骤进行：,根据,P,r,（,j,），,p,(,x|,j,)，,j,=1，2，,c,，以及给出的,x,，计算后验概率,计算条件风险,即 若 ，则采用决策 。,从得到的,m,个条件风险中，选最小的。,对于实际问题，最小风险的贝叶斯决策可按如下步骤进行：根据P,2、最小风险贝叶斯分类：,最小风险贝叶斯判别规则：,2、最小风险贝叶斯分类：最小风险贝叶斯判别规则：,2、最小风险贝叶斯分类：,2、最小风险贝叶斯分类：,3、最大似然比贝叶斯分类：,在最小错误率贝叶斯分类中，,P(,k,|x)max P(,j,|x)，则 x ,k,j1,2,c,则有：,P(,k,|x)P(,j,|x),j=1,2,.c,jk;,即,j=1,2,.c,jk;,j=1,2,.c,jk;,j=1,2,.c,jk;,3、最大似然比贝叶斯分类：在最小错误率贝叶斯分类中，j1,3、最大似然比贝叶斯分类：,定义：,似然比,判别阈值,则最大似然比贝叶斯分类的判别规则可以表达为：,若 L,ij,ij,，则x,k,，i、j=1,2,.c,3、最大似然比贝叶斯分类：定义：似然比 判别阈值 则最大似,三、正态分布决策理论,1、正态分布判别函数,为什么采用正态分布：,正态分布在物理上是合理的、广泛的。,正态分布数学上简单，N(m,C)只有均值和方差两个参数。,单变量正态分布：,三、正态分布决策理论1、正态分布判别函数,1,、正态分布判别函数,1、正态分布判别函数,（多变量）多维正态分布,（1）函数形式：,（多变量）多维正态分布,(2)、性质：,、,m,与,C,对分布起决定作用P()=N(,m,C,),m,由n个分量组成，,C,由n(n+1)/2元素组成。,多维正态分布由n+n(n+1)/2个参数组成。,、等密度点的轨迹是一个超椭球面。区域中心由,m,决定，区域形状由,C,决定。,、不相关性等价于独立性。若,x,i,与,x,j,互不相关,则,x,i,与,x,j,一定独立。,、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。,、线性组合的正态性。,(2)、性质：,判别函数：类条件概率密度用正态来表示：,决策面方程：,判别函数：类条件概率密度用正态来表示：决策面方程：,2、最小错误率(Bayes)分类器：,（,1）.第一种情况：,C,1,C,2,2、最小错误率(Bayes)分类器：（1）.第一种情况：C1,2、最小错误率(Bayes)分类器：,显然,判别平面是x的二次型方程,即两类模式可用二次判别界面分开。当x为二维模式,判别界面即为二次曲线,它可能是椭圆、圆、抛物线或双曲线。,右图即为椭圆的情况。,2、最小错误率(Bayes)分类器：显然,判别平面是x,2、最小错误率(Bayes)分类器：,（,2）.第二种情况：,各个特征统计独立，且同方差情况。即,C,1,=,C,1,(最简单情况),2、最小错误率(Bayes)分类器：（2）.第二种情况：各个,2、最小错误率(Bayes)分类器：,这是x的线性函数，为一超平面。当x是二维时，判别界面为一直线。,2、最小错误率(Bayes)分类器：这是x的线性函数，为一超,