概率密度密度的估计

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,幻灯片标题,*,PRA,北华大学电气信息工程学院,PRA,第三章 概率密度密度的估计,模式识别理论及应用,Pattern Recognition - Methods and Application,内容目录,PRA,第三章 概率密度密度的估计,3.1,引言,2,1,3,4,3.2 参数估计,3.3 非参数估计,3.4 讨论,模式识别与神经网络,3.1 引言,基于样本的Bayes分类器,：通过估计类条件概率密度函数，设计相应的判别函数,MAX,g,1,.,.,.,g,2,g,c,.,.,.,x,1,x,2,x,n,a(x),最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。,获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。,训练样本集,样本分布的统计特征：,概率密度函数,决策规则：判别函数决策面方程,分类器功能结构,3,第三章概率密度密度的估计,直接确定判别函数,基于样本的直接确定判别函数方法：,针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。,这些准则的“最优”并不一定与错误率最小相一致：次优分类器。,实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数,g,(,x,)=,w,T,x,（决策面是超平面），能否基于样本直接确定,w,?,引言,训练样本集,决策规则：判别函数决策面方程,选择最佳准则,4,第三章概率密度密度的估计,基于样本的Bayes分类器设计,Bayes决策需要已知两种知识：,各类的先验概率,P,(,i,),各类的条件概率密度函数,p(,x,|,i,),知识的来源：对问题的一般性认识或一些训练数据,基于样本的两步Bayes分类器设计:,利用样本集估计,P,(,i,)和,p(,x,|,i,),基于上述估计值设计判别函数及分类器,面临的问题：,如何利用样本集进行估计,估计量的评价,5,第三章概率密度密度的估计,概率密度估计的方法,类的先验概率的估计：,用训练数据中各类出现的频率估计,依靠经验,类条件概率密度估计的两种主要方法：,参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计,最大似然估计,Bayes估计,非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计,Parzen窗法,k,n,-近邻法,引言,6,第三章概率密度密度的估计,3.2 参数估计,统计量：样本集的某种函数,f,(,K,),参数空间：总体分布的未知参数,所有可能取值组成的集合(,),点估计的估计量和估计值：,7,第三章概率密度密度的估计,估计量的评价标准,估计量的评价标准,：,无偏性，有效性，一致性,无偏性：,E( )=,有效性,：,D( )小，更有效,一致性：样本数趋于无穷时， 依概率趋于,：,8,第三章概率密度密度的估计,3.2.1 最大似然估计,Maximum Likelihood (ML),样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。,概率密度函数的形式已知，参数未知，为了描述概率密度函数,p,(,x|,i,),与参数,的依赖关系，用,p,(,x|,i,),表示。,估计的参数,是确定而未知的,，Bayes估计方法则视,为随机变量。,独立地按概率密度,p,(,x|,),抽取样本集,K=,x,1,x,2,x,N,，用,K,估计未知参数,9,第三章概率密度密度的估计,似然函数,似然函数：,对数(loglarized)似然函数：,最大似然估计,10,第三章概率密度密度的估计,最大似然估计,最大似然估计,11,第三章概率密度密度的估计,最大似然估计示意图,最大似然估计,12,第三章概率密度密度的估计,计算方法,最大似然估计量使似然函数,梯度,为0 ：,最大似然估计,13,第三章概率密度密度的估计,一元正态分布例解,最大似然估计,14,第三章概率密度密度的估计,一元正态分布均值的估计,最大似然估计,15,第三章概率密度密度的估计,一元正态分布方差的估计,最大似然估计,16,第三章概率密度密度的估计,多元正态分布参数最大似然估计,均值估计是无偏的，协方差矩阵估计是有偏的。,协方差矩阵的无偏估计是：,最大似然估计,17,第三章概率密度密度的估计,3.2.2 贝叶斯估计-最大后验概率,用,一组样本集,K=,x,1,x,2,x,N,估计未知参数,未知参数,视为随机变量，先验分布为,p,(,)，而在已知样本集,K,出现的条件下的后验概率为：,p,(,|,K,),最大后验概率估计-,Maximum a posteriori (MAP),18,第三章概率密度密度的估计,贝叶斯估计-最小风险,参数估计的条件风险：给定,x,条件下，估计量的期望损失,参数估计的风险：估计量的条件风险的期望,贝叶斯估计：使风险最小的估计,贝叶斯估计,19,第三章概率密度密度的估计,贝叶斯估计,损失函数：误差平方,贝叶斯估计,定理 3.1,:,如果定义损失函数为误差平方函数，则有：,20,第三章概率密度密度的估计,贝叶斯估计的步骤,贝叶斯估计,确定,的先验分布,p,(,),由样本集,K=,x,1,x,2,x,N,求出样本联合分布：,p,(,K,|,),计算,的后验分布,计算贝叶斯估计,21,第三章概率密度密度的估计,一元正态分布例解,总体分布密度为：,贝叶斯估计,均值,未知，,的先验分布为：,用贝叶斯估计方法求,的估计量,样本集：,K=,x,1,x,2,x,N,22,第三章概率密度密度的估计,一元正态分布例解,计算的后验分布：,贝叶斯估计,计算,的贝叶斯估计：,23,第三章概率密度密度的估计,贝叶斯学习,贝叶斯学习：利用,的先验分布,p,(,)及样本提供的信息求出,的后验分布,p,(,|,K,) ，然后直接求总体分布,贝叶斯学习,24,第三章概率密度密度的估计,一元正态分布例解,总体分布密度为：,贝叶斯学习,均值,未知，,的先验分布为：,样本集：,K=,x,1,x,2,x,N,计算的后验分布：,25,第三章概率密度密度的估计,一元正态分布例解,直接计算总体密度：,贝叶斯学习,26,第三章概率密度密度的估计,3.2.3 混合高斯模型,Mixed gaussian distribution,密度函数具有如下形式：正态模型的线性组合,需估计的参数：,参数估计,采用迭代法进行参数估计,27,第三章概率密度密度的估计,3.3 非参数估计,非参数估计,：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作,模型无关方法,。,参数估计,需要事先假定一种分布函数，利用样本数据估计其参数。又称作,基于模型的方法,两种主要方法：,核函数方法,Parzen窗法,k,N,-近邻法,神经网络方法：PNN,28,第三章概率密度密度的估计,3.3.1 核函数方法,估计的目的：从样本集,K=,x,1,x,2,x,N,估计样本空间中任何一点的,概率密度,p,(,x,),基本方法：用某种核函数构造某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度,p,(,x,)的估计,非参数估计,29,第三章概率密度密度的估计,核函数方法图解,非参数估计,30,第三章概率密度密度的估计,基本方法,基本思想：,两种常用的方法：,Parzen窗法:,k,N,-近邻法:,非参数估计,31,第三章概率密度密度的估计,3.3.2 Parzen窗法,样本集,K,N,=,x,1,x,2,x,N,区域,R,N,是一个d维超立方体，棱长,h,N,，体积,V,N,=,h,N,d,定义窗函数：,超立方体内样本数：,某点概率密度,p,(,x,)的估计,非参数估计,32,第三章概率密度密度的估计,核函数的选择,核函数需满足归一化条件：,两种常用的核函数：,均匀核：,正态核：,非参数估计,33,第三章概率密度密度的估计,窗宽的选择,h,N,是控制“窗”宽度的参数，根据样本的数量选择。,太大：平均，分辨力低,太小：统计变动大,为保证依概率渐进收敛到真实的概率密度，即：,收敛的充要条件：,非参数估计,34,第三章概率密度密度的估计,不同窗宽的估计效果,非参数估计,35,第三章概率密度密度的估计,Parzen窗法示例,非参数估计,36,第三章概率密度密度的估计,有限样本的影响,均方误差最小(MSE)准则,维数灾难,(Curse of Dimensionality):,当维数较高时，样本数量无法达到精确估计的要求。,N,d,N,4/(d+4),16,1,0.1,32,2,0.1,178,5,0.1,3162,10,0.1,3E+13,50,0.1,非参数估计,37,第三章概率密度密度的估计,k,N,-近邻法,均匀核函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。,k,N,-近邻估计：把窗扩大到刚好覆盖,k,N,个点。落在窗内的样本点的数目固定，窗宽是变化的。,k,N,根据样本总数,N,选择。,概率密度估计表达式：点,x,处窗的“体积”是,V,n,：,非参数估计,38,第三章概率密度密度的估计,k,N,-近邻法举例,k,N,的选择：渐进收敛容易保证；有限样本性质、最小平方误差与Parzen窗几乎相同,非参数估计,39,第三章概率密度密度的估计,3.4 讨论,高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。,概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。,进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。,先估计概率密度，再进行分类，可能走了“弯路”。,40,第三章概率密度密度的估计,习题,一元正态分布的最大似然估计：,假设样本,x,服从正态分布,N,(,2,),已获得一组样本,x,1,x,2,x,N,用,C/Java,语言设计一程序片断，计算上题中的估计参数,(,2,),试简述参数估计，非参数估计和非参数分类器等概念间的关系,证明对正态总体的期望,u,的最大似然估计是无偏的，对方差,s,2,的最大似然估计是有偏的。,41,第三章概率密度密度的估计,