哈工大模式识别课程3用概率密度函数估计

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,哈尔滨工业大学,第,3,章 概率密度函数估计,主要内容,引言,参数估计,正态分布的参数估计,非参数估计,本章小结,引言,【,引言,】,贝叶斯决策公式,【,引言,】,算法基本步骤,【,引言,】,存在的问题：,【,引言,】,问题的解决,【,引言,】,参数估计的分类,【,引言,】,参数估计的基本概念,参数估计,【,参数估计,】,最大似然估计,贝叶斯估计,贝叶斯学习,【,最大似然估计,】,基本假设,【,最大似然估计,】,基本概念,【,最大似然估计,】,基本原理,【,最大似然估计,】,估计量,估计值,【,最大似然估计,】,一元参数,【,最大似然估计,】,多元参数,【,最大似然估计,】,例子：,【,贝叶斯估计,】,采用最小风险贝叶斯决策,【,贝叶斯估计,】,【,举例,】,假设,结论：,【,贝叶斯估计,】,【,贝叶斯学习,】,【,三种方法总结,】,【,三种方法总结,】,正态分布的参数估计,【,最大似然估计,】,单元正态分布：,多元正态分布：,最大似然估计方程：,其中,【,贝叶斯估计,】,【,贝叶斯估计,】,非参数估计,【,基本思想,】,令,R,是包含样本点,x,的一个区域，其体积为,V,，设有,n,个训练样本，其中有,k,个落在区域,R,中，则可对概率密度作出一个估计,：,相当于用,R,区域内的平均性质来作为一点,x,的估计，是一种数据的平滑。,【,基本思想,】,当,n,固定时，,V,的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，,k=0,。,此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。,构造一系列包含,x,的区域,R,1, R,2, ,，对应,n=1,2,，则对,p(,x,),有一系列的估计：,当满足下列条件时，,p,n,(,x,),收敛于,p,(,x,),：,Parzen,窗法：区域体积,V,是样本数,n,的函数，如：,K-,近邻法：落在区域内的样本数,k,是总样本数,n,的函数，如：,【,Parzen,窗法和,K-,近邻法,】,【,Parzen,窗法和,K-,近邻法,】,定义窗函数,【,Parzen,窗法,】,超立方体中的样本数：,【,Parzen,窗法,】,概率密度估计：,上述过程是一个内插过程，样本,x,i,距离,x,越近，对概率密度估计的贡献越大，越远贡献越小。,只要满足如下条件，就可以作为窗函数：,【,Parzen,窗法,】,【,Parzen,窗法,】,窗函数,h,n,称为窗的宽度,【,Parzen,窗法,】,【,Parzen,窗法,】,保存每个类别所有的训练样本；,选择窗函数的形式，根据训练样本数,n,选择窗函数的,h,宽度；,识别时，利用每个类别的训练样本计算待识别样本,x,的类条件概率密度：,采用,Bayes,判别准则进行分类。,【,Parzen,窗法,】,本章结束,