6.4贝叶斯估计课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,贝叶斯估计,Bayes Estimation,例子：,我定点投篮，投5次，次次投中，,问：我的投篮技术如何？,科比投篮，投100次，次次投中，,问：科比投篮技术如何？,经典方法：矩法估计、极大似然估计,100%,但是: ,几个学派（1）,经典学派：频率学派，,带头人：Pearson、Fisher、Neyman,观点：概率就是频率,参数就是参数,联合分布密度：p(x1,x2,.xn ;,),频率学派的观点,到目前为止我们讲述的都是频率（经典的）统计学,概率指的是相对频率，是真实世界的客观属性。,参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。,统计过程应该具有定义良好的频率稳定性。如：一个,95,的置信区间应覆盖参数真实值至少,95,的频率。,统计学更多关注频率推断,几个学派（2）,Bayesian学派：,带头人：Bayes,Laplace,Jeffreys,Robbins,观点：频率不只是概率,存在主观概率，和实体概率可转化,参数作为随机变量,条件分布： p(x1,x2,.xn |,),贝叶斯学派的观点,贝叶斯推断,采取了另外一个不同的立场：,概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。,可以对各个参数进行概率描述，即使它们是固定的常数。,为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到,机器学习和数据挖掘更偏爱贝叶斯推断,批评1：置信区间,置信区间：,解释：区间u1,u2覆盖u的概率,不是u位于区间的概率,缺点：u不是变量,批评2：评价方法,假设检验、参数估计等都是多次重复的结果；,想知道：,一次实验发生的可能性,回忆贝叶斯规则,亦称贝叶斯定理,条件概率,利用贝叶斯规则将数据和参数的分布联合起来,贝叶斯方法,贝叶斯推断,的基本步骤如下：,选择一个概率密度函数 ，用来表示在取得数据之前我们对某个参数 的信念。我们称之为,先验分布,。,选择一个模型 （在此处记为 ） 来反映在给定参数 情况下我们对,x,的信念。,当得到数据,X,1, X,2,X,n,后，我们更新我们的信念并且计算,后验分布,。,从后验分布中得到点估计和区间估计。,贝叶斯公式的密度函数形式,总体依赖于参数,的概率函数在贝叶斯统计中记为,P,(,x,|,),，,它表示在随机变量,取某个给定值时总体的,条件概率函数；,根据参数,的先验信息可确定,先验分布,(,),；,从贝叶斯观点看，样本,x,1, x,2,x,n,的产生分两步进行,:,首先从先验分布,(,),产生一个样本,0,，,然后从,P,(,x |,0,),中,产生一组样本。这时样本的,联合条件概率函数,为 ，这个分布综合了总体信息和样本信息；,0,是未知的，它是按先验分布,(,),产生的。为把先验信息综合进去，不能只考虑,0,，,对,的其它值发生的可能性也要加以考虑，故要用,(,),进行综合。这样一来，样本,x,1,x,n,和参数,的联合分布为,:,h,(,x,1, x,2,x,n,) =,p,(,x,1, x,2,x,n,),(,),，,这个联合分布把,总体信息、样本信息和先验信息,三种可用信息都综合进去了；,在没有样本信息时，人们只能依据先验分布对,作出推断。在有了样本观察值,x,1, x,2,x,n,之后，则应依据,h,(,x,1, x,2,x,n,),对,作出推断。由于,h,(,x,1,x,2,x,n,) =,(,x,1,x,2,x,n,),m,(,x,1,x,2,x,n,),，,其中,是,x,1, x,2,x,n,的,边际概率函数,，它与,无关，不含,的任何信息。因此能用来对,作出推断的仅是条件分布,(,x,1, x,2,x,n,),，,它的计算公式是,这个条件分布称为,的,后验分布,，它集中了总体、样本和先验中有关,的一切信息。,后验分布,(,x,1, x,2, x,n,),的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布,(,),作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。,贝叶斯估计,基于后验分布,(,x,1, x,2, x,n,),对,所作的贝叶斯估计有多种，常用有如下三种：,使用后验分布的密度函数最大值作为,的点估计，称为最大后验估计；,使用后验分布的中位数作为,的点估计，称为后验中位数估计；,使用后验分布的均值作为,的点估计，称为后验期望估计。,用得最多的是,后验期望估计,，它一般也简称为贝叶斯估计，记为 。,例,设某事件A在一次试验中发生的概率为,，为估计,，对试验进行了,n,次独立观测，其中事件,A,发生了,X,次，显然,X,b,(,n,),，即,假若我们在试验前对事件,A,没有什么了解，从而对其发生的概率,也没有任何信息。在这种场合，,贝叶斯本人建议采用“同等无知”的原则使用区间,（0,1）,上的均匀分布,U,(0,1),作为,的先验分布,，因为它取,（0,1）,上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。,由此即可利用贝叶斯公式求出,的后验分布。具体如下：先写出,X,和,的联合分布,然后求,X,的边际分布,最后求出,的后验分布,最后的结果说明,X,Be,(,x,+1,n,-,x,+1),，其后验期望估计为,(6.4.4),某些场合，贝叶斯估计要比极大似然估计更合理一点。比如: “,抽检3个全是合格品,”与“,抽检10个全是合格品,”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（,两,者都为0），而用贝叶斯估计,两,者分别是 0.2 和 0.083。,由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。,例,设,x,1, x,2, x,n,是来自正态分布,N,(,0,2,),的一个样本，其中,0,2,已知，,未知，假设,的先验分布亦为正态分布,N,(,2,),，其中先验均值,和先验方差,2,均已知，试求,的贝叶斯估计。,解：样本,x,的分布和,的先验分布分别为,由此可以写出,x,与,的联合分布,其中 ，,。若记,则有,注意到,A,B,C,均与,无关，由此容易算得样本的边际密度函数,应用贝叶斯公式即可得到后验分布,这说明在样本给定后，,的后验分布为,N,(,B,/,A,1/,A,),，即,后验均值即为其贝叶斯估计：,它是样本均值 与先验均值,的加权平均。,例子,：正态分布,例：某圆形产品内径X（单位：mm）服从,正态分布,N,(,，0.4),有先验分布,N,(,2,，,0.2,2,),现在测量X=1.8,n=5,MLE,=1.8,bayes,=1.93,置信区间估计：,方法:,是随机变量，可求其后验分布,步骤: 1.积分求后验分布,2.根据后验分布求置信区间,共轭先验分布,若后验分布,(,x,),与,(,),属于同一个分布族，则称该分布族是,的,共轭先验分布(族)。,二项分布,b,(,n,),中的成功概率,的共轭先验分布是贝塔分布,Be,(,a,b,),；,泊松分布,P,(,),中的均值,的共轭先验分布是伽玛分布,Ga,(,),；,在方差已知时，正态均值,的共轭先验分布是正态分布,N,(,2,),;,在均值已知时，正态方差,2,的共轭先验分布是倒伽玛分布,IGa,(,),。,先验知识从哪儿来？,我们可能在观测数据之前就有一些主观观点或真正的先验知识。,但是，通常我们并没有真正的先验知识或者我们在贝叶斯估计时想更客观些，这时可以选择无信息的先验,(,noninformative prior,),。,或者可以从数据估计先验。这被称为经验贝叶斯,(,empirical Bayes,),。,反对贝叶斯学派的观点,不方便：后验区间不是真正的置信区间，估计通常都是有偏估计,计算强度大：积分,/,仿真或近似很难处理,不必要的复杂：即使没有先验信息也要有先验函数,假设检验：贝叶斯假设检验对先验的选取很敏感,综上所述,在参数模型中，当样本数目很多时，贝叶斯方法和频率方法得到的近似相同的推理。但通常二者的结果不同,贝叶斯方法和频率推理是为了解决不同的问题,结合先验知识和数据：贝叶斯方法,构造长期稳定的性能（如置信区间）：频率方法,综上所述,当参数空间为高维时，通常采用贝叶斯方法,但当参数比数据还多时，没有统计方法能跨越自然的本质约束,即使先验知识选择得当，也只能对“过去”预测很好，对将来不一定能预测很好,You cannot get something for nothing. A little bit of data, will not help you to learn about a million dimensional, complex problem.,