资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,6.4,贝叶斯估计,6.4.1,统计推断的基础,经典学派,的观点：,统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：,总体信息,和,样本信息,；,贝叶斯学派,的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：,先验信息。,6.4 贝叶斯估计 6.4.1 统计推断的基础 经典学派,1,（1）,总体信息:,总体分布提供的信息。,（2）,样本信息:,抽取样本所得观测值提供的信息。,（3）,先验信息:,人们在试验之前对要做的问题在经,验上和资料上总是有所了解的，这些信息对,统计推断是有益的。先验信息即是抽样（试,验）之前有关统计问题的一些信息。一般说,来，先验信息来源于经验和历史资料。先验,信息在日常生活和工作中是很重要的。,（1）总体信息:总体分布提供的信息。,2,基于上述三种信息进行统计推断的统计学称为,贝叶斯统计学。,它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。,基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它,3,贝叶斯学派的基本观点：,任一未知量,都可看作随机变量，,可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量,新的分布,后验分布,；任何关于,的统计推断都应该基于,的后验分布进行。,贝叶斯学派的基本观点：任一未知量 都可看作随机变量，可,4,6.4.2,贝叶斯公式的密度函数形式,总体依赖于参数,的概率函数在贝叶斯统计中记为,P,(,x,|,),，它表示在随机变量,取某个给定值时总体的,条件概率函数；,根据参数,的先验信息可确定,先验分布,(,),；,从贝叶斯观点看，样本,x,1,x,2,x,n,的产生分两步进行:首先从先验分布,(,),产生一个样本,0,，然后从,P,(,x|,0,)中,产生一组样本。这时样本的,联合条件概率函数,为 ，这个分布综合了总体信息和样本信息；,6.4.2 贝叶斯公式的密度函数形式 总体依赖于参数 的概,5,0,是未知的，它是按先验分布,(,),产生的。为把先验信息综合进去，不能只考虑,0,，对,的其它值发生的可能性也要加以考虑，故要用,(,),进行综合。这样一来，样本,x,1,x,n,和参数,的,联合分布为:,h,(,x,1,x,2,x,n,)=,p,(,x,1,x,2,x,n,),(,),，,这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；,0 是未知的，它是按先验分布()产生的。为把先验信息,6,在没有样本信息时，人们只能依据先验分布对,作出推断。在有了样本观察值,x,1,x,2,x,n,之后，则应依据,h,(,x,1,x,2,x,n,),对,作出推断。由于,h,(,x,1,x,2,x,n,)=,(,x,1,x,2,x,n,),m,(,x,1,x,2,x,n,),，,其中,是,x,1,x,2,x,n,的边际概率函数，它与,无关，不含,的任何信息。因此能用来对,作出推断的仅是条件分布,(,x,1,x,2,x,n,),，它的计算公式是,在没有样本信息时，人们只能依据先验分布对 作出推断。在有了,7,这个条件分布称为,的,后验分布，,它集中了总体、样本和先验中有关,的一切信息。,后验分布,(,x,1,x,2,x,n,),的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布,(,),作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。,这个条件分布称为 的后验分布，它集中了总体、样本和先验,8,6.4.3,贝叶斯估计,基于后验分布,(,x,1,x,2,x,n,),对,所作的贝叶斯估计有多种，常用有如下三种：,使用后验分布的密度函数最大值作为,的点估计，称为最大后验估计；,使用后验分布的中位数作为,的点估计，称为后验中位数估计；,使用后验分布的均值作为,的点估计，称为后验期望估计。,用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为 。,6.4.3 贝叶斯估计,9,例6.4.2,设某事件A在一次试验中发生的概率为,，为估计,，对试验进行了,n,次独立观测，其中事件,A,发生了,X,次，显然,X,b,(,n,),，即,假若我们在试验前对事件,A,没有什么了解，从而对其发生的概率,也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间,（0,1）,上的均匀分布,U,(0,1),作为,的先验分布，因为它取,（0,1）,上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。,例6.4.2 设某事件A在一次试验中发生的概率为，为估,10,由此即可利用贝叶斯公式求出,的后验分布。具体如下：先写出,X,和,的联合分布,然后求,X,的边际分布,最后求出,的后验分布,最后的结果说明,X,Be,(,x,+1,n,-,x,+1),，其后验期望估计为,(6.4.4),由此即可利用贝叶斯公式求出 的后验分布。具体如下：先写,11,某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（,两,者都为0），而用贝叶斯估计,两,者分别是 0.2 和 0.83。,由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。,某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:,12,例,6.4.3,设,x,1,x,2,x,n,是来自正态分布,N,(,0,2,),的一个样本，其中,0,2,已知，,未知，假设,的先验分布亦为正态分布,N,(,2,),，其中先验均值,和先验方差,2,均已知，试求,的贝叶斯估计。,解：,样本,x,的分布和,的先验分布分别为,例6.4.3 设x1,x2,xn是来自正态分布,13,由此可以写出,x,与,的联合分布,其中 ，。若记,则有,由此可以写出x与 的联合分布,14,注意到,A,B,C,均与,无关，由此容易算得样本的边际密度函数,应用贝叶斯公式即可得到后验分布,这说明在样本给定后，,的后验分布为,N,(,B,/,A,1/,A,),，即,注意到A,B,C均与 无关，由此容易算得样本的边际密度,15,后验均值即为其贝叶斯估计：,它是样本均值 与先验均值,的加权平均。,后验均值即为其贝叶斯估计：,16,6.4.4,共轭先验分布,若后验分布,(,x,),与,(,),属于同一个分布族，则称该分布族是,的,共轭先验分布(族)。,二项分布,b,(,n,),中的成功概率,的共轭先验分布是贝塔分布,Be,(,a,b,),；,泊松分布,P,(,),中的均值,的共轭先验分布是伽玛分布,Ga,(,),；,在方差已知时，正态均值,的共轭先验分布是正态分布,N,(,2,),;,在均值已知时，正态方差,2,的共轭先验分布是倒伽玛分布,IGa,(,),。,6.4.4 共轭先验分布 若后验分布(x)与,17,
展开阅读全文