《小方差无偏估计》PPT课件.ppt

第六章第三节最小方差无偏估计,一、Rao-Blackwell定理,二、最小方差无偏估计,三、Cramer-Rao不等式,优良的无偏估计都是充分统计量的函数.,将之应用在参数估计中可得:,一、Rao-Blackwell定理,注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.即,考虑点估计只需在充分统计量的函数中进行,这就是充分性原则.,令=p2,则,为的无偏估计.,因为是充分统计量,由定理2,从而可令,可得,故为的无偏估计.且,进一步改进：,二、最小方差无偏估计,定义:,注：,一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.,Problem：,无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?,是总体X的样本,定理3:(UMVUE准则)设,如果对任一个满足,是的任一无偏估计,反之亦成立.,1、Fisher信息量的定义.,三、罗-克拉美（CramerRao）不等式,(1)是实数轴上的一个开区间;,设总体X的概率函数为p(x;),且满足条件:,正则条件,(1)I()越大,总体分布中包含未知参数的信息越多。,例3:设总体为Poisson分布，即,注：,例4:设总体为指数分布Exp(1/)，即,(2)I()的另一表达式为,注：,常见分布的信息量I()公式,两点分布Xb(1,p),泊松分布,指数分布,正态分布,设总体X的概率函数为p(x;),满足上面定义中的条件；x1,.,xn是来自总体X的一个样本,T(x1,.,xn)是g()的一个无偏估计.,2、定理4(Cramer-Rao不等式):,的微分可在积分号下进行，即,则有特别地对的无偏估计有,上述不等式的右端称为C-R下界,I()为Fisher信息量.,注:,(1)定理对离散型总体也适用.只需改积分号为求和号。,(2)在定理4条件下,若g()的无偏估计量T的方差VarT,达到下界,则T必为g()的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.,(3)当等号成立时,T为达到方差下界的无偏估计,此时称T为g()的有效估计。有效估计一定是UMVUE.（反之不真）,3.有效估计,定义:,定义:,注:,综上,求证T是g()的有效估计的步骤为:,例5.设总体XExp(1/),密度函数为,为X的一个样本值.,求的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.,为参数,解:由似然函数,经检验知的最大似然估计为,所以它是的无偏估计量,且,而,故是达到方差下界的无偏估计.,所以,C-R下界为,例8.设x1,.xn为取自总体为正态分布N(,2)的样本,验证,因此,是的有效估计.,解：已证过为U.E,下求的C-R下界,由于,而的C-R下界为,是的有效估计,因此,而2的C-R下界为,注3对于的C-R下界为:,当已知=0时,易证的无偏估计为,可证,这是的UMVUE,其方差大于C-R下界.因此所有的无偏估计的方差都大于其C-R下界,即C-R下界过小.(P307),4.最大似然估计的渐近正态性,定理(略),在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计,且,即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fisher信息量.,