资源描述
第 六 章,参数估 计,统计推断,第6.1节 点估计方法,一、点估计问题的提法,二、估计量的求法,三、小结,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。,现从该总体中抽取样本,设有一个统计总体的分布函数F(x, )，,其中 为未知参数.,一、点估计问题的提法,设总体的分布函数形式已知, 但它的一个或多个参数为未知, 借助于总体的一个样本来估计总体未知参数称为点估计问题.,在这里如何构造估计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。,二、估计量的求法,由于估计量是样本的函数, 是随机变量, 故对不同的样本值, 得到的参数值往往不同, 求估计量的问题是关键问题.,点估计的求法: (两种),矩估计法和最大似然估计法.,一、矩估计法,它是基于一种简单的“替换”思想建立起来的一种估计方法 .,是英国统计学家K.皮尔逊最早提出的 .,-求参数点估计的一种简便的常用方法,（1）基本思想,用相应的样本矩估计总体矩，用相应的样本矩的函数来估计总体矩的函数。,记总体k阶原点矩为,样本k阶原点矩为,这种求点估计的方法称作矩法；用矩法确定的估计量为矩估计量，相应的估计值为矩估计值。,记总体k阶中心矩为,样本k阶中心矩为,例1 求正态总体 N(,2)两个未知参数和2 的矩估计量.,解：,解,例3,解方程组得到a, b的矩估计量分别为,解,解方程组得到矩估计量分别为,例4,上例表明:,总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.,一般地:,矩法的优点是简单易行,缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .,练习 设总体 的分布密度为,为总体 的样本,求参数 的矩估 计量.,解：由于 只含有一个未知参数 ，一般只需求出 便能得到 的矩估计量，但是,即 不含有 ,故不能由此得到 的矩估计量.为此, 求,故令,于是解得 的矩估计量为,二、 最大（极大）似然估计,最大似然法是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家 高斯在1821年提出的 ,然而，,Gauss,Fisher,这个方法常归功于英国统计学家费歇 .,费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .,（1）基本思想-最大似然原理,最大似然估计的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果，若在一次试验中，结果A出现，则一般认为A出现的概率最大.,定义6.1.1 设总体的概率函数为P(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合概率函数看成 的函数，用L( ; x1, x2, , xn) 表示，简记为L( )，,称为样本的似然函数。,似然函数实质上是样本的分布律或分布密度。,如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。,人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最常用的方法，对lnL( )求导更加简单些。,(2)求最大似然估计量的一般步骤为：,（1）求似然函数,（2）一般地，求出,及似然方程,（3）解似然方程得到最大似然估计,解,似然函数,例1,这一估计与矩估计是相同的.,解,似然函数为,例2,它们与相应的矩估计相同.,解,例3,极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,最大似然估计的两个重要性质,（1）不变性,例6.3.6 设 x1 , x2 , , xn是来自正态总体 N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:,标准差 的MLE是,总体0.90分位数 x0.90= + u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。,极大似然估计的重要性质（2）渐近正态性:,三、小结,两种求点估计的方法:,矩估计法,最大似然估计法,在统计问题中往往先使用最大似然估计法, 在最大似然估计法使用不方便时, 再用矩估计法.,1.无偏性,(2)无偏估计的实际意义: 无系统偏差.,(1)无偏性是对估计量的一个基本而重要的要求 .,6.2 点估计的评价标准,如果估计 ,满足关系式,则称 是 的渐近无偏估计（量）。,一个估计量如果不是无偏估计量，就称 这个估计量是有偏的，且称 为估计量 的偏差。,证明,例1,特别地:,例2,证明,(这种方法称为无偏修正).,见例6.1.2,证明,例3,证明,例4,由以上两例可知,同一个参数可以有多个不同的无偏估计量.,这些说明仅有无偏性要求是不够的。于是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小方差无偏估计-有效估计。,2.有效性,由于方差是随机变量取值与其数学期望的平均偏离程度, 所以无偏估计以方差小者为好.,证明,例5 (续例4),证明,练习 (续例3)（课本例6.1.6）,定义6.2.1 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任何一个0，有 则称 为 参数的相合估计。,3. 相合性,若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,相合性被认为是对估计的一个最基本要求, 通常,不满足相合性要求的估计一般不予考虑。,在判断估计的相合性时下述两个定理非常有用。 定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计。,定理6.2.2 若 分别是1, , k 的相合估 计， =g(1 , , k) 是1, , k 的连续函数，则 是 的相合估计。,例6.2.5 设 x1, x2 , , xn 是来自均匀总体U(0, )的样本，证明 的极大似然估计是相合估计。 证明：在例6.3.5中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布，我们知道 x(n) 的分布密度函数为p(y)=nyn-1/ n, y , 故有 由定理6.2.1可知，x(n)是 的相合估计。,由大数定律及定理6.2.2，我们可以看到： 矩估计一般都具有相合性。比如：,样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本k阶矩是总体k阶矩的相合估计；,4. 均方误差,评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。,例6.4.1 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。,定义6.4.2 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。,6.4 最小方差无偏估计,定理6.4.1 设 x=(x1, x2 , , xn) 是来自某总体的一个样本， 是 的一个无偏估计， 则 是 的UMVUE的充要条件是，对任意一个满足E(x)=0,Var(x)的(x)，都有,关于UMVUE，有如下一个判断准则。,例6.4.2 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样本，则T = x1+xn 是 的充分统计量，而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏估计，则 两端对 求导得 这说明 ，从而 ，由定理6.4.1，它是 的UMVUE。,6.4.2 充分性原则,以下定理说明：好的无偏估计都是充分统计量的函数。 定理6.4.2 设总体概率函数是 p(x, )， x1, x2 , , xn 是其样本，T=T(x1, x2 , , xn )是 的充分统计量，则 对 的任一无偏估计 ，令 ， 则 也是 的无偏估计，且,定理6.4.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。,例6.4.3 设 x1, x2 , , xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令 由于 ，所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用定理6.4.2对之加以改进：求 关于充分统计量 的条件期望，得,6.4.3 Cramer-Rao不等式,定义6.4.3 设总体的概率函数 P(x, ), 满足下列条件： (1) 参数空间是直线上的一个开区间； (2) 支撑 S=x: P(x, )0与 无关； (3) 导数 对一切都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称 为总体分布的费希尔(Fisher) 信息量。,费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I( )有关。I( )的种种性质显示，“I( )越大”可被解释为总体分布中包含未知参数 的信息越多。,例6.4.4 设总体为泊松分布P()分布，则 于是,例6.4.5 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是,定理6.4.3（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , , xn 是来自该总体的样本，T=T(x1, x2 , , xn )是g( )的任一个无偏估计， 存在，且对 中一切 ，微分可在积分号下进行，则有,上式称为克拉美-罗（C-R）不等式; g()2/(nI( )称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有 ;,如果等号成立，则称 T=T(x1, , xn) 是 g( )的有效估计，有效估计一定是UMVUE。,例6.4.6 设总体分布列为p(x, )= x(1- )1-x, x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1, x2, , xn 是该总体的样本，则 的C-R下界为(nI( )-1= (1- )/n。因为 是 的无偏估计，且其方差等于 (1- )/n，达到C-R 下界，所以 是 的有效估计，它也是 的UMVUE。,例6.4.7 设总体为指数分布Exp(1/ )，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I( ) = -2，若x1, x2, , xn 是样本，则 的C-R下界为(nI( )-1= 2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-R下界，所以， 是 的有效估计，它也是 的UMVUE。,能达到C-R下界的无偏估计不多: 例6.4.8 设总体为N(0, 2 )，满足定义6.3.2的条件，且费希尔信息量为 ，令 , 则 的C-R下界为 , 而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计的方差都大于其C-R下界。,费希尔信息量的主要作用体现在极大似然估计。,定理6.3.1 设总体X有密度函数 p(x; )， 为非退化区间，假定 (1) 对任意的x，偏导数 ， 和 对所有都存在； (2) , 有 ， 其中函数F1(x) , F2(x), F3(x)可积.,(3) , 若 x1, x2 , , xn 是来自该总体的样本，则存在未知参数 的极大似然估计 ，且 具有相合性和渐近正态性:,
展开阅读全文