资源描述
山东财经大学 第 六 章 参数估 计山东财经大学统计推断统计推断统计估计统计估计统计假设检验统计假设检验参数估计参数估计非参数估计非参数估计点估计点估计区间估计区间估计参数参数非参数非参数单参数单参数多参数多参数山东财经大学第6.1节 点估计方法一、点估计问题的提法一、点估计问题的提法二、估计量的求法二、估计量的求法三、小结三、小结山东财经大学一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。山东财经大学要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 .现从该总体中抽取样本现从该总体中抽取样本 设有一个统计总体的分布函数设有一个统计总体的分布函数F(x,)，其中其中 为未知参数为未知参数.山东财经大学一、点估计问题的提法 设总体的分布函数形式已知设总体的分布函数形式已知,但它的一但它的一个或多个参数为未知个或多个参数为未知,借助于总体的一个样借助于总体的一个样本来估计总体未知参数称为本来估计总体未知参数称为点估计问题点估计问题.山东财经大学山东财经大学在这里如何构造估计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：其一 是如何给出估计，即估计的方法问题；其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。山东财经大学二、估计量的求法 由于估计量是样本的函数由于估计量是样本的函数,是随机变量是随机变量,故故对不同的样本值对不同的样本值,得到的参数值往往不同得到的参数值往往不同,求估求估计量的问题是关键问题计量的问题是关键问题.点估计的求法点估计的求法:(两种两种)矩估计法和最大似然估计法矩估计法和最大似然估计法.山东财经大学一、矩估计法一、矩估计法 它是基于一种简单的它是基于一种简单的“替换替换”思思想建立起来的一种估计方法想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的.-求参数点估计的一种简便的常用方法求参数点估计的一种简便的常用方法山东财经大学（1）基本思想基本思想用相应的样本矩估计总体矩，用相应的样本矩估计总体矩，用相应的样本矩的用相应的样本矩的函数来估计总体矩的函数。函数来估计总体矩的函数。记总体记总体k阶原点矩为阶原点矩为样本样本k阶原点矩为阶原点矩为山东财经大学这种求点估计的方法称作这种求点估计的方法称作矩法矩法；用矩法确定的估计；用矩法确定的估计量为量为矩估计量矩估计量，相应的估计值为，相应的估计值为矩估计值。矩估计值。记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为山东财经大学山东财经大学例例1 1 求正态总体求正态总体 N(N(,2 2)两个未知参数两个未知参数 和和 2 2 的矩估计量的矩估计量.解：解：山东财经大学山东财经大学解解例例3解方程组得到解方程组得到a,b的矩估计量分别为的矩估计量分别为山东财经大学解解解方程组得到矩估计量分别为解方程组得到矩估计量分别为例例4山东财经大学上例表明上例表明:总体均值与方差的矩估计量的表达式，不因总体均值与方差的矩估计量的表达式，不因不同的总体分布而异不同的总体分布而异.一般地一般地:山东财经大学 矩法的优点是简单易行矩法的优点是简单易行,缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.山东财经大学 练习练习 设总体设总体 的分布密度为的分布密度为 为总体为总体 的样本的样本,求参数求参数 的矩估的矩估 计量计量.解解：由于：由于 只含有一个未知参数只含有一个未知参数 ，一般只，一般只需求出需求出 便能得到便能得到 的矩估计量，但是的矩估计量，但是山东财经大学 即即 不含有不含有 ,故不能由此得到故不能由此得到 的矩估的矩估计量计量.为此为此,求求 故令故令 于是解得于是解得 的矩估计量为的矩估计量为 山东财经大学 二、二、最大（极大）似然估计最大（极大）似然估计最最大大似似然然法法是是在在总总体体类类型型已已知知条条件件下下使使用用的一种参数估计方法的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯在高斯在1821年提出的年提出的,然而，然而，GaussFisher这个方法常归功于英国统这个方法常归功于英国统计学家费歇计学家费歇.费歇在费歇在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质.山东财经大学（1）基本思想）基本思想-最大似然原理最大似然原理最大似然估计的直观想法是：在试验中概率最大的事件最最大似然估计的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果，若有可能出现。因此，一个试验如有若干个可能的结果，若在一次试验中，结果在一次试验中，结果A出现，则一般认为出现，则一般认为A出现的概率最大出现的概率最大.山东财经大学定义6.1.1 设总体的概率函数为P(x;)，是参数 可能取值的参数空间，x1,x2,xn 是样本，将样本的联合概率函数看成 的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。似然函数似然函数实质上上是样本的分布律或分布密度。是样本的分布律或分布密度。山东财经大学 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。人们通常更习惯于由对数似然函数lnL()出发寻找 的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。山东财经大学(2)求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：（1）求似然函数求似然函数（2）一般地，求出一般地，求出及似然方程及似然方程 （3）解似然方程得到最大似然估解似然方程得到最大似然估计 山东财经大学解解似然函数似然函数例例1 1山东财经大学这一估计与矩估计是相同的这一估计与矩估计是相同的.山东财经大学解解 似然函数为似然函数为例例2山东财经大学山东财经大学它们与相应的矩估计相同它们与相应的矩估计相同.山东财经大学解解例例3山东财经大学山东财经大学山东财经大学 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g()，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。最大似然估计的两个重要性质最大似然估计的两个重要性质（1）不变性）不变性山东财经大学 例6.3.6 设 x1,x2 ,xn是来自正态总体 N(,2)的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:标准差标准差 的的MLE是是 山东财经大学总体总体0.90分位数分位数 x0.90=+u0.90 的的MLE是是 ，其中，其中u0.90为标准正态分布的为标准正态分布的0.90分位数。分位数。山东财经大学极大似然估计的重要性质极大似然估计的重要性质（2）渐近正态性）渐近正态性:山东财经大学山东财经大学三、小结两种求点估计的方法两种求点估计的方法:矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时在最大似然估计法使用不方便时,再用矩估计法再用矩估计法.山东财经大学1.无偏性无偏性(2)无偏估计的实际意义无偏估计的实际意义:无系统偏差无系统偏差.(1)无偏性是对估计量的一个基本而重要的要求无偏性是对估计量的一个基本而重要的要求.6.2 点估计的评价标准 山东财经大学如果估计如果估计 ,满足关系式满足关系式则称则称 是是 的渐近无偏估计（量）。的渐近无偏估计（量）。一个估计量如果不是无偏估计量，就称一个估计量如果不是无偏估计量，就称 这个估计量是有偏的，且称这个估计量是有偏的，且称 为估为估计量计量 的偏差。的偏差。山东财经大学证明证明例例1山东财经大学特别地特别地:例例2山东财经大学证明证明(这种方法称为这种方法称为无偏修正无偏修正).山东财经大学见例6.1.2山东财经大学证明证明例例3山东财经大学山东财经大学证明证明例例4 0,1/又设又设其中参数其中参数其它其它度度概率密概率密的指数分布的指数分布服从参数为服从参数为设总体设总体 q q q q=q qq qq q-,00,1);(xxexp山东财经大学 由以上两例可知,同一个参数可以有多个不同的无偏估计量.山东财经大学 这些说明仅有无偏性要求是不够的。于这些说明仅有无偏性要求是不够的。于是，人们又在无偏性的基础上增加了对方差的是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。表明该估计量的要求。若估计量的方差越小。表明该估计量的取值（即估计值）围绕着待估参数的波动就越取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小，也就是更为理想的估计量。为此，引入最小方差无偏估计小方差无偏估计-有效估计。有效估计。山东财经大学2.有效性 由于方差是随机变量取值与其数学期望的由于方差是随机变量取值与其数学期望的平均偏离程度平均偏离程度,所以无偏估计以方差小者为所以无偏估计以方差小者为好好.山东财经大学证明证明例例5 (续例续例4)山东财经大学证明证明练习练习 (续例续例3)（课本例（课本例6.1.6）山东财经大学山东财经大学定义6.2.1 设 为未知参数，是 的一个估计量，n 是样本容量，若对任何一个0，有 则称 为 参数的相合估计。3.相合性 山东财经大学 若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。相合性被认为是对估计的一个最基本要求,通常,不满足相合性要求的估计一般不予考虑。山东财经大学在判断估计的相合性时下述两个定理非常有用。定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计。定理定理6.2.2 若若 分别是分别是 1,k 的相合估的相合估 计，计，=g(1,k)是是 1,k 的连续函数，的连续函数，则则 是是 的相合估计。的相合估计。山东财经大学例6.2.5 设 x1,x2,xn 是来自均匀总体U(0,)的样本，证明 的极大似然估计是相合估计。证明：在例6.3.5中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布，我们知道 x(n)的分布密度函数为p(y)=nyn-1/n,y ,故有 由定理6.2.1可知，x(n)是 的相合估计。山东财经大学 由大数定律及定理6.2.2，我们可以看到：矩估计一般都具有相合性。比如：样本均值是总体均值的相合估计；样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本标准差是总体标准差的相合估计；样本样本k阶矩是总体阶矩是总体k阶矩的相合估计；阶矩的相合估计；山东财经大学4.均方误差 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。山东财经大学 注意到 ，因此(1)若 是 的无偏估计，则 ，这说明用方差考察无偏估计有效性是合理的。(2)当 不是 的无偏估计时，就要看其均方 误差 。下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。山东财经大学例6.4.1 对均匀总体U(0,)，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。山东财经大学 定义6.4.2 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计，在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。6.4 最小方差无偏估计 山东财经大学 定理6.4.1 设 x=(x1,x2,xn)是来自某总体的一个样本，是 的一个无偏估计，则 是 的UMVUE的充要条件是，对任意一个满足E(x)=0,Var(x)0与 无关；(3)导数 对一切 都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望 存在；则称 为总体分布的费希尔(Fisher)信息量。山东财经大学 费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数 的信息越多。山东财经大学例6.4.4 设总体为泊松分布P()分布，则 于是山东财经大学例6.4.5 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是山东财经大学定理6.4.3（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,xn 是来自该总体的样本，T=T(x1,x2,xn)是g()的任一个无偏估计，存在，且对 中一切 ，微分可在积分号下进行，则有 山东财经大学 上式称为克拉美-罗（C-R）不等式;g()2/(nI()称为g()的无偏估计的方差 的C-R下界，简称g()的C-R下界。特别，对 的无偏估计 ,有 ;如果等号成立，则称 T=T(x1,xn)是 g()的有效估计，有效估计一定是UMVUE。山东财经大学例6.4.6 设总体分布列为p(x,)=x(1-)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1,x2,xn 是该总体的样本，则 的C-R下界为(nI()-1=(1-)/n。因为 是 的无偏估计，且其方差等于 (1-)/n，达到C-R 下界，所以 是 的有效估计，它也是 的UMVUE。山东财经大学例6.4.7 设总体为指数分布Exp(1/)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I()=-2，若x1,x2,xn 是样本，则 的C-R下界为(nI()-1=2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-R下界，所以，是 的有效估计，它也是 的UMVUE。山东财经大学能达到C-R下界的无偏估计不多:例6.4.8 设总体为N(0,2)，满足定义6.3.2的条件，且费希尔信息量为 ，令 ,则 的C-R下界为 ,而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计的方差都大于其C-R下界。山东财经大学费希尔信息量的主要作用体现在极大似然估计。定理6.3.1 设总体X有密度函数 p(x;)，为非退化区间，假定 (1)对任意的x，偏导数 ，和 对所有 都存在；(2),有 ，其中函数F1(x),F2(x),F3(x)可积.山东财经大学(3),若 x1,x2,xn 是来自该总体的样本，则存在未知参数 的极大似然估计 ，且 具有相合性和渐近正态性:谢谢
展开阅读全文