第六章-参数估计课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第六章 参数估计,华东师范大学,*,第,*,页,第六章 参数估计,6.1,点估计的几种方法,6.2,点估计的评价标准,6.3,最小方差无偏估计,6.4,贝叶斯估计,6.5,区间估计,一般常用,表示参数，参数,所有可能取值组成的集合称为,参数空间，,常用,表示。参数估计问题就是根据样本对上述各种未知参数作出估计。,参数估计的形式有两种：,点估计与区间估计,。,设,x,1, x,2, x,n,是来自总体,X,的一个样本，我们用一个统计量 的取值作为,的估计值， 称为,的,点估计（量）,，,简称,估计,。,在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一,是如何给出估计，即估计的,方法问题；,其二,是如何对不同的估计进行评价，即估,计的,好坏判断标准。,6.1,点估计的几种方法,6.1.1,替换原理和矩法估计,一、,矩法估计,替换原理是指用样本矩及其函数去,替换,相应的总体矩及其函数，譬如：,用样本均值估计总体均值,E,(,X,),，,即,；,用样本方差估计总体方差,Var(,X,),，,即,用样本的,p,分位数估计总体的,p,分位数，,用样本中位数估计总体中位数,。,例,6.1.1,对某型号的,20,辆汽车记录其每加仑汽油的行驶里程,(,km,),，观测数据如下：,29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0,27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0,29.1 29.8 29.6 26.9,经计算有,由此给出总体均值、方差和中位数的估计分别为,:,28.695, 0.9185,和,28.6,。,矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。,二、概率函数,P,(,x,),已知时未知参数的矩法估计,设总体具有已知的概率函数,P,(,x,1,k,),，,x,1, x,2, x,n,是样本，假定总体的,k,阶原点矩,k,存在，若,1,k,能够表示成,1,k,的函数,j,=,j,(,1,k,),，则可给出诸,j,的矩法估计为,其中,例,6.1.2,设总体服从指数分布，由于,EX,=1/,，,即,=1/,EX,，故,的矩法估计为,另外，由于,Var,(X),=1/,2,，其反函数为 因此，从替换原理来看，,的矩法估计也可取为,s,为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,例,6.1.3,x,1, x,2, x,n,是来自,(,a,b,),上的均匀分布,U,(,a,b,),的样本，,a,与,b,均是未知参数，这里,k,=2,，由于,不难推出,由此即可得到,a, b,的矩估计：,6.1.2,极,(,最,),大似然估计,定义,6.1.1,设总体的概率函数为,P,(,x,;,),，,是参数,可能取值的参数空间，,x,1, x,2, , x,n,是样本，将样本的联合概率函数看成,的函数，用,L,(,;,x,1, x,2, x,n,),表示，简记为,L,(,),，,称为样本的,似然函数,。,如果某统计量 满足,则称 是,的,极,(,最,),大似然估计,，,简记为,MLE,（,Maximum Likelihood Estimate,）,。,人们通常更习惯于由,对数似然函数,ln,L,(,),出发寻找,的极大似然估计。,当,L,(,),是可微函数时，,求导,是求极大似然估计最常用的方法，对,ln,L,(,),求导更加简单些。,例,6.1.6,设一个试验有三种可能结果，其发生概率分别为,现做了,n,次试验，观测到三种结果发生的次数分别为,n,1, n,2, n,3,(,n,1,+ n,2,+ n,3,=,n,),，则似然函数为,其对数似然函数为,将之关于,求导，并令其为,0,得到似然方程,解之，得,由于,所以 是极大值点。,例,6.1.7,对正态总体,N,(,2,),，,=(,2,),是二维参数，设有样本,x,1, x,2, x,n,，则似然函数及其对数分别为,将,ln,L,(,2,),分别关于两个分量求偏导并令其为,0,即得到似然方程组,(6.1.9),(6.1.10),解此方程组，由,(6.1.9),可得,的极大似然估计为,将之代入,(6.1.10),，,得出,2,的极大似然估计,利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例,6.1.8,设,x,1, x,2, x,n,是来自均匀总体,U,(0,),的样本，试求,的极大似然估计。,解,似然函数,要使,L,(,),达到最大，首先一点是示性函数取值应该为,1,，其次是,1/,n,尽可能大。由于,1/,n,是,的单调减函数，所以,的取值应尽可能小，但示性函数为,1,决定了,不能小于,x,(,n,),，由此给出,的极大似然估计： 。,6.2,点估计的评价标准,6.2.1,相合性,我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。,定义,6.2.1,设,为未知参数， 是,的一个估计量，,n,是样本容量，若对任何一个,0,，有,(,6.2.1,),则称 为,参数的相合估计。,相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。 通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证,.,若把依赖于样本量,n,的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,在判断估计的相合性时下述两个定理是很有用的。,定理,6.2.1,设 是,的一个估计量，若,则 是,的相合估计，,定理,6.2.2,若 分别是,1,k,的相合估,计，,=,g,(,1,k,),是,1,k,的连续函数，则,是,的相合估计。,6.2.2,无偏性,定义,6.2.2,设 是,的一个估计，,的参数空间为,，若对任意的,，有,则称 是,的,无偏估计,，,否则称为,有偏估计,。,例,6.2.4,对任一总体而言，样本均值是总体均值的无偏估计。当总体,k,阶矩存在时，样本,k,阶原点矩,a,k,是总体,k,阶原点矩,k,的无偏估计。但对中心矩则不一样，譬如，由于 ，样本方差,s,*,2,不是总体方差,2,的无偏估计，对此，有如下两点说明：,(1),当样本量趋于无穷时，有,E,(,s,*,2,),2,，,我们称,s,*,2,为,2,的渐近无偏估计。,(2),若对,s,*,2,作如下修正： ，,则,s,2,是总体方差的无偏估计。,6.2.3,有效性,定义,6.2.3,设 是,的两个无偏估计，如果对任意的,有,且至少有一个,使得上述不等号严格成立，则称 比,有效。,例,6.2.6,设,x,1, x,2, x,n,是取自某总体的样本，记总体均值为,，总体方差为,2,，则, ,都是,的无偏估计，但,显然，只要,n,1,， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,6.2.4,均方误差,无偏估计不一定比有偏估计更优。,评价一个点估计的好坏一般可以用：点估计值 与参数真值,的,距离平方的期望,，,这就是下式给出的,均方误差,均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ，因此,(1),若 是,的无偏估计，则 ，,这说明用方差考察无偏估计有效性是合理的。,(2),当 不是,的无偏估计时，就要看其均方,误差 。,下面的例子说明：在均方误差的含义下,有些有偏,估计优于无偏估计。,例,6.2.8,对均匀总体,U,(0,),，由,的极大似然估计得到的无偏估计是 ，它的均方误差,现我们考虑,的形如 的估计，其均方差为,用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差,所以在均方误差的标准下，有偏估计 优于无偏估计 。,6.3.2,最小方差无偏估计,定义,6.3.1,对参数估计问题，设 是,的一个无,偏估计，如果对另外任意一个,的无偏估计 ，,在参数空间,上都有,则称 是,的,一致最小方差无偏估计，,简记为,UMVUE,。,如果,UMVUE,存在，则它一定是充分,统计量的函数。,6.5,区间估计,6.5.1,区间估计的概念,定义,6.5.1,设,是总体的一个参数，其参数空间为,，,x,1, x,2, x,n,是来自该总体的样本，对给定的一个,(0,1),，若有两个统计量 和 ，若对任意的,，有,（,6.5.1,）,则称随机区间, ,为,的,置信水平为,1,-,的置信区间,，,或简称, ,是,的,1,-,置信区间,.,和 分别称为,的,（双侧）,置信下限和置信上限,.,这里置信水平,1,-,的含义是指在大量使用该置信区间时，至少有,100(1,-,)%,的区间含有,。,例,6.5.1,设,x,1, x,2, x,10,是来自,N,(,2,),的样本，则,的置信水平为,1,-,的置信区间为,其中，,s,分别为样本均值和样本标准差。这个置信区间的由来将在,6.5.3,节中说明，这里用它来说明置信区间的含义。,若取,=0.10,，则,t,0.95,(9)=1.8331,，上式化为,现假定,=15,2,=4,，则我们可以用随机模拟方法由,N,(15,4),产生一个容量为,10,的样本，如下即是这样一个样本：,14.85 13.01 13.50 14.93 16.97,13.80 17.9533 13.37 16.29 12.38,由该样本可以算得,从而得到,的一个区间估计为,该区间包含,的真值,-,15,。现重复这样的方法,100,次，可以得到,100,个样本，也就得到,100,个区 间，我们将这,100,个区间画在图,6.5.1,上。,由图,6.5.1,可以看出，这,100,个区间中有,91,个包含参数真值,15,，另外,9,个不包含参数真值。,图,6.5.1,的置信水平为,0.90,的置信区间,取,=0.50,，我们也可以给出,100,个这样的区间，见图,6.5.2,。可以看出，这,100,个区间中有,50,个包含参数真值,15,，另外,50,个不包含参数真值。,图,6.5.2,的置信水平为,0.50,的置信区间,定义,6.5.2,沿用定义,6.5.1,的记号，如对给定的,(0,1),，对任意的,，有,（,6.5.2,）,称 为,的,1,-,同等置信区间。,同等置信区间是把给定的置信水平,1-,用足了。常在总体为连续分布场合下可以实现。,定义,若对给定的,(0,1),和任意的,，有,，则称 为,的置信水平为,1,-,的,（单侧）置信下限。,假如等号对一切,成立，则称 为,的,1,-,同等置信下限。,若对给定的,(0,1),和任意的,，有,则称 为,的置信水平为,1,-,的,（单侧）置信上限。,若等号对一切,成立，则称 为,1,-,同等置信上限。,单侧置信限是置信区间的特殊情形。因此，寻求置信区间的方法可以用来寻找单侧置信限。,6.5.3,单个正态总体参数的置信区间,一、,已知时,的置信区间,在这种情况下，枢轴量可选为 ，,c,和,d,应满足,P,(,c,G,d,)=,(,d,),-,(,c,)=,1,-,，经过不等式变形可得,该区间长度为 。当,d,=,-,c,=,u,1,-,/2,时，,d,-,c,达到最小，由此给出了的同等置信区间为,，,。 （,6.5.8,）,这是一个以 为中心，半径为 的对称区间，常将之表示为 。,例,6.5.3,用天平秤某物体的重量,9,次，得平均值为,（克），已知天平秤量结果为正态分布，其标准差为,0.1,克。试求该物体重量的,0.95,置信区间。,解：,此处,1-,=,0.95,，,=,0.05,，查表知,u,0.975,=1.96,，于是该物体重量,的,0.95,置信区间为,，,从而该物体重量的,0.95,置信区间为,15.3347,，,15.4653,。,例,6.5.4,设总体为正态分布,N,(,1,),，为得到,的置信水平为,0.95,的置信区间长度不超过,1.2,，样本容量应为多大？,解：,由题设条件知,的,0.95,置信区间为,其区间长度为 ，它仅依赖于样本容量,n,而与样本具体取值无关。现要求 ，立即有,n,(2/1.2),2,u,2,1,-,/2,.,现,1,-,= 0.95,，故,u,1,-,/2,=1.96,，从而,n,(5/3),2,1.96,2,=,10.67,11,。即样本容量至少为,11,时才能使得,的置信水平为,0.95,的置信区间长度不超过,1.2,。,二、,2,未知时,的置信区间,这时可用,t,统计量，因为 ，因此,t,可以用来作为枢轴量。完全类似于上一小节，可得到,的,1,-,置信区间为,此处 是,2,的无偏估计。,例,6.5.5,假设轮胎的寿命服从正态分布。为估计某种轮胎的平均寿命，现随机地抽,12,只轮胎试用，测得它们的寿命（单位：万公里）如下：,4.68 4.85 4.32 4.85 4.61 5.02,5.20 4.60 4.58 4.72 4.38 4.70,此处正态总体标准差未知，可使用,t,分布求均值的置信区间。经计算有,=4.7092,，,s,2,=0.0615,。取,=0.05,，查表知,t,0.975,(11)=2.2010,，于是平均寿命的,0.95,置信区间为（单位：万公里）,在实际问题中，由于轮胎的寿命越长越好，因此可以只求平均寿命的置信下限，也即构造单边的置信下限。由于,由不等式变形可知,的,1,-,置信下限为,将,t,0.95,(11)=,1.7959,代入计算可得平均寿命,的,0.95,置信下限为,4.5806,（万公里）。,三、,2,的置信区间,取枢轴量 ，由于,2,分布是偏态分布，寻找平均长度最短区间很难实现，一般都用等尾置信区间：采用,2,的两个分位数,2,/2,(,n,-,1),和,2,1-,/2,(,n,-,1),，在,2,分布两侧各截面积为,/2,的部分，,使得,由此给出,2,的,1,-,置信区间为,例,6.5.6,某厂生产的零件重量服从正态分布,N,(,2,),，现从该厂生产的零件中抽取,9,个，测得其重量为（单位：克）,45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6,试求总体标准差,的,0.95,置信区间。,解：,由数据可算得,s,2,=0.0325,，,(,n,-,1),s,2,=8,0325=0.26.,查表知,2,0.025,(8),=2.1797,，,2,0.975,(8),=17.5345,，,代入可得,2,的,0.95,置信区间为,从而,的,0.95,置信区间为,:,0.1218,，,0.3454,。,6.5.5,两个正态总体下的置信区间,设,x,1, , x,m,是来自,N,(,1,1,2,),的样本，,y,1, , y,n,是来自,N,(,2,2,2,),的样本，且两个样本相互独立。 与,分别是它们的样本均值，,和 分别是它们的样本方差。下面讨论两个均值差和两个方差比的置信区间。,一、,1,-,2,的置信区间,1,、,1,2,和,2,2,已知时,的两样本,u,区间,2,、,1,2,=,2,2,=,2,未知时,的两样本,t,区间,3,、,2,2,/,1,2,=,已知时,的两样本,t,区间,4,、,当,m,和,n,都很大时的近似置信区间,5,、,一般情况下的近似置信区间,其中,例,6.5.9,为比较两个小麦品种的产量，选择,18,块条件相似的试验田，采用相同的耕作方法作试验，结果播种甲品种的,8,块试验田的亩产量和播种乙品种的,10,块试验田的亩产量（单位：千克,/,亩）分别为：,甲品种,628 583 510 554 612 523 530 615,乙品种,535 433 398 470 567 480 498 560,503 426,假定亩产量均服从正态分布，试求这两个品种平均亩产量差的置信区间,.(,=0.05,）。,解：,以,x,1, , x,8,记甲品种的亩产量，,y,1, , y,10,记乙品种的亩产量，由样本数据可计算得到,=569.3750,，,s,x,2,=2140.5536,，,m,=8,=487.0000,，,s,y,2,=3256.2222,，,n,=10,下面分两种情况讨论。,(1),若已知两个品种亩产量的标准差相同，则可采用两样本,t,区间。此处,故,1,-,2,的,0.95,置信区间为,(2),若两个品种亩产量的方差不等，则可采用近 似,t,区间。此处,s,0,2,=2110.5536/8+3256.2222/10=589.4414,，,s,0,=24.2784,于是,1,-,2,的,0.95,近似置信区间为,31.3685,，,133.3815,二、,1,2,/,2,2,的置信区间,由于,(,m,-,1),s,x,2,/,1,2,2,(,m,-,1), (,n,-,1),s,y,2,/,2,2,2,(,n,-,1),，,且,s,x,2,与,s,y,2,相互独立，故可仿照,F,变量构造如下枢,轴量,对给定的,1,-,，由,经不等式变形即给出,1,2,/,2,2,的如下的置信区间,例,6.5.10,某车间有两台自动机床加工一类套筒，假设套筒直径服从正态分布。现在从两个班次的产品中分别检查了,5,个和,6,个套筒，得其直径数据如下（单位：厘米）：,甲班：,5.06 5.08 5.03 5.00 5.07,乙班：,4.98 5.03 4.97 4.99 5.02 4.95,试求两班加工套筒直径的方差比,甲,2,/,乙,2,的,0.95,置信区间。,解：,由数据算得,s,x,2,=0.00037,s,x,2,=0.00092,，故置信区间,0.0544,，,3.7657,