第七章参数估计(精品)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第七章 参数估计,第一节,参数的点估计,第二节,估计量优良性的标准,第三节,Rao,Cramer,不等式,第四节,正态总体参数的区间估计,7.1,参数的点估计,参数估计要解决两重任务,:,寻找估计量的方估计值,.,在不强调估计量和估计值的区别时,将用“估计”法,建立衡量估计量“好坏”的标准,.,讨论按此思路展开,.,求估计量的常用方法有矩估计法和极大似然估计法,.,7.1.1,矩估计法,计算方法上讲,总体,X,的期望 是对随机变量,X,的取值求概略意义上的加权平均,.,样本均值是对抽取的样本求算术平均,.,从理论上讲,大数定律指出,;,样本均值 依概率,1,收敛于总体期望,因此可用样本矩去估计总体矩。,矩法估计的一般原则是：用样本矩作为总体矩的估计,矩法的一般作法：,解,A,1,=,由,1,=,A,1,及,1,=,E,（,X,）,=,有,，,得,例,7.1.2,设总体 为正整数,0p1,k,p,都,未知,试求,k,p,的矩估计,解 设,是总体,X,的一样本,.,因总体,X,服从二项分布,故,解此方程组,得,用,分别代替,即得,k,p,的矩估计量为,其中,表示,x,的最大整数部分,例,7.1.3,，,在某班期末数学考试成绩中随机抽取,9,人的成绩,.,结果如下：,序号,1 2 3 4 5 6 7 8 9,分数,94 89 85 78 75 71 65 63 55,试求该班数学成绩的平均分数、标准差的矩估计值,.,解,设,X,为该班数学成绩，,=,E,（,X,）,2=,D,（,X,）,=75;,=12.14,由于,E,（,X,2,）,=,D,（,X,）,+,（,EX,）,2=,2+,2,，那么，,所以，该班数学成绩的平均分数的矩估计值,=75,分，标准差的矩估计值,=12.14.,例,7.1.4,，设总体,X,服从区间,上的均匀分布,求未知参数,a,和,b,的矩估计,.,解 总体,X,的密度函数为,解上述方程组,得,以样本矩,分别代替,便可得未,知参数,a,b,的矩估计量为,其中,为样本标准差,7.1.2,极大似然估计法,上面讨论的矩估计法是用样本的各阶矩,“,代替,”,总体相应的矩,可不涉及总体的分布类型,.,在实际中所遇到的总体分布类型是已知的,只是由于参数未知,写不出概率密度函数的确切表达式,.,已知总体所服从的分布类型,这是很有用的信息,而矩估计法并没有用这种信息,.,而极大似然估计法是在已知总体分布类型的条件下通过样本对未知参数作点估计的新方法,.,它据的思想是,:,如果通过试验,某个结果,A,发生了,那么所作出的参数估计应有利于,A,的发生,即作的参数估计应使,A,发生的概率最大,.,一般地,设 为来自分布形式为已知,(,对离散型情形理解为分布律,对连续型情形理解为概率密度,),的总体的样本观察值,如果当未知参数取时,(,被取到的概率最大,则称为的极大似然估计,.,求似然函数,极大似然估计的求法,若总体,X,为离散型,其分布律为,其中为未知参数,对给定的样本观察值,(,则,若总体,X,为连续型,其概率密度函数为其中为位知参数对给定的样本观察值,则,可见样本观察值的似然函数就是随机样本的联合分布函数,它反映了样本观察值被取到的概率,.,求似然函数,的最大值点,.,若似然函数,L,是,的可微函数,则,L,的最大值点,必然满足似然方程,从中解出,经检验可得到,L,的最大值点,则 就是 的极大似然估计,.,由于,L,为乘积函数,而,L,与,lnL,在同一处取得最大值,所以一般由下面的,对数似然函数方程,求解,要方便的多,.,例,7.1.5.,设总体,XP(,求未知参数的矩估计和极大似然估计量,解,(1),因,而,故,的矩估计量为,(2),普阿松分布的分布律为,故似然含数为,:,取对数得,于是得对数似然方程,由此得,的极大似然估计值为,的极大似然估计量为,在这里,的矩估计和极大似然估计是相同的,.,解 因,令,得,解得,的矩估计量为,例,7.1.6.,设总体,X,的概率密度为,其中,是未知参数,为一样本,试求参数,极大似然估计量,.,的矩估计和,设,是样本,的观察值,则似然函数,取对数,得,从而得对数似然方程,解出,得,的极大似估计量为,由此可知,的矩估计和极大似然估计是不相同的,.,例,7.1.7,设一批产品含有次品，今从中随机抽出,100,件，发现其中有,8,件次品，,试求次品率,的极大似然估计值,.,解,用极大似然法时必须明确总体的分布，现在题目没有说明这一点，,故应先来确定总体的分布,.,设,Xi,=,则,Xi,服从两点分布：,X,i,1,0,P,1-,设,x,1,，,x,2,，,，,x,100,为样本观测值，则：,故似然函数为：,由题知：,=8,，,所以,L,（,）,=,8,（,1-,）,92,.,两边取对数得：,ln,L,（,）,=8ln,+92ln,（,1-,）,对数似然方程为,=0.,解之得,=8/100=0.08,.,所以,=0.08,.,例,7.1.8,设总体,X,服从,0,上的均匀分布,X,1,X,2,Xn,是来自,X,的样本，,求,的矩法估计和极大似然估计,.,解,因为,E,（,X,）,=,/2,，令,=,E,（,X,），得,f,（,x,）,=,又,所以,L,（,）,=,，,0,x,i,.,要,L,（,）最大，,必须尽可能小，又,x,i,，,i,=1,，,2,，,n,，所以,7.2,估计量优良性的标准,7.2.1,无偏性,7.2.2,有效性,7.2.3,一致性,无偏性,由于未知参数 的估计量 是一个随机变量,每次抽取后得到 的估计值 与的真值 是有误差的,.,误差分为系统误差和随机误差两类,系统误差指的是该理论不是它所描述现象的正确理论,;,而随机误差是该理论要描述的现象的正确理论,.,但理论与经验之间的不尽一致是由于无法控制的随机因素的干扰引起的,由于这些随机因素的作用是微小的,它们并不影响系统的本质特征,所以该理论是可取的,而且随机误差可以认为服从正态分布,其均值为零,。,证,因为,E,（,X,）,=,，所以,E,（,Xi,）,=,，,i,=1,，,2,，,，,n,，于是,定义,7.2.1,若估计量（,X,1,，,X,2,，,，,Xn,）的数学期望等于未知参数,，即：,则称,为,的无偏估计量（,Non-deviation estimator,）,估计量,的值不一定就是,的真值，因为它是一个随,机变量，若,是,的无偏估计，则尽管,的值随样本值,的不同而变化但平均来,说它会等于,的真值,=,所以,是,的无偏估计量,.,例,7.2.2,设,为来自参数为,n,p,的二项分布,总体,试求,的无偏估计量,解 因,故,于是,用样本矩,分别代替相应的总体矩,便得,的无偏估计量,7.2.2,有效性,例,7.2.3,设,是来自总体,X,的随机变量,试,证,:,估计量,和,(,为常数,都是总体期望,E(X),的无偏估计,但,比,有效,.,例,7.2.3,是来自总体,X,的随机变量,试,证,:,估计量,和,(,为常数,都是总体期望,E(X),的无偏估计,但,比,有效,.,证明,:,因为,所以,与,均为,的无偏估计量,由于,设,利用柯西,-,许瓦兹不等式,有,得,故,比,有效,我们称,Y,为,E(X),的线性无偏估计类,.,本题说明,是,中最有效的估计量,即在,的线性无偏估计类中,样本均值,比以,这进一步体现了大数定律的算术平均法则的优越性,.,为权的样本加权平均最为有效,7.2.3,一致性,设 是总体未知参数 的估计量,它是样本 的函数,因而也是样本容量,n,的函数,.,因此,可 记为,人们自然希望样本容量很大时,估计量 应接近被估计的参数,这就引出了估计量的一致性,.,定义,7.2.3,如果 依概率收敛于,，即,0,，有,则称,是,的一致估计量（,Uniform estimator,）,注意,:,估计量的三个评价标准都是在无偏性的前提下进行的,否则便失去了有效性,一致性的意义,.,此外一致性是在极限意义下引进的,只有样本容量相当大时,才能显示优越性,而在实际中往往难以增大样本容量,而且证明一致性并非容易,.,因此,在实际中常常使用无偏性和有效性两个标准。,（,7.2.1,）,7.3,Rao,Cramer,不等式,对于母体分布中的未知参数,，用不同的估计法可能得到不同的,无偏估计量，比如,U0,，,0,未知，其矩估 为无偏估计，由极大似然估计,也是,的无偏估计，那么,哪个更好呢？,与,例,7.3.1,检验,U0,中,与,哪个更有效。,而,故当,n2,时，,比,更有效。,?,由上面的讨论我们知道，,无偏估计的方差越小越好，一个,很自然的问题是：无偏估计的方差是否可,以任意小？如果不可以任意小，那么这个无偏估,计方差的下界是什么？这个下界能否达到？回答,这些问题的最重要结果是,Cramer,和,Rao,分别在,1945,年和,1946,年所证明的一个重要不,等式，即被称之为,C-R,不等式，由于该不等式,的证明要求母体分布满足一系列的正则条件，,为此先介绍关于,C-R,正则分布族的概念。,定义,7.3.1,：,假设单参数概率函数族,f(,),满足如下条件：,是直线上的某个开区间；,（,2,）支撑,0,不依赖于,；,（,1,）参数空间,(3,）,存在，且,对一切,成立。,4,）下面的数学期望存在，且,则称分布族,f(,),为,C-R,正则分布族，其中条件,(1)(4),正态分布族,N(,2,),分布族,但均匀分布族,U,（,0,）,0,不是,C-R,正则分布族。,称为,C-R,正则条件，,I(,),称为该分布族的,Fisher,信息量,易验证，贝努里分,-,2,0,关于它的一个参数，,布族,b(1,P),P (0,1),Poisson,分布族,P(),0,关于它的一个参数等都属于,C-R,正则分布族。,定理,7.3.1(C-R,不等式,),，设母体,f(,),而,f(,),为,C-R,正则分布族，,1,为取自,的一个子样，,=u,（,1,）为待估函数,g(,),的一个无偏估计，满足,且,(7.3.1),中等号成立,存在一个不依赖于子样的,K(,)(,即,K,可能依,赖于,),使以,Pr,为,1,地成立,上面,(7.3.2),称,C-R,不等式，特别当,g(,)=,时，记,=,则有,证明略,上面的,C-R,不等式，给出了无偏估计的方差的一个下界，这个下界称为,Rao-cramer,下界，对于,C-R,正则分布族，如果某个,的无偏估计,的方差达到这个下界，那么它就是满足条件,(7.7),的无偏估计类中方,差最小的，无疑这个估计量是比较理想的。进一步，如果,的无偏,估计都满足,(7.7),，那么达到,C-R,下界的无偏估计就是最有效的，也,就是最小方差无偏估计。,定义,7.3.2,若,的一个无偏估计,满足：,(,即达到,C-R,不等式的下界,),则称,为,的有效估计。,定义,7.3.3,若,是,的一个无偏估计，存在,I(,)=,则称,为,的有效率,显然有,0,1,而有效估计是最有效的一个，其有效率达到,1,。在求,C-R,下界时，母体的,Fisher,信息量,I(,),是一个重要的量，,I(,),出现在,C-R,下界的,分母中，因此,I(,),越大，下界越小，此时，,有效估计也就越精确，我们可把这一点解释,为子样中包含未知参数的“信息”越多，这,也许可作为“信息量”这个名称的一种解释,例,7.3.2,设母体,P(),0,未知，求,的,C-R,下界,解：,f(,)=,x=0,1,2,=,=,的,C-R,下界为,取,则,是,的有效估计,在求某个未知参数,的,C-R,下界时，除像上面的几个例子,一样，用定义求,I(,),，求,I(,),还可用另外的方法。性质 若,证：略,定义,7.3.4,若,为,的无偏估计而非有效估计，其有效率,e(,)1,为,的渐近有效估计。,（,n+,）则称,7.4,正态总体参数的区间估计,7.4.1.,区间估计的概