6-1点估计

总体,样本,统计量,描述,作出推断,研究统计量的性质和评价一个统计推断的优良性，完全取决于其,抽样分布,的性质,.,随机抽样,参数估计问题,假设检验问题,点 估 计,区间估 计,统计,推断,的,基本,问题,什么是参数估计？,参数,是刻画总体某方面概率特性的数量,.,参数的类型有,:,1,、,分布中所含的未知参数,.,例如，,X N,(, ,2,),若, ,2,未知,通过构造统计量,给出,它们的,估计值,或,取值范围,就是参数估计,的内容,.,区间估计,参数估计的两种类型,点估计,3,、,分布的各种特征数,2,、,分布中所含的未知参数,的函数,g(,).,例如：,EX,，,VarX,分布中位数等。,例如：,X N,(, ,2,),其中,2,未知，,对于某定值,a ,要估计,即为,的函数。,一般地，用,（,可以是向量）来表示参数，它的所有可能取值组成的集合称为,参数空间,，用,表示,。,参数估计问题是利用从总体抽样得到的样本,通过,估计量,来估计上述各种参数。,估计量,就是估计总体参数的统计量,.,第一节 参数的点估计,一、替换原理与矩法估计,二、最大似然估计,参数的点估计,是指,:,对未知参数,选用一个统计量,的取值作为,的估计值,就是,的点估计,(,量,),简称估计,.,好的估计量体现好的统计思想,.,用样本均值 来估计总体均值,EX,;,用样本方差,(,或,S,2,),来估计总体方差,VarX,;,一、替换原理与矩法估计,1,、矩法估计,（,Moment Estimation,),替换原理,:,用样本矩代替总体矩；用样本矩的函数代替总体矩的函数。,如：,无论总体分布如何,都可以,用样本的,p,分位数来估计总体的,p,分位数,;,矩法估计的思想,：,实质是根据格里汶科定理,可用样本经验分布函数代替总体分布函数,.,利用,替换原理而获得的估计量称为,矩估计,(,量,).,用事件,A,出现的频率来估计事件,A,发生的概率,.,更具体地说是根据大数定律,有,例,1,某型号的,20,辆汽车记录其每,5L,汽油的行驶路程（公里）如下,:,经计算可得：,29.8,，,27.6,，,28.3,，,27.9,，,30.1,，,28.7,，,29.9,，,28.0, 27.9,，,28.7,，,28.4,，,27.2,，,29.5,，,28.5,，,28.0,，,30.0,，,29.1,，,29.8,，,29.6,，,26. 9,由矩法估计得总体的均值、方差和中位数点估计分别为：,2.,概率函数已知时未知参数的矩法估计,矩估计法是英国统计学家,K,.,皮尔逊,最早提出来的,.,在总体分布已知时,且有关各阶矩存在的条件下,用,“总体矩等于样本矩,”,列出矩方程组，解之可得矩估计,。,设总体,X,具有已知的概率函数,x,1,x,2,.,x,n,是来自,X,的样本，假定总体的,k,阶矩存在，那么它的 前,k,阶矩 都存在。 若 能够表示为,的函数，即由,i,=1,2, ,k,这,k,个方程中解出,j,=1,2,k,进一步要估计 的函数,则直接可得其矩法估计,例,1,设总体,X Exp,(,),x,1,x,2,x,n,为总体的样本,求未知参数,的矩法估计量,.,解,则,故,j,=1,2,k,那么用诸 的估计量,a,i,分别代替上式中的诸,即可得诸 的,矩估计量,：,矩估计量的观察值称为,矩估计值,.,注：,由于 由替换原理,的矩估计也可取为,，,s,*,为样本标准差,.,因此,矩估计不唯一,一般采 用低阶矩作为未知参数的矩估计,。,例,2,设总体,X U,(,a, b,),a, b,未知,x,1,x,n,为取自该总体的样本，求参数,a, b,的 矩法估计量,.,解,:,即,解得,于是,a , b,的矩估计量为,样本矩表示,总体矩表示,解,:,例,3,设总体,X,的均值 和方差 都存在,未知,.,是来自,X,的样本,试求 的矩估计量,.,解得,于是 的矩估计量为,样本矩表示,总体矩表示,注：,该例表明无论总体,X,服从什么分布，只要总体的二阶矩存在，则样本均值就是总体均值的矩估计，样本方差就是总体方差的矩估计,.,例,4.,已知总体,，,其中,N,为未知参数，求,N,的矩估计,.,3.,总体分布为一般情形,(,包括分布未知,),时的矩法估计方法,用样本均值 来估计总体均值,EX,.,用样本方差 来估计总体方差,VarX,.,用样本的,p,分位数来估计总体的,p,分位数。,用事件,A,出现的频率来估计事件,A,发生的概率,.,例,5.,设总体为,N,(,1),，现对该总体观测,n,次，发现有,k,次观测值为正，使用频率替换方法求,的估计值,.,优点,是简单易行,并不需要事先知道总体的分布形式,.,缺点,（,1,）要求总体相应原点矩必须存在，对于不存在原点矩的总体如,Cauchy,分布，则不能用矩估计。,（,2,）当总体类型已知时，没有充分利用分布提供的信息,.,矩法的优缺点：,相比较，下面的,最大似然估计,则充分利用了总体分布所提供的信息。故一般较矩法估计优,.,二,.,最大似然估计,它是在总体类型已知条件下使用的一种参数估计方法,.,由德国数学家,高斯,在,1821,年提出的,.,然而,费歇,在,1912,年重新发现了这一方法，并首先研究了这种方法的一些性质,.,Fisher,例,6,:,有两外形相同的箱子,各装,100,个球,一箱,99,个白球,1,个红球,一箱,1,个白球,99,个红球,现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球,.,答,:,第一箱,.,问,:,所取的球来自哪一箱？,这个例子所作的推断已经体现了最大似然法的基本思想（即,最大似然原理,：,在一次随机试验中某一事件已经发生,则认为试验条件有利于该事件的发生,）,.,下例说明如何求最大似然估计,例,7.,设,X,1,X,2,X,n,是取自总体,X,b,(1,p,),的一个样本，求参数,p,(,可以是产品的不合格率,),的最大似然估计量,.,似然函数,解：,抽取一个样本值,x,1,x,2,x,n,这些观测值发生的概率为,显然,p,的不同取值，对应的观测值发生的概率不同，由最大似然原理，应选择使得,P,(,X,1,=,x,1,X,n,=,x,n,),最大的,p,值，即为,p,的最大似然估计值,.,注：,对于连续型总体，可用联合密度代替,P,(,X,1,=,x,1,X,n,=,x,n,).,对数似然函数,为,对,p,求导并令其为0，,=0,得,即为,p,的,最大似然估计,.,欲求似然函数,L(,p,),的最大值点，可以应用微积分中的技巧。通过求解下面的方程求得,.,利用最大似然原理而获得的关于未知参数的估计称为最大似然估计。,为,似然函数,定义,：,设,x,1,x,2,x,n,是取自总体,X,的一个样本，样本的联合概率函数为,p,(,x,1,x,2, ,x,n,;,) .,p,(,x,1,x,2,x,n,; ),当,x,1,x,2,x,n,为样本的观察值时，,如果某个统计量 满足,则称 为 的,最大似然估计,.,记为,MLE,.,注,1,：,求,MLE,时，只须在,支撑,上考虑,. ,x,:,p,(,x,;,)0,叫做,支撑,.,注,2 :,若,是,k,维向量,则构造,k,个统计量分别为相应参数分量的,MLE,.,称,注意似然函数与联合概率函数的区别,求,MLE,的方法：,1,、微分法,求,似然函数,L,(,),的最大值点，可以应用微积分中的技巧。由于,ln,x,是,x,的增函数,ln,L,(,),与,L,(,),在,的同一值处达到它的最大值,.,假定,是一实数，且,ln,L,(,),是,的一个可微函数。通过求解方程：,可以得到 的,MLE .,若 是向量，上述方程必须用方程组代替,.,2,、用定义直接求,当用上述求导方法求参数的,MLE,有时行不通,(,如似然函数不连续,),，这时要用最大似然原理,(,即定义,),来求,.,例,8 .,设总体,X,P,( ),未知,.,是来自,X,的样本值,试求 的最大似然估计量,.,例,9,设总体,X,N,( ),未知,.,是来自,X,的样本值,试求 的最大似然估计量,.,似然函数为,解：,X,的概率密度为,于是,令,解得,经检验知它们就是 的最大似然估计,注,:,对于正态总体,2,的矩估计与,MLE,是相同的,.,但对于其它很多分布,它们并不一样,.,例,10,设,x,1,x,2,x,n,是取自总体,X,U(0,),的一个样本,求,的最大似然估计和矩估计,.,故,的最大似然估计为,另一方面,由于,EX=,/2,故,矩估计为,两者不同,!,用求导方法无法最终确定,用定义直接来求,.,要使,L,(,),达到最大，,应最小，但它小不过,x,(n,),，,解,:,当,x,1,x,2,x,n,为样本值时,，,似然函数为,例,11,设,X U,(,a,b,),x,1,x,2,x,n,是,X,的一个,样本值,求,a , b,的最大似然估计,.,解,X,的密度函数为,似然函数为,似然函数只有当,b,-,a,最小,时才能获得最大值,且,a,越大,b,越小,L,越大,.,取,则对满足,的一切,a 0,求 的最大似然估计和矩估计,.,i,=1,2,n,解,:,(1),当,x,1,x,2,x,n,为样本值时,，,似然函数为,对数似然函数为,用求导方法无法最终确定,用定义直接来求,.,0,=0,令,而,是,故使 达到最大的 即 的,MLE,于是,即 分别为 的,MLE .,由上式解得,(2),由密度函数知,具有均值为 的指数分布,Exp,(1/),即,EX,=,VarX,=,E,(,X,- ) =,Var,(,X,- )=,故,解得,也就是,EX,=,VarX,=,的矩估计量为,于是,例,14,设,X ,Ga,(,1),x,1,x,2,x,n,是,X,的一个样本值,求,的最大似然估计,.,最大似然估计的性质,不变性,.,例,15.,设总体,X,N,( ),未知,.,是来自,X,的样本值,则 的最大似然估计为,:,于是由最大似然估计的不变性,可得：,标准差,的,最大似然估计是,；,概率 的最大似然估计是,总体,0.90,分位数,的,最大似然估计是,课堂练习,1,设总体,X,的概率密度为,其中 是未知参数,x,1,x,2, ,x,n,是取自,X,的样本,求参数 的矩估计,.,2,设,x,1,x,2,x,n,是取自总体,X,的一个样本,求 的,最大似然估计值,.,其中,0,未知,3.,设一个试验有三种可能结果，其发生概率分别为,现做了,n,次试验，观测到三种结果发生的次数分别为,n,1,n,2,n,3,(,n,1,+n,2,+n,3,n,）,.,试求,的,MLE,.,，,0,1,未知,.,这一讲，我们介绍了参数点估计,给出了寻求估计量最常用的矩法和最大似然法,.,参数点估计是用一个确定的值去估计未知的参数,.,看来似乎精确 ，实际上把握不大,.,小结,