概率估计量优劣标准点估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,参数估计,第八章,1,引 言,上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，给出了几个重要的抽样分布定理. 它们是进一步学习,统计推断,的基础.,2,总体,样本,统计量,描述,作出推断,在这个过程中,研究,统计量,的性质和,评价,一个,统计推断,的优良性，显然非常重要.,随机抽样,3,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,参数估计,估计废品率,估计新生儿的体重,估计湖中鱼数, ,估计降雨量,在参数估计问题中，假定总体分布,形式已知，未知的仅仅是一个或几个,参数.,4,这类问题称为,参数估计,.,参数估计问题的一般提法,X,1,X,2,X,n,要依据该样本对参数,作出估计，或估计,的某个已知函数 .,现从该总体抽样，得样本,设有一个统计总体，总体的分布函数,向量) .,为,F,(,x, )，其中 为未知参数 ( 可以是,参数估计,点估计,区间估计,5,估计 为1.68，,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,这是,点估计,.,这是,区间估计.,估计,在区间1.57, 1.84内，,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的,任务,是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,6,引言,例1,已知某地区新生婴儿的体重,X,随机抽查,100,个婴儿,得,100,个体重数据,10, 7, 6, 6.5, 5, 5.2,呢?,据此,我们应如何估计,和,而全部信息就由这100个数组成.,7,为估计,我们需要构造出适当的样本的函数,T,(,X,1,X,2,X,n,),，每当有了样本，就代入该函数中算出一个值，用来作为 的估计值 .,把样本值代入,T,(,X,1,X,2,X,n,),中，得到,的一个点估计值 .,T,(,X,1,X,2,X,n,),称为参数 的点估计量，,8,请注意,，被估计的参数,是一个未知常数，,而估计量,T,(,X,1,X,2,X,n,),是一个随机变量，,是样本的函数,当样本取定后，它是个已知的数值,这个数常称为,的估计值 .,使用什么样的统计量去估计 ？,问题是:,因,样本容量为,n,的样本,是,n,个相互独立且,与总体,X,有相同分布,的随机变量,（,n,为样本容量）,9,类似地，用样本方差 .,用样本均值,由辛钦大数定律,自然想到把样本平均值作为总体平均体重的一个估计.,样本平均值,10,样本均值是否是 的一个好的估计量？,(2),怎样决定一个估计量是否比另一个估计,量“好”？,样本方差是否是 的一个好的估计量？,这就需要讨论以下几个问题:,(1),我们希望一个“好的”估计量具有什么,特性？,(3),如何求得合理的估计量？,那么要问:,11,8.1 估计量的优劣评判标准,在介绍,估计量的优劣评判标准,之前，我们必须强调指出：,评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 .,这是因为估计量是样本的函数，是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .,12,常用的几条标准是：,2无偏性,3有效性,1一致性,这里我们重点介绍后面两个标准 .,1.一致性,若当,时,依概率收敛于,即对,则称,为参数,的一致估计,13,估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准 .,2无偏性,则称 为 的无偏估计 .,设,是未知参数 的估计量，若,14,例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差 .,无偏性是对估计量的一个常见而重要的要求 .,无偏性的实际意义是指没有系统性的偏差 .,15,都是参数,的无偏估计量，,和,所以无偏估计以方差小者为好, 这就引进了有效性这一概念 .,的大小来决定二者,和,一个参数往往有不止一个无偏估计, 若,比较,我们可以,谁更优 .,由于,16,3有效性,D,( ),1,证明,不是,D,(,X,),的无偏估计量；,是,D,(,X,),的无偏估计量,(2),(1),(2)由前例已知,这里只讲(1),23,不是,D,(,X,),的无偏估计量；,(1),24,类似地,若从总体中随机取出两个相互独立的样本,及,则可以证明,及,分别是总体,的无偏估计量,。,三,有效估计,定义,: 设,和,都是,的无偏估计,若样本容量为,且,则称,是比,有效的估计量.若在,的一切无偏估计量的方差中,达到最小,则,称为,的有效估计量,.,的估计量中最接近,的是有效估计量,25,类似地,若从总体中随机取出两个相互独立的样本,及,则可以证明,及,分别是总体,的无偏估计量,。,26,设总体方差,值为,例3,.比较总体期望值,与两个无偏估计的有效性,解:,27,于是,故,比,有效,。,28,证明:对,a,i,的个数(设为,m,)采用数学归纳法证明,2)设当,m=n-,1时,有:,3)当,m=n,时,29,证毕),30,设总体方差,值为,例4,.比较总体期望值,与两个无偏估计的有效性,解:,31,1. 矩估计法,2. 最大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们只介绍前面两种方法 .,.获得估计量的方法点估计,32,1. 矩估计法,其基本思想是,用样本矩估计总体矩,.,理论依据:,它是基于一种简单的“,替换,”思想建立起来的一种估计方法 .,是英国统计学家,K,.皮尔逊,最早提出的 .,大数定律,33,回顾第三章相关的内容:,对于正整数,k,记,另一种是中心矩:,对于正整数,k,记,显然数学期望是一阶原点矩.,显然方差是二阶中心矩.,最常用的矩有两种.一种是原点矩:,34,(1)总体矩与样本矩,称为,k,阶样本原点矩,称为,k,阶样本中心矩,其中 是样本均值显然，样本均值是一阶样本原点矩，,但样本方差不是二阶样本中心矩,35,矩法思想,:,就是用,样本矩,作为同阶同类型的,总体矩,的估计量.,(注意与样本 方差有区别),36,例某灯泡厂某天生产了一大批灯泡，从中抽取了10,个进行寿命试验，得数据如下,问该天生产的灯泡平均寿命大约是多少？,解：,由矩法估计理论知道样本均值就是总体均值的矩估,计量.,该天生产的灯泡平均寿命就是,该天生产的灯泡平均寿命大约是多少就是求 的估计量.,37,X,1,X,2,X,n,是取自,X,的样本,求参数 的矩估计.,解:,由矩法,样本矩,总体矩,从中解得,的矩估计.,即为,数学期望,是一阶,原点矩,例2,设总体,X,的概率密度为,是未知参数,其中,38,解:由密度函数知,例3,设,X,1,X,2,X,n,是取自总体,X,的一个样本,其中 0,求 的矩估计.,具有均值为 的指数分布,故,E,(,X,- )=,D,(,X,- )=,即,E,(,X,)=,D,(,X,)=,39,解得,令,用样本矩估计,总体矩,即,E,(,X,)=,D,(,X,)=,40,矩法的优点是简单易行,并不需要事先知道总体是什么分布 .,缺点是，当总体类型已知时，没有,充分利用分布提供的信息 .,矩法是最古老的求估计量的方法，,但它产生的,估计量往往不够理想,41,2.,最大似然法,是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家,高斯,在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于,英国统计学家,费歇,.,费歇,在1922年重新发现了,这一方法，并首先研究了这,种方法的一些性质 .,42,最大似然估计法的基本思想就是,最大似然原理,.,例1:设有一随机事件,已知它出现的概率,p,的可能值是0.01,和0.99,若在一次试验中该事件就出现了,这时我们估计,p,为0.99为更合理.,例2: 一个老猎人带领一个新手进山打猎,遇见一只飞奔的,兔子,他们各发一弹,野兔被打中了,但身上只有一个弹孔,最可能是谁打中的呢?不用问,我们认为是老猎人打中的更,合理.,同样,机器出故障,有经验的修理工首先从最易损的部件,查起.公安人员破案也是从最有嫌疑的人员开始查起.,43,最大似然原理,:,一次试验中某事件已经发生,引起它发生,的原因很多,我们认为最可能的原因是使此事件发生的可,能性最大的那个原因.,最大似然估计,分布,中的未知参数,进行估计,用途,：根据从总体,中抽取的样本,，对总体,最大似然估计,:已经得到一组样本的观测值,出现的可能性最大.,44,对离散型的随机变量：就是估计出概率函数中的参数,对连续型的随机变量：就是估计出概率密度中的,下面研究得到最大似然估计量 的方法,45,、,似然函数的定义,(1),连续型随机变量,：它的分布函数为,，概率密度为,，其中,为参数，,可以是一个值，也可是一个向量.,的独立性,它的,联合概率密度函数,是,由于样本,每取定一组样本值,是参数,的函数,称,为,样本的似然函数,则,是多元函数),是一个向量,(若,(样本已取定观测值),46,(2),离散型随机变量,：,的概率函数为:,设总体,的独立性,它的,联合概率函数,是,由于样本,(样本已取定观测值),47,2,最大似然估计的定义,定义,：若似然函数,在,处达到最大值，则称,是,的最大似然估计。,注,：取定一组,就得到一个,，故,3,最大似然估计的求法,即可，这样往往给,计算带来很多方便。,若,，则,一定满足下列方程组,与,由于,同时达到最大值，故只需求,的最大值,48,4.求最大似然估计的步骤,49,简单复习一下对数的公式:,50,下面举例说明如何求最大似然估计,L,(,p,)=,例1,设,x,1,x,2,x,n,是取自总体,X,B,(1,p,) 的一个样本，求参数,p,的最大似然估计.,解：,L,(,p,)=,由题意,X,i,的概率函数为：,51,对数似然函数为：,对,p,求导并令其为0，,=0,得,即为,p,的,最大似然估计,.,52,解,:,解得,为,的最大似然估计,例2,.已 知,为,组,样本观察值，其中,，求,的最大似然估计,的一,似然函数为:,53,例4,.已知,用最大似然,估计法估计,的值。,解,：似然函数为,由,方法1:,54,解得：,由,55,由,解得：,方法2:,56,其中,0,解：似然函数为,对数似然函数为,例5,设,x,1,x,2,x,n,是取自总体,X,的一个样本,求 的最大似然估计.,57,其中,0,解：似然函数为,对数似然函数为,例5,设,x,1,x,2,x,n,是取自总体,X,的一个样本,求 的最大似然估计.,58,求导并令其为0,=0,从中解得,即为 的最大似然估计,对数似然函数为,59,