第六章 点估计

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,下一页,返回,退出,上一页,总目录,xiaobugs,第六章 点估计,第六章目录,6.2,极大似然估计,6.3,罗,-,克拉美（,Rao-Cramer,）不等式,6.1,矩法估计,6.4,充分统计量,6.5,罗,-,勃拉克维尔定理,和一致最小方差无偏估计,6.0,引言,引言,参数估计问题：数理统计的基本问题是根据子样所提供的信息，对母体的分布以及分布的数字特征等作出统计推断的问题，这个问题中的一类是母体分布的类型已知，而它的某些参数未知，这种对未知参数进行统计推断的问题叫做参数估计问题。,约定和名词解释,（,3-1,）,概率函数：随机变量,的概率函数,f,(,x,),是指：在连续型随机变量时，,f,(,x,),是,=,x,的密度函数值；在离散型时，,f,(,x,),是,=,x,的概率。,参数空间：设随机变量,的概率函数,f,(,x;,),的类型是已知的，参数,，除了只知道它的可能取值范围为,外，其它一无所知，称,为参数空间。,约定和名词解释,（,3-2,）,我们的任务是，如何根据已知的信息，在分布族,f,(,x;,),中选定一个分布作为母体的分布。用统计的语言就是根据已知的信息估计出参数,的值，这样使母体的分布由不明确变成明确的了。,名词解释,（,3-3,）,估计量：设 是取自这一母体的一个子样，我们构造一个统计量 作为参数,的一个估计，称这个统计量,为参数,的一个估计量，若 是子样 的一组观测值，则 就是,的一个点估计值或简称估计值。如果分布中含有,k,个未知参数则需要构造,k,个统计量，这种问题又称作参数的点估计问题。,6.1,矩法估计,替换原则：采用子样的经验分布函数和子样矩去替换母体的分布和母体矩的原则。这种估计方法称为矩法估计。,设母体,具有已知类型的概率函数,是,k,个未知参数，是取自母体,的一个子样，设,的,k,阶矩 存在，显然 都存在，并且是 的函数，子样 的,j,阶矩为,我们设,（,6.1,）,得到,k,个方程,解之可得 的一组解,用它来估计未知参数就是参数估计。,一般地，如果要估计,k,个未知参数，就要构造,k,个方程，即需要子样存在,k,阶矩。有时为了方便起见，也是用子样的中心矩来构造方程。,例,6.1,求母体均值与方差的矩法估计,解：设 是母体子样，母体具有均值和方差,按照（,6.1,）式得方程组,解之得：,例,6.1,例,6.2,设母体,服从,分布,其密度函数为,其中,b,0,p,0,求,b,与,p,的矩法估计,解：首先计算母体的一阶和二阶矩，,例,6.2,（,2-1,）,按照（,6.1,）式得方程,解得,例,6.2,（,2-2,）,例 设母体,服从区间,a,，,b,上的均匀分布，求区间端点,a,、,b,的矩法估计。,解：设 是母体子样，,则有,的密度函数为,例（,2-1,）,我们有,而,解得：,例（,2-2,）,定义,6.1,设母体,具有概率函数,f,(,x,;,),，,是未知参数。为,的一个估计量，,n,为子样容量，若对任何一个,0,，,式,成立，则称 为,的一致估计。,一致估计,定义,6.2,设 为母体,的概率函数,f,(,x,;,),的未知参数,的一个估计量，若对一切,，关系式,成立，则称 为,的无偏估计，否则称为有偏的。,一般地子样的原点矩是母体原点矩的无偏估计，二阶或二阶以上的子样中心矩就不是母体中心矩的无偏估计。,无偏估计,例,6.4,设母体服从均匀分布，密度函数为,其均值为,令,所以为无偏估计,无偏估计例题,若,的一个估计 不一定是无偏的，,但有,成立，,则称 为,的渐进无偏估计。,例如：,所以 是 的渐进无偏估计。,渐进无偏估计,6.2,极大似然估计,极大似然原理：一个随机试验如果有若干个试验结果,A,、,B,、,C,、,，若在一次试验中，结果,A,出现，则一般认为试验条件对,A,出现有利，也即,A,出现的概率最大。,例,6.3,（续）设某车间生产一批产品，设产品的不合格率为,p,，为取自这一母体的一个子样设,例,6.3,（续）,则有,服从概率分布,我们取得一组观测值 的概率为,用,L(p),表示这个概率称作似然函数,例,6.3,（续,2,）,根据极大似然原理，在一次抽样中，获得这一组观测值的概率应该最大，即似然函数,L(p),应该达到最大值，所以我们以使得,L(p),达到极大的,p,的值作为参数,p,的一个估计值是合理的。由于对数函数,lnx,是,x,的单调函数，,lnL(p),与,L(p),在同一个,p,值上达到极大。解之得,其对应的统计量为,极大似然估计的定义,一般地，设 为具有概率函数,f,(,x,;,),的母体,的一个子样，子样 的联合概率函数在 取已知观测值 时的值,是,的函数，我们用 表示，称作这个子样的似然函数，,定义（,2,）,于是,求其极值 ，我们称其为,的极大似然估计值，其相应的统计量 称作,的极大似然估计量。,极大似然估计量常记为,例,6.6,（,3-1,）,设母体,具有均匀分布，密度函数为,求未知参数,的极大似然估计。,解：设 是取自这一母体的一个子样，似然函数,是一个单值递减函数。,例,6.6,（,3-2,）,若使,达到最大，则,应该达到最小，而,所以，极大似然估计为：,其密度函数为,于是,所以，此估计不是无偏估计。,例,6.6,（,3-3,）,在例,6.6,中的估计 虽然不是,的无偏估计，但是我们构造,则 为,的无偏估计，一般来说，一个参数的无偏估计可能不只一个，前例中的,就有两个无偏估计,从而，对于任意的 我们有线形组合,为,的无偏估计。,例,6.7,设随机变量,服从普哇松分布：,其中,0,为参数，求,的极大似然估计,解：设 为子样 的一组观测值，于是似然函数,例,6.7,（,2-2,）,两边求对数,求导数并令其等于零,解得驻点,即为所求的极大似然估计。,例,6.8,（,3-1,）,设 是取自正态母体 的一个子样，其中 为参数，求 的极大似然估计。,解：正态分布的似然函数为,例,6.8,（,3-2,）,两边求对数得,分别求关于,u,和 的偏导数得,例,6.8,（,3-3,）,解得,相应的极大似然统计量为：,性质,设 为 中参数,的极大似然估计，并且函数 具有单值反函数 ，则 是 的极大似然估计,.,6.3,罗,-,克拉美（,Rao-Cramer,）不等式,定义,6.3,若参数,有两个无偏估计 和 如果对一切,，有 则称 比 有效。,罗,-,克拉美（,Rao-Cramer,）不等式,设 为取自具有概率函数,的母体,的一个子样，,a,，,b,是已知常数，又是,g(),的一个无偏估计，且满足正则条件：,（,1,）集合,x,;,f,(,x;,)0,与,无关；,（,2,）与 存在，且对一切,，,（,3,）令,称为信息量，则,且其等式成立的充要条件是,存在一个不依赖于 但可能依赖于,的,K,，使得等式,以概率,1,成立。,特别地，当,g()=,时，不等式化为,这个不等式称为罗,-,克拉美不等式，也称为信息不等式。,若,则,性质,若,的一个无偏估计 使罗,-,克拉美不等式中等式,成立，则称 为,的有效估计。,定义,6.3,若 是,的一个有效估计，且罗,-,克拉美不等式下界存在，则称 与 的比,为估计 的有效率，这里,定义,6.4,当,n,时，一个估计 的有效率,e1,，则称 为参数,的渐进有效估计。,系 满足定理,6.2,中条件得出的估计是渐进有效估计，因此它是渐进正态、渐进无偏、渐进有效估计。,定义,6.5,6.4,充分统计量,在罗,-,克拉美不等式中等式成立的充要条件是存在一个不依赖于 但可能依赖于,的,K,，使得等式,以概率,1,成立。对等式两端求积分得,或者,由此得出似然函数有形状,这里,所以使罗,-,克拉美不等式中等号成立的条件有两个,（,1,）似然函数,L,能分解成两个因子，即,（,2,）第一个因子具有指数型分布,满足条件（,1,）的统计量,称为参数,的充分统计量，,满足条件（,2,）的,的分布为指数型分布。,反过来，如果一个无偏估计,使充分的，且其分布是指数型分布，那么这个,就是一个有效估计。,定义,6.6,设 是取自具有概率函数,f,(,x,;,),的母体,的一个容量为,n,的一个子样。设 是一个统计量，有概率函数,若,成立，且每当 取一定值时，,=,y,发生的条件下的条件概率函数 不依赖于,，则称,为,的一个充分统计量。,定理,6.2,设 为取自具有概率函数,f,(,x,;,),的母体,的一个子样。则统计量,是一个充分统计量的充要条件是存在两个非负函数,K1,和,K2,，使得等式,成立，并且当 取一定值时，函数,不依赖于,。,一个分布族 其中,r,、,为常数，如果存在定义在,上的实值函数,c(),、,d(),和定义在空间,ax0,，设,=,x,条件下,的条件期望,E|=,x,=(,x,),，则,E,(,)=,，,D,(,)D,定理,6.6,设 为取自母体,的一个子样，,具有概率函数,f,(,x,;,),。设 是,的一个充分统计量，不仅是 的函数，且 ，则 是,的充分统计量的函数，其均值 和方差 。,定理,6.7,设 为取自具有概率函数,f,(,x,;,),的母体,的一个子样。称为参数,的一致最小方差无偏估计（简写为,UMVUE,），若 是,的一个无偏估计，即 ，且对一切,和任何一个无偏估计 ，的方差不大于 的方差，即,系,设 是,的一个充分统计量，,是,的唯一一个可以表示为 的函数的无偏估计，则 是,的一个一致最小方差无偏估计。,本章结束,