第七章---参数估计概率课件

第七章第七章 参数估计参数估计第一节第一节 参数的点估计参数的点估计点估计概念点估计概念求估计量的方法求估计量的方法小结小结 引言引言 上一讲，我们介绍了总体、样本、简上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理个重要的抽样分布定理.它们是进一步它们是进一步学习统计推断的基础学习统计推断的基础.现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数计总体的某些参数或者参数的某些函数.参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量在参数估计问题在参数估计问题中，假定总体分中，假定总体分布形式已知，未布形式已知，未知的仅仅是一个知的仅仅是一个或几个参数或几个参数.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计作出估计,或估计或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本现从该总体抽样，得样本 设有一个统计总体设有一个统计总体,总体的分布函数总体的分布函数为为F(x,)，其中，其中 为未知参数为未知参数(可以是向量可以是向量).参数估计参数估计点估计点估计区间估计区间估计一、点估计概念一、点估计概念随机抽查随机抽查100个婴儿个婴儿 ,得得100个体重数据个体重数据 10,7,6,6.5,5,5.2,而全部信息就由这而全部信息就由这100个数组成个数组成.已知某地区新生婴儿的体重已知某地区新生婴儿的体重(总体总体X)X)未知未知据此，我们如何估价总体的期望据此，我们如何估价总体的期望 和方差和方差 呢？呢？为估计为估计 :我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 T(X1,X2,Xn)，每当有了样本，就代入该函数中算出一个值，用每当有了样本，就代入该函数中算出一个值，用来作为来作为 的估计值的估计值.把样本值代入把样本值代入T(X1,X2,Xn)中，中，估计值估计值.T(X1,X2,Xn)称为参数称为参数的点估计量，的点估计量，得到得到 的一个点的一个点11.矩估计法矩估计法1.矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的.由辛钦定理由辛钦定理,若总体若总体 的数学期望的数学期望 有限有限,则有则有简单易行简单易行,并不需要事先知道总体是什么分布并不需要事先知道总体是什么分布.当总体类型已知时，没有充分利用分布提供的信息当总体类型已知时，没有充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.解解 例例2 设总体设总体 X 在在 a,b 上服从均匀分布上服从均匀分布,a,b 未知未知.是来自是来自 X 的样本的样本,试求试求 a,b 的矩估计量的矩估计量.2.最大似然法最大似然法 它它是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参参数数估估计方法计方法.它首先是由德国数学家高斯在它首先是由德国数学家高斯在1821年提出的年提出的.GaussFisher 然而然而,这个方法常这个方法常归功于英国统计学家费歇归功于英国统计学家费歇.费歇在费歇在1922年重新发现了这年重新发现了这一方法，并首先研究了这种方法一方法，并首先研究了这种方法的一些性质的一些性质.最大似然法的基本思想最大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的概率猎人命中的概率一般大于这位同学命中的概率一般大于这位同学命中的概率.看来这一枪是猎人看来这一枪是猎人射中的射中的.这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想.最大似然估计原理：最大似然估计原理：当给定样本当给定样本X1,X2,Xn时，定义似然函数为：时，定义似然函数为：设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本的联合密度的联合密度(连续型）或联合分布律连续型）或联合分布律 (离散型离散型)为为 f(x1,x2,xn;).f(x1,x2,xn;)这里这里 x1,x2,xn 是样本的观察值是样本的观察值.似然函数：似然函数：最大似然估计法就是用使最大似然估计法就是用使 达到最大值的达到最大值的 去估计去估计 .称称 为为 的最大似然估计值的最大似然估计值.看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可能产生样本值能产生样本值 x1,x2,xn 的一种度量的一种度量.f(x1,x2,xn;)而相应的统计量而相应的统计量称为称为 的最大似然估计量的最大似然估计量.两点说明：两点说明：可以得到可以得到 的驻点的驻点.2.用上述求导方法求参数的驻点有时行不通，例用上述求导方法求参数的驻点有时行不通，例如在直线上求最值，这时要用最大似然原则来求如在直线上求最值，这时要用最大似然原则来求.下面举例说明如何求最大似然估计下面举例说明如何求最大似然估计L(p)=f(x1,x2,xn;p)例例1 设设X1,X2,Xn是取自总体是取自总体 Xb(1,p)的一个的一个样本，求参数样本，求参数p的最大似然估计量的最大似然估计量.解：似然函数为解：似然函数为:对数似然函数为：对数似然函数为：L(p)=f(x1,x2,xn;p)对对p求导并令其为求导并令其为0，得得即即解解 似然函数为似然函数为对数似然函数为对数似然函数为例例2 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本 求求 的最大似然估计值的最大似然估计值.例例3 设总体设总体X的概率密度为的概率密度为其中其中 是未知参数是未知参数,X1,X2,Xn 是取自是取自 X 的样本的样本,求参数求参数 的矩估计和极大似然估计。的矩估计和极大似然估计。矩估计解：矩估计解：最大似然估计解：最大似然估计解：似然函数似然函数取对数取对数求驻点求驻点第三节第三节 估计量的评选标准估计量的评选标准无偏性无偏性有效性有效性 估计量是随机变量，对于不同的样本值会得到估计量是随机变量，对于不同的样本值会得到不同的估计值不同的估计值.我们希望估计值在未知参数真值我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值附近摆动，而它的期望值等于未知参数的真值.这这就导致无偏性这个标准就导致无偏性这个标准.一、无偏性一、无偏性则称则称 为为 的无偏估计的无偏估计.设设是未知参数是未知参数 的估计量，若的估计量，若二、有效性二、有效性D()D()则称则称 较较 有效有效.都是参数都是参数 的无偏估计量，若对任意的无偏估计量，若对任意 ，设设和和且至少对于某个且至少对于某个 上式中的不等号成立，上式中的不等号成立，第四节第四节 区间估计区间估计置信区间定义置信区间定义置信区间的求法置信区间的求法 引言引言引言引言 前面，我们讨论了参数点估计前面，我们讨论了参数点估计.它是用样本算它是用样本算得的一个值去估计未知参数得的一个值去估计未知参数.但是，点估计值仅仅但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大值的误差范围，使用起来把握不大.区间估计正好区间估计正好弥补了点估计的这个缺陷弥补了点估计的这个缺陷.譬如，在估计湖中鱼数的问题中，若我们譬如，在估计湖中鱼数的问题中，若我们根据一个实际样本，得到鱼数根据一个实际样本，得到鱼数 N 的极大似然估的极大似然估计为计为1000条条.若我们能给出一个区间，在此区间内我们若我们能给出一个区间，在此区间内我们合理地相信合理地相信 N 的真值位于其中的真值位于其中.这样对鱼数的这样对鱼数的估计就有把握多了估计就有把握多了.实际上，实际上，N的真值可能大于的真值可能大于1000条，也可条，也可能小于能小于1000条条.也就是说，我们希望确定一个区间，使我们能也就是说，我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真参数值以比较高的可靠程度相信它包含真参数值.湖中鱼数的真值湖中鱼数的真值 这里所说的这里所说的“可靠程度可靠程度”是用概率来度量的是用概率来度量的，称为称为置信度置信度或或置信水平置信水平.习惯上把置信水平记作习惯上把置信水平记作，这里这里 是一个是一个 很小的正数很小的正数.置信水平的大小是根据实际需要选定的置信水平的大小是根据实际需要选定的.例如，通常可取置信水平例如，通常可取置信水平 =0.95或或0.9等等.根据一个实际样本，由给定的置信水平，我根据一个实际样本，由给定的置信水平，我小的区间小的区间 ，使，使们求出一个尽可能们求出一个尽可能一、一、置信区间定义置信区间定义满足满足设设 是是 一个待估参数，给定一个待估参数，给定X1,X2,Xn确定的两个统计量确定的两个统计量则称区间则称区间 是是 的置信水平（置信度的置信水平（置信度)为为 的置信区间的置信区间.和和 分别称为置信下限和置信上限分别称为置信下限和置信上限.若由样本若由样本求 置信区间的一般步骤：在求置信区间时，要查表求分位点在求置信区间时，要查表求分位点.第五节第五节 正态总体均值与方差的区间估计正态总体均值与方差的区间估计（一）单个总体（一）单个总体此分布不依赖于此分布不依赖于任何未知参数任何未知参数例例2 随机地取炮弹随机地取炮弹 10 发做试验，得炮口速度的发做试验，得炮口速度的标准差标准差 ,炮口速度服从正态分布炮口速度服从正态分布.求求这种炮弹的炮口速度的标准差这种炮弹的炮口速度的标准差 的置信水平为的置信水平为0.95 的置信区间的置信区间.解解置信区间为