上海大学级概率论与数理统计第7章

第七章 参数估计参数估计数理统计的目的是进行统计推断，而统计推断的基本问题可以分为两大类，一类是估计问题估计问题，另一类是假假设检验设检验问题。在本章我们将要考虑的是估计问题。所谓参数估计就是：对于总体X,其分布形式已知 ,但其中 为未知参数，现在从总体中抽出一个简单随机样本 ，要依据这个样本去对未知参数 的值作出估计。),(21mxFm,21nXXX,21m,21一种是点估计点估计；另一种是区间估计区间估计。我们先考虑点估计参数估计有两种类型：例：已知一批电视机的寿命服从正态分布，但期望和方差未知，现从中抽取一个容量为4的样本，测得样本值为（1453，1502，1367，1650）。现在要根据样本来估计总体的期望和方差。由于样本是总体的“代表”，所以用样本均值来估计总体均值（期望),用样本方差来估计总体方差是比较“合理”的.当然也可以用其他”合理”的办法来估计.注意注意：样本均值和样本方差都是统计量1 点 估 计一、点估计的概念设总体的分布函数为 ，是 的一个样本，是相应的一个样本值,点估计问题就是要构造一个“合理合理”的统计量 ,用它的观察值 作为未知参数 的估计值，称 为 的估计量估计量，称 为 的估计值估计值。估计量和估计值统称为估计估计，简记为 。);(xFnXXX,21Xnxxx,21),(21nXXX),(21nxxx),(21nXXX),(21nxxx由此可见，点估计的关键在于构造一个“合理合理”的估计量。那么根据什么原理来构造估计量呢二、点估计的常用方法1.矩估计法原理：设 是来自总体 的样本，由大数定理可知 ，矩估计就是根据这一原理来构造估计量的,即用样本矩来估计总体矩。由来进行未知参数的估计。进一步还可以用样本矩的函数来估计总体矩的函数.nXXX,21XnikPkikXEXnA1)(1kmkkAXE),()(21mk,2,1当总体是连续型随机变量概率密度为（其中 是 个未知参数），则),;(21mxfm,21mdxxfxXEmkkmk),;()(),(2121当总体是离散型随机变量，其分布律为),;()(21mnnxpxXP,2,1n12121),;()(),(nmnknkmkxpxXE则方法：第一步：求总体矩解出 ，就以 作为 的估计，称之为矩估计量，矩估计量的观察值称为矩估计值。通常取k=1最简单，但有时E(X)=0，这时可取K=2或K=3等等。12()(,)kkmE X 12(,)iinXXXii第二步：用相应的样本矩 作为总体矩的估计kA12(,)kmkA 令：12(,)iinx xx例:求下列总体分布中的未知参数的矩估计(1)其中c是已知参数.(2)p 是未知参数 X U(a,b),求 a,b的矩估计量.教材173页第4题(求矩估计量和矩估计值)10,10c xxccfxotherwise1,0,1,mxxmP Xxppxmx2、最大似然估计法基本思想：如果事件A在一次试验中就发生，有理由 认为该事件发生的概率很大，即P(A)很大。最大似然估计就是根据这一思想来估计未知参数的。若一次试验就取得样本值 ，这就意味着取到这组样本值的概率很大。nxxx,21(i)对离散型随机变量，设总体的分布律为12(;,)mP Xxp x 则样本 的分布律为),(21nXXXniminnxpxXxXxXP1212211),;(,最大似然估计就是确定参数 ，使事件 的概率m,21nimixp121),;(为最大。,2211nnxXxXxX),;,(max),;,(2121,212121mnmnxxxLxxxLm若记则称 为 的最大似然估计值最大似然估计值，称 为 的最大似然估计量最大似然估计量。L称为似然函数.),(21m),(21m),(211nXXX),(21nmXXX),(21m,1111,;,;,nnniniL xxp x(ii)对连续型随机变量，设总体 的概率密度为 则样本 的概率密度为 最大似然估计就是要选取使 达到最大。X),;(21mxf),(21nXXXniminxfxxxf12121),;(),(m,211212(,)(;,)mimLf x 设 是对应于样本 的一个样本值，令nxxx,21nXXX,21离散型连续型niminimimnxpxfxxxL1211212121),;(),;(),;,(把 看作是 的函数,称这个函数为似然函数似然函数.Lm,21这样，最大似然估计的问题就归结为求似然函数的最大值的问题了。因此由以下的似然方程组0),;,(2121imnxxxL),2,1(mi就可以求得 的最大似然估值 。m,21),(21m又因为似然函数 与 在同一处取到极值同一处取到极值，因此 的最大似然估计 也可以从对数似然方程组),;,(2121mnxxxL),;,(ln2121mnxxxL),(21m),(21m0),(ln21imL),2,1(mi求得。这样往往计算更简单.最大似然估计的计算步骤:(1)写出似然函数;(2)求对数;(3)求导数;(4)解方程.例1:总体概率密度为 其中c是已知参数,求 的最大似然估计.例2:总体 的最大似然估计.10,10c xxccfxotherwise,:Xe求例5:总体 的最大似然估计.例4:总体 的最大似然估计.例3:总体 的最大似然估计.22,:,XN 求,:XP求;,:Xb n pp求例6:总体 的最大似然估计0,:XU求例7:教材173页第4题3 估计量的评选标准1、无偏性若估计量 的数学期望 存在，且 ，则称 是 的 无偏估计（量）无偏估计（量）。)(E),(21nXXX)(E例1:证明:样本均值 是总体均值 的无偏估计;证明:样本方差 是总体方差 的无偏估计，而估计量 却不是 的无偏估计。XniiXXnS122)(112niiXXn12)(12因为定义:若对于 的估计量 有 ,则称 是 的渐进无偏估计（量）渐进无偏估计（量）),(21nXXXlim()nE例例2.2.设设 是参数是参数 的无偏估计的无偏估计,且且 证明证明 :不是不是 的无偏估计的无偏估计.22)()0D22111()niinEXXnn所以不是 的无偏估计.但是随n的增大它越来越接近我们称之为渐进无偏估计.22由此可知若由此可知若 是参数是参数 的无偏估计的无偏估计,但但 不一定就不一定就是是 的无偏估计的无偏估计.()g()g2、有效性设 与 都是 的无偏估计量无偏估计量，若 则称称 比比 有效。有效。例例3.3.是来自总体是来自总体X X的一个样本的一个样本,哪些是总体均值的无偏估计哪些是总体均值的无偏估计,哪一个最有效哪一个最有效.),(2111nXXX),(2122nXXX)()(21DD12),(321XXX321321321313131;834183;412141XXXXXXXXX3、相合性（一致性）设 为参数 的估计量，若当 时，依概率收敛于 ，即对于任意 ，有则称 是 的相合估计量。这就是说样本容量越大,越能够反映总体的真实情况.),(21nXXXn),(21nXXX01|limPn例5：设总体 的概率密度为 是取自 的简单随机样本，求（1）的矩估计量 ；（2）的方差 ;（3）判别这个估计是否无偏估计。XnXXX,21X)(D其他00)(6)(3xxxxf例4.是总体X的一个样本当c为何值时 是总体方差的无偏估计.nXXX,212111)(iiniXXc例6：设 是总体 的两个独立样本X2(),(),E XD XZaXbY:,;,a bZa b求 当满足什么条件时 是 的无偏估计又当为何值时这个估计最有效.1212(,),(,)mnXXXY YY例7：设总体 的概率密度为 其中 是未知参数，是来自总体 的一个容量为 的简单随机样本，分别用矩 估计法和最大似然估计法求 的估计量。X其它010)1()(xxxf1nXXX,21Xn例8：设某种元件的使用寿命 的概率密度为 其中 为未知参数，设 是 的一组样本观测值，求参数 的最大似然估计值。Xxxexfx02);()(20nxxx,21Xnxxx,21例9:设 是总体 的一个样本,求 的最大似然估计.X X0XP4 区间估计一、置信区间的定义设总体 的分布函数 含有一个未知参数 ，(是 可能取值的范围)对于给定值 ，若由样本 确定的两个统计量 和 ，满足:),(xF10nXXX,2112(,)nX XX),(21nXXX1212(,)(,)1nnPXXXXXX X则称随机区间 是 的置信水平为 的置信区间置信区间，和 分别被称为置信水平 的双侧置信区间的置信下限置信下限和置信上限置信上限。称 为置信水平置信水平(度度)。(,)111例:设总体 是总体的一个样本,求 的置信 水平为 的置信区间.解:因为 ,由标准正态分布的双侧 分位点的定义可知:22,XN 其中已知,未知0,1XNn),(21nXXX12XPnZ21XPnZ 221PXZXZnn 注:下面讨论的都是正态总体的区间估计,对于非正态总 体的情况都要利用中心极限定理把它化为正态的情况 但要注意这时 n 必须很大,即要采取大样本.这样就得到了置信区间 再把样本值代入,就可得到确定的区间(不再是随机 区间)22(,)XZXZnn这个区间仍然称为置信区间.例:设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2(,0.3)XN的95%的置信区间.22(,)xZxZnn 置信区间 的意义:包含 的可信度为 ;而在 的可信度下,其误差不超过区间的长度1122Zn例:设总体 ,现取一个容量为16的样本,则 的 90%的置信区间的长度为多少;又若要求长度不超过1 则n至少应该取多少.,4XN22(,)xZxZnn2222 1.6451.64516zn解：长度为又若要求长度21Zn221.64523.293.2910.82nZn要解决这一对矛盾,即既要提高置信水平,又要减小置信区间的长度,只能加大n,即提高取样成本.要提高置信水平就要减小 ,但这样就会导致 增大,这就意味着置信区间的长度 加大，所以这是一对矛盾。2Z22zn1再来讨论两个问题：1.置信水平与置信区间长度的关系置信水平 是越高越好，而置信区间的长度是越短越好。22Zn 2.2.同一置信水平同一置信水平 下的置信区间并不是唯一的下的置信区间并不是唯一的。1例如 是 的置信度为0.95 的置信区间;0.0250.025(/,/)XZn XZn由上 的分位点定义知0.040.010.95/XPZZn所以 也是 的置信度为0.95的置信区间。0.010.04(/,/)XZn XZn通常在同一置信度下要。在相同的条件下在相同的条件下,选择对称的置信区间长度最短选择对称的置信区间长度最短.0.040.010.025()/2ZZnZn有时为了实际问题的需要可以不设置信下有时为了实际问题的需要可以不设置信下(上上)限限.如如:由上 的分位点定义知0.050.95/XPun 所以 也是 的置信度为0.95的置信区间。当然,也可以0.05(,/)Xun这样的置信区间称为单侧置信区间这样的置信区间称为单侧置信区间0.050.95XPnu 这样 也是 的置信度为0.95的置信区间。0.05,Xun单侧置信区间的定义给定置信度 ，若由样本 确定的统计量 ，对任意 ,满足)10(nXXX,21),(21nXXX),(21nXXX(1),则称随机区间 是的置信水平为 的单侧置信区间,称 为 的置信度为 的单侧置信下限单侧置信下限;1P),(11(2),则称随机区间 是的置信水平为 的单侧置信区间,称 为 的置信度为 的单侧置信上限。单侧置信上限。1P),(115 正态总体的置信区间正态总体的置信区间一、单个总体 的情况),(2N1、均值 的置信区间（1）为已知的情形2(2)为未知的情形2置信度为 的置信区间为 ；1)1(2/ntnSX置信度为 的置信区间为 ；1/2XZn例 设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2(,)XN 的95%的置信区间.2、方差 的置信区间 因为:2)1()1(222nSn22222/21/2(1)(1)1(1)(1)nSnSPnn 2221222(1)1nSP 所以方差 的一个置信水平为 的置信区间为21)1()1(,)1()1(22/1222/2nSnnSn标准差 的一个置信水平为 的置信区间1)1()1(,)1()1(22/122/nSnnSn例 设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2(,)XN 的95%的置信区间2)1()1(222nSn1)1()1(2122nSnP1)1()1(2122nSnP方差 的一个置信水平 的单侧置信区间为 21)1()1(,0212nSn，所以，单侧置信上限为)1()1(2122nSn关于单侧区间:注意:方差一定大于零.二、两个总体 的情形),(),(222211NN1、两个总体均值差 的置信区间21（1）方差 为已知的情形 因为2221,)1,0()()(22212121NnnYX由此得 的置信水平为 的置信区间为2112212/212XYZnn(2)方差 相等但未知时的情形2221,)2(11)()(212121nntnnSYXw 的置信水平为 的置信区间为21121212/11)2(nnSnntYXw2)1()1(21222211nnSnSnSw这里2、两个总体方差比 的置信区间2221/)1,1(/2122212221nnFSS22121/212/2122212/(1,1)(1,1)=1/SSP FnnFnn所以方差比 的置信水平为 的置信区间为2221/1)1,1(1,)1,1(1212/12221212/2221nnFSSnnFSS例1：有一大批糖果，现从中随机地取10袋，称得重 量（以克为单位）如下：506,508,499,503,504,514,505,493,496,506 设袋装糖果的重量近似地服从正态分布，试求总 体均值 的置信水平为 的置信区间和标准差 的置信水平为 的置信区间。95.095.0三、举例例2：设一个物体的重量 未知，为估计其重量用天平去称量。由于称重量是有误差的，因而其结果是一个随机变量，通常服从正态分布。当用天平称量的误差的标准差为 0.1 克时，可以认为称量结果服从 。现将物体称了五次，结果如下：5.52,5.48,5.64,5.51,5.45 (单位:克)（1）试对物体的重量 作置信水平为0.95的区间估计；（2）如果要求 的置信水平为0.95的置信区间长度 不超过 0.1，则样本容量 应取多少？0Ln)1.0,(2N例3：为比较I，II两种型号步枪子弹的枪口速度，随机地取I型子弹10发，得到枪口速度的平均值为 ，标准差为 ，随机地取II型子弹20发，得到枪口速度的平均值为 ，标准差为 。假设两总体都可认为服从正态分布，且由生产过程可认为方差相等，求两总体均值差 的一个置信水平为0.95的置信区间。)/(5001smx)/(10.11sms)/(4962smx)/(20.12sms 21例4：从一批灯泡中随机地取5只作寿命试验，测得寿 命为（以小时计）：1050 1100 1120 1250 1280设灯泡寿命服从正态分布。求灯泡寿命平均值的置信水平为0.95的单侧置信上限。)1(/ntnSX1)1(/ntnSXP1)1(ntnSXP05.0599.751160nsx2.1318)4(05.0t查表得所以，的 0.95 的单侧置信上限为1.12551318.2236.275.991160)1(ntnsx 以上我们讨论的区间估计都是针对正态总体,如果不是 正态总体,则抽取大样本(n 50),这样根据中心极限定理 就可以近似看作正态分布.