第23节最小方差无偏估计和有效估计

第第2.32.3节节 最小方差无偏估计和最小方差无偏估计和有效估计有效估计一、最小方差无偏估计一、最小方差无偏估计二、有效估计二、有效估计一、最小方差无偏估计一、最小方差无偏估计()( )XD 设设是是 的的一一个个无无偏偏估估计计，0(),()(),EL XDL XL X 若若对对任任何何满满足足条条件件：的的统统计计量量有有0( () ()E L XX 最小方差无偏估计在均方误差意义下达到最小方差无偏估计在均方误差意义下达到最优，是一种最优估计最优，是一种最优估计.如何寻求此种估计，将如何寻求此种估计，将变得非常有意义变得非常有意义.1 1 最小方差无偏估计的判别法最小方差无偏估计的判别法定理定理2.712(),(,) .TnXMVUEXXXX 则则是是 的的其其中中证证11()()()()XL XXX设设是是 的的一一个个无无偏偏估估计计，令令10()( ()(),EL XEXX显显然然同同时时2( ()()( ()()( ()()D L XDXE L XEL XXEX1()( ()()DXD L XX( ()()()D L XDXDX().XMVUE因因而而，是是 的的注注1 此定理是最小方差无偏估计的判别法，但无此定理是最小方差无偏估计的判别法，但无法寻求最小方差无偏估计的存在性法寻求最小方差无偏估计的存在性.2 由于由于L(X)的任意性，因而很难利用定理判的任意性，因而很难利用定理判别别.122222*2* (,)( ,).TnnnXXXXXSXSMVUE 设设是是来来自自总总体体的的一一个个样样本本，已已知知 和和是是 和和的的无无偏偏估估计计，证证明明 和和分分别别是是 和和的的例例1(p521(p52例例2.19)2.19)证证0()(),L XEL X 设设满满足足则则221102exp() dniiLxx 两两边边关关于于 求求导导，则则2211102exp() dnniiiiLxxx 0( ()E L X X 因因而而 .XMVUE故故 是是 的的221102exp() dniiLxx 对对此此式式关关于于求求二二阶阶导导数数，则则22211102exp() dnniiiiLxxx （）2221102exp() dniiLxx 对对此此式式关关于于求求导导数数，则则22211102() exp() dnniiiiLxxx 22211()()() ,nniiiixxxn x又又由由于于可可得得22211102() exp() dnniiiiLxxxx 20*( ()nE L X S 因因而而 22*.nSMVUE故故是是的的 由此例可以看出，利用判别定理进行判别，非常由此例可以看出，利用判别定理进行判别，非常复杂，况且也无法利用此定理去寻求复杂，况且也无法利用此定理去寻求MVUE. 充分完备统计量是解决上述困难的有力工具充分完备统计量是解决上述困难的有力工具.定理定理2.81212* ( , ),(,)(,)( |)TnnXF xXXXXXTT XXXET 设设总总体体 的的分分布布函函数数为为是是未未知知参参数数，是是来来自自总总体体 的的一一个个样样本本，如如果果是是 的的充充分分统统计计量量， 是是 的的任任一一无无偏偏估估计计，记记* , , , ,EDD 则则有有*.MVUE即即是是 的的证明从略证明从略定理定理2.91212* ( , ),(,)(,)( |)TnnXF xXXXXXTT XXXET 设设总总体体 的的分分布布函函数数为为是是未未知知参参数数，是是来来自自总总体体 的的一一个个样样本本，如如果果是是 的的充充分分完完备备统统计计量量， 是是 的的任任一一无无偏偏估估计计，记记*.MVUE则则是是 的的唯唯一一的的注注 由此定理可以看出，需求最小方差无偏估计，由此定理可以看出，需求最小方差无偏估计，可以只在无偏的充分统计量中去发现，如果这可以只在无偏的充分统计量中去发现，如果这样的无偏充分统计量唯一，则此统计量就是样的无偏充分统计量唯一，则此统计量就是最小方差无偏估计。以下定理回答此问题最小方差无偏估计。以下定理回答此问题.证证128,.T 设设 和和是是 的的任任意意两两个个无无偏偏估估计计是是充充分分统统计计量量，由由定定理理2 2 可可知知1122(|), (|)EETEEETE 以及以及1122(|), (|)D ETDD ETD 由此可得由此可得120(|)(|)EETET 又由于又由于T是完备统计量，因而由定义是完备统计量，因而由定义1.6可知可知121(|)(|)P ETET *1.8(|).ETMVUE即即 的的充充分分无无偏偏估估计计唯唯一一，由由定定理理2 2 可可知知是是注注最小方差无偏估计计算方法最小方差无偏估计计算方法11(,).nT XX、构构造造一一个个充充分分完完备备统统计计量量和和一一个个的的无无偏偏估估计计2( |),.ETMVUE、计计算算数数学学期期望望即即得得 的的一一个个例如例如(|).XE X XXMVUE 是是泊泊松松分分布布 的的充充分分完完备备统统计计量量，同同时时也也是是 的的无无偏偏估估计计，则则是是 的的一一个个12222 ( ,),.nXNXXXX 设设总总体体为为未未知知参参数数是是来来自自的的一一个个样样本本 求求 和和的的最最小小方方差差无无偏偏估估计计量量例例2(p542(p54例例2.20)2.20)解解由例由例1.10可知可知22(,)( ,)nTX S 是是的的充充分分完完备备统统计计量量，因因而而222*(|), (|)nnE X TXE STS所以所以2*,.nX S2 2分分别别是是 和和的的最最小小方方差差无无偏偏估估计计1200 , ,(),(,),.nXXXXX 设设总总体体在在上上服服从从均均匀匀分分布布 其其中中未未知知是是来来自自总总体体的的样样本本 求求 的的最最小小方方差差无无偏偏估估计计量量例例3(p54例例2.21)解解 首先寻求充分完备统计量，样本的联合分布为首先寻求充分完备统计量，样本的联合分布为11100( )( ), ( )(), nnniixxLf x 其其他他0( , )( )()nnIx 010( , )( )( ),nIxxX其其中中当当显显然然是是 的的充充分分统统计计量量( )nX又又由由于于的的分分布布密密度度为为100() ( ) nnnXnxxfx 其其他他利用完备分布族定义可以验证该分布族具有完备性利用完备分布族定义可以验证该分布族具有完备性.又由于又由于01( )()dnnnnnE Xxxn 1( )()nnEXn 所以所以11( )( )( )(|).nnnnnEXXXMVUEnn是是 的的 二、有效估计二、有效估计12( , ),(,)TnXf xXXXX 设设总总体体 的的分分布布密密度度为为为为其其样样本本，则则称称 上一节介绍了最小方差无偏估计以及相应的寻上一节介绍了最小方差无偏估计以及相应的寻求方法。自然会引入另一个问题：最小方差无偏估求方法。自然会引入另一个问题：最小方差无偏估计是否可以任意的小？是否有下界？事实上，计是否可以任意的小？是否有下界？事实上， Rao-Cramer不等式不等式可以回答此问题。可以回答此问题。1 1、FisherFisher信息量信息量2In (; ) ( )()p XIE 为为Fisher信息量信息量.Fisher信息量的另外一种表达式为：信息量的另外一种表达式为：220In (; )( )( )p XIIE 当当时时，2 2、Rao-CramerRao-Cramer不等式不等式1212( ; ), , (,) ,)( )TnnXf xXXXXTT XXXg 设设 是是实实数数轴轴上上的的一一个个开开区区间间，总总体体的的分分布布密密度度为为是是来来自自总总体体 的的一一个个样样本本， （是是的的一一个个无无偏偏估估计计量量，且且满满足足条条件件：定理定理2.102.100(1) |( ; )Sxf x集集合合与与 无无关关；2( ;)( ) ( ;) ( ;),fxfxfxdxdx 存存在在且且对对中中一一切切有有121212121(,) ( , )(,)( , )( , )(; );nnnnniiT x xxL xdx dxdxT x xxL xdx dxdxL xf x 其其中中22230In (; )( ) ( )()( ) ( ()( )( )( )( )p XIEgD T XnIgIFishernI 则则对对一一切切，有有, ,其其中中为为罗罗克克拉拉美美下下界界，称称为为信信息息量量。1( ) ( ().( )gD T XnI 特特别别是是当当时时，有有 由此可见，统计量的方差不可以无限的小，存在由此可见，统计量的方差不可以无限的小，存在下界。当其方差达到下界，它一定是下界。当其方差达到下界，它一定是MVUE. 但最小但最小方差无偏估计不一定达到下界方差无偏估计不一定达到下界.证证(证明过程可以不讲）证明过程可以不讲）由统计量由统计量T(X)的无偏性可知：的无偏性可知：()( ) ( , )d( )ET XT x L xxg 因而因而( , )( )d( )L xT xxg 又由于又由于1( , )dL xx 因而因而0( , )dL xx 则有则有( , )( ( )( )d( )L xT xgxg 改写上式为改写上式为( , )( , )( )( ( )( )( , )d( , )L xL xgT xgL xxL x 由施瓦兹不等式可知由施瓦兹不等式可知2221( )( ( )( )( , )d( , ) () d( , )gT xgL xxL xxL x 21( , )( ()() d( , )L xD T XxL x 2ln ( , )( ()()( , )dL xD T XL xx 2ln ( , )( ()()L xD T XE 因而有因而有22( )( ()ln ( , )()gD T XL xE 又因为又因为211ln(, )ln(, )ln ( , )()()()nnjiijf xf xL xEE 2211ln(, )ln( , )()()nniiif xf xEE 这是因为这是因为ln(, )ln(, )()()ln(, )ln(, ) () ()jijif xf xijEf xf xEE 当当时时，= =ln(, )ln(, ) ()(, )djijjf xf xEf xx = =0(, )ln(, ) ()djijf xf xEx = =则有则有221ln ( , )ln( , )()()( )niL xf xEEnI 综上所述综上所述2( )( ()( )gD T XnI 12 ,( )nXXXP设设是是来来自自泊泊松松分分布布的的一一个个样样本本，试试求求 的的无无偏偏估估计计的的方方差差下下界界。( ; ),(),(),!xf xeE XD Xxn 由由于于则则222221112In (, )(lnln!)( )()1 = ()()()f XXxIEEXEE XD X1 ()( )D XnInX因因此此所所以以 是是 的的最最小小方方差差无无偏偏估估计计。例例4(p55例例2.22)解解1222 ,( ,).nXXXN 设设是是来来自自正正态态总总体体的的样样本本，试试求求 和和的的无无偏偏估估计计的的方方差差下下界界解解222211222ln( , ,)lnln()f xx 例例5(p56例例2.23)222221ln( , ,)()( )f xxIEE 其信息量的下界为其信息量的下界为21()( )D XnInX所所以以样样本本均均值值 为为 的的最最小小方方差差无无偏偏估估计计. .22224122ln( , ,)()f xx 又因为又因为222224612ln( , ,)()()f xx 2222226441122ln( , ,)()()()f xE xIE 其信息量的下界为其信息量的下界为42221221*()()nD SnInn 242212211*()()(),().nnnSDnD Sn 这这是是因因为为因因而而(1( ) ( )( )0( )1.nIeDe 设设 是是 的的任任一一无无偏偏估估计计，称称为为估估计计量量 的的效效率率。显显然然 lim ( )1ne如如果果 的的无无偏偏估估计计量量 的的效效率率满满足足则则称称 为为 的的渐渐进进有有效效估估计计（量量）。3 3、有效估计、有效估计2 ()( )1( ) ( )( ()( )( )()( )T XggDD T XnInIT Xg 设设或或是是或或的的一一个个无无偏偏估估计计，若若（或或）或或是是或或的的有有效效估估计计定义定义2.82.8定义定义2.92.9定义定义2.102.10 如如果果 是是 的的有有效效估估计计，则则它它也也是是最最小小方方差差无无偏偏估估计计。但但反反之之却却不不成成立立。2212*2 ,( ,)nnXXXNXS 设设是是来来自自的的一一个个样样本本，证证明明： 是是 的的有有效效估估计计量量；是是的的渐渐进进有有效效估估计计量量。22222ln(, ,) ( )()()1 f XX IEE 例例6证证有信息量计算公式可知：有信息量计算公式可知：221 ( )()1()nIne XD Xn 2222344ln(, ,)1()()()21 2f XX IEE 22*4*2(1)2()2(1)()1nnnSDnD Sn ，因因此此222*1()1()1()nnnIne SnD S 所所以以 12 (, ),1nXB N pXXXXpXpN设设，为为总总体体的的一一个个样样本本，试试证证是是 的的有有效效估估计计量量。22ln(, )( )()lnln()ln(1) ()dxNf X pI pEpCxpNxpEp2()(1)( )D XppD pNnN1 ( )( )1( )nI pe pD p例例7(p587(p58例例2.24)2.24)22221()() 1(1)XNXEE XNppppp证证22(1) = (1)(1)NppNpppp1212 ( , ),(,)(,)TnnXF xXXXXXXXX设设总总体体 的的分分布布函函数数为为是是未未知知参参数数，是是来来自自总总体体 的的一一个个样样本本，如如果果是是 的的无无偏偏估估计计量量，则则 是是 的的有有效效估估计计的的充充分分必必要要条条件件为为： 定理定理2.112.111 、 是是 的的充充分分估估计计量量；12ln ( , )2 ( ) (,)- nL xCxxx 、( , )( ).L xC其其中中是是样样本本的的联联合合分分布布密密度度，仅仅依依赖赖参参数数证明从略。证明从略。121 ( , ),.nXBpXXXXp设设服服从从两两点点分分布布是是来来自自的的一一个个样样本本 证证明明 的的最最大大似似然然估估计计量量是是有有效效估估计计 解解的分布律为的分布律为因为因为X1(1)(0,1)xxP Xxppx11( )(1)nxxiL ppp11(1)nniiiixnxpp p所所以以 的的似似然然函函数数为为例例8(p598(p59例例2.25)2.25)11ln ( )(1),nniiiiL pxpnxp11dln ( )0dp1(1)nniiiixnxnL pxpppppp解解得得的的最最大大似似然然估估计计值值11,niipxxn12ln ( , ) ( ) (,)-( )(1)nL x pC pp xxxppnC pXppX又又因因为为，其其中中，同同时时 是是p p的的充充分分统统计计量量，因因而而由由定定理理3.113.11可可知知， 是是p p的的有有效效估估计计. .再再 见见