参数估计1最大似然估计.ppt

矩估计法 矩思想 : 利用样本矩作为相应总体矩的估计量 n i k iXn 1 1 估计 kXE )( n 求 的矩估计值和最大似然估计值。 例 1 设总体的概率分布为： 22 0 1 2 3 2 ( 1 ) 1 2 X p 其中： (0 1/2) , 利用总体的如下样本： 3， 1， 3， 0， 3， 1， 2， 3 二、 极大似然估计法 极大似然估计法是在 总体的分布类型已知 的 条件下所使用的一种参数估计方法 . 它首先是由德国数学家 高斯 在 1821年提出的 . Gauss Fisher 然而，这个方法常归功于 英国统计学家 费歇 . 费歇 在 1922年重新发现了这一方法， 并首先研究了这种方法的一些性质 . 极大似然原理： 一个随机试验有若干个可能结 果 A,B,C, 。若在一次试验中，结果 A发生， 则一般认为试验条件对 A最有利 ，即 A发生的 概率 最大 )/( AP 条件 ? , ,11 , 99 1 , 1 99 , 问最有可能从何箱取已知取到红球 球箱从中任取任取 黑 红 乙 黑 红 甲如 0 . 9 9)/( 甲红球P 0 . 0 1)/( 乙红球P 自然，认 为从甲箱取更合理 极大似然估计法： 又如，兔龟赛跑，得第一名的最有可能是谁？ （ 1） X-离散型， 已知 X的分布 未知 ),()( xpxXP 样本 取到观测值 ),( 21 nXXX ),( 21 nxxx 事件 A ),()( 2211 nn xXxXxXPAP )()()( 2211 nn xXPxXPxXP 独立 Xi与 X 同分布 n i i n xp xpxpxp 1 21 ),( ),(),(),( )()()( 21 nxXPxXPxXP 对给定 的样本值 n i ixp 1 ),( ),.,( 21 nxxx n i ixpL 1 );()( 即 是参数 的函数，称为 似然函数 ，记做 ).(L ),( ixp),( xp 改 ni ,2,1 结构： n 项连乘，总体分布 )(L , ),()( 变而变随 LAP A已经发生，由极大 似然原理， 达到最大，所以 的最合理 估计值 应满足： 为最大值)(L 定义 对给定的样本值 ，若 nxxx , 21 满足),( 21 nxxx )(m ax)( LL 的极大似然估计量为 的极大似然估计值为称 ),( ),(: 21 21 n n XXX xxx 如何求 ？即求 的最大值点问题 )(L 方法一 : 若 为可导函数 )(L ),( , )( nXXX d dL 21 0 得到 解方程 回忆： (1) 单调性相同，从而 最大值 点相同 . )(l n ,0)( xfxf n i ixpL 1 );()()2( n项连乘 , 求导麻烦 )(ln L n项 相加，求导简单 方法二： ,0)(l n 得到解方程 d Ld 从而， 的最大值点最大值点就转为求求的 )(l n )( LL 对数似然函数 ),(),(),( 21 nxfxfxf n i ixf 1 ),( （ 2）连续型总体似然函数的求法 设 X为连续型总体，其概率密度为： )()()( 21 21 nXXX xfxfxf n),( 21 nxxxf 对来自总体的样本 ， 其观测值 为 ，作为与总体 X同分布且相互 独立的 n维随机变量，样本 的 联合概率密度为 : ),( 21 nxxx ),( 21 nXXX );( xf 其中 未知 求 的步骤： ,0)(l n )3( )(ln )2( )( )1( 得到解方程 取对数 写出 d Ld L L 例 2 : 设总体 X的分布律为： 0p1, p未知 , 求参数 p 的极大似然估计量 . X 0 1 pk 1-p p 解 :总体 X的分布律为： .1,0,)1( 1 xppxXP xx 设 (X1,X2, Xn)是来自总体 X的样本。 似然函数为： ii X n i X pp 1 1 )1( n i i n i i XnX pp 11 )1( )1l n ()(ln)()(ln 11 pxnpxpL n i i n i i 0)(1 11)(ln 11 n i i n i i xnpxppLdp d n i i pXPpL 1 ),()( 解得 p的极大似然估计量为： n i ixnp 1 1 n i iXnp 1 1 说明： p的极大似然估计值为： 求 的矩估计值和最大似然估计值。 例 1(续 ) 设总体的概率分布为： 22 0 1 2 3 2 ( 1 ) 1 2 X p 其中： (0 0, n i ix n d Ld 1 ln)(ln 求导并令其为 0 =0 从中解得 1 ln n i i nx 即为 的 最大似然估计值 . 对数似然函数为 n i ixnL 1 ln)1(ln)(ln 12 0 , 0 , , , n X x x x 例 4 ： 设 总 体 服 从 上 的 均 匀 分 布 ， 未 知 ， 试 由 样 本 求 出 的 极 大 似 然 估 计 和 矩 估 计 。 1 极解： 大似然估计 1 0 ; 0 xX f x 因 的概率密度为： 其它 12 1 0 , , , 0 nn x x xL 故参数 的似然函数为： 其它 0, L d ln n d 由于 不能用微分法求 :L从 义 发以 下 定 出 求 120 , , , ,in nx x m a x x x x 因为 故 的取值范围最小为 1 LnnnL x L x L 又 对 的 是减函数， 越小， 越大，故 时， 最大； 0 1 2E X x d x X 由 2 矩估计 12 , , ,LnnX m ax x x x 所以 的极大似然估计量为 2X 作业 P173: 4(1)