参数估计-矩法和极大似然法

可靠性数学基础 参数估计 可靠性数学基础 参数估计 点估计 区间估计 可靠性数学基础 参数的点估计 点估计概念 求估计量的方法 小结 可靠性数学基础 总体 样 本 统计量 描述 作出推断 研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质 . 随机抽样 可靠性数学基础 现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数 . 参数估计 估计 IC废品率 估计电子产品的重量 估计湖中鱼数 估计降雨量 在参数估计问题 中，假定总体分 布形式已知，未 知的仅仅是一个 或几个参数 . Chip 可靠性数学基础 这类问题称为 参数估计 . 参数估计问题的一般提法 X1,X2,X n 要依据该样本对参数 作出估计 , 或估计 的某个已知函数 . 现从该总体抽样，得样本 设有一个统计总体 , 总体的分布函数 为 F( x, ) ，其中 为未知参数 ( 可以是向量 ) . 可靠性数学基础 （假定平均面积服从正态分布 ） 设这 5个数是 : 1.65 1.67 1.68 1.78 1.69 单位 mm2 估计 为 1.68， 这是 点估计 . 这是 区间估计 . 估计 在区间 1.57, 1.84 内， 例如我们要估计某批芯片的平均面积 . 现从该总体选取容量为 5的样本，我们的任 务是要根据选出的样本（ 5个数）求出总体均值 的估计 . 而全部信息就由这 5个数组成 . 可靠性数学基础 一、点估计概念 随机抽查 100笔记本电脑 , 得 100个数据 10,7,6,6.5,5,5.2, （磅） 呢 ? 据此 ,我们应如何估计 和 而全部信息就由这 100个数组成 . 例 1 已知某批笔记本电脑的重量 , 2,XN ( , ) 未知 可靠性数学基础 为估计 : 我们需要构造出适当的样本的函数 T(X1,X2, Xn) ， 每当有了样本，就代入该函数中算出一个值，用来 作为 的估计值 . 把样本值代入 T(X1,X2, Xn) 中， 估计值 . T(X1,X2, Xn) 称为参数 的 点估计量 ， 得到 的一个 点 可靠性数学基础 我们知道 ,若 , 由大数定律 , 1|1|lim 1 n i in XnP 自然想到把样本重量的平均值作为总体平均重量的 一个估计 . ,1 1 n i iXnX n i i XXnS 1 22 )( 1 1 样本重量的平均值 2,XN ()EX 则 . 用样本重量的均值 估计 . X 类似地，用样本重量的方差 估计 . 22S 可靠性数学基础 使用什么样的统计量去估计 ？ 可以用样本均值 ; 也可以用样本中位数 ; 还可以用别的统计量 . 问题是 : 可靠性数学基础 二、寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 这里我们主要介绍前面两种方法 . 可靠性数学基础 最大似然法 它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家 高斯 在 1821年提出的 . Gauss Fisher 然而 ,这个方法常 归功于英国统计学家 费歇 . 费歇 在 1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 . 可靠性数学基础 最大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外 出打猎 . 如果要你推测， 你会如何想呢 ? 只听一声枪响，野兔应声倒下 . 可靠性数学基础 你就会想，只发一枪便打中 , 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 . 可靠性数学基础 最大似然估计原理： 当给定样本 X1,X2, Xn时，定义 似然函数 为： 设 X1,X2, Xn是取自总体 X的一个样本，样本 的联合密度 (连续型）或联合分布律 (离散型 )为 f (x1,x2, , xn ; ) . )(L f (x1, x2 , xn; ) 这里 x1, x2 , xn 是样本的观察值 . 可靠性数学基础 似然函数： )(m a x)( LL 最大似然估计法 就是用使 达到最大值的 去估计 . )(L 称 为 的 最大似然估计值 . 看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2, , xn 的一种度量 . )(L )(L f (x1,x2, xn; ) 而相应的 统计量 称为 的 最大似然估计量 . 1( , , )n XX 可靠性数学基础 两点说明： 1、求似然函数 L( ) 的最大值点，可以应用 微积分中的技巧。由于 ln(x)是 x 的增函数 , lnL( ) 与 L( )在 的同一值处达到它的最大值，假定 是一实数，且 lnL( )是 的一个可微函数。通过 求解方程： 可以得到 的 MLE . 0)(ln d Ld 若 是向量，上述方程必须用方程组代替 . 2、用上述求导方法求参数的 MLE有时行不 通，这时要用最大似然原则来求 . 可靠性数学基础 下面举例说明如何求最大似然估计 L(p)= f (x1, x2, xn; p ) 例 5 设 X1,X2, Xn是取自总体 XB(1, p) 的一个 样本，求参数 p的最大似然估计量 . n i xx ii pp 1 1)1( 解： 似然函数 为 : pp X i 1 10 可靠性数学基础 )1l n ()()l n ()(ln 11 pxnpxpL n i i n i i 对数似然函数 为： n i i n i i xnx pppL 11 )1()( n i i n i i xnx pp 11 )1( 可靠性数学基础 对 p求导并令其为 0， )( 1 11)(ln 11 n i i n i i xnpxpdp pLd =0 得 xx n p n i i 1 1 即为 p 的 最大似然估计值 . 从而 p 的 最大似然估计量 为 1 1 1 ( , , ) n ni i p X X X Xn 可靠性数学基础 (4) 在最大值点的表达式中 , 用样本值代入就 得参数的 最大似然估计值 . 求最大似然估计 (MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布率 (或联 合密度 ); (2) 把样本联合分布率 ( 或联合密度 ) 中自变 量看成已知常数 ,而把参数 看作自变量 ,得到 似然 函数 L( ); (3) 求似然函数 L( ) 的最大值点 (常常转化为 求 ln L( )的最大值点 ) ，即 的 MLE; 可靠性数学基础 例 设总体 X N( ) , 未知 . 是来自 X 的样本值 , 试求 的最大似然估计量 . 1 , nxx2, 2, 2, 似然函数为 解 X 的概率密度为 xexf x , 2 1)( 2 2 2 )( 2 22 () 2 1 1( , ) 2 ix n i L e 可靠性数学基础 2 22 () 2 1 1( , ) 2 ix n i L e 2 2 2 2 2 1 1( 2 ) ( ) e x p ( ) 2 n nn i i x 于是 2 22 1 1ln ( 2 ) ln ( ) 2 2 2 n i i nnLn L x 令 2 1 1 ( ) 0n i i L nL x n 2 2 2 2 2 1 1 ( ) 0 2 2 ( ) n i i nL nL x 可靠性数学基础 1 1 n i i xxn 22 1 1 ()n i i xxn 解得 的最大似然估计量 为 2, , X 22 1 1 ()n i i XXn 可靠性数学基础 解：似然函数为 例 设 X1,X2, Xn是取自总体 X的一个样本 为未知参数 其它 , ,0 , 1 )( )( xe xfX x 其中 0,求 的最大似然估计 . , 其它 ， ,0 1 ),( 1 )( n i i x xe L i i=1,2, n 可靠性数学基础 其它,0 m i n, 1 1 )( 1 i x n xe n i i 对数似然函数为 n i ixnL 1 )(1ln),(ln 解：似然函数为 其它 ， ,0 1 ),( 1 )( n i i x xe L i i=1,2, n 可靠性数学基础 n i ixn 1 1 nL ),(ln =0 (2) 由 (1)得 n i ix nL 1 2 )( 1),(ln =0 (1) 对 分别求偏导并令其为 0, , 对数似然函数为 n i ixnL 1 )(1ln),(ln 用求导方法无法最终确定 用最大似然原则来求 . 、 , 可靠性数学基础 ini x 1 * m in 对 ,0),(,m in Lx i 是 故使 达到最大的 即 的 MLE ),( L , n i ixn 1 * 1 于是 取其它值时， .0),( L 即 为 的 MLE . *, , 且是 的增函数 其它,0 m i n, 1 ),( 1 )( 1 i x n xeL n i i 可靠性数学基础 我们介绍了参数点估计 , 给出了寻求估计量最常 用的矩法和极大似然法 . 参数点估计是用一个确定的值去估计未知的 参数 . 看来似乎精确 ，实际上把握不大 . 小结