矩估计和极大似然估计.ppt

统计推断的过程 参数估计的方法 1 矩法估计 参数的点估计 2 极大似然估计 参数估计问题的一般提法 设总体X的分布函数为F x 其中 为未知参数或参数向量 现从该总体中抽样 得到样本 X1 X2 Xn 依样本对参数 做出估计 或估计参数 的某个已知函数g 这类问题称为参数估计 参数估计包括 点估计和区间估计 称该计算值为 的一个点估计 为估计参数 需要构造适当的统计量T X1 X2 Xn 一旦当有了样本 就将样本值代入到该统计量中 算出一个值作为 的估计 寻求估计量的方法 1 矩估计法 2 极大似然法 3 最小二乘法 4 贝叶斯方法 我们仅介绍前面的两种参数估计法 其思想是 用同阶 同类的样本矩来估计总体矩 矩估计是基于 替换 思想建立起来的一种参数估计方法 最早由英国统计学家K 皮尔逊提出 一 矩估计 矩估计就是用相应的样本矩去估计总体矩 解 先求总体的期望 例1 设总体X的概率密度为 由矩法 令 样本矩 总体矩 解得 为 的矩估计 注意 要在参数上边加上 表示参数的估计 它是统计量 解 先求总体的均值和2阶原点矩 例2 设X1 X2 Xn是取自总体X的简单样本 X有概率密度函数 令y x 令y x 用样本矩估计总体矩 得 例3 设总体X的均值为 方差为 2 求 和 2的矩估计 解 由 故 均值 方差 2的矩估计为 即 如 正态总体N 2 中 和 2的矩估计为 设总体X的分布函数中含k个未知参数 步骤一 记总体X的m阶原点矩E Xm 为am m 1 2 k am 1 2 k m 1 2 k 一般地 am m 1 2 K 是总体分布中参数或参数向量 1 2 k 的函数 故 am m 1 2 k 应记成 步骤二 算出样本的m阶原点矩 步骤三 令 得到关于 1 2 k的方程组 L k 一般要求方程组 1 中有k个独立方程 步骤四 解方程组 1 并记其解为 这种参数估计法称为参数的矩估计法 简称矩法 又如 若总体X U a b 求a b的矩估计 解 列出方程组 因 解上述方程组 得到a b的矩估计 矩估计的优点是 简单易行 不需要事先知道总体是什么分布 缺点是 当总体的分布类型已知时 未充分利用分布所提供的信息 此外 一般情形下 矩估计不具有唯一性 二 极大似然估计 极大似然估计法是在总体的分布类型已知前提下 使用的一种参数估计法 该方法首先由德国数学家高斯于1821年提出 其后英国统计学家费歇于1922年发现了这一方法 研究了方法的一些性质 并给出了求参数极大似然估计一般方法 极大似然估计原理 似然函数的定义 1 设总体X为离散型随机变量 它的分布律为 现有样本观察值x1 x2 xn 其中xk取值于 ak k 1 2 问 根据极大似然思想 如何用x1 x2 xn估计q 根据极大似然思想 值应是在 中使P A 达到最大的那一个 也就是使样本联合分布律最大 2 最大似然估计法 最大似然估计法 假定现在我们观测到一组样本X1 X2 Xn 要去估计未知参数 称为 的极大似然估计 MLE 一种直观的想法是 哪个参数 多个参数时是哪组参数 使得现在的出现的可能性 概率 最大 哪个参数 或哪组参数 就作为参数的估计 这就是极大似然估计原理 如果 可能变化空间 称为参数空间 III 下面举例说明如何求参数的MLE 例1 在正确使用情况下 某手机电池的保修期为400小时 假设P是一批这种手机电池在保修期内失效的比例 1 求p的极大似然估计量 2 随机抽取了2000块电池作为样本 发现有3块电池在保修期内失效 根据这些信息求参数p的极大似然估计值 似然函数为 解从这批手机电池中任意取一块 定义X 当电池在保修期内失效时X 1 否则X 0 则X B 1 p X1 X2 Xn是取自总体的一个样本 对数似然函数为 对p求导 并令其等于零 得 上式等价于 解上述方程 得 换成 换成 4 在最大值点的表达式中 代入样本值 就得参数 的极大似然估计 II 求极大似然估计 MLE 的一般步骤 由总体分布导出样本的联合概率函数 连续型时为联合概率密度 离散型时为联合概率分布 2 把样本的联合概率函数中的自变量看成已知常数 参数 看成自变量 得到似然函数L 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即 的MLE 两点说明 求似然函数L 的最大值点 可应用微积分中的技巧 由于ln x 是x的增函数 所以lnL 与L 在 的同一点处达到各自的最大值 假定 是一实数 lnL 是 的一个可微函数 通过求解似然方程 可以得到 的MLE 用上述方法求参数的极大似然估计有时行不通 这时要用极大似然原理来求 若 是向量 上述似然方程需用似然方程组 代替 例2 某机器生产的金属杆用于汽车刹车系统 假设这种金属杆直径服从正态分布N 2 参数 和 2未知 求此两参数极大似然估计量 解 似然函数为 对数似然函数为 似然方程组为 由第一个方程 得到 代入第二方程 得到 例3 设总体X服从泊松分布P 求参数 的极大似然估计 解 由X的概率分布函数为 得 的似然函数 似然方程为 对数似然函数为 其解为 换成 换成 得 的极大似然估计 例4 设X U a b 求a b的极大似然估计 解 因 所以 由上式看到 L a b 作为a和b的二元函数是不连续的 所以我们不能用似然方程组来求极大似然估计 而必须从极大似然估计的定义出发 求L a b 的最大值 为使L a b 达到最大 b a应该尽量地小 但b不能小于max x1 x2 xn 否则 L a b 0 类似地 a不能大于min x1 x2 xn 因此 a和b的极大似然估计为 解 似然函数为 例5 设X1 X2 Xn是抽自总体X的一个样本 X有如下概率密度函数 其中 0为未知常数 求 的极大似然估计 也可写成 求导并令其导数等于零 得 解上述方程 得 小结 本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤 给出多个求参数矩估计的例子 然后介绍参数极大似然估计的基本原理 求极大似然估计的基本方法 给出多个求参数极大似然矩估计的例子