概率论-参数的点估计课件

下下下下回回回回停停停停一、问题的提出一、问题的提出二、矩估计法二、矩估计法 第一第一第一第一节节 参数的点估参数的点估参数的点估参数的点估计计 三、最大似然估计三、最大似然估计 一、问题的提出二、矩估计法一、问题的提出二、矩估计法 第一节第一节 参数的点估计参数的点估计 未知参数未知参数，这种问题称为参数估计问题，这种问题称为参数估计问题.在实际中我们经常遇到这样的问题：总体在实际中我们经常遇到这样的问题：总体的的分布函数分布函数的形式为已知，的形式为已知，是未知参是未知参数数.是是的一个样本的一个样本,为相应的一个样本值为相应的一个样本值.我们希望用样本值去估计我们希望用样本值去估计一、点估计问题的提出一、点估计问题的提出一、点估计问题的提出一、点估计问题的提出未知参数，这种问题称为参数估计问题未知参数，这种问题称为参数估计问题.在实际中我们经常遇到这样在实际中我们经常遇到这样 已知某电话局在单位时间内收到用户呼唤次已知某电话局在单位时间内收到用户呼唤次 数这个总体数这个总体服从泊松分布服从泊松分布,即即的分布律的分布律的形式已知的形式已知.利用样本值利用样本值 估计估计 的值的值.例例例例1 1 已知某电话局在单位时间内收到用户呼唤次已知某电话局在单位时间内收到用户呼唤次 数这个总体服从泊数这个总体服从泊已知某种灯泡的寿命已知某种灯泡的寿命 ，即，即 的分布密度的分布密度 的形式已知，但参数的形式已知，但参数 未知未知.利用样本值利用样本值，估计，估计 ，.例例例例2 2已知某种灯泡的寿命已知某种灯泡的寿命 考虑某厂生产的一批电子元件的寿命这个考虑某厂生产的一批电子元件的寿命这个 总体总体 ；不知道；不知道 的分布形式的分布形式，根据样本值，根据样本值 估计元件的平均寿命和元件寿命估计元件的平均寿命和元件寿命 的差异程度的差异程度,即估计总体即估计总体 的均值的均值 和方差和方差 .例例例例3 3考虑某厂生产的一批电子元件的寿命这个考虑某厂生产的一批电子元件的寿命这个 总体总体 ；不；不在数理统计中称统计量在数理统计中称统计量 点估计常用方法：矩估计和最大似然估计法点估计常用方法：矩估计和最大似然估计法.解决上述参数解决上述参数 的点估计问题的思路是的点估计问题的思路是:设法设法 作出合理的估计作出合理的估计.的估计值的估计值.构造一个合适的统计量构造一个合适的统计量,对对为为的估计量的估计量,的观测值的观测值称为称为在数理统计中称统计量在数理统计中称统计量 矩估计法是由英国统计学家矩估计法是由英国统计学家矩估计法的基本思想是用样本的矩估计法的基本思想是用样本的 阶原点矩阶原点矩 去估计总体去估计总体 的的 阶原点矩阶原点矩 ;皮尔逊皮尔逊(K.Pearson)在在1894年提出年提出.用样本的用样本的阶中心矩阶中心矩去估计总体去估计总体并由此得到未知参数的估计量并由此得到未知参数的估计量.二、矩估计法二、矩估计法二、矩估计法二、矩估计法的的k阶中心矩阶中心矩矩估计法是由英国统计学家矩估计法的基本思想是用样本的矩估计法是由英国统计学家矩估计法的基本思想是用样本的 设总体设总体 的分布函数为的分布函数为 ,是是 个待估计的未知参数个待估计的未知参数.设设 存在，对任意存在，对任意 ,现用样本矩作为总体矩的估计，即令现用样本矩作为总体矩的估计，即令设总体设总体 的分布函数为的分布函数为 这便得到含这便得到含 个参数个参数 的的 个方程组个方程组,解该方程组并记所得的解为解该方程组并记所得的解为以以 作为参数作为参数 的估计量的估计量.这种求出估计量的方法这种求出估计量的方法 称为矩估计法称为矩估计法.这便得到含这便得到含 个参数个参数 设总体体 服从泊松分布服从泊松分布 ,求参数求参数 的的 矩估计量矩估计量.解解 设设是总体是总体的一个样本的一个样本,由于由于可得可得例例例例4 4解得解得设总体设总体 服从泊松分布服从泊松分布 ,求参数求参数 求总体求总体 的均值的均值 和方差和方差 的矩估计的矩估计.解解 设设 是总体是总体 的一个样本，的一个样本，由于由于 故令故令解得解得例例例例5 5求总体求总体 的均值的均值 和方差和方差 的矩估计的矩估计.解解解解 设设 是总体是总体 的一个样本，的一个样本，容易求得容易求得 设总体设总体服从区间上服从区间上的均匀分布的均匀分布,求参数求参数的矩估计量的矩估计量.例例例例6 6解解 设设 故令故令解得解得 和和 的矩估计量为的矩估计量为 故令解得故令解得 和和 的矩估计量为的矩估计量为 设总体体 的分布的分布 密度为密度为 为总体为总体 的一个样本，求参数的一个样本，求参数 的矩估计量的矩估计量.由于由于 只含有一个未知参数只含有一个未知参数 ,一般一般 只需求出只需求出 便能得到便能得到 的矩估计量，但是的矩估计量，但是 解解解解即即 不含有不含有 ,故不能由此得到故不能由此得到 的矩估计量的矩估计量.例例例例7 7设总体设总体 的分布的分布 密度为密度为 于是解得于是解得 的矩估计量为的矩估计量为本例本例 的矩估计量也可以这样求得的矩估计量也可以这样求得 于是解得于是解得 的矩估计量为本例的矩估计量为本例 的矩估计量也可以这样求的矩估计量也可以这样求故令故令 即即 的矩估计量为的矩估计量为 该例表明参数的矩估计量不唯一该例表明参数的矩估计量不唯一.故令故令 即即 的矩估计量为的矩估计量为 该例表明参数的矩估计量不唯一该例表明参数的矩估计量不唯一.最大似然估计作为一种点估计方法最初是由最大似然估计作为一种点估计方法最初是由 德国数学家高斯德国数学家高斯(Gauss)于于1821年提出，英国统计年提出，英国统计 学家费歇尔学家费歇尔(R.A.Fisher)在在1922年作了进一步发展年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一使之成为数理统计中最重要应用最广泛的方法之一.GaussFisher三、最大似然估计三、最大似然估计三、最大似然估计三、最大似然估计最大似然估计作为一种点估计方法最初是由最大似然估计作为一种点估计方法最初是由 德国数学家高斯德国数学家高斯(G设总体设总体 的分布律为的分布律为 或或 分布密度为分布密度为 ，其中，其中 是未是未 知参数，知参数，的分布律的分布律(或分布密度或分布密度)为为 ,当给定样本值当给定样本值 后，后，它只是参数它只是参数 的函数，记为的函数，记为 ，即，即 则称则称 为似然函数，似然函数实质上是样本的为似然函数，似然函数实质上是样本的 分布律或分布密度分布律或分布密度.1.1.似然函数似然函数似然函数似然函数设总体设总体 的分布律为的分布律为 最大似然原理的直观想法：在试验中概率最大似然原理的直观想法：在试验中概率 最大的事件最有可能出现最大的事件最有可能出现.一个试验如有若干个一个试验如有若干个 可能结果可能结果 ,若在一次试验中，结果若在一次试验中，结果 出现出现,则认为则认为 出现的概率最大出现的概率最大.2.2.最大似然估计法最大似然估计法最大似然估计法最大似然估计法最大似然原理的直观想法：在试验中概率最大似然原理的直观想法：在试验中概率 最大的事件最有可能出最大的事件最有可能出 假定一个盒中黑球和白球两种球的数目之比假定一个盒中黑球和白球两种球的数目之比 为为 3:1，但不知哪种球多，但不知哪种球多，表示从盒中任取一球表示从盒中任取一球 是黑球的概率，那么是黑球的概率，那么 或或 ,现在有放回地现在有放回地 从盒中抽从盒中抽3个球，试根据样本中的黑球数个球，试根据样本中的黑球数 来估计来估计 参数参数 .解解随机变量随机变量 ，即，即 例例例例8 8 假定一个盒中黑球和白球两种球的数目之比假定一个盒中黑球和白球两种球的数目之比 为为 3:1，但不，但不估计估计 只需在只需在 和和 之间作出选择之间作出选择.计算这两种情况下计算这两种情况下 的分布律：的分布律：的估计的估计 27/6427/649/641/641/649/6427/6427/643210,估计估计 只需在只需在 和和 设总体设总体 的分布密度的分布密度(或分布律或分布律)为为 ，其中其中 为未知参数为未知参数.又设又设 是总体是总体 的一个样本值，如果似然函数的一个样本值，如果似然函数 在在 处达到最大，则称处达到最大，则称 分别为分别为 的最大似然估计量的最大似然估计量.定义定义定义定义6.16.1设总体设总体 的分布密度的分布密度(或分布律或分布律)为为 由于由于与与 有相同的最大值点有相同的最大值点.因此，因此，为为 最大似然估计的必要条件为最大似然估计的必要条件为 称它为似然方程称它为似然方程,其中其中由于与由于与 有相同的最大值点有相同的最大值点.因此，因此，为为 求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：1求似然函数求似然函数 ；2求出求出 及似然方程及似然方程 3解似然方程得到最大似然估计值解似然方程得到最大似然估计值 4最后得到最大似然估计量最后得到最大似然估计量 求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：1求似然函数求似然函数 设总体体 服从泊松分布服从泊松分布 ,其中其中 为未知为未知参数，试求参数参数，试求参数 的最大似然估计量的最大似然估计量.设样本设样本 的一个观测值为的一个观测值为 解解,由于总体由于总体 ,故有故有 似然函数为似然函数为例例例例9 9设总体设总体 服从泊松分布服从泊松分布 ,其中其中 为为取对数取对数即即 所以所以 的最大似然估计量为的最大似然估计量为 .取对数即取对数即 所以所以 的最大似然估计量为的最大似然估计量为 设总体设总体 ，求参数，求参数 的最大的最大似然估计量似然估计量.解解设设 是总体是总体 的样本，的样本，其观测值为其观测值为 ,由总体由总体 ,分布密度为分布密度为 例例例例1010设总体设总体 ，求参，求参似然函数似然函数似然函数似然函数解似然方程得解似然方程得最大似然估计量为最大似然估计量为 .解似然方程得最大似然估计量为解似然方程得最大似然估计量为 两种求点估计的方法两种求点估计的方法:矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时在最大似然估计法使用不方便时,再用矩估计法再用矩估计法.内容小结内容小结内容小结内容小结两种求点估计的方法两种求点估计的方法:矩估计法最大似然估计法矩估计法最大似然估计法 在统计问题在统计问题第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v,X具有超几何具有超几何分布：分布：试用最大似然法估计湖中的鱼数试用最大似然法估计湖中的鱼数.为了估计湖中的鱼数为了估计湖中的鱼数N，第一次捕上，第一次捕上r条鱼条鱼，做做上记号后放回上记号后放回.隔一段时间后隔一段时间后,再捕出再捕出 S 条鱼条鱼,结果发现这结果发现这S条鱼中有条鱼中有k条标有记号条标有记号.根据这个根据这个信息信息,如何估计湖中的鱼数呢如何估计湖中的鱼数呢?思考题思考题思考题思考题第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v,X具有超几何分布：试具有超几何分布：试应取使应取使L(N;k)达到最大的达到最大的N,作为作为N的最大似然估计的最大似然估计.把上式右端看作把上式右端看作N的函数，记作的函数，记作L(N;k).经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定.由由但用对但用对N求导的方法相当困难求导的方法相当困难,我们考虑比值我们考虑比值：应取使应取使L(N;k)达到最大的达到最大的N,作为作为N的最大似然估计的最大似然估计.经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定.由由这就是说，当这就是说，当N增大时，序列增大时，序列P(X=k;N)先是上先是上升而后下降升而后下降;当当N为小于为小于 的最大整数时的最大整数时,达到最大值达到最大值.故故N的最大似然估计的最大似然估计为为经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或而定，或而定.由这就是说由这就是说再见再见解解则则X1,X2,Xn是取自是取自B(1,p)的样本，的样本，p是每次抽取是每次抽取时取到白球的概率，时取到白球的概率，p未知未知.先求先求 p 的最大似然估计：的最大似然估计：一罐中装有白球和黑球，有放回地抽一罐中装有白球和黑球，有放回地抽取一个容量为取一个容量为n的样本，其中有的样本，其中有 k 个白球，个白球，求罐中黑球与白球之比求罐中黑球与白球之比 R 的最大似然估计的最大似然估计.备用题备用题备用题备用题例例例例9-19-1解则解则X1,X2,Xn是取自是取自B(1,p)的样本，的样本，p是每次是每次我们容易求得我们容易求得由前述最大似然估计的性质不难求得由前述最大似然估计的性质不难求得p的最大似然估计的最大似然估计为为的最大似然估计是的最大似然估计是我们容易求得由前述最大似然估计的性质不难求得我们容易求得由前述最大似然估计的性质不难求得p的最大似然估计的最大似然估计 设总体设总体 服从区间服从区间 上的均匀分布上的均匀分布,试求参数试求参数 矩估计量和最大似然估计量矩估计量和最大似然估计量.解解其观测值为其观测值为 ，故故 即即 的矩估计量为的矩估计量为 设设是总体是总体的样本的样本,例例例例10-110-1 设总体设总体 服从区间服从区间 上的均匀分布上的均匀分布总体总体 的分布密度为的分布密度为 则似然函数为则似然函数为总体总体 的分布密度为的分布密度为 则似然函数为则似然函数为估计量为估计量为 当当时时达到最大达到最大,故故的最大似然的最大似然估计量为估计量为 当时达到最大当时达到最大,故的最大似然故的最大似然设总体设总体服从服从对于容量为对于容量为的样本的样本,求使得求使得的点的点的最大似然估计的最大似然估计.解解设设为来自总体为来自总体的一个样本的一个样本,可求得可求得与与的最大似然估计分别为的最大似然估计分别为例例例例10-210-2设总体服从对于容量为的样本设总体服从对于容量为的样本,求使得的点的最大似然估计求使得的点的最大似然估计.解设解设由由则则查表得查表得故故的最大似然估计的最大似然估计由则查表得故的最大似然估计由则查表得故的最大似然估计