极大似然估计课件

第七章第二节极大似然估计极大似然估计极大似然估计极大似然估计 1第七章第二节极大似然估计极大似然估计 1 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.2 极大似然法的基本思想 先看一个简单例子：一只野兔基本思想基本思想:若事件若事件Ai i 发生了发生了,则认为事件则认为事件Ai在这在这n个可能结果个可能结果中出现的概率最大。中出现的概率最大。极大似然估计就是在一次抽样中极大似然估计就是在一次抽样中,若得到观测值若得到观测值则选取则选取若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验,作为作为的估计值的估计值。使得当使得当时时,样本出现的概率最大样本出现的概率最大。3基本思想:若事件Ai 发生了,则认为事件Ai在这n个可能结果极大似然估计法极大似然估计法:设是的一个样本值事件 发生的概率为为 的函数，形式已知(如离散型)X的分布列为的联合分布列联合分布列为：为样本的似然函数样本的似然函数。定义定义7.14极大似然估计法:设是的一个样本值事件 即取使得：与有关,记为称为参数的极大似然估计值极大似然估计值。称为参数的极大似然估计量极大似然估计量。达到最大的参数作为的估计值。现从中挑选使概率样本的似然函数5即取使得：与有关,记为称为参数的极大似然估计值。称为参数若总体X属连续型,其概率密度的形式已知，为待估参数；则的联合密度：一般，关于可微，故可由下式求得：因此的极大似然估计也可从下式解得：在同一点处取极值。6若总体X属连续型,其概率密度的形式已知，为待估参数；则的77故似然函数为例例1 1 设是来自总体X的一个样本，试求参数 p 的极大似然估计值.解解：设是一个样本值。X的分布列为：而令8故似然函数为例1 设是来自总体X的一个样本，试求参数 p 的它与矩估计量是相同的。它与矩估计量是相同的。解得解得p的极大似然估计值的极大似然估计值p的极大似然估计量的极大似然估计量令令解得9它与矩估计量是相同的。解得p的极大似然估计值p的极大似然估计设总体X的分布列为：是来自总体X的样本，求 p 的极大解：解：似然函数为似然函数为似然估计值。例例2 210设总体X的分布列为：是来自总体X的样本，求 p 的极大解：似令令即即所以参数所以参数的极大似然估计量为的极大似然估计量为11令即所以参数的极大似然估计量为11解解例例3 3设 X1,X2,Xn 是取自总体X 的一个样本,，求参数的极大似然估计值。似然函数为似然函数为:12解例3设 X1,X2,Xn 是取自总体X 的一个样例例4 4设未知，是一个样本值求的极大似然估计量.解解 设的概率密度为：似然函数为13例4设未知，是一个样本值求的极大似然估计量.解 设的概率密等价于等价于因为因为对于满足对于满足的任意的任意有有即即时时,取最大值取最大值在在似然函数为似然函数为14等价于因为对于满足的任意有即时,取最大值在似然函数为14故故的极大似然估计值为:故故的极大似然估计量为:即时,取最大值在在似然函数为似然函数为15故的极大似然估计值为:故的极大似然估计量为:即时,取最大值在今取得一组样本Xk数据如下，问如何估计？162950681001301402702803404104505206201902108001100 某电子管的使用寿命 X（单位：小时)服从指数分布 例例5 指数分布的点估计指数分布的点估计 分析 可用两种方法：矩法估计 和极大似然估计.16今取得一组样本Xk数据如下，问如何估计？1629506811）矩法估计171）矩法估计172）极大似然估计）极大似然估计1.构造似然函数 当xi0,（i=1,2,n)时，似然函数为2.取对数3.建立似然方程182）极大似然估计构造似然函数 当xi0,（i=1,2,5.得极大似然估计量：4.求解得极大似然估计值195.得极大似然估计量：求解得极大似然估计值19似然函数为：例例6 6设为未知参数，是来自X的一个样本值，求的极大似然估计值。解解：X的概率密度为：20似然函数为：例6设为未知参数，是来自X的一个样本值，求的极大解得：解得：令令即：即：21解得：令即：21 注：lnx 是 x 的严格单增函数，lnL 与L有相同的极大值，一般只需求lnL 的极大值.求极大似然估计的求极大似然估计的一般步骤一般步骤：1.写出似然函数2.对似然函数取对数 3.对i (i=1,m)分别求偏导,建立似然方程(组)解得 分别为 的极大估计值.22 注：lnx 是 x 的严格单增函数，lnL 与L例例7 矩估计与似然估计不等的例子设总体概率密度为求参数的极大似然估计,并用矩法估计.解解 1)极大似然估计法1.构造似然函数2.取对数：当 0 xi1,(i=1,2,n)时23例7 矩估计与似然估计不等的例子设总体概率密度为求参数2.取对数：当 0 xi 1,(i=1,2,n)时3.建立似然方程4.求解得极大似然估计值为5.极大似然估计 量为242.取对数：当 0 xi 1,(i=1,2,2)矩估计法252)矩估计法251.矩法估计量与极大似然估计量不一定相同；2.用矩法估计参数比较简单,但有信息量损失；3.极大似然估计法精度较高,但运算较复杂；4.不是所有极大似然估计法都需要建立似然方程小小 结结求解.261.矩法估计量与极大似然估计量不一定相同；2.用矩法作业作业P294 1；2；3；427作业P294 1；2；3；427解解例例6.不合格品率的矩法估计 分析分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因 p=EX,故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.(即出现不合格产品的频率).28解例6.不合格品率的矩法估计 分析 设总体X 即不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记 p=PX=1=P产品不合格则 X的分布列可表示为 现得到X的一组样本X1，X2，,Xn的实际观察值为 x1,x2,xn,则事件 X1=x1，X2=x2，,Xn=xn例例7 7出现的可能性应最大,其概率为29不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记则 应选取使L(p)达到最大的值作为参数 p 的估计.30 应选取使L(p)达到最大的值作为参数 p 的估计令令解得解得（频率值）（频率值）注意到注意到31令解得（频率值）注意到31其中0，与是未知参数，X1，X2，,Xn，解解设总体设总体X的概率密度为的概率密度为是X 的一组样本，求与 的矩估计量.例例8 832其中0，与是未知参数，X1，X2，,Xn，解设总体令令注意到注意到 DX=E(X2)E(X)2=2=2+(+)233令注意到 DX=E(X2)E(X)例例 9 均匀分布的极大似然估计均匀分布的极大似然估计 设样本设样本X1，X2，Xn来自在区间来自在区间 0,上均匀分布的总体上均匀分布的总体X,求求 的极大似然估计的极大似然估计.解解 设设x1,x2,xn是是X1,X2,Xn的样本值，的样本值，似然函数为似然函数为34例 9 均匀分布的极大似然估计 设样本X1，X2，#如图所示，似然函数如图所示，似然函数L 在在取到最大值，故取到最大值，故的极大似然估计量为的极大似然估计量为35#如图所示，似然函数L 在取到最大值，故的极大似然估注注 意：意：该似然函数不能通过求导构造似然方程该似然函数不能通过求导构造似然方程.尝试用其他方法求解！尝试用其他方法求解！分析分析 的估计应满足：的估计应满足：2.的值不能小于任何一个的值不能小于任何一个xi.1.的值尽可能小；的值尽可能小；36注 意：分析 的估计应满足：2.3737