极大似然估计课件

*,第七章,第二节,极大似然估计,极大似然估计,1,第七章第二节极大似然估计极大似然估计 1,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过,.,是谁打中的呢？,某位同学与一位猎人一起外出打猎,.,如果要你推测，,你会如何想呢,?,只听一声枪响，野兔应声倒下,.,2,极大似然法的基本思想 先看一个简单例子：一只野兔,基本思想,:,若事件,A,i,发生了,则认为事件,Ai,在这,n,个可能结果,中出现的概率最大。,极大似然估计就是在一次抽样中,若得到观测值,则选取,若一试验有,n,个可能结果,现做一试验,作为,的估计值,。,使得当,时,样本出现的概率最大,。,3,基本思想:若事件Ai 发生了,则认为事件Ai在这n个可能结果,极大似然估计法,:,设,是,的一个样本值,事件 发生的概率为,为 的函数，,形式已知,(,如离散型,),X,的分布列为,的,联合分布列,为：,为,样本的似然函数,。,定义,7.1,4,极大似然估计法:设是的一个样本值事件,即取,使得：,与,有关,记为,称为参数,的,极大似然估计值,。,称为参数,的,极大似然估计量,。,达到最大的参数,作为,的估计值。,现从中挑选使概率,样本的似然函数,5,即取使得：与有关,记为称为参数的极大似然估计值。称为参数,若总体,X,属连续型,其概率密度,的形式已知，,为待估参数；,则,的联合密度：,一般，,关于,可微，故,可由下式求得：,因此,的极大似然估计,也可从下式解得：,在同一点处取极值。,6,若总体X属连续型,其概率密度的形式已知，为待估参数；则的,7,7,故似然函数为,例,1,设,是来自总体,X,的一,个样本，,试求参数,p,的极大似然估计值,.,解,：设,是一个样本值。,X,的分布列为：,而,令,8,故似然函数为例1 设是来自总体X的一个样本，试求参数 p 的,它与矩估计量是相同的。,解得,p,的极大似然估计值,p,的极大似然估计量,令,解得,9,它与矩估计量是相同的。解得p的极大似然估计值p的极大似然估计,设总体,X,的分布列为：,是来自总体,X,的样本，求,p,的极大,解：,似然函数为,似然估计值。,例,2,10,设总体X的分布列为：是来自总体X的样本，求 p 的极大解：似,令,即,所以参数,的极大似然估计量为,11,令即所以参数的极大似然估计量为11,解,例,3,设,X,1,X,2,X,n,是取自总体,X,的一个样本,，求参数,的极大似然估计值。,似然函数为,:,12,解例3设 X1,X2,Xn 是取自总体X 的一个样,例,4,设,未知，,是一个样本值,求,的极大似然估计量,.,解,设,的概率密度为：,似然函数为,13,例4设未知，是一个样本值求的极大似然估计量.解 设的概率密,等价于,因为,对于满足,的任意,有,即,时,取最大值,在,似然函数为,14,等价于因为对于满足的任意有即时,取最大值在似然函数为14,故,的极大似然估计值为,:,故,的极大似然估计量为,:,即,时,取最大值,在,似然函数为,15,故的极大似然估计值为:故的极大似然估计量为:即时,取最大值在,今取得一组样本,X,k,数据如下，问如何估计,？,某电子管的使用寿命,X,（单位：小时,),服从指数分布,例,5,指数分布的点估计,分析,可用两种方法：矩法估计 和极大似然估计,.,16,今取得一组样本Xk数据如下，问如何估计？某电子,1,）矩法估计,17,1）矩法估计17,2,）极大似然估计,构造似然函数,当,x,i,0,（,i,=1,2,n,),时，似然函数为,取对数,建立似然方程,18,2）极大似然估计构造似然函数 当xi0,（i=1,2,5.,得极大似然估计量：,求解得极大似然估计值,19,5.得极大似然估计量：求解得极大似然估计值19,似然函数为：,例,6,设,为未知参数，,是,来自,X,的一个样本值，求,的极大似然估计值。,解,：,X,的概率密度为：,20,似然函数为：例6设为未知参数，是来自X的一个样本值，求的极大,解得：,令,即：,21,解得：令即：21,注,：,lnx,是,x,的严格单增函数,，,lnL,与,L,有相同的极大值，,一般,只需求,lnL,的极大值,.,求极大似然估计的,一般步骤,：,写出似然函数,2.,对似然函数取对数,3.,对,i,(,i,=,1,m,),分别求偏导,建立似然方程,(,组,),解得 分别为 的极大估计值,.,22,注：lnx 是 x 的严格单增函数，lnL 与L,例,7,矩估计与似然估计不等的例子,设总体概率密度为,求参数,的极大似然估计,并用矩法估计,.,解,1),极大似然估计法,构造似然函数,2.,取对数：,当,0,x,i,1,(,i,=1,2,n),时,23,例7 矩估计与似然估计不等的例子设总体概率密度为求参数,2.,取对数：,当,0,x,i,1,(i=1,2,n),时,建立似然方程,求解得极大似然估计值为,5.,极大似然估计 量为,24,2.取对数：当 0 xi 1,(i=1,2,2),矩估计法,25,2)矩估计法25,1.,矩法估计量与极大似然估计量不一定相同；,2.,用矩法估计参数比较简单,但有信息量损失；,3.,极大似然估计法精度较高,但运算较复杂；,4.,不是所有,极大似然估计法,都需要建立,似然方程,小 结,求解,.,26,1.矩法估计量与极大似然估计量不一定相同；2.用矩法,作业,P294 1,；,2,；,3,；,4,27,作业P294 1；2；3；427,解,例,6.,不合格品率的矩法估计,分析,设总体,X,即抽一件产品的不合格产品数，相当于抽取了一组样本,X,1,，,X,2,，,，,X,n,且,因,p,=,EX,故,p,的矩估计量为,设某车间生产一批产品，为估计该批产品不合格品率，抽取了,n,件产品进行检查,.,(,即出现不合格产品的频率,).,28,解例6.不合格品率的矩法估计 分析 设总体X 即,不合格品率,p,的估计,设 总体,X,是抽一件产品的不合格品数，记,p,=P,X,=1=P,产品不合格,则,X,的分布列可表示为,现得到,X,的一组样本,X,1,，,X,2,，,X,n,的实际观,察值为,x,1,x,2,x,n,则事件,X,1,=,x,1,，,X,2,=,x,2,，,X,n,=,x,n,例,7,出现的可能性应最大,其概率为,29,不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记则,应选取使,L,(,p,),达到最大的值作为参数,p,的估计,.,30,应选取使L(p)达到最大的值作为参数 p 的估计,令,解得,（频率值）,注意到,31,令解得（频率值）注意到31,其中,0,，,与,是未知参数，,X,1,，,X,2,，,X,n,，,解,设总体,X,的概率密度为,是,X,的一组样本，求,与,的矩估计量,.,例,8,32,其中0，与是未知参数，X1，X2，,Xn，解设总体,令,注意到,DX,=E(,X,2,),E(,X,),2,=,2,=,2,+(+),2,33,令注意到 DX=E(X2)E(X),例,9,均匀分布的极大似然估计,设样本,X,1,，,X,2,，,，,X,n,来自在区间,0,上均匀分布的总体,X,求,的极大似然估计,.,解,设,x,1,x,2,x,n,是,X,1,X,2,X,n,的样本值，,似然函数为,34,例 9 均匀分布的极大似然估计 设样本X1，X2，,#,如图所示，似然函数,L,在,取到最大值，故,的极大似然估计量为,35,#如图所示，似然函数L 在取到最大值，故的极大似然估,注 意：,该似然函数不能通过求导构造似然方程,.,尝试用其他方法求解！,分析,的估计应满足：,2.,的值不能小于任何一个,x,i,.,1.,的值尽可能小；,36,注 意：分析 的估计应满足：2.,37,37,