第二节最大似然估计法

第七章参数估计 7. 2最大似然估计法极大似然法的基本思想先看一个简单例子:某位同学与一位猎人一 起外出打猎.一只野兔从前方窜过只听一声枪响，野兔应声倒下如果要你推测,是谁打中的呢?你会如何想呢?选择一个参数使得实验结果具有最大概率极大似然估计原理：设X泌2,X”是取自总体X的一个样本, 样本的联合密度（连续型）或联合概率函数 （离散型）为八兀禺，当给定样本X”时，定义似 然函数为：L(&) =f (X19X2V.XW； q)似然函数:L（e）=f （x 泌2，X； 0）L（0）t作参数僚/函数，它可作为0将以多大可能产生样本值X泌2，X”的一种度量极大似然估计法就是用使厶（&沌到最大值的&去估计0L（） = max L（&）e称$为&的极大似然估计（MLE）极大似然估计法若总体X属离散型，其分布律PX =x = P（兀;0）,0g0的形式为已知，0为待估参数，）是珂能取值的范围。设X,X“是来自X的样本；贝见，,X“的联合分布律: 冇卩（七;&）1=1又设勺,心是,乙的_个样本值；易知样本X,X”取T,兀“的概率，亦即事件X=，X”=xn发生的概率为:Q(0) = (x1xn;) = PJp(x.;0)，0 w0. (1.1)1=1它是附函数。1（0）称为样本的似然函数由极大似然估计法：，兀“;挑选使概率 厶（兀1，兀“;0）达到最大的参数作为附估计值,八 即取臟得：L（兀“心胡）=maxL（兀1，心;0）（1.2）八0e&八$与兀1，兀“有关，记为&（兀1，）;称其为参数昭极大似然估计值3（X1，X称为参細的极大似然估计量若总体X属连续型，其概率密縻（兀;&）,处0 的形式已知，0为待估参数；则X,X”的联合密度：n/uz；）1=1设X1，兀“是相应X，X“的一个样本值，则随 机点（兀，,X落在（心，九）的邻域（边长分别为 dx dxn的比维立方体）内的概率近似为：tf（xi=i我们取砒估计值矗使概率（13）取到最大值。但fpE不随師变，故只需考虑：L(0) = (xn - = J/(xt; 0),(1.4)1=1的最大值，这里(&)称为样本的似然函数八若乙(曲，兀“；&) = maxL(x1dp醞 2pmp)7H00 = 02求参数的最大似然估计的步骤:（1 ）写出似然函数1（ 0,2,仇）=1（兀1，兀 “;&1，&2,Q）（2 ）取对数血（0,2，阳=2吋（七；久，&2,（3 ）将对数似然函数对各参数求偏导数并 令其为零，得对数似然方程组。若总体分布 中只有一个耒知参数，则为一个方程，称对 数似然方程。.0k并记为（4）从方程组中解出匕，02, $ =玄（心儿） 玄扁2（兀，X”）攻=玄（心，X”）例2址,X”是来自X的一个样本,P206 试求参数p的极大似然估计量。F：设T,心是一个样本值。x的分布律为： PX=x = px(l-p)1x9 x = 0,1；故似然函数为”n七n-xiL(p) = Y pXi(l-p)1Xi =p (1-p) /=1 ,而 lnL(p) =(yx/)lnp + (n-xy)ln(L-p)e解得P的极大似然估计值x;=xP的极大似然估计量为例3 设X N （“，b?）；，/为未知参数，曲，P207是来自区的_个样本值， 求：“Q?的极大似然估计量。解：X的概率密度为：/（x;cr2） =似然函数为：-r=exp417v(j 2a亍（兀一 “尸_2L_11二gb寿=-彳 ln3-? ln&2)-/(兀一 “)2（七-“尸InLL（“，bj = 口苹=exp 卜51n =Uv d/ndlnL 亍uda2 nx.-n = Ob 1=1n+2a2 2(a2)2Xi =整理得丫七- = 01=1V2 一 (-“)2=0i=l解得：2 =工七n 1=1将=壬代入，解得例4设XD0,甸;味知，屯，兀“是一个样本值,P210求册极大似然估计量。解：似然函数为一小二0； （i = l，2,，n）1（兀1，工2，兀“；0） = 0，其它01 = 0 时，有 lnLnnlne0对e求导，并令其为零，得- = 00对数似然函数无解，只能应用最大似然法 基本思想，选择8的最小可能值，使最大似然函数达到最大。即 =maxxjIV 0）故a是册极大似然估计