4极大似然估计和广义矩估计

第四讲极大似然估计和广义矩估计Maximum Likelihood estimate andGeneralized Method of Moments第一节极大似然估计法第二节 似然比检验、沃尔德检验 和拉格朗日乘数检验第三节广义矩(GMM)估计2014-6-4普通最小二乘法(OLS)是计量经济学中使用频率最高的估 计方法。建模者越来越多使用广义矩估计和极大似然估计、贝叶 斯估计等。极大似然估计(MLE)和广义矩估计(GMM)已成为计量经 济学中重要的估计方法，其中极大似然估计的使用频率 仅次于LS。极大似然估计法和广义矩估计法适用于大样本条件下参 数的估计，在大样本条件下它们具有优良的性质。第一节极大似然估计法极大似然估计(MLE)的应用虽然没有OLS广泛，但它是一个 具有更强理论性质的点估计方法，它以极大似然原理为基础,通过(对数)似然函数估计总体参数。极大似然估计量是一致的、渐近正态的，而且在所有具有这 些性质的估计量中又是有效的。其缺陷：要假设变量的分布 ，如正态分布。寸一些特殊类型的计量经济模型，如后面将介绍的Logit和 丫obit模型，OLS不再适用，常采用极大似然估计。冶一、极大似然法的思路极大似然估计的出发点是已知被观测现象的分布，但不 知道其参数。极大似然法用使得观测值（样本）最高概率的 旷那些参数的值来估计该分布的参数，从而提供一种用于 N估计一个分布的参数的方法。例41设有一枚不均衡的硬币，我们关心的是在每次抛掷 /该硬币出现正面的概率p。抛掷该硬币N次，假设得到M次正面，N N、次反面。由于每次抛硬币都是相互独立 A的，根据二项分布，得到这样一个样本的概率为：尸的竝面)=C； pN (1- p)N-N2014-6-4上式可看作是未知参数P的函数，被称为似然函数。对P的极大似然估计意味着选择使似然函数达到最大的P值，从而得到P的极大似然估计量。实际计算中，极大化似然函数的对数往往比较方便，这给 出对数似然函数lnL(p) = lnC +NJn(p)+(N NJln(l p)上式达到极大的一阶条件是dn L(p) N、dpp解之得到p的极大似然估计量N N、1-P=0p = NJN2014-6-41、极大似然原理未知观测值JW2,，片随机变量Y的概率密度函数/(y;0),随机样本乙上,；似然函数/(X，几;= n/(x；)= L(o；y) 对数似然函数lnL(O) = lnL(O;y) = 21n/(;0)更方便、更容易极大似然估计的思想：0的板头似然估计是使得产生样 ，片的最高概率的那个B值，(使得观测到该样本 能F生最大的那个0);即8的极大似然估计是使似然函数 厶达到最大的值。记为6/似然方程ml dL(O) _ n 51nL(0)2n丽血)=maxL(O;y),=也 or 飞厂=总体有离散型和连续型两种，离散型总体通过分布列来构 造似然函数，而连续型总体通过密度函数来构造似然函数.Sfg厚聖詈岂Score向量，梯度向量离散型随机变量极大似然原理若总体为离散型分布，分布列Px = x = f(x；e)取到观察值兀，,发生的概率 J：PX1 = x1,.-,XM = xJ = fI/(x/;O)Z=1样本x、,x取到观察值不,，兀的概率，亦即事件IX =X” = xn其中e=(q,町是待估/数向量；似然函数为 M0)=n/(；e) 这一概率随e的取值而査1化，它是e的函数。/級大似然估计就是在B的可能取值范围内寻找使似然函数 达到最大的那个&作为参数B的估计值，即求6,使得L(0) = maxL(0;x)/般通过微分的方法求得6 ,即令6L(G)/60 = 0得到，有时 也可通过迭代法来求& ,具体的计算方法根据随机变量的 分布2静定。4连续型随机变量极大似然原理4J若总体为连续型分布，密度函数为形式已知，其中 待估参数向量为8=,qy。样本的联合概率密度为/Up-,x；e）=fl/u.；e）,似然函数厶二口心，对数似然inL（e）= pn/u,；e）极大似然估计就雇:使得下式成立的qml，=1L（0ml） = maxL（O）体求法：由aL（0）/ae = o解出极大值点，因函数in单增，故 /卡1常由5inL（o）/ae = o求解。、寸数似然函数的一阶导数向量S二空如 称为scow向量 /存梯度向量。50/ 似然方程 ainL（o）/ae = o 即 s = o冷弓三、极大似然估计量的性质极大似然估计量的优势在于其大样本性质（渐近性质）。参数向量B的极大似然估计量6/参数向量的真值L啓却如果极大似然函数被正确设定，可以证明，在较弱的正则条件下，极大似然估计量具有以下渐近性质：II, （1）致性：厶是8的致估计量，即00 ）渐近正态性：6他亠n（%, v（e0）即近似服从正态分布，其中v是渐近方差一协方差矩阵（3）；斩近有效t生：是渐近有效的且达到所有一致渐近正态估计量 Cramer-Rao下界，即在所有一致渐近正态估计量中具有最小方差。 （4）不变性：设g（e）是任一连续可微的函数，则g（e）的极 大似然估计为g（爲）2014-6-4d2 lnL(O)极大似然估计量的渐近协方差矩阵极大似然估计的渐近方差一协方差矩阵由对数似然函数决定.J .可以证明：在适当的正则条件下，极大似然估计量的渐近方 气差一协方差矩阵等于Fisher信息矩阵的逆矩阵，即,Var他） = V（ ） = 【）=（）左式很少用！因信息阵为复杂的非线性函数，期望总是未知 中勺。实际中用渐近方差一协方差的估计Var(0ML) = V = F (0MJ =52 lnL(0)海赛矩阵H二先2）四、线性回归模型的极大似然估计线性回归模型是计量经济学应用最广泛的模型，因此讨论 线性回归模型的极大似然估计是非常必要的。在随机误差项服从正态分布的假设下分别讨论一元线性回 归模型和多元线性回归模型的极大似然估计。非线性模型的极大似然估计，将在第五章中介绍。 注慧比较线性回归模型回归系数的OLS和MLE的区别。2014-6-4一元线性回归模型的极大似然估计I 元线性回归模型：X +的；i = l,假设随机扰动项叭，叫i.i.d.; utN(0, cr2)即随机扰动项具有0均值、同方差、不相关和服从正态分布 y N(tz + 0.,b2),密度函数/(X)=(2兀/戸 exp - *n乙=口 /(X)= (2兀b沪exi=ln以然函数 分数似然函数似然方程- 0)2/=1JM71 ”In L(0) = -In (2) - In (cr2)工(X a_(3xj222b ,=Oln 弩,0&)=a_旳“dacr 铝Q0b铝dinL(a,/?,cr2)n1 A、2 介-寿+右若3旳=02014-6-4dcy2极大似然估计工（无一无）（必一刃 工（兀一无）2&OLSMLE的线性回归模型的残 差平方和等于OLS的残差 平方和，的极大似然估计1 总/ 八 n 2 RSS n 2 IML = 乂（幵 0M厶兀）= OLSn in n是一个有偏估计；但它是渐近无偏的。E（竝）=匚2 E（毗） = （1-）a2 T /nn2014-6-4多元线性回归模型的极大似然估计/ 一般多元线性回归模型矩阵形式：丫 =邓+ 11对随机扰动项作出如下假设：UN(0, cr2Iz?) ； uN(0, /); i = 1,屮IJ Y N禅 /I) x N(x0 /); i = 1 铲卜”(Y-X/?y(Y-X/?)X的密度函数为：心)exIV27TCT的密度函数为)=仪衣/尸ex2tc = 83&970+0.635gd” 159.043pX(0(8.94)(-2.27)椒大似然估计的结果为：/ fc = 838970+0.635gd#159.043p/ /(4.2)(1.2)时于线性回归模型，用极大似然估计得到的系数估计值与用 f最小二乘法估计得到的结果完全相同。f2014-6-4五、极大似然估计的计算方法除少数情况外（如正态线性回归模型），大多数时候无法由 似然方程得到参数极大似然估计的显示表达式。只能借助 迭代方法得到其数值解。1一阶导数方法Gauss-Newton/BHHH法（拟牛顿型）Marquardt 法2.二阶导数方法Newton-RaphsonSGoldfeld-Quandt 法DFP法BFGS 法（拟牛顿型）（牛顿型）（拟牛顿型）（拟牛顿型）2014-6-4第二节似然比检验、沃尔徳检验和拉格朗日乘数检验. 似然比检验(Likelihood Ratio Test, LR)瓦尔德检验(Wald Test, W) 拉格朗日乘数检验(Lagrange Multiplier Test, LM)f是三种基于极大似然法的大样本检验方法。在第二章中介绍的F检验适用于检验经典线性回归(CLR)模 型的线性约束条件且具有嵌套关系。如果施加于模型的约束是非线性的，模型存在参数非线性, F检验就不再适用，通常需要采用LR、W和LM三个检验方 法。这三个检验方法是渐近等价的，都渐近地服从自由度为约 ，束条件个数的;分布。但它们的小样本性质却各不相同， 除个别特殊情况外它彳11的小样本性质是未知的。、三种检验的基本原理（自看）三个检验统计量基于三个不同的原理，用下图来解释。lnL, g(p)图中，对数似然函数InL由上面的那条曲线表示，它是要 估计的参数0的函数。无约束极大似然估计p是使InL达 到极大的“值。假设要检验的约束条件是Ho：(p)= O.在这个约束下，InL 的极大值为加，称为有约束极大似然估计。从图上看， 这个点是函数g(卩)=0与横轴的交点。2014-6-4（从约束条件的角度比较）则g（B）不应显著异于o,其中 1.LR检验（对数似然函数角度进行比较）W 如果约束条件为真，则施加该约束条件后InL的极大值IilLr 不应当显著小于InL的无约束极大值。因此，LR检验基于 lnL-ln是否显著异于0,若这个差显著异于0,拒绝原假设. 2. W检验如果约束条件g（卩）=0为右的无约束极大似然估计值。W检验基于g（0）,若它显著异 0,则拒绝原假设。3. LM检验 （从对数似然函数的斜率的角度比较）对数似然函数在A点达到极大，在这点关于的斜率为0。口果约束条件为真，贝llnL在B点的斜率应近似为0。LM检验 基于对数似然函数在约束极大似然估计处厶的斜率,若该斜 率显着尿于0,则拒绝原假设。二、似然比（LR）检验设B为待估计参数向量，原假设Ho：（e）= o规定施加于这些 参数上的约束。6和&分别为8的无约束和有约束极大似然估计。似然比为2 _ 厶(6r) 厶(6)其值位于0和1之间，因为两个似然都是正的，并且约束似然不会大于无约束似然函数值（局部最大不可能大于全局最 A）o如果2过于小，则怀疑原假设的正确性。LR检验的检验统计量是L/? = -21n2 = -2ln （6尺）- In厶（6）卜才 罪大样本情况下近似服从自由度为g的卡方分布。g是约束条件造成的参数个数减少的数目）缺点：既要进行约束回归，又要进行无约束回归。（对数倏然函数角度进行比较）4三、沃尔德(W)检验!复杂模型中，有约束和无约束估计中可能有一个很难计算。 有两个可供选择的方法，即沃尔德检验和拉格朗日乘数检 验。这两个检验只需要估计约束或无约束参数中的一个。设8的无约束极大似然估计为6,要检验的原假设为：H：g(e)= o*约束条件成立，则g(6”o,若g(0)显著不为o,则拒绝原 福设。w检验就是遵循这个思路构建的。严统计量是 W = g(6y var(g(6)g(6)T/ (q)从约束条件的角度 头样本时，W近似服从自由度为q的卡方分布。注意：W统计量只需要估计无约束模型。2014-6-40in（e）= 0讥（8）* ag（e）= de - ao +z ae -ainr（e）= g（e）= o4四、拉格朗日乘数(LM)检验彳拉格朗日乘数(LM)检验，亦称score检验。该检验只需估计约 #束模型，无需估计无约束模型。假设要在约束条件g(0) = o下极大化对数似然函数，令2表示 7二拉格朗日乘数向量，并定义拉格朗日函数|L_ln(O) = lnL(O)+kg(O)约束最大化问题就是求解方程组I dl约束成立，则加上它们不会造成对数似然函数极大值的显 差异。这意味着在一阶条件下，第二项应该很小，特别是 2应该很小？可以通过检验H。：2 = 06=00o即在约束估计值处对直接检验拉格朗日乘数向量比较困难，其等价而简单一些 歐的方法:对数似然函数的导数在约束估计值处有S)二如佝R 50“ .如果约束条件成立，则应有5(ej数似然的导数应该近似为0。马数似然的一阶导数向量是Scow向量。由于LM检验基于 该向量，因而也被称为Score检验，但大多数文献中还是称 芟为拉格朗日乘数检验。检验统计量是LM =51nL(0) K0 J-1In L(0)、ao丿&R丿二力彳Var(S(0) = I(0); V(0) = 1_1(0)实际应用中，LM统计量有一个很简单的公式LM =代I 其中是通过一个辅助回归计算得到的非中心可决系数R2 辅助回归：用元素均为1的列向量为因变量，对数似然函数在 雷;，约束估计值处的导数为自变量进行线性回归，得到的非中心 非中心疋的含义是，在计算总平方和TSS时，因变量不减去 棋均值，即tss=Z这种方法计算LM统计量非常容易，但对于小样本不可靠， E第一类错误的可能性很大。Davidson和MacKinnon(1983)提 匕了计算LM统计量的另一种方法，该方法克服了上述方法的 丧点，而保持了其计算简便的优点，尽管计算中需要执行他 门所称的双长度回归(double-length regression, DLR)o五、实践中三种检验法的选择问题V面临具有相同渐近性质的几种统计量时，通常根据其小 样本性质进行选择。由于这三个检验的小样本性质未知, 厂、所以实践中，通常都是根据计算的难易来选择。计算LR统计量，需要计算约束和无约束估计，如果二者都容易计算，则LR检验是二种检验中最具吸引力的. 计算W统计量只需要无约束估计。如果约束估计的计算比较困难，而无约束估计容易计算，则W统计量应成为 /首选。计算LM统计量只需约束估计。如果约束估计值的计算 比较容易，而无约束估计值的计算困难，则LM统计量 ）应成为最为可取。1在计算方面的考虑不是问题的情况下，应选择LR检验.第三节广义矩(GMM)估计 OLS法和ML估计法等方法都有本身的局限性。. OLS法必须在遵循经典假设的条件下才具有优良的性质， 生违背基本假设(异方差和序列相关)时,OLS估计不再是BLUEo b应用ML估计需要对随机误差项的分布做出某种假设。 亩广义矩估计(GMM)不需假定随机误差项的具体分布，且允 #随机误差项存在异方差和自相关。h OLS估计、ML估计和IV估计等都是GMM的特例。)当不存在异方差和自相关时，2SLS是一致、渐近正态、有 伶估计；若存在异方差或自相关，GMM是最有效的。2014-6-4一、矩估计法gi(“,“2,“i,q,q)=og2(“，“2，q，q)=o矩估计法（Method of Moments）是GMM法的基础，GMM是MM估 计的推广，类似于GLS和OLS的关系。（一）矩估计原理&（“2,，怂，q，q）=。=力 1（“1, &，怂）&2 力2（“1，“2，XA）Pk 九，“Qh总体的原点矩:“=E（X）； = 1,2,样本的原点矩：Sk=2球;力=1,2,总体分布的参数是总栋诂点矩的函数。:n大数定律：样本鸟阶原点矩收敛到其总体邮介原点矩（依概率） Slutsky定理：样本R阶原点矩的函数收敛到其总体阶原点 駆的相应函数。（依概率）一般地，总体的各阶原点矩都有其样本原点矩的对应物。很自然的想法：用样本原点矩作为总体原点矩的估计，从 而得劉怠体未知参数的估计！-矩估计矩条件Em（x，xz,0） = Oq=人(“1，)=%( ，$2， ，)/$ =他(几，仏，几)=/(Si，宀)/仇=hk (/i|，/，&Q =心(6，$2，心)例4.3XN(“&)，“&未知，X，X”是来自X的随机 样本，试用矩估计法求参数“。2的估计量。解：总体的1阶和2阶原点矩“ =E(X)= “；笑=E(X2) = Var(X) + E(X)f =cr2 + /21 1 样本一阶和二阶原点矩分别为：s严丄工X产乂，廿丄n z=in 辭矩估计：总体矩等于样本矩，&=； &2 =$2所以= =x/Ll=X* (二)OLS和ML估计与矩估计f经典线性回归模型OLS估计量的一个重要假设条件是：解 释变量与扰动项无关(解释变量外生)，即.E(xw) = Ex( y - x0) = 0总体C这组矩条件的样本对应物 n n1、工二工X0) = o 或XYY-X“)= 0 % /=in /=in/fe上述矩条件解得矩估计。人这些矩条件正好是OLS估计的正规方程，因此OLS估计是矩 八古计。极大似然估计是通过对数似然的导数等于0得到的。2 = 0-即物g；叮心化0aeao台 为矩条件J ain/UO) 1 = 0L 50样本对应物1总別叮(”8)“)諾溯 极大似然估计也是矩估计。二、广义矩法V在矩估计中，矩条件的个数恰好等于要估计参数的数目，即 方程个数等于未知参数的个数，所以存在未知参数的唯一解。嘗 如果矩条件的个数大于未知参数的个数，则不能解得唯一解, k 就引出了广义矩法(GMM)o、广义矩估计直接从模型所施加的矩条件来估计模型，这些矩 条件有时是线性的，但多数情况下是非线性的。GMM也可以看作是IV在非线性模型中的推广，以解决非线 性模型的内生性问题。矩条件的一般形式为：E/w（y，x, z, 0）=0加i（y, x, z, 0）其中 加(y,x,z, 0)=加2（”x，z, 0）加厶(y,x, z, 0)其中加表示有厶个元素的向量函数，g = （%, &Q未知参数； L, X, Z为模型中全部变量，如X为解释变量，z为工具变量. 矩条件的样本对应物g”三+/n（%,Xi，z“e）= O#好识别：矩条件的个数等卡枭知参数的个数（唯-解） ”度识别：矩条件的个数大于未知参数的个数LK （无唯一解） 9可识别：矩条件的个数小于未知参数的个数LK），则不能通过设定E加（” x, z, 0）=0的样本矩g”=0来确定参数e的估计。（没有唯一解）为了充分利用厶个矩条件的信息，有必要对可能的谢种不同 的估计进行加权平均。借助最优化的思想，选择使得样本 矩向量尽可能接近于o的&的作为其估计量。这就是广义矩 估计的思路。具体的做法：人将下面加权平方和（距离函数）作为目标函数，二#勒质e（0）=gz;（0）wx0）加权平方和/ 使得该目标函数达到最小的8的值，就得到GMM估计量./ 为任意的正定矩阵，称为权矩阵，假设plimW=W （已知）；权矩阵可能依赖于数据，但不是B的函数。权矩阵在某种意义上反映了诸矩条件在距离函数中所占的权 重（重要性）。矩条件个数大于参数个数情况下参数的估计问题化为如下的 最小化问题：minQ（B） = ming” （B）Wg”（。）2解此最优化问题，得到的估计量就是广义矩估计（GMM）o 一般情况下无法得到它的解析解，常采用数值解法求解得 到GMM估计量。年某些弱正则条件下，GMM估计量是一致、渐近正态估计 畫（可以证明）。不一定是方差最小的（有效的）。GMM的假设条件（正则条件）：略。w不同的权矩阵会得到不同的一致估计量，其渐近协方差矩阵 I不同。F OLS是GMM的特例;GLS和TSLS是其特例；ML也是GMM的 *特例。要想得到有效的GMM估计，即估计的协方差矩阵最小，必须 樋择合适的权矩阵，称与最小协方差矩阵对应的权矩阵为最优权矩阵，用W；表示；它是样本矩的协方差矩阵的逆矩阵:(Hansen, 1982)Vr=(Varg/;(O)-嘿最优权重矩阵一般依赖于未知参数B ,因此在没有得到参数估计量6以前，它只是理论上的一个最优权矩阵。r实际应用中为了得到最优权矩阵，采用两步估计法：”第一步：先选择一个与参数向量B无关的权矩阵，例如单位第二步：得到一致有效的（最优）GMM估计量GMM 其渐近分布：亦（6mm -e ）： n（o,V） 甲斤近协方差矩阵V = （DWD ）-1其中D是LxK导数矩阵：勿J矩阵，得到B的一个估计需,然后用6得到最优权矩阵的 、*.估计：WJ = （var g何。在Eviews中，可以使用White异昌(二)GMM法的优点与其它估计法相比，GMM法有下列几个显著的优点：(1) 它无需规定正态分布之类的有关分布的假设，GMM 估计量的一致性仅取决于矩条件的正确设定；L (2)它为很多类似估计量，如OLS、GLS、IV, ML等的 飞 分析提供了一个统一的、包容性的框架；寸(3)它为那些传统估计方法计算很困难特别是模型无法X 解析求解的情况提供了一种方便的方法；(4)它允许研究人员规定经济上有意义的一组矩，或是 /对经济或统计模型的误设定不灵敏的一组矩。2014-6-4I例4.4根据消费理论，消费具有惯性，即当期的消费不仅仅 与当期收入有关，而且与前期消费也有关系，因此可将消费 模型设定为：必=优+0/一+&內+咋 心198&,2007 其中X表示总消费(单位：亿元)，旺表示国内生产总值(单位： 亿元)。试用GMM法估计上述消费方程。军:(1)工具变量的选择选常数项、国内生产总值X及其一阶滞后兀政府消费gq 作为工具变量(2) 最优权矩阵的选择权矩阵的选择没有统一标准，可以根据不同的要求选择不 的权矩阵。本例选择Eviews默认的权矩阵(最优权重)。(3) GMM的估计结果为：=479759+0.17 + 0.65;/?2=0.99(0(2.51) (4.81)2014-6-4