大似然估计与W、LR、LM三种检验(OVER).ppt

,极大似然估计与W,LR,LM检验,极大似然估计法我们从简单线性模型开始分析对于每一个都是服从均值为，方差为的正态分布，其概率密度函数可以表示为似然函数是密度函数在所有各观测处取值的乘积，在简单线性模型下表示为：,第一部分：极大似然估计,极大似然估计的目标是寻找最可能生成样本观测的参数的值。于是可以通过寻找使上述似然函数达到最大的参数值来实现。对似然函数求对得到对数似然函数：当对数似然函数达到最大时，似然函数也达到最大。将对数似然函数分别对三个未知参数求偏导，令它们等于零，并求解：,通过求偏导得到三个方程求解得出：可以看出，得到的结果与最小二乘法估计量完全一样，和是最优线性无偏估计量，但是，却是有偏估计量。因此需要调整分母为N-2,线性模型的ML估计的一般形式,假设一般模型为:其中服从正态分布且满足基本线性回归模型的所有其他假设条件。对于Y和相应的所有X的N个观测中的每一个观测，给定X和Y的密度函数为：N个观测的对数似然函数为：（所有求和都是对观测i=1,2,N进行）,同样的，将上式对每一个求偏导，令它们等于零并求解，可以得到关于p+1个未知数和p+1个非线性方程的联立方程组，如果这些方程是线性，求解每一个参数的极大似然估计就很容易，但是，如果方程不是线性的，求解过程就比较复杂，需要用到数值方法。,线性模型的ML估计量的导出（向量形式）,对线性模型：u的多元正态密度为则y关于x的多元条件密度为这里是由u中元素关于y中元素的偏导数组成的矩阵转换成行列式的绝对值。这里矩阵为恒等矩阵。因此，对数似然函数为：,未知参数向量有k+1个元素，即：取对数似然函数的偏导数，得：,令这些偏导数为零，则可以得到诸MLE为,最大似然估计量的性质,第二部分,最大似然估计量的主要性质是大样本性或渐近性。这些性质在一般条件下都成立：一致性（Consistency）渐近正态性(Asymptoticnormality)渐近有效性(Asymptoticefficiency)不变性(Invariance)得分的均值为零，方差为,最大似然估计量的性质,1.一致性（Consistency）,N（，）这表明的近似分布是正态的，其均值为，方差为矩阵的逆。是信息矩阵(informationmatrix)，可以用两种等价的方法来定义它,2.渐近正态性(Asymptoticnormality),a,实践中，计算第二个表达式通常要简单得多，当是一个k维向量时，表示k个偏导数组成的列向量，即这个得分（或斜率）向量中的每一个元素本身就是的函数，因此可以求它关于中每个元素的偏导数。,3.渐近有效性(Asymptoticefficiency),若是单一参数的最大似然估计量，那么前一个性质意味着对某一个有限常数有：如果表示的其它任何的一致、渐近正态估计量，那么是正态有限分布的，其方差大于或等于。MLE是所有一致、渐近正态估计量中方差最小的一个。,渐近方差（asymptoticvariance）指的是有限分布的方差。因而的渐近方差是。不过这个术语也可用来描述未知有限样本分布的渐近近似分布的方差。因此，与此相当的表述为渐近方差是/n。当是一个参数向量，是MLE时，对某一正定矩阵V,有若表示其它任何一致，渐近正态估计量的方差矩阵，那么-V是一个半正定矩阵,4.不变性(Invariance),如果是的MLE，g()是的连续函数，则g()是g()的MLE,5.得分的均值为零，方差为,为表明其均值为零，我们注意到，在y的所有可能取值范围内对联合密度积分得到的值为1，即等式两边关于求导，得,但是=0因此S的方差为,第三部分,W、LR、LM三种检验的基本思想,问题的一般性描述,对于多元回归模型的一般表达式：当回归系数存在线性约束时，如何检验？,设模型为：其中，。定理：的拒绝域为：其中：，同时也等价于。,三种检验的基本思想,在检验回归模型中某些参数是否存在约束时，通常采用三种等价的检验：似然比检验、沃尔德检验、拉格朗日乘数检验。下面分别对这三种检验的基本思想进行讨论。,设有模型：其中：是的向量；（高斯白噪声向量），是非奇异阵（只存在同期相关）。设，其中，或是的线性函数或是非线性函数，但要求是可微连续。在无约束条件下，对数似然函数记为，有约束条件下，对数似然函数记为。,沃尔德检验（WaldTest）,基本思路设成立，且为连续。若为无约束条件下的ML估计量，依据ML估计量的性质，有（或者）且：。又依据不变性，有：,因此，,一方面：故在成立时有：,（,其中：,成立）；,另一方面：由于为的一致性估计量，当成立时，应当在附近。这样，若的绝对值过大，则拒绝。沃尔德是通过来建立检验统计量的。,对于回归模型的参数约束而言，可以是线性约束也可以是非线性约束。设，采用ML估计，有：,则：故当成立时，有：,定理：Wald检验统计量的分布,Wald检验统计量为：其中，是无约束条件下的参数估计向量。在和大样本条件下，W遵从自由度等于约束个数的卡方分布。其中，约束个数是指约束方程的个数。,似然比检验,基本思想：设总体的密度函数（或分布列为，为未知参数，现考虑如下的检验问题：，（1）其中与是非空子集，且与不相交，下面为方便起见，讨论与之并为的情况。,设是来自的样本，记其似然函数为，与分别是的参数空间与上的极大似然估计，似然函数在与上的极大值分别记为与，即和，记其比值为：（2）,其中，是一个统计量，由于范围越大L的最大值不会减少，故总有，这意味着。由于似然函数可以看成是给定样本后，出现可能性的一种度量。因而，当为真时，应取较大的值；当不真时，应取值较小。故将（2）式作为检验问题（1）式的检验统计量时，拒绝域应取：其中c应满足如下条件，使，且尽可能接近。,设的密度函数为，为阶的未知参数向量，。分为三种情形讨论1，；2，；3，；,（1）简单假设情形：,，则有：当成立时，有：，且的拒绝域为：。,，其中：是的向量，与是一一对应，连续。由于为的极大似然估计，则：，可得：因此，。,（2）复合假设情形：,（3）一般情形,，则有检验统计量,拉格郎日乘数检验,LM检验法是从有限制条件模型限定的原假设出发,检验向备择假设方向的变化能否显著地提高有限制条件模型的解释能力。它以有条件极大化技术为基础，其中拉格郎日乘数是用来估计限制条件对参数极大似然估计的影响程度。目标：在限制条件等价于求极大。,基本思想由于在非限制条件下，满足即在处为0。若成立，则也在0附近。考虑到和均为的一致性估计、有约束条件下的对数似然函数为,因而，有,若成立，则；则可依据构造检验统计量，得到给定显著水平条件下的拒绝域。定理：,故有拉格朗日乘数检验：,注意：,简单形式：LM=N（r），其中r为限制条件个数，N为样本容量，,第四部分,Wald检验、似然比检验和拉格朗日乘数检验的比较,Wald检验最广义的形式与似然比检验和拉格朗日乘数检验都有很密切的关系，以为它也是以有条件参数估计与无条件参数估计之差为基础的。对于线性回归模型的特殊情形，Wald检验简化为F检验：其中是无条件模型的，是有条件模型的。在下面的更加特殊的情形，无条件模型是一元线性回归模型且q=1，Wald检验统计量更进一步,简化为W=在同样的情况下，拉格朗日乘数检验统计量为其中是由Y关于一个常数（Y的离差）和自变量X回归的残差回归计算得来的。最后，在这个简单情况下，似然比检验统计量为,以上三个检验统计量都是渐进等价的，即，如果样本容量可以无限制地增大的话，它们将得出同样的检验结果。一般来说，对于同样的样本，三个检验的确是不同的检验，可能会给出不同的、有时是相互矛盾的检验结果。（在误差项服从正态分布等对数似然函数为二次函数的情况下，这三个检验方法是等价的。）对于线性模型，如果对同样的样本，检验的统计量不同的话，Wald统计量总是最大的，而拉格朗日乘数检验统计量总是最小的。因此，只要拉格朗日乘数检验拒绝有条件模型成立的原假设，所有其他检验也都拒绝。,对于线性模型，Wald检验是最容易用的，因为有条件模型和无条件模型的估计都很容易。但是，对于更一般的模型，拉格朗日乘数检验法是一个不错的选择，因为这个检验只依赖于对有条件模型的估计，而且，因为它以有条件模型的残差为基础，因此可以用来作为检查模型对各种选择方案的刚性。拉格朗日乘数检验法可以被用来作为有关缺省变量的模型确认检验还可以用来作为异方差（如WHITE检验），联立方程偏误，或者非线性是否存在的检验方法。,谢谢!,