第六部分异方差与自相关讲解

七、 异方差与自相关一、背景我们讨论如果古典假定中的同方差和无自相关假定不能得到满足，会引起什 么样的估计问题呢？另一方面，如何发现问题，也就是发现和检验异方差以及自 相关的存在性也是一个重要的方面，这个部分就是就这个问题进行讨论。二、知识要点1、引起异方差的原因及其对参数估计的影响2、异方差的检验（发现异方差）3、异方差问题的解决办法4、引起自相关的原因及其对参数估计的影响5、自相关的检验（发现自相关）6、自相关问题的解决办法 （时间序列部分讲解）三、要点细纲1、引起异方差的原因及其对参数估计的影响 原因：引起异方差的众多原因中，我们讨论两个主要的原因，一是模型的设定偏 误，主要指的是遗漏变量的影响。这样，遗漏的变量就进入了模型的残差项中。 当省略的变量与回归方程中的变量有相关关系的时候，不仅会引起内生性问题， 还会引起异方差。二是截面数据中总体各单位的差异。 后果：异方差对参数估计的影响主要是对参数估计有效性的影响。在存在异方差 的情况下，OLS方法得到的参数估计仍然是无偏的，但是已经不具备最小方差 性质。一般而言，异方差会引起真实方差的低估，从而夸大参数估计的显著性， 即是参数估计的 t 统计量偏大，使得本应该被接受的原假设被错误的拒绝。2、异方差的检验（1）图示检验法由于异方差通常被认为是由于残差的大小随自变量的大小而变化，因此，可 以通过散点图的方式来简单的判断是否存在异方差。具体的做法是，以回归的残 差的平方e 2为纵坐标，回归式中的某个解释变量x为横坐标，画散点图。如果散 ii点图表现出一定的趋势，则可以判断存在异方差。（2）Goldfeld-Quandt 检验Goldfeld-Quandt 检验又称为样本分段法、集团法，由 Goldfeld 和 Quandt 1965 年提出。这种检验的思想是以引起异方差的解释变量的大小为顺序，去掉中间若 干个值，从而把整个样本分为两个子样本。用两个子样本分别进行回归，并计算 残差平方和。用两个残差平方和构造检验异方差的统计量。Goldfeld-Quandt检验有两个前提条件，一是该检验只应用于大样本（n30）, 并且要求满足条件：观测值的数目至少是参数的二倍； 二是除了同方差假定不 成立以外，要求其他假设都成立，随机项没有自相关并且服从正态分布。Goldfeld-Quandt检验假设检验设定为：H0:具有同方差，H：具有递增型异方差。 具体实施步骤为： 将观测值按照解释变量 x 的大小顺序排列。 将排在中间部分的c个（约n/4）观测值删去，再将剩余的观测值分成两个部 分，每个部分的个数分别为 n1、n2。 分别对上述两个部分的观测值进行回归，得到两个部分的回归残差平方和。 构造F统计量F =咯/（广k），其中k为模型中被估参数个数。在H0成立e e / （n 一 k）1 1 1条件下，FF（n - k, n - k）2 1 判别规则如下，若F Fa（n2 - k, n1 - k）,拒绝H0 （递增型异方差） 当摸型含有多个解释变量时，应以每一个解释变量为基准检验异方差。 此法只适用于递增型异方差。0501002003 -2 - 、-* _1 - .亠 * JT * f 誣 J.0 片 _,r-050100(3 ) Breusch - Pagan/Godfrey LM 检验该方法的基本思想是构造残差平方序列与解释变量之间的辅助函数，得到回归平 方和ESS,从而判断异方差性存在的显著性。该检验假设异方差的形式为： 22f(a +a坛)其中z是解释变量构成的向量，当a二0时，模型是同方差的。i0ii具体设模型为：Y = B+BX +P X + +P X + ui 12 i 23 i 3k ik ivar(u ) = 2 = a+aZ +aZ +aZ + vii01 i12 i 2p ip iZ , Z ,Z表示是某个解释变量或全部。12p同样，该检验也可以通过一个简单的回归来实现。提出原假设为 H :a = a = - = a = 0 为 012p具体步骤如下： 构造变量:用OLS方法估计方程中的未知参数，得(ee; n) e = Y-0 -0 X 0 Xi i 12 i2k ik入_ E e和a2 _ (n为样本容量) 以斗 为被解释变量，z为解释变量进行回归，并计算回归平方和ESS。(ee/n)i构造辅助回归函数e2i _a +aZ +aZ + +aZ + vQ 20 1 i1 2 i 2pip i 构造LM统计量为：LM= -ESS2 ESS当有同方差性，且n无限增大时有一亍咒2ESS2p 对于给定显著性水平1，如果ESS x 2( p)，则拒绝原假设，表明模型中存在2 a异方差。为了计算的简便， LM 统计量的构造也可以采取如下形式LM _ 2gZ(ZZ)-iZg其中，Z是关于(1,z )的nxP观测值矩阵，g是观测值g _ 乌 -1排成的列向 ii (ee/ n)量。由于上述统计量的构造过分依赖于残差的正态性假定，因此， Koenker 和Bassett 对该统计量进行了修正，令e2 (ee/n)u _ (ee./n)V _1Eni_1则 LM _(u- u)Z(Z Z)-1Z(u -U)(4) White 检验White 检验由 H. White 1980 年提出。和 Goldfeld-Quandt 检验相比， White 检验不需要对观测值排序，也不依赖于随机误差项服从正态分布，它是通过一个 辅助回归式构造x2统计量进行异方差检验。White检验的提出避免了 Breusch-Pagan 检验一定要已知随机误差的方差产生的原因且要求随机误差服从 正态分布。White检验与Breusch-Pagan检验很相似，但它不需要关于异方差的 任何先验知识，只要求在大样本的情况下。White 的检验的思想直接来源于其异方差一致估计。当存在异方差时，传 统的方差估计式Var(b I X)二b 2(XX)-1不再是估计量方差的一致估计，而应该使 用White 一致性估计：(XrX)-iC n e2x x )(XrX)-i。通过检验b 2(XX)-1是不是参 i=1 i i i数估计方差的一致估计，可以检验是否存在异方差。在实际的应用过程中，可以 通过回归的步骤来简单的实现上述思想。以二元回归模型yt =卩0+卩1兀订+卩2 xi2 + ui 为例， White 检验的具体步骤如下： 首先对上式进行OLS回归，求残差平方e2。i 做如下辅助回归式，22e2= a0 +a1 XI +a2 xi2 + a3 xi1 +a4 xi2 + a5 W1 xi2 + vii即用残差平方e2对原回归式中的各解释变量、解释变量的平方项、交叉乘积项进i行 OLS 回归。注意，上式中要保留常数项。求辅助回归式的可决系数 R2。 White检验的原假设和备择假设是H0： ui 不存在异方差， H1： ui 存在异方差 利用回归得到的R2，计算统计量nR2。在同方差假设条件下，统计量nR 2 7 2(5)其中n表示样本容量，R2是辅助回归式的OLS估计的可决系数。自由度5表示 辅助回归式中解释变量项数(注意，不计算常数项)。n R 2属于LM统计量。统 计量nR2渐进服从自由度为k -1的卡方分布，其中k是辅助回归中参数的个数(包 括常数项)。 判别规则是若n R 2 X2a (5),拒绝Ho(ui具有异方差)(5) ARCH 检验自回归条件异方差(ARCH )检验主要用于检验时间序列中存在的异方差。ARCH 检验的思想是，在时间序列数据中，可认为存在的异方差性为 ARCH 过 程，并通过检验这一过程是否成立来判断时间序列是否存在异方差。ARCH 过程可以表述为：Q 2 = a2+2 + Vt0 1 t-1p t - p t其中p是ARCH过程的阶数，并且a 0，a 0,(i = 1,2,p) ； v为随机误差。0itARCH 检验的基本步骤如下： 提出假设：H :a =a =.a = 0; H :a (j = 1,2,p)中至少一个不为零。012p1 j 对原模型做OLS估计，求出残差e，并计算残差平方序列e2(t = 1,2,T)，分tt别作为对& 2的估计。t 作辅助回归e2 = a + a e2 + +a e2t0 1 t-1p t 一 p并计算上式的可决系数R2，可以证明，在原假设成立的情况下，基于大样本，有(T - p) R 2近似服从自由度为p的卡方分布。如果(T - p) R 2 z 2( p)，则拒绝 a原假设，表明原模型的误差项存在异方差。( 6) Park 检验法xPark 检验法就是将残差图法公式化，提出 & i2 是解释变量 i 的某个函数， 然后通过检验这个函数形式是否显著，来判定是否具有异方差性及其异方差性的 函数结构。( 7) Glejser 检验法这种方法类似于 Park 检验。首先从 OLS 回归取得残差 e 之后，用 e 的 ii 绝对值对被认为与方差密切相关的 X 变量作回归。3、异方差的解决办法 (详细见板书)对异方差的传统解决办法是通过加权最小二乘 WLS 将残差向同方差转换一般认为，异方差的产生是由于残差项中包含了解释变量的相关信息，也就是说可以将残差项e表达成解释变量x的函数：e = g (x)其中x是lxk的向量，g()可以是关于x的线性函数，也可以是非线性的。如果 知道g(x)的函数形式，那么可以通过加权最小二乘的方法对模型进行修正，在 不存在自相关的假定下，在回归方程y = f(x) + 两边同乘以 扎而可以对残 差进行修正，从而消除残差的异方差性使得OLS估计量仍然具有有效性。但是, 这样的方法却有两个方面的问题一一首先，是g()的形式难以确定(为了简便， 我们往往假设g()是关于x的线性函数，但实际上真实的函数形式很可能是非线 性的)，从而相应的WLS的权重设定也就往往是不正确的了；其次，即使知道g(x) 的真实函数形式，通过加权得出的参数估计也已经不是原来的关注参数了；最后， 在强外生性条件E(e I x) = 0不满足的条件下，WLS估计量也往往是不一致的。 因此，从现代的观点来看，从模型设定的角度对异方差进行修正才是可行的方法。4、引起自相关的原因及其对参数估计的影响引起自相关的原因主要可以归纳为三点： 经济数据的固有的惯性(inertia )带来的相关，比如经济系统自身的惯性，经 济活动的滞后效应。这主要出现在时间序列数据当中，经济变量在时间上的惯性 往往是造成自相关的主要原因。滞后效应指的是某一经济变量对另一经济变量的 影响不仅影响于当期，而是延续若干期，由此带来变量的自相关。 模型的设定误差，主要仍然是遗漏变量的影响，将遗漏的变量归入了残差项， 由于遗漏的变量在不同时间点上是相关的，这就造成了残差项的自相关。 对数据的处理造成了数据的内在联系，从而引起自相关现象。自相关对参数估计的影响仍然是影响参数估计的有效性，自相关的存在使得 OLS 得到的参数估计不再具有最小方差性质。一般而言，在存在自相关的情况 下，如果仍然用满足古典假定的OLS去估计参数及其方差，会低估真实的a 2， 更会低估参数估计的方差，从而是t统计量被高估，致使原来不显著的解释变量 变得显著，夸大的参数的显著水平。5、自相关的检验(1 )图示检验图示检验是一种直观的检验自相关的方法。与上述检验异方差的方法略有不 同的是，该方法是通过做残差的当期值与其滞后期的值的散点图来判断是否存在 自相关。具体做法是，以OLS回归的残差当期值为纵坐标，以其滞后值为横坐 标(可以是滞后一期，也可以是滞后一期以上)画散点图。如果该图形有明显的 趋势，则可以认为残差存在自相关。Utf CtUtj CtUt，lCt-lUi(2 )相关系数检验法相关系数的方法是检验自相关的一个简单方法。其基本思想就是通过计算 OLS回归得到的残差之间的一阶自相关系数，来确认是否存在自相关的现象。 具体表示如下：e = y - xbtt t做辅助回归e = re + vtt 1t显然，r是对相关系数的一个估计。但是这个方法的问题是：没有一个确定的标 准来判断究竟多大的相关悉数才能认为存在自相关。(3 ) Breusch - Godfrey LM 检验BreuschGodfrey LM 检验的原假设是不存在自相关，备择假设是存在自相关 H : 8 = AR (p)。基本步骤如下： 提出假设：H : p =p =.p = 0; H : p (j = 1,2,p)中至少一个不为零。 012p1 j其中 p 是阶数。对原模型做OLS估计，求出残差e (t = 1,2,T)。 作辅助回归e =p+p e +p e + vt01 t-1p t - pt并得到上面回归的可决系数R2，可以证明，在原假设成立的情况下，基于大样 本，有(T - p) R 2近似服从自由度为p的卡方分布。拒绝原假设，则表明原模型 的误差项存在自相关。(4)PierceBox 检验和 Ljung-Box 检验Q 统计量最早由 Box 和 Pierce 于 1970 年提出，其计算表达式为：Q = T 兰 r 2j=it t - j其中，r=j 。Q统计量服从自由度为P的卡方分布。为了使该统计量具有更加优良的小样本性质， Ljung 和 Box 于 1979 年对其进行了改进。改进后的统计量其表达形式为：j=1（5）DurbinWatson 检验DW 统计量是用 OLS 回归的残差来构造检验自相关的统计量的。可以表述如下：=2(1 r)e 2 + e 2t=1无(e - e )2tt1tt=1d = -t=2其中，r是一阶自相关系数。当样本量很大的时候，上式中的第二项可以忽略,此时统计量变成d沁2（1 r）。DW检验有两个临界值d和d （d d ），当统计 U L U L量的值落在两个临界值中间时，接受原假设，认为不存在自相关。当统计量的值临界值大于 d 或者小于 d 时，均认为存在自相关。UL使用 DW 统计量对自相关进行检验需要注意该统计量的使用条件。一是该 统计量只能检验一阶自相关，不能检验高阶的自相关；二是该检验要求回归式中 不能包含有解释变量的滞后值，否则计算得到的统计量总是倾向于得出没有自相 关的结论。（6）Durbin H 检验Durbin H检验克服了 DW检验要求回归式中不含有被解释变量的滞后项的 缺点，其构造的统计量可以表示如下：h = ；T. （1 Ts2）c其中s2是OLS回归中y回归系数的方差。h的值越大，越倾向于拒绝原假 ct 1设，即认为存在自相关。当s2 1T时，该统计量无法计算，此时可以使用辅助 回归的做法进行检验。具体步骤如下： e对x ,y，e进行回归，解释变量可以包括e更多的滞后期值。tt t1t1t 利用 F 检验检验该回归方程的显著性。 若F统计量显著，则认为存在自相关。四、思考题 1、由最小二乘回归得到如下回归结果：y = 1.3 + 0.97y + 2.31x , DW = 1.21tt 1t（0.3）（0.18）（1.04）检验残差序列是否存在自相关。2、阐述异方差检验的 White 检验和 GoldfeldQuandt 检验的思想和具体操作。小结：Goldfeld-Quandt 方法检验异方差性的基本思路。RSS /(n - k)若已知：前一段回归得到RSS，后一段回归得到的RSS , F = 十 )。它服从自12RSS . (n - k 丿由度为(n -k,n -k)的F分布，若大于临界值，拒绝原假设，认为模型存在异方差。21