第13章模型设定和诊断检验

1第十三章计量经济建模：模型设定和诊断检验2 经济学家多年来对“真理”的寻求曾给人一种观感：经济学家们就好像在一间黑房子里搜寻一直原本并不存在的黑猫；而计量经济学家还经常声称找到了一只。3 经典线性回归模型的假定之一（假定9）是，分析中所使用的模型被“正确地”设定；如果模型并未被明确设定，我们就遇到了这样的问题：模型设定误差模型设定误差（model specification error）或者模型设定偏误模型设定偏误（model specification bias）。4寻找正确的模型就像寻找圣杯一样。具体而言，我们需要考虑如下问题：l我们如何去寻找一个“正确”的模型？换言之，在经验分析中选择一个模型的准则有哪些？l在实践中，容易遇到哪些类型的模型设定误差？l设定误差的后果有哪些？l如何侦查设定误差？换言之，我们可以使用哪些诊断工具？l一旦侦查出设定误差，我们能采取哪些补救措施？l如何评价几个表现不相上下的备选模型？513.1 模型选择准则根据亨得利和理查德的观点，一个被选用于经验分析的模型应满足如下准则：l数据容纳性；即从模型做出的预测必须有逻辑上的可能性。l与理论一致；即必须有好的经济含义。l回归元的弱外生性；即解释变量或回归元必须与误差项不相关。6l表现出参数的不变性；即参数的值必须稳定，否则预测 就很困难。l表现出数据的协调性；即从模型中估计的残差必须完全随机（从技术上而言必须是白噪音）。l模型有一定的包容性；即模型应该包容或包括所有与之竞争的模型。713.2 设定误差的类型1、漏掉一个有关变量（、漏掉一个有关变量（1.Omitting A Relevant Variable）为了简明起见，令这个模型为：(13.2.1)其中，Yi=生产的总成本，Xi=产量。等式(13.2.1)是立方总成本函数。2312341iiiiiYXXXu8但是，假设出于某种原因，研究者决定使用以下模型：(13.2.2)由于(13.2.1)被认为是真实的，采用(13.2.2)就构成了一种设定误差，即漏掉了一个有关变量（Xi3）的误差。因此，(13.2.2)中的误差项u2i事实上是：21232iiiiYXXu3214iiiuuX9 2、包含了一个无需或无关的变量、包含了一个无需或无关的变量 （Including an unnecessary or irrelevant variable）假定另一个研究者使用了以下模型：(13.2.4)新的误差项是：(13.2.5)因为真模型中5=0234123453iiiiiiYXXXXu43151iiiiuuXu103、错误的函数形式（、错误的函数形式（Wrong functional form）再假定又一研究者拟定以下模型：(13.2.6)23i12i3i4i4ilnYXXXu114、测量偏误的误差（、测量偏误的误差（Errors of measurement bias）考虑有研究者使用如下模型：(13.2.7)其中，i和i均为测量误差。(13.2.7)所表明的是，研究者没有使用真正的Yi和Xi，却用了含有测量误差的替代变量Yi*和Xi*。*2*3*i12i3i4iiYXXXu*iiiYY*iiiXX125、对随机误差项、对随机误差项ui不正确的设定不正确的设定 （Specification errors to the stochastic error）如果真实的、正确的模型是：(13.2.8)并且lnui满足CLRM的假定 误设为：(13.2.9)iiiYX uiiiYXu1313.3 模型设定误差的后果1、模型拟合不足（漏掉一个相关变量）、模型拟合不足（漏掉一个相关变量）真实的模型：(13.3.1)但出于某种原因，我们拟合了如下模型：(13.3.2)后果将会如何？i122i33iiYXXui1122iiYbbX三变量回归模型的离差形式：(1)有：(2)(3)两边分别除以X2i2：(4)回到前面，有 （X3对X2回归）142233iiiiYXXuu22223232()iiiiiiiY XXX XXuu23332233()iiiiiiiY XXX XXuu233222biiiXXX232322222222()iiiiiiiiiY XX XXuuXXX2i1222YbiiXX15于是，等式(4)变换为：(5)分别取等式两边的期望值 (6)（其中，2和3都是常数，ui与X2i和X3i不相关）1223 32()E bb212233222()bbiiiXuuX16于是，漏掉变量X3的后果如下：1、如果X3与X2相关，r23 0，那么 和 是有偏误且非一致的。也就是说，2、如果X3与X2不相关，r23=0，那么 ，尽管 现在无偏，但 是无偏的。3、干扰的方差2将被不正确地估计。4、的方差()是真实估计量的方差的一个有偏误的估计值。5、通常的置信区间和假设检验程序容易给出错误的结论。6、所作出的预测不可靠。1b12b11E(b)1 22E(b)32b012b1b12b222 iX17 结论：一旦根据相关理论把模型建立起来，切忌从中再忽略掉一个变量。182、包含一个无关变量（模型拟合过度）、包含一个无关变量（模型拟合过度）现在让我们假定 (13.3.6)是真实模型，而我们拟合了一下模型：(13.3.7)122iiiYXu12233iiiiYXXv19我们知道：22332322222323()()()()2()yxxyxx xxxx x 2222 1 iiiy xx真实模型的离差形式为：20将(3)代入(2)：因此，仍是无偏的。我们发现：将(3)代入(5)：22223232222222323()()()()4()xxx xExxx x 23222332222323()()()()(5)()yxxyxx xxxx x 222 322 3232222232 3()()()()()0 6()x xxx xxExxx x 2x3在真实模型中不存在，它的系数为0。因此，这一设定误差(拟合过度)将导致如下后果：（1）所有参数的OLS估计量都是无偏且一致的，即，（2）误差方差2的估计是正确的。（3）通常的置信区间和假设检验仍然有效。21112233()()()0EEE22（4）但是，一般而言，诸 系数的估计值将不是有效的，也就是说，它们的方差一般都大于真实模型中 的方差。例如：22222222223var(),var()(1)iixxr而22232322 0r1,011var()var()r 一个无益的结论似乎是:与其忽略有关变量,不如含有无关变量。23但是，这种理论是不值得维护的，因为增加不必要的变量将导致：1、估计量的效率损失2、多重共线性问题3、自由度的损失 一般而言，最好的方法是，根据理论，仅仅包含那些直接影响因变量，而又不能由已被引进的其他变量来代替的解释变量。2413.4 设定误差的检验一、对过度拟合的侦察一、对过度拟合的侦察假设，为了解释某一现象，我们提出一个k变量模型：(13.4.1)若要判断变量Xk是否真的属于这个模型，一个简单的方法是用 t 检验：12233.iiikkiiYXXXu()kkts e25我们可以用F检验来判断X3和X4是否真的属于这个模型。034:0H问题：问题：1、能否反复使用 t 检验，首先是 的显著性，然后是 等等的显著性，最后是 的显著性？34k26 这种建模策略被称为自下而上的方法（bottom-up approach）（从一个较小的模型开始，然后逐渐扩大模型）或者多少带有轻薄口吻地称之为:数据开采（date mining）方法 回归捕捉（regression fishing）方法 数据窥探（data snooping）方法 数字斟酌（number crunching）方法。27 本专业的纯化论者很看不起数据开采的实践。谴责“数据开采”的原因之一如下：在数据开采情况下的名义的与真实的显著性水平是不在数据开采情况下的名义的与真实的显著性水平是不同的。同的。一种数据开采的危险是，诸如1%、5%、10%的常用的显著性水平并非是真实的显著性水平。28 洛弗尔（Lovell，1983）曾指出，如果有c个备用的回归元，根据数据开采的情况，从中最后选出k个（k c），则真实的显著性水平（*）和名义上的显著性水平（）有如下关系：(13.4.2)或近似地为 (13.4.3)例如，若 c=15，k=5，=5%，由(13.4.3)，真实的显著性水平为 (155)(5%)=15%29 在实践中，多数研究者都仅报告其“最终”回归结果，而不透露此前是如何通过大量数据开采或预检验而得到这些结果的详情。这与个人升迁有关！但是，在应用计量经济学家看来，纯粹主义者（即非数据开采者）的建模方法也存在问题。30 查曼（Zaman，1995）的观点：如果我们从一个更开阔的视角来看待数据开采，把它看成一种寻求经验规律的过程，并能从这些经验规律中判断现有理论模型中是否存在错误或纰漏，那么它将起到一个非常大的作用。肯尼迪（Kennedy，1992）认为，“应用计量经济学家的艺术在于，容许数据驱动理论进展而又不致陷入太大的数据开采的危险。”31 二、对遗漏变量和不正确函数形式的检验二、对遗漏变量和不正确函数形式的检验 1.残差分析 P518-519 和 figure 13.1 结论：如果有设定误差，残差图必定展现出明显的样式。32 2.再次使用德宾-沃森 d 统计量 德宾-沃森 d 统计量的定义：由于 和 只在一次观察中有区别，因而它们近似相等。因此：2tu21tu33由于若 =1，d=0，表明残差存在完全的正相关关系；若 =-1，d=4，残差存在完全负相关关系；若 =0，d=2，残差不存在一阶的自相关。如果真实的模型是：而拟合的模型是：或者则 d 值表明存在正向的自回归。参见P519 Table13.1的d 值3435 为了用德宾-沃森检验来侦察模型设定误差，我们以如下方式进行：（1）从假定的模型求得OLS残差。（2）如果认为假定的模型因排除了一个有关的解释变量，比如说Z而是误设的，则将第1步中所得的残差按Z值的递增次序排列。注意：Z变量可以是假定模型所含的X变量之一，或该变量的某一函数，如23XX 或 36（3）由这样排列的残差计算d统计量。注意：t 在这里是观测次数，并不一定指时间序列数据。（4）根据德宾-沃森表，如果估计的 d 值是显著的，就可接受模型误设的假设。问：如何补救？n2tt 1t 2n2tt 1(uu)d u373.拉姆齐的RESET检验 拉姆齐（Ramsey）曾指出一种称为RESET（regression specification error test）的一般性设定误差检验。答：增加解释变量。38 拉姆齐的RESET检验：我们仍然使用成本产出的例子，并假定成本是产出的线性函数：(13.4.6)其中，Y=总成本，X=产出123iiiYXu39 如果用此回归的残差 对 描图，就会得到一个如下所示的图形：3iuiY40 虽然 和 都是零，图中的残差仍表明其均值系统地随 而变化的模式。这提示我们，如果以某种形式将 当做回归元引入(13.4.6)，则应使 增大。而如果 的增大是统计上显著的，就表明线性成本函数(13.4.6)是误设的。iuiiuYiYiY2R2R41RESET的操作步骤如下：（1）从所选的模型，例如(13.4.6)得到 的估计值 。iYiY42 （2）将某种形式的 作为增补的回归元引入，重做(13.4.6)。由图13.2，我们观察到 与 之间存在曲线关系，表明可引进 和 作为增补的回归元。作回归：（3）记来自(13.4.7)的R2为 R2新，得自(13.4.6)的为R2旧，然后引入F检验：(8.5.18)iYi uiY231234(13.4.7)iiiiiYXYYu2iY3iY43（4）如果所计算的F值是显著的，就可接受模型(13.4.6)被误设的虚拟假设。即:H0：模型被误设 若 ，则接受H0 P522 例题 FF44 RESET的优点之一是，它不要求设定对立模型，故易于应用。但这同时也是它的缺点，因为即使知道了模型误设，也不一定有助于另外选出一个更好的模型。454.对于增补变量的拉格朗日乘数（LM）检验 为了说明此检验，我们继续应用前述的说明性例子。如果将线性成本函数(13.4.6)同立方成本函数(13.4.4)相比，前者就是后者的一个受约束形式。约束条件：340123(13.4.6)iiiYXu46LM检验进行如下：（1）用OLS法估计受约束回归(13.4.6)，并求得残差 。（2）如果无约束的回归(13.4.4)实际上是真实回归，则得自(13.4.6)的残差应与平方产出 和立方产出 有关。2iX3iXiu47（3）用 对全部回归元作回归：vi 是具有通常性质的一个误差项。（4）恩格尔曾证明，对于大样本，从（辅助）回归(13.4.11)估计出来的R2的n倍遵循自由度等于受约束回归中约束个数的 分布 231234iiiiiuXXX(13.4.11)222nR约束个数iu48（5）作出判断:P524 例22,nR拒绝受限回归；22 nR，不拒绝受限回归。49一、因变量一、因变量 Y 中的测量误差中的测量误差 考虑以下模型：(13.5.1)其中，Yi*=永久性消费支出 Xi=当前收入 ui=随机干扰项*iiiYXu13.5 测量误差50 可观测的变量 Yi i 表示测量误差 于是，我们估计的不是(13.5.1)，而是：(13.5.3)*(13.5.2)iiiYYiiiiYXuiiX51 其中，是一个合成误差项，包含着总体干扰项。为了简单起见，假定：iiivu()()0iiE uEcov(,)0iiX ucov(,)0iiXcov(,)0iiu52有了这些假设，我们可以证明：1、从(13.5.1)和(13.5.3)估计出来的 是一个无偏估计量。2、从(13.5.1)和(13.5.3)估计出来的 的方差和标准差是不同的。模型(13.5.1):(13.5.4)模型(13.5.3):(13.5.5)22var()uix22222var()vuiixx53二、解释变量二、解释变量 X 中的测量误差中的测量误差 考虑如下的模型：其中，Yi=当前消费支出 Xi*=永久性收入 ui=干扰项（方程误差）*(13.5.6)iiiYXu54 假设我们不能观测到 Xi*,于是便用 Xi 来代替 (13.5.7)wi 代表 Xi*中的测量误差，从而我们估计的不是(13.5.6)，而是：其中，是方程与测量两种误差的一个混合。*iiiXXw ()()(13.5.8)iiiiiiiiiYXwuXuwXziiizuw55为了简便，假定：iiE wE u0ijE w w0ijijcov w,w0 iiiE zE uw0合成误差项 zi 是否独立于解释变量 Xi？56答案：iE w0*iiE XX iiiiiicov z,XE zE zXE Xiii2i2wE uwwEw 13.5.957 因此，(13.5.8)中的解释变量与误差项是相关的，这违背了经典线性回归模型中的关键假定：解释变量与随机干扰项无关。如果这一假定被破坏，则可以证明，OLS估计量不仅是有偏误的而且是非一致的。其中，和 分别是 和 的方差，指 的概率极限。解释见 附录13 A.3*22w1Plim13.5.101/X2w*2Xiw*XPlim58什么是概率极限？例：是 的估计值，若：nlimP10 P 代表概率。上式表明，和 之差的绝对值小于任意小的正数 的概率趋向于1。在这里，是 的一个一致估计量。用公式表示：或者nPlimPlim59 根据(13.5.10)，我们可以假定，如果 2W 相对 2X 而言较小，我们可以使用通常的OLS估计。但是，在实际情形中，要观测到哪一个较大很困难。因此我们使用通常的OLS估计时要小心。Plim 补救方法：IV 或 PV代理变量 见第十七章6013.6 对随机误差项不正确的设定 真实的模型：回归模型：iiiYX u（13.2.8）iiiYXu(13.2.9)假定 满足新的OLS的假定。根据过原点的回归方程，的估计量为：iulnii2iXYX(1)61将Y替换为真实模型(13.2.8)中的Y，有：2iiiii22iiXX uX uXX(2)统计理论表明，如果 ，则有：2ilnu N(0,)有：,22iE ue22ivar(u)e(e1)例如，在 Black-Scholes 期权定价中，假设股票价格服从ui 对数正态ST log normallnST 62因此，2222ii1122nn22iiX uX uX uX uE()EEXX222221122nn2i2i22i2X EuX EuX EuXXXeeE(),是 的一个有偏估计量。6313.7 嵌套与非嵌套模型考虑以下模型：模型 A：模型 B：i122i33i44i55iiYXXXXui122i33iiYXXu我们说模型 B 被嵌套在模型 A 中，因为它是模型 A 的一个特殊情形：如果我们估计模型 A，然后检验假设：45064 我们前面讨论过的设定误差检验和第8章中讨论过的约束 F 检验在本质上都属于这种嵌套假设检验，只是我们没有这么称呼而已。现在，考虑以下的模型：模型 C：模型 D：比如财政变量比如金融变量65 其中，X 和 Z 各代表不同的变量。我们说模型 C 和 D 是非嵌套的，因为不能把一个作为另一个的特殊情形推导出来。模型 D 中可以包含 X3，模型 C 中可以包含 Z2。尽管如此，它们仍是非嵌套模型，因为模型 C 没有包含 Z3，模型 D 中没有包含 X2。66 即使进入模型的变量完全一样，函数形式不同也可能使两个模型称为非嵌套模型。考虑如下模型：模型 E：模型 D 和 E 是非嵌套的，因为不能把其中一个作为另外一个的特殊情形而推导出来。6713.8 非嵌套假设的检验非嵌套假设的检验 哈维（Harvey）将检验非嵌套假设的方法分成两种：（1）判别方法（discrimination approach）：给定两个或多个相竞争的模型，根据某些拟合优度准则选择其一。（2）辨识方法（discerning approach）：在考察一个模型时同时顾及其他模型所提供的信息。68 一、判别方法一、判别方法 就是使用：，赤池信息准则（Akaikes Information Criterion,AIC），施瓦茨信息准则（Schwarizs Information Criterion,SIC），或马娄斯的 准则(Mallowss Criterion)来选择模型。2RpCpC 二、辨识方法二、辨识方法 1.非嵌套 F 检验或包容 F 检验 考虑前面介绍的模型 C 和 D。如何在这两个模型之间进行选择呢？为此，假设我们估计如下的嵌套或混合模型：模型F：70 注意模型 F 嵌套或包含了模型 C 和 D。但 C 和 D 是非嵌套模型。现在，如果模型 C 是正确的，则 ，而如果模型 D 是正确的，则 。问：如何检验？答：F 检验。45023071 然而，这种检验程序却带来一些问题。（1）如果 X 与 Z 高度相关，则很可能一个或多个 系数在统计上不显著，尽管我们有可能拒绝所有斜率系数同时为零的假设。在这种情形中，我们无法决定到底是模型 C 还是模型 D 才是正确的。（2）可能出现矛盾的情况：选择模型 C 检验所有系数都是显著的 加入一个或两个 Z 变量 t 或 F 检验不显著 C正确 选择模型 D 检验 所有系数都显著 加入一个或两个 X 变量 t 或 F 检验 不显著 D正确72 因此，参考假设的选择能够决定模型选择的结果（类似于“先入为主”），特别是在相互争持的回归元中有多重共线性的情况下。（3）人为地嵌套模型可能缺乏经济意义。73 2.戴维森-麦金农 J 检验（Davidson-Mackinnon J Test）我们要比较模型 C 和 D，步骤如下：（1）估计模型 D，得到 Y 的估计值 。（2）将 作为回归元放进模型 C 中，得：DiYDiYDi122i33i4iiYXXYu(13.8.5)（3）用 t 检验对 进行检验。（4）如果 ，不被拒绝 H0，不拒绝模型 C 为真模型 因为 代表模型 C 所含变量以外的其它变量的影响。不显著，说明其它变量并没有增加模型C原有的解释。即：模型 D 不含有足以改进模型 C 的表现的任何额外信息，故模型 C 兼容了模型 D。类似地推理，如果虚拟假设被拒绝，则模型 C 就不是真模型。04:0H ttDiY475（5）把模型 C 和 D 的换位。先估计模型 C，并使用 ，估计如下模型：(13.8.6)现在假设检验 。如果 H0 不被拒绝，我们选择模型 D 而非 C。如果被拒绝，则模型 D 不是真模型。虽然在直观上比较可取，但 J 检验也存在一些问题:CiYCi122i33i4iiYZZYu04H:076（1）有下述可能的结果：假设：4=0 假设：4=0不拒绝拒绝不拒绝同时接受C和D接受D而拒绝C拒绝接受C而拒绝D同时拒绝C和D77 根据上表所示，如果 J 检验程序导致同时接受或同时拒绝两个模型，我们就得不到一个正确的答案。（2）t 统计量只是渐进地，即只在大样本中遵从标准正态分布。因此，在小样本中，J 检验会过多地拒绝真实假设或真实模型，因而不是（在统计意义上）很有功效的。7813.9 模型选择准则模型选择准则 一、R2 准则越接近1，拟合得越好。问题：1.它度量的是样本内拟合优度，即度量了给定样本中所估计的Y值与其实际值有多么接近。它不能保证对样本外观测也能很好地预测。2.在比较两个或多个 R2 时，因变量或回归子必须相同。3.模型中的变量越多，R2 越大。2ESSRSSR1TSSTSS 79二、校正 R2 准则从这个公式中可以看出，表明校正 R2 是如何对增加更多的回归元进行惩罚的。校正 R2 只有在所添加的变量的 t 值的绝对值大于1时才会增加。因此它比 R2 更好。但在比较时，回归子必须相同。22RSS/(n-k)n 1R11(1 R)TSS/(n-1)nk 22RR80三、三、赤池信息准则（赤池信息准则（AIC）由日本统计学教授 H.Akaike 从信息论出发提出的综合考虑模 型的拟合优度（适用性）和复杂程度的准则。在AIC准则中，对模型中增加回归元进行了惩罚。AIC 的定义为：2i2k/n2k/n uRSSAIC(13.9.3)nnee81其中 k 为回归元的个数（包括截距项），n 为观测次数。为了数学计算上方便起见，把(13.9.3)写成：其中，lnAIC为AIC的自然对数，2k/n为惩罚因子。2kRSSlnAIC=ln()(13.9.4)nn82 在比较两个或多个模型时，具有最低的AIC值的模型优先。AIC应用广泛。它不仅适用于样本内预测，还适用于预测一个回归模型在样本外的表现。此外，它对嵌套和非嵌套模型都适用，甚至还可以用于决定 AR(p)模型的滞后长度。83 直观含义：直观含义：代表了估计的模型与真实模型之间的差别。k 越大，模型越复杂，偏差就越小。同时，我们必须估计更多的变量，并且拥有一个更大的 。阶数k越小，模型越简化，待估参数越少，。但是，与真实模型之间的偏差越大。2kn越小RSSln()n2kn84 总之，当我们选择k，如分布滞后模型的滞后长度，我们应该权衡模型的拟合优度和复杂程度以最小化AIC。85其中，n 是滞后长度yi 服从正态条件分布：ei N(0,2)另一种解释另一种解释86最大似然函数 L 的对数形式的函数 l：01012201 11,ln,1ln2ln()(3)222ininninnil y a aaL y a aannyaa xa x 于是，我们有：87最大化(3)式意味着最小化下面的(4)式：201 11()(4)ninniSyaa xa x最小化(4)式 is OLS.最大化(3)式，就得到了a0,a1,an 和 2的最优估计值。我们也需要选择合适的2的LM估计值使得：88日本统计学教授 H.Akaike 在信息论的基础上发明了能够平衡模型适宜性和复杂性的AIC。AIC被用于决定一个模型的滞后长度。所以，2的LM估计量可以从(5)式推出：将(6)式代入(3)式：89第一部分代表了估计模型和真实模型之间的偏离度，滞后长度越大和复杂，偏离度就越小，要估计的参数就越大，第二部分也就越大。另一方面，当滞后长度较小时，模型简单，参数的个数少，第二部分也较小，但偏离度就更大。因此，当选择一个模型时，我们需要平衡其适宜度和复杂程度，即最小化AIC。k 是需要被估计的参数的个数。902 (13.9.5)k nk nuRSSSICnnnn或以对数形式表示为：lnlnln()(13.9.6)kRSSSICnnn 四、施瓦茨信息准则（Schwarizs Information Criterion,SIC）与AIC的思想类似，SIC准则定义为：其中，(k/n)ln n 是惩罚因子。91lSIC施加的惩罚比AIC更严厉。lSIC的值越低，模型越好。l与AIC相似，SIC可以用于比较一个模型在样本内或样本外的预测表现。这个准则是关于怎样选择回归元的个数的。假设有一个具有 k 个回归元的模型。和平常一样，令 为真实 2 的估计量。五、马娄斯的 Cp 准则93其中，n 是观测的次数。我们选择 p（p k）个回归元，令 RSSp表示残差平方和。马娄斯（C.P.Mallows）提出了如下准则，被称为 Cp 准则：(13.9.7)94 如果有 p 个回归元的模型拟合得足够充分，则可以证明：结果近似有：95 在根据 Cp 准则选择模型时，实质上是想找到一个 Cp 值很低的模型。换句话说，既节俭又拟合得相当好的模型。在实践中，人们通常将 Cp 对 p 进行描点，形成450线。距450线最近的模型是最好的模型。96 图13.3 分别描出了模型A与B的点（p，Cp）。显然，模型A更好。Figure 13.3本章结束，谢谢！本章结束，谢谢！