第2章--一般回归估计方法分析课件

1第二章 一般回归方法 在在所所有有经经典典假假设设成成立立的的前前提提下下，利利用用普普通通最最小小二二乘乘法法估估计计结结果果具具有有优优良良的的线线性性无无偏偏最最小小方方差差的的性性质质。然然而而，当当经经典典的的假假设设不不成成立立时时，普普通通最最小小二二乘乘法法估估计计将将得得不不到到良良好好的的估估计计结结果果，本本章章将将介介绍绍常常见见的的在在不不符符合合经经典典假假设设情情况况时时的的计计量量经经济模型估计方法。济模型估计方法。1第二章 一般回归方法 在所有经典假设成立的前2本章知识框架 2本章知识框架 2 2 2 2.1 1 1 1 加加加加权权权权最最最最小小小小二二二二乘乘乘乘估估估估计计计计 2 2 2 2.2 2 2 2 两两两两阶阶阶阶段段段段最最最最小小小小二二二二乘乘乘乘法法法法 2 2 2 2.3 3 3 3 逐逐逐逐步步步步筛筛筛筛选选选选最最最最小小小小二二二二乘乘乘乘估估估估计计计计 2 2 2 2.4 4 4 4 广广广广义义义义最最最最小小小小二二二二乘乘乘乘法法法法 2 2 2 2.5 5 5 5 对对对对数数数数极极极极大大大大似似似似然然然然估估估估计计计计法法法法 2 2 2 2.6 6 6 6 广广广广义义义义矩矩矩矩方方方方法法法法（G G G GM M M MM M M M）2 2 2 2.7 7 7 7 贝贝贝贝叶叶叶叶斯斯斯斯估估估估计计计计3本章主要内容 2.1 加权最小二乘估计 3本章主要内容 4 线性回归模型的基本假设线性回归模型的基本假设线性回归模型的基本假设线性回归模型的基本假设 i=1,2,N 在在普普通通最最小小二二乘乘法法中中，为为保保证证参参数数估估计计量量具具有有良良好好的的性性质质，通常对模型提出若干基本假设：通常对模型提出若干基本假设：1解释变量之间互不相关；解释变量之间互不相关；2随机误差项具有随机误差项具有0均值和同方差。即均值和同方差。即 i=1,2,N 即随机误差项的方差是与观测时点即随机误差项的方差是与观测时点 i 无关的常数；无关的常数；3不同时点的随机误差项互不相关（序列不相关），即不同时点的随机误差项互不相关（序列不相关），即 s 0,i=1,2,N 4 线性回归模型的基本假设 i=1,2,5 当随机误差项满足假定当随机误差项满足假定1 4时，将回归模型时，将回归模型”称为称为“标准回归模型标准回归模型”，当随机误差项满足假定，当随机误差项满足假定1 5时，将回归时，将回归模型称为模型称为“标准正态回归模型标准正态回归模型”。如果实际模型满足不了。如果实际模型满足不了这些假定，普通最小二乘法就不再适用，而要发展其他方这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。法来估计模型。5随机误差项服从随机误差项服从0均值、同方差的正态分布。即均值、同方差的正态分布。即 i=1,2,N 4随机误差项与解释变量之间互不相关。即随机误差项与解释变量之间互不相关。即 j=1,2,k,i=1,2,N 5 当随机误差项满足假定1 4时，将回归模型”称2 2.1 1 异异方方差差性性：加加权权最最小小二二乘乘估估计计62.1 异方差性：加权最小二乘估计671定义定义 古古典典线线性性回回归归模模型型的的一一个个重重要要假假设设是是总总体体回回归归方方程程的的随随机机扰扰动动项项 ui 同同方方差差，即即他他们们具具有有相相同同的的方方差差 2。如如果果随随机机扰扰动动项项的的方方差差随随观观测测值值不不同同而而异异，即即ui 的的方方差差为为 i2，就就是是异异方方差差。用用符号表示异方差为符号表示异方差为E(ui2)=i2。2222.1.1 .1.1 异方差概述异方差概述异方差概述异方差概述 71定义 2.1.1 异方差概述 8 异异方方差差性性在在许许多多应应用用中中都都存存在在，但但主主要要出出现现在在截截面面数数据据分分析析中中。例例如如我我们们例例如如我我们们调调查查城城镇镇居居民民家家庭庭人人均均文文教教娱娱乐乐支支出出（Cum）和和城城镇镇家家庭庭人人均均可可支支配配收收入入（In）之之间间的的关关系系，建建立如下模型：立如下模型：我我们们将将发发现现高高收收入入家家庭庭人人均均文文教教娱娱乐乐支支出出往往往往会会有有更更大大的的方方差差。这这是是因因为为低低收收入入家家庭庭，其其收收入入扣扣除除必必要要生生活活支支出出外外，用用于于其其他他支支出出的的数数额额较较少少，因因而而其其波波动动性性也也就就小小。而而高高收收入入家家庭庭在在扣扣除除了了必必要要的的生生活活支支出出外外，还还可可以以有有很很大大一一部部分分用用于于其其他他方方面的消费，因而其有比较大的波动性。面的消费，因而其有比较大的波动性。8 异方差性在许多应用中都存在，但主要出现在截面数据2成因成因 （1）模型中遗漏了某些解释变量）模型中遗漏了某些解释变量 模模型型中中被被省省略略的的解解释释变变量量会会随随着着样样本本的的变变化化而而变变化化，具具有有差差异异性性，当当其其被被归归并并到到随随机机项项中中时时，随随机机项项将将会会有有异异方方差的性质差的性质 （2）变量样本数据的观测误差）变量样本数据的观测误差 一一方方面面，当当解解释释变变量量取取值值越越大大时时，测测量量误误差差就就会会变变大大；另一方面测量误差也跟测量技术，时间等有关另一方面测量误差也跟测量技术，时间等有关92成因9 （3）截面数据中个样本的差异截面数据中个样本的差异 一一般般而而言言，异异方方差差在在截截面面数数据据中中比比在在时时间间序序列列中中更更容容易易出出现现，因因为为在在同同一一时时刻刻，不不同同样样本本之之间间的的差差异异往往往往会会比比同一样本在不同时刻的差异要大同一样本在不同时刻的差异要大 （4）模型形式设定有误）模型形式设定有误 函函数数设设定定有有误误时时，解解释释变变量量不不能能很很好好地地解解释释被被解解释释变变量，随机误差项也不具有同方差的性质量，随机误差项也不具有同方差的性质10 （3）截面数据中个样本的差异103.异方差后果异方差后果（1）最小二乘估计量仍然是线性无偏的，但是却不再具最小二乘估计量仍然是线性无偏的，但是却不再具有最小方差，即不是最为有效的估计量，即使对大样本也有最小方差，即不是最为有效的估计量，即使对大样本也是如此是如此（2）参数的显著性检验和置信区间的建立会存在问题）参数的显著性检验和置信区间的建立会存在问题（3）虽虽然然最最小小二二乘乘法法参参数数的的估估计计量量是是无无偏偏的的，但但是是这这些些参数方差的估计量有偏参数方差的估计量有偏（4）预测（预测值和区间估计）的精确度降低）预测（预测值和区间估计）的精确度降低 113.异方差后果112.1.2 2.1.2 异方差检验异方差检验1.图示检验法图示检验法2.White异方差检验异方差检验辅助辅助回归检验法回归检验法 122.1.2 异方差检验图示检验法1213 1.1.图示检验法图示检验法图示检验法图示检验法 (1)(1)用用用用X-YX-Y的散点图进行判断的散点图进行判断的散点图进行判断的散点图进行判断 观察是否存在明显的散点扩大、缩小或复杂型趋势（即观察是否存在明显的散点扩大、缩小或复杂型趋势（即不在一个固定的带型域中）不在一个固定的带型域中）1314 （2 2）X-X-i i2 2的散点图进行判断的散点图进行判断的散点图进行判断的散点图进行判断 首先采用首先采用OLS方法估计模型，以求得随机误差项方法估计模型，以求得随机误差项u的方差的方差 i2的的估计量估计量(注意，该估计量是不严格的注意，该估计量是不严格的)，我们称之为，我们称之为“近似估计近似估计量量”，用，用 ei2 表示。于是有表示。于是有(4.1.5)即用即用 ei2 来表示随机误差项的方差。用来表示随机误差项的方差。用 解释变量解释变量x 和和 ei2的散点图的散点图进行进行观察是否随着观察是否随着x增加，出现方差的逐渐增加、下降或者不规增加，出现方差的逐渐增加、下降或者不规则变化。则变化。14 （2）X-i2的散点图进行判断 151516 2.White 2.White异方差性检验异方差性检验异方差性检验异方差性检验 辅辅助助回回归归法法有有多多种种检检验验方方法法，包包括括BPG异异方方差差检检验验、Harvey异异方方差差检检验验、Glejser异异方方差差检检验验、White检检验验等等方方法法，其其中中最最为为常常用用的的是是White检检验验，几几种种方方法法在在EViews中中的的操操作作方方法法类类似似。受受篇篇幅幅限限制制，这这里里只只介介绍绍White异方差检验方法。异方差检验方法。White(1980)提提出出了了对对最最小小二二乘乘回回归归中中残残差差的的异异方方差差性性的的检检验验。包包括括有有交交叉叉项项和和无无交交叉叉项项两两种种检检验验。普普通通最最小小二二乘乘估估计计虽虽然然在在存存在在异异方方差差性性时时是是一一致致的的，但但是是通通常常计计算算的的标标准准差差不不再再有有效效。如如果果发发现现存存在在异异方方差差性性，利利用加权最小二乘法可以获得更有效的估计。用加权最小二乘法可以获得更有效的估计。16 2.White异方差性检验17 检验统计量是通过利用解释变量所有可能的交叉乘积对残检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如：假设估计如下方程差进行回归来计算的。例如：假设估计如下方程(2.1.4)式中式中b是估计系数，是估计系数，i 是残差。检验统计量基于是残差。检验统计量基于辅助回归辅助回归：(2.1.5)EViews显显示示两两个个检检验验统统计计量量：F统统计计量量和和 Obs*R2 统统计计量量。WhiteWhite检检检检验验验验的的的的原原原原假假假假设设设设：不不不不存存存存在在在在异异异异方方方方差差差差性性性性（也也就就是是，式式（2.1.5）中除中除 0以外的所有系数都为以外的所有系数都为0成立）成立）。17 检验统计量是通过利用解释变量所有可能的18 White证明出：证明出：（2.1.6）其其中中：N是是样样本本容容量量，k为为自自由由度度，等等于于式式（2.1.5）中中解解释释变变量量个个数数（不不包包含含截截距距项项）。如如果果计计算算的的 2值值大大于于给给定定显显著著性性水水平平对对应应的的临临界界值值，则则可可以以拒拒绝绝原原假假设设，得得出出存存在在异异方方差差的的结结论论。也也就就是是说说，回回归归方方程程（2.1.5）的的R2越越大大，说说明明残残差差平平方方受受到到解解释变量影响越显著，也就越倾向于认为存在异方差。释变量影响越显著，也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多，那么辅助回归中将包如果原模型中包含的解释变量较多，那么辅助回归中将包含太多的变量，这会迅速降低自由度。因此，在引入变量太多含太多的变量，这会迅速降低自由度。因此，在引入变量太多时，必须谨慎一些。时，必须谨慎一些。White检验的另外一种形式，就是辅助回检验的另外一种形式，就是辅助回归中不包含交叉项。归中不包含交叉项。因此因此White检验有两个选项：交叉项和无检验有两个选项：交叉项和无交叉项。交叉项。18 White证明出：19表表表表2.2.2.2.1 1 中国中国中国中国2012201220122012年城镇居民家庭人均文教娱乐服务消费支出年城镇居民家庭人均文教娱乐服务消费支出年城镇居民家庭人均文教娱乐服务消费支出年城镇居民家庭人均文教娱乐服务消费支出(cum)(cum)(cum)(cum)与城镇家庭人均与城镇家庭人均与城镇家庭人均与城镇家庭人均可支配收入（可支配收入（可支配收入（可支配收入（InInInIn）数据来源：中国统计局数据来源：中国统计局数据来源：中国统计局数据来源：中国统计局 19表2.1 中国2012年城镇居民家庭人均文教娱乐服务消费20 例例例例2 2.1.1：利利用用表表2.1的的数数据据，建建立立2012年年城城镇镇居居民民家家庭庭人人均均文文教教娱娱乐乐服服务务消消费费支支出出(cum)与与城城镇镇家家庭庭人人均均可可支支配配收收入入（In）的的回回归模型，样本数为归模型，样本数为31，建立的回归方程为：，建立的回归方程为：cumi=0+1ini+ui 利用普通最小二乘法，得到如下回归模型利用普通最小二乘法，得到如下回归模型：用用White检验方法对（检验方法对（2.1.7）的回归残差进行异方差检验，）的回归残差进行异方差检验，建立的辅助回归方程为：建立的辅助回归方程为：在在Eview上选择上选择White，则得到的检验结果为，则得到的检验结果为:20 例2.1：利用表2.1的数据，建立2021 表表2.2 White检验结果检验结果 该结果该结果F 统计量和统计量和 Obs*R2 统计量的统计量的P值均很大，表明值均很大，表明不拒绝原假设，即残差不存在异方差性。不拒绝原假设，即残差不存在异方差性。21 表2.2 White检验结果 22 异方差的存在并不破坏普通最小二乘法的无偏性，但异方差的存在并不破坏普通最小二乘法的无偏性，但是是估计量却不是有效的，估计量却不是有效的，即使对大样本也是如此，因为缺乏即使对大样本也是如此，因为缺乏有效性，所以有效性，所以通常的假设检验值不可靠。通常的假设检验值不可靠。因此怀疑存在异方因此怀疑存在异方差或者已经检测到异方差的存在，则采取补救措施就很重要。差或者已经检测到异方差的存在，则采取补救措施就很重要。就选用估计方法来讲，可以采用加权最小二乘法（就选用估计方法来讲，可以采用加权最小二乘法（Weighted Least Squared,WLS）估计获得有效估计量。）估计获得有效估计量。加权最小二乘法的原理是将权重序列分别于每个变量的观加权最小二乘法的原理是将权重序列分别于每个变量的观测值相乘，从而得到一个具有同方差的新模型，然后再对该测值相乘，从而得到一个具有同方差的新模型，然后再对该新模型进行新模型进行OLS估计。估计。22 异方差的存在并不破坏普通最小二乘法的无偏性，但232222.1.3 .1.3 加权最小二乘估计加权最小二乘估计加权最小二乘估计加权最小二乘估计WLSWLS 1 1方差已知的情形方差已知的情形方差已知的情形方差已知的情形 考虑一个一元回归线性方程：考虑一个一元回归线性方程：（2.1.9）假设已知随机误差项的真实的方差，假设已知随机误差项的真实的方差，var(ui)=i2，则令，则令 ,将模型两端同乘将模型两端同乘wi，变换为变换为 （2.1.10）令令ui*=wiui，则则 （2.1.11）232.1.3 加权最小二乘估计WLS24 因因此此，变变换换后后的的模模型型（2.1.10）不不再再存存在在异异方方差差的的问问题，可以用题，可以用OLS估计。加权最小化残差平方和为：估计。加权最小化残差平方和为：（2.1.11）由此获得的估计量就是权重序列为由此获得的估计量就是权重序列为 wi的加权最小二乘估的加权最小二乘估计量。计量。2425 考虑多元线性回归模型的矩阵形式考虑多元线性回归模型的矩阵形式：其中其中 是（是（k+1）1维向量，维向量，y 和和X是因变量和自变量矩阵。是因变量和自变量矩阵。在矩阵概念下，令权数序列在矩阵概念下，令权数序列 w 在权数矩阵在权数矩阵W的对角线上，其的对角线上，其他地方是零，即他地方是零，即W 矩阵是对角矩阵，则用矩阵是对角矩阵，则用W左乘等式两边，得到左乘等式两边，得到一个新的模型为：一个新的模型为：（2 2.1.13）估计协方差矩阵估计协方差矩阵为：为：（2 2.1.14）则则加权最小二乘估计量加权最小二乘估计量为：为：25 考虑多元线性回归模型的矩阵形式：其262222.1.3 .1.3 加权最小二乘估计加权最小二乘估计加权最小二乘估计加权最小二乘估计WLSWLS 2 2方差未知的情形方差未知的情形方差未知的情形方差未知的情形 误差方差与误差方差与 成比例成比例 可可以以根根据据图图示示法法,把把回回归归残残差差对对解解释释变变量量X作作图图，如如果果与与X成成线性相关，即：线性相关，即：可将模型做如下变换：可将模型做如下变换：令令 ，则则 262.1.3 加权最小二乘估计WLS272222.1.3 .1.3 加权最小二乘估计加权最小二乘估计加权最小二乘估计加权最小二乘估计WLSWLS 误差方差与误差方差与 成比例成比例 令令 可将模型做如下变换：可将模型做如下变换：令令 ，则类似上面的方程也可以证明可以使用则类似上面的方程也可以证明可以使用OLS估计。估计。272.1.3 加权最小二乘估计WLS 用随机项的近似估计值求权重序列用随机项的近似估计值求权重序列 该方法的原理是假定通过该方法的原理是假定通过OLS估计出的残差值的平方代估计出的残差值的平方代表随机项的方差。因此，也可以求出权重序列。具体操表随机项的方差。因此，也可以求出权重序列。具体操作方法如下：作方法如下：1选择普通最小二乘法估计原模型，得到随机误差项的选择普通最小二乘法估计原模型，得到随机误差项的近似估计量近似估计量 t；2建立建立 wi=1/|t|的权数序列；的权数序列；3选择加权最小二乘法，以选择加权最小二乘法，以 wi=1/|t|序列作为权，序列作为权，进行估计得到参数估计量。实际上是以进行估计得到参数估计量。实际上是以 1/|t|乘原模型乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新的两边，得到一个新模型，采用普通最小二乘法估计新模型。模型。28 用随机项的近似估计值求权重序列2829 例例2.2 利用表利用表2.1的数据，建立的数据，建立2012年城镇居民家庭人均文教年城镇居民家庭人均文教娱乐服务消费支出娱乐服务消费支出(cum)与城镇家庭人均可支配收入（与城镇家庭人均可支配收入（In）的回）的回归模型为归模型为：普通最小二乘估计得出如下回归结果：普通最小二乘估计得出如下回归结果：在例在例2.1中我们通过中我们通过White异方差检验出该模型存在异方差。异方差检验出该模型存在异方差。因此我们需要采用最小加权二乘法对其进行重新估计。因此我们需要采用最小加权二乘法对其进行重新估计。29 例2.2 利用表2.1的数据，建立20130 以以wi=1/|i|为权重序列，将原回归方程的每一项乘以为权重序列，将原回归方程的每一项乘以wi，将会消除异方差的存在，变换后的模型为将会消除异方差的存在，变换后的模型为：然后再进行然后再进行OLS估计，结果如下：估计，结果如下：与与OLS结果比较，拟合优度与由结果比较，拟合优度与由0.86提高到提高到0.99，说明解，说明解释变量对被解释变量的解释程度提高。释变量对被解释变量的解释程度提高。F值由值由184.62提高到提高到3023.01，模型的显著性明显改善，说明估计的效果更好，并，模型的显著性明显改善，说明估计的效果更好，并且对用且对用White异方差检验方法分析该回归方程时，可以看出来异方差检验方法分析该回归方程时，可以看出来用用WLS估计得到的结果消除了异方差。估计得到的结果消除了异方差。30 以wi=1/|i|为权重序列，将31 1.White异方差检验异方差检验 在在将将方方程程进进行行OLS估估计计之之后后，如如果果需需要要进进行行异异方方差差检检验验，则则 在在 界界 面面 中中 选选 择择“View/Residual Test/Herteroskedasticity Test”,将出现如下的界面：将出现如下的界面：2.1.42.1.42.1.42.1.4异方差检验与加权最小二乘法的异方差检验与加权最小二乘法的异方差检验与加权最小二乘法的异方差检验与加权最小二乘法的EViewsEViewsEViewsEViews软件软件软件软件实现实现实现实现 31 1.White异方差检验2.1.4异方差检验与32在该界面中，可以选择不同的估计方法。在这里，我们选择在该界面中，可以选择不同的估计方法。在这里，我们选择在该界面中，可以选择不同的估计方法。在这里，我们选择在该界面中，可以选择不同的估计方法。在这里，我们选择WhiteWhite检验法，将会得到结果为检验法，将会得到结果为检验法，将会得到结果为检验法，将会得到结果为：32在该界面中，可以选择不同的估计方法。在这里，我们选择Wh33 加加权权最最小小二二乘乘法法首首先先需需要要用用OLS估估计计模模型型，得得到到残残差差序序列列，然然后后构构造造相相应应的的权权重重序序列列按按步步骤骤进进行行WLS估估计计。然然而而，EViews给给我我们们提提供供了了相相当当方方便便的的操操作作，在在完完成成OLS估估计计后后，再再选选择择新新的的OLS模模型型，然然后后选选择择Options出出现现图图2.1.1所所示示的的对对话话框框。在在Weight series中中输输入入权权重重序序列列w，w为为残残差差序序列列的的绝绝对对值值的的倒倒数。（本题中令数。（本题中令w=1/abs（resid），即可：），即可：33 加权最小二乘法首先需要用OLS估计模型，得到残差34 单击单击“确定确定”估计方程，将同时显示加权最小二乘估计结估计方程，将同时显示加权最小二乘估计结果和没有采用加权的方法的结果：果和没有采用加权的方法的结果：34 单击“确定”估计方程，将同时显示加权最小二乘估35352 2.2 2 两阶阶段段最最小小二二乘乘法法T TS SL LS S 解决随机解释变量问题解决随机解释变量问题362.2 两阶段最小二乘法TSLS 解决随机解释变量问第2章-一般回归估计方法分析课件382.22.2 二阶段最小二乘法二阶段最小二乘法二阶段最小二乘法二阶段最小二乘法 回回归归分分析析的的一一个个基基本本假假设设是是方方程程的的解解释释变变量量与与扰扰动动项项不不相相关关。但但是是，由由于于解解释释变变量量测测量量误误差差的的存存在在，用用于于估估计计模模型型参参数数的的数数据据经经常常与与它它们们的的理理论论值值不不一一致致；或或者者由由于于遗遗漏漏了了变变量量，使使得得随随机机误误差差项项中中含含有有可可能能与与解解释释变变量量相相关关的的变变量量，即即随随机机解解释释变变量量问问题题。这这些些都都可能导致解释变量与扰动项的相关。可能导致解释变量与扰动项的相关。出出现现这这种种问问题题时时，OLS和和WLS估估计计量量都都有有偏偏差差且且不不一一致致，因因而而要要采采用用其其他他方方法法估估计计。最最常常用用的的估估计计方法是二阶段最小二乘法。方法是二阶段最小二乘法。382.2 二阶段最小二乘法 回归分39 考虑多元线性回归模型的矩阵形式考虑多元线性回归模型的矩阵形式 其中：其中：y 和和 X 是因变量和解释变量数据矩阵，是因变量和解释变量数据矩阵，是系数是系数向量。向量。为简化起见，我们称与残差相关的变量为内生变量，为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量或前定变量。与残差不相关的变量为外生变量或前定变量。解解决决方方程程右右边边解解释释变变量量与与残残差差相相关关的的方方法法是是使使用用工工具变量回归具变量回归。就是要找到一组变量满足下面两个条件：。就是要找到一组变量满足下面两个条件：（1）与方程解释变量相关；）与方程解释变量相关；（2）与扰动项不相关；）与扰动项不相关；39 考虑多元线性回归模型的矩阵形式40 选择选择 zi=(z1i,z2i,zki)作为工具变量，它与解释作为工具变量，它与解释变量相关，但与扰动项不相关，即变量相关，但与扰动项不相关，即 这些变量就可成为工具变量。用这些工具变量来这些变量就可成为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。消除右边解释变量与扰动项之间的相关性。40 选择 zi=(z1i,z2i,41 二阶段最小二乘方法（二阶段最小二乘方法（two stage least square，TSLS）本质上属于工具变量法，）本质上属于工具变量法，它包括两个阶段：它包括两个阶段：第一个阶段，找到一组第一个阶段，找到一组工具工具变量，模型中每个解释变量，模型中每个解释变量分别关于其他外生解释变量、该组工具变量作最小变量分别关于其他外生解释变量、该组工具变量作最小二乘回归，得到拟合值；二乘回归，得到拟合值；第二个阶段，所有解释变量用第一个阶段回归得到第二个阶段，所有解释变量用第一个阶段回归得到的拟合值来代替，对原方程进行回归，这样求得的回归的拟合值来代替，对原方程进行回归，这样求得的回归系数就是系数就是TSLS估计值。可以证明二阶段最小二乘估计量估计值。可以证明二阶段最小二乘估计量是一致估计量。是一致估计量。41 42 不不必必担担心心TSLS估估计计中中分分离离的的阶阶段段，因因为为EViews会会使使用用工工具具变变量量技技术术同同时时估估计计两两个个阶阶段段。令令 Z 为为工工具具变变量量矩矩阵阵，y 和和 X 是是因因变变量量和和解解释释变变量量矩矩阵阵。则则二二阶阶段段最最小小二二乘乘估估计计的系数的系数由下式计算出来：由下式计算出来：系数估计的协方差矩阵为：系数估计的协方差矩阵为：其中其中 s2 是回归标准差（估计残差协方差）。是回归标准差（估计残差协方差）。42 不必担心TSLS估计中分离的阶段，因为E43 例例2.3 在表在表2-2中，给出了我国中，给出了我国19902013年的国内生产总年的国内生产总值和全国居民消费数据。其国内生产总值是通过支出法核算值和全国居民消费数据。其国内生产总值是通过支出法核算得到的，两组数据的单位均为亿元。以得到的，两组数据的单位均为亿元。以GDP代表国内生产总代表国内生产总值，值，CU为消费水平。为消费水平。建立如下的一元回归模型：建立如下的一元回归模型：本例中可以将工具变量设定为趋势变量本例中可以将工具变量设定为趋势变量t和常数项和常数项c。c是是对任何模型都是非常好的工具变量，在这里需要注意的是，对任何模型都是非常好的工具变量，在这里需要注意的是，工具变量中的变量数量一定要大于等于方程中等式右边的内工具变量中的变量数量一定要大于等于方程中等式右边的内生变量的数量。生变量的数量。43 例2.3 在表2-2中，给出了我国19944 采用两阶段最小二乘法（采用两阶段最小二乘法（TSLS）可以得到如下的结果：）可以得到如下的结果：系数系数2.88表示了消费（表示了消费（cu）对国内生产总值（）对国内生产总值（GDP）的）的增加有乘数作用，即消费每增加一单位时，国内生产总值将增加有乘数作用，即消费每增加一单位时，国内生产总值将增加增加2.88单位。单位。44 采用两阶段最小二乘法（TSLS）可以454546 例例2.3中的模型的两阶段最小二乘法实现步骤为：中的模型的两阶段最小二乘法实现步骤为：第第一一步步，本本例例中中将将工工具具变变量量设设定定为为趋趋势势变变量量t和和常常数数项项c。c是是对对任任何何模模型型都都是是一一个个非非常常好好的的工工具具变变量量，因因此此即即使使用用户户没没有有输输入入常常数数项项c，系系统统也也会会将将其其加加入入自自动动加加入入工工具具变变量量的的列列表表中中，由由于于需需要要趋趋势势变变量量t，需需要要在在该该工工作作文文件件中中建建立立一一个个新新序序列列，命命名名为为“t”，然然后后输输入入数数字字“1990-2013”。第第二二步步，选选择择“Quick/Estimate Equation”选选项项，在在打打开开的的图图2.7所所示示的的方方程程对对话话框框的的“Method”列列表表中中选选择择“TSLS”估计方法。估计方法。第第三三步步，在在图图2.7中中对对话话框框列列出出解解释释变变量量和和被被解解释释变变量量，然后在工具变量列表中输入工具变量。然后在工具变量列表中输入工具变量。46 例2.3中的模型的两阶段最小二乘法实现步骤为：4747484849 第第四四步步，将将两两阶阶段段最最小小二二乘乘法法的的估估计计结结果果与与普普通通最最小小二二乘乘法法的的估估计计结结果果进进行行比比较较，图图2.9为为普普通通最最小小二二乘乘法法的的估估计计结结果果。通通过过比比较较发发现现，两两阶阶段段最最小小二二乘乘法法消消除除了了解释变量和随机误差项之间的相关性。解释变量和随机误差项之间的相关性。49 50502 2.3 3 逐逐步步最最小小二二乘乘回回归归 STEPLS：筛选解释变量：筛选解释变量512.3 逐步最小二乘回归 STEPLS：筛选解释变量51522.3.1 2.3.1 逐步最小二乘回归逐步最小二乘回归逐步最小二乘回归逐步最小二乘回归 建立回归模型的时候，可能会面临很多解释变量的取舍建立回归模型的时候，可能会面临很多解释变量的取舍问题，这些解释变量（包括相应的滞后变量）在经济意义上问题，这些解释变量（包括相应的滞后变量）在经济意义上可能都对因变量有影响而难以取舍，这种情形下，可以通过可能都对因变量有影响而难以取舍，这种情形下，可以通过逐步回归分析方法（逐步回归分析方法（stepwise least squares regression,STEPLS）利用各种统计准则筛选解释变量。）利用各种统计准则筛选解释变量。522.3.1 逐步最小二乘回归 建立回53 逐步筛选最小二乘法包括两类，前向逐步筛选法逐步筛选最小二乘法包括两类，前向逐步筛选法（Forward）和后向逐步筛选法（）和后向逐步筛选法（Backward）两种。）两种。两种方两种方法都是利用最大法都是利用最大 t 值或者相对应的最小值或者相对应的最小 p 值作为变量入选标值作为变量入选标准，即准，即根据变量的显著性进行筛选根据变量的显著性进行筛选。前向法前向法是根据最小是根据最小 p 值进行逐步回归。首先，设定变量值进行逐步回归。首先，设定变量的入选的入选 p 值标准（比如值标准（比如0.05），即将入选变量的显著性水平），即将入选变量的显著性水平设为设为5%；其次，选择所有变量中；其次，选择所有变量中 p 值最小并且小于所设定值最小并且小于所设定入选入选 p 值标准的变量加入模型，接着在剩余变量中一直筛选值标准的变量加入模型，接着在剩余变量中一直筛选下去；当剩余的每个变量加入模型后其下去；当剩余的每个变量加入模型后其 p 值都大于设定的值都大于设定的 p 值时，或者增加回归变量的数量达到了建模者事先设定的数值时，或者增加回归变量的数量达到了建模者事先设定的数值时，逐步回归运算结束。值时，逐步回归运算结束。逐步筛选最小二乘法逐步筛选最小二乘法逐步筛选最小二乘法逐步筛选最小二乘法实现步骤实现步骤实现步骤实现步骤53 逐步筛选最小二乘法包括两类，前向逐步筛选54 后向法后向法与前向法类似，只不过这种方法一开始就将与前向法类似，只不过这种方法一开始就将全部的备选变量加入模型，然后选择全部的备选变量加入模型，然后选择 p 值最大的变量，值最大的变量，如果此变量的如果此变量的 p 值大于事先设定的数值，则将其剔除掉，值大于事先设定的数值，则将其剔除掉，然后再在剩余的变量中依次选择剔除变量，直到模型中然后再在剩余的变量中依次选择剔除变量，直到模型中剩余的解释变量所对应的剩余的解释变量所对应的 p 值都小于设定值，或者增加值都小于设定值，或者增加回归变量的个数达到设定数值时结束筛选。回归变量的个数达到设定数值时结束筛选。54 后向法与前向法类似，只不过这种方法一开始55 本例研究的是我国全社会固定资产投资额（本例研究的是我国全社会固定资产投资额（inv）的影）的影响因素。采用的是响因素。采用的是1990-2012年的数据，备选的解释变量是年的数据，备选的解释变量是国内生产总值（国内生产总值（gdp）居民消费（）居民消费（rc）、政府消费（）、政府消费（gc）、）、国民收入指数（国民收入指数（p）以及它们滞后）以及它们滞后1期的序列。通过逐步筛选期的序列。通过逐步筛选最小二乘法最终确定对投资有显著影响的解释变量。本例中，最小二乘法最终确定对投资有显著影响的解释变量。本例中，选取的显著性检验水平为选取的显著性检验水平为0.05，使用逐步筛选最小二乘法的，使用逐步筛选最小二乘法的前向法，最终可以得到的模型为：前向法，最终可以得到的模型为：2.3.2.2.3.2.逐步筛选最小二乘法的逐步筛选最小二乘法的逐步筛选最小二乘法的逐步筛选最小二乘法的EViewsEViews软件实现软件实现软件实现软件实现55 本例研究的是我国全社会固定资产投资额56 由于国内生产总值滞后项（由于国内生产总值滞后项（gdp（-1）居民消费滞后项（）居民消费滞后项（rc（-1）全社会固定资产投资额滞后项（）全社会固定资产投资额滞后项（inv（-1）系数所）系数所对应的对应的p值均小于所设定的检验水平值均小于所设定的检验水平0.05，故选择这，故选择这3个变量作个变量作为模型的解释变量进行建模分析。为模型的解释变量进行建模分析。56 由于国内生产总值滞后项（gdp（-1）57 以例以例2.4为实现对象，在方程估计方法选择的对话框中为实现对象，在方程估计方法选择的对话框中选择选择“STEPLS-Stepwise Least Squares”，EViews会显示图会显示图2.10所示的窗口，使用逐步筛选最小二乘回归法时，方程的所示的窗口，使用逐步筛选最小二乘回归法时，方程的设定只能选用列表法。在上面的对话框中输入要分析的被解设定只能选用列表法。在上面的对话框中输入要分析的被解释变量和必须要保留的解释变量。在下面的对话框中输入可释变量和必须要保留的解释变量。在下面的对话框中输入可能会在最终模型中出现的备择解释变量。能会在最终模型中出现的备择解释变量。57 以例2.4为实现对象，在方程估计方法选58图图图图2.10 2.10 逐步最小二乘分析变量设定对话框逐步最小二乘分析变量设定对话框逐步最小二乘分析变量设定对话框逐步最小二乘分析变量设定对话框58图2.10 逐步最小二乘分析变量设定对话框59 然后，在选项（然后，在选项（“option”）中进行设定，）中进行设定，“Selection Method”是用来设定逐步回归的方法，是用来设定逐步回归的方法，EViews默认为前向法默认为前向法（“Forward”），本例也是采用这种方法进行分析，还可以），本例也是采用这种方法进行分析，还可以采用的方法是向后法（采用的方法是向后法（“Backward”）。）。其次，还需要设定检验的标准：其次，还需要设定检验的标准：EViews中允许使用中允许使用p值或值或者者t值来判断，对于本例，我们选用值来判断，对于本例，我们选用p值来判断，输入其标准值来判断，输入其标准为为0.05，并且还可以控制回归变量个数，通过，并且还可以控制回归变量个数，通过“Use number of regressors”来完成，即一旦增加或者去掉的变量个数达到来完成，即一旦增加或者去掉的变量个数达到这个值时，逐步筛选将会停止。通过设定最大步数这个值时，逐步筛选将会停止。通过设定最大步数（“Maximum steps”）可以规定逐步筛选运行的最多次数，）可以规定逐步筛选运行的最多次数，其中其中“Forwards”规定了最多的增加变量的次数，而规定了最多的增加变量的次数，而“Backwards”规定了最多的减少变量的次数。规定了最多的减少变量的次数。59 然后，在选项（“option”）中进行606061612 2.4 4 广广义义最最小小二二乘乘估估计计适用于估计同时存在序列相关与异方差问题的模型622.4 广义最小二乘估计适用于估计同时存在序列相关与异方差问2.4.1 2.4.1 广义最小二乘法概述广义最小二乘法概述2.4.1 广义最小二乘法概述第2章-一般回归估计方法分析课件第2章-一般回归估计方法分析课件第2章-一般回归估计方法分析课件2.4.2 2.4.2 广义最小二乘法的广义最小二乘法的EViewsEViews软件实现软件实现2.4.2 广义最小二乘法的EViews软件实现682.5 对数极大似然估计法 极大似然估计法(maximum likelihood,ML)，是不同于最小二乘法的另一种参数估计方法，是从极大似然原理发展起来的其他估计方法的基础。虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为极大似然原理比最小二乘原理更本质地揭示了通过样本估计母体参数的内在机理，计量经济学理论的发展更多的是以极大似然估计原理为基础的，对于一些特殊的计量经济学模型，只有极大似然方法才是很成功的估计方法。682.5 对数极大似然估计法 极大似然估69 考虑多元线性回归模型的一般形式 t=1,2,T 其中 k 是解释变量个数，T 是观测值个数，随机扰动项 那么 yt 服从如下的正态分布：其中69 考虑多元线性回归模型的一般形式70 y 的随机抽取的的随机抽取的 T 个样本观测值的联合概率函数为个样本观测值的联合概率函数为 这就是变量这就是变量y的似然函数，未知参数向量的似然函数，未知参数向量 =1,2,k,2。对似然函数求极大值和对数似然函数求极大值是等价对似然函数求极大值和对数似然函数求极大值是等价的，上式的的，上式的对数似然函数形式对数似然函数形式对数似然函数形式对数似然函数形式为：为：70 y 的随机抽取的 T 个样本观测值的联71 令 为含有未知参数的向量，将lnL分别对 求偏导数，并令其为0，即：（2.5.5）从而可以求得 的值。利用对数极大似然估计法估计一个模型，主要是建立包含样本中的各个观测值的未知参数的极大似然函数。71 令 为含有未知参数的向量，将lnL72 本例将以一元线性回归模型，详细说明对数极大似然的本例将以一元线性回归模型，详细说明对数极大似然的建立过程。建立过程。例例2.5 一元线性回归方程的极大似然估计一元线性回归方程的极大似然估计在表中，给出了我国在表中，给出了我国1990-2012年城镇居民的人均可支配收年城镇居民的人均可支配收入（入（inc）和城镇居民人均消费水平（）和城镇居民人均消费水平（cs），以城镇居民人），以城镇居民人均消费水平为被解释变量，城镇居民人均可支配收入为解释均消费水平为被解释变量，城镇居民人均可支配收入为解释变量建立如下的凯恩斯消费方程：变量建立如下的凯恩斯消费方程：2.5.22.5.2对数极大似然估计法的对数极大似然估计法的对数极大似然估计法的对数极大似然估计法的EViewsEViews软件实现软件实现软件实现软件实现 式中，式中，代表了自发消费，代表了自发消费，代表边际消费倾向。观测值代表边际消费倾向。观测值得个数得个数T=23.利用前面的公式（利用前面的公式（2.5.4）我们可以写出方程对数）我们可以写出方程对数极大似然函数极大似然函数：72 本例将以一元线性回归模型，详细说明对数极73 （2.5.7）然后对其进行极大似然求解，可以得到和的值，写成回归方程的形式为：(2.5.8)对数似然函数值=-154.69 AIC=13.71若用最小二乘回归分析该模型，会发现结果与极大似然函数法估计的结果是一样的。73 747475 以例以例2.5为实现对象，在利用极大似然函数法时，首先为实现对象，在利用极大似然函数法时，首先创建一个似然对象，选择创建一个似然对象，选择Object/New Object/LogL。将会弹。将会弹出一个空白窗口，在这个窗口里可以输入描述统计模型的说出一个空白窗口，在这个窗口里可以输入描述统计模型的说明语句。如图明语句。如图2.15所示。所示。75 以例2.5为实现对象，在利用极大似然函数76 第一行的是似然贡献序列的说明，即序列中存储了不同第一行的是似然贡献序列的说明，即序列中存储了不同时刻时刻t的对数似然贡献，的对数似然贡献，res=cs-c(1)-c(2)*inc计算了残差，参计算了残差，参数数c(1)、c(2)代表了未知参数，代表了未知参数，var是对数似然函数式中的待是对数似然函数式中的待估参数；估参数；logl=log(dnorm(res/sqrt(var)-log(var)/2语句语句是说明极大似然贡献的方程。是说明极大似然贡献的方程。dnorm函数指的是标准正态函数指的是标准正态分布。分布。似然函数的说明语句输入完毕之后，点击似然函数的说明语句输入完毕之后，点击Estimate，再，再按下按下“确定确定”按钮，即可得到极大似然函数的估计结果，如图按钮，即可得到极大似然函数的估计结果，如图2.16所示。所示。76 第一行的是似然贡献序列的说明，即序列中存77772 2.6 6 广广义义矩矩估估计计方方法法（G GMMMM）广义矩估计广义矩估计GMM是基于模型满足的一些是基于模型满足的一些 矩条件而形成的一种参矩条件而形成的一种参数估计法，是矩估计方法的一般化。数估计法，是矩估计方法的一般化。782.6 广义矩估计方法（GMM）广义矩估计GMM是基于模型79 广广义义矩矩估估计计方方法法（GMM）是是基基于于模模型型实实际际参参数数满满足足一一些些矩矩条条件件而而形形成成的的一一种种参参数数估估计计方方法法，是是矩矩估估计计方方法法的的一一般般化化。如如果果模模型型的的设设定定是是正正确确的的，则则总总能能找找到到该该模模型型实实际际参参数数满满足足的的若若干干矩矩条条件件而而采采用用GMM方方法法。GMM估估计计的的出出发发点点是是参参数数应应满满足足的的一一种种理理论论关关系系。其其思思想想是是选选择择参参数数估估计计尽尽可可能能接接近近理理论论上上的的关关系系。把把理理论论上上的的关关系系用用样样本本近近似似值值代代替替，并并且且估估计计量量的的选选择择就就是是要要最最小小化化理理论论值值和和实实际际值之间的加权距离。值之间的加权距离。79 广义矩估计方法（GMM）是基于模型实际参数满80 由由于于传传统统的的计计量量经经济济模模型型估估计计方方法法，例例如如普普通通最最小小二二乘乘法法、工工具具变变量量法法、极极大大似似然然法法等等，都都有有它它们们的的局局限限性性，其其参参数数估估计计量量必必须须在在模模型型满满足足某某些些假假设设时时才才具具有有良良好好的的性性质质，如如只只有有当当模模型型的的随随机机误误差差项项服服从从正正态态分分布布或或某某一一已已知知分分布布，极极大大似似然然法法估估计计量量才才是是可可靠靠的的估估计计量量；而而GMM估估计计是是一一个个稳稳健健估估计计量量，因因为为它它不不要要求求扰扰动动项项的的准准确确分分布布信信息息，允允许许随随机机误误差差项项存存在在异异方方差差和和序序列列相相关关，所所得得到到的的参参数数估估计计量量比比其其他他参参数数估估计计方方法法更更合合乎乎实实际际；而而且且可可以以证证明明，GMM包包容容了了许许多多常常用用的的估估计计方方法法，普普通通最最小小二二乘乘法法、工工具具变变量量法法、极极大大似似然法都是它的特例。然法都是它的特例。80 由于传统的计量经济模型估计方法，例如普通最小二812.6.1 2.6.1 矩法估计量矩法估计量矩法估计量矩法估计量 矩估计是基于实际参数满足一些矩条件而形成的一种矩估计是基于实际参数满足一些矩条件而形成的一种参数估计方法，如果随机变量参数估计方法，如果随机变量Y的期望值是的期望值是，即，即 则则 是满足相应的样本矩条件，即是满足相应的样本矩条件，即 812.6.1 矩法估计量 矩估计是基于实际82 现在，考虑一元古典线性回归模型中的假设条件：现在，考虑一元古典线性回归模型中的假设条件：其所对应的样本矩条件分别为其所对应的样本矩条件分别为 这就是这就是OLS估计量的正规方程组。因此，估计量的正规方程组。因此，OLS估计量是估计量是一个矩法估计量。一个矩法估计量。82 现在，考虑一元古典线性回归模型中的假设83 再比如二阶段普通最小二乘法中，假定解释变量与随再比如二阶段普通最小二乘法中，假定解释变量与随机扰动项可能相关，找到一组与扰动项不相关的工具变量机扰动项可能相关，找到一组与扰动项不相关的工具变量Z，因而正规方程组发生变化，由矩条件：，因而正规方程组发生变化，由矩条件：得到了如下参数估计量形式。得到了如下参数估计量形式。因此许多标准估计量，包括所有因此许多标准估计量，包括所有EViews提供的系统估提供的系统估计量，都可以看作计量，都可以看作GMM估计量的特例。估计量的特例。83 再比如二阶段普通最小二乘法中，假定解释84 参数要满足的理论关系通常是参数函数参数要满足的理论关系通常是参数函数 f()与工具与工具变量变量 zt t 之间的正则条件：之间的正则条件：,是被估计参数是被估计参数 其中其中m()=f()Z,A是加权矩阵；任何对称正定矩阵是加权矩阵；任何对称正定矩阵 A 都是都是 的一致估计。然而，可以推出要得到的一致估计。然而，可以推出要得到 的（渐近）有的（渐近）有效估计的一个必要条件是效估计的一个必要条件是令令令令A A等于样本矩等于样本矩等于样本矩等于样本矩 m m 的协方差矩阵的协方差矩阵的协方差矩阵的协方差矩阵的逆的逆的逆的逆。GMM估计是选择最小加权距离估计量。选择参数估估计是选择最小加权距离估计量。选择参数估计量的标准是使样本距之间加权距离最小。计量的标准是使样本距之间加权距离最小。用函数表示为：用函数表示为：2.6.2 2.6.2 广义矩估计广义矩估计广义矩估计广义矩估计84 参数要满足的理论关系通常是参数函数 f(85 权重矩阵也可以根据每个样本矩条件估计的准确程度来权重矩阵也可以根据每个样本矩条件估计的准确程度来设置，可用方差度量，例如，对估计较准确的矩条件给予较设置，可用方差度量，例如，对估计较准确的矩条件给予较大的权重，对估计较不精确的矩条件给予较小的权重。在实大的权重，对估计较不精确的矩条件给予较小的权重。在实际应用中，可以采用已有文献推荐的权重矩阵，例如，如果际应用中，可以采用已有文献推荐的权重矩阵，例如，如果随机误差项存在异方差且不存在自相关，随机误差项存在异方差且不存在自相关，white（1980）提）提出了权重矩阵的估计量为：出了权重矩阵的估计量为：如果随机误差项存在自相关，如果随机误差项存在自相关，Newey和和West(1987)提出权重提出权重矩阵的估计量为：矩阵的估计量为：其中，其中，85 权重矩阵也可以根据每个样本矩条件估计的准确程度86 下面考虑多元线性回归模型的下面考虑多元线性回归模型的GMM参数估计，假设回参数估计，假设回归方程为归方程为 t=1,2,T 其中：解释变量向量其中：解释变量向量 xt=(x1t，x2t，xkt)，参数向量，参数向量 =(1，2，k)，T 是样本个数。对于是样本个数。对于 k 维单方程维单方程参数向量参数向量 的的GMM估计，由于解释变量向量估计，由于解释变量向量 xt 与随机扰动与随机扰动项项 ut 可能相关，因此可以假设存在含有可能相关，因此可以假设存在含有L(L k)个分量的工个分量的工具变量向量具变量向量 zt 与随机扰动项不相关（如果假设与随机扰动项不相关（如果假设 xt 与随机扰动与随机扰动不相关，不相关，zt 就是就是 xt），），t 时刻含有时刻含有 L 个变量的向量个变量的向量 zt 与与 ut满满足足 L 个正交的矩条件：个正交的矩条件：其中：其中：zt=(z1t，z2t，zLt)是是L维向量维向量。86 下面考虑多元线性回归模型的GMM参数估计87 相应的相应的L个样本矩为个样本矩为 其中：其中：Z是工具变量数据矩阵，是工具变量数据矩阵，是回归方程的残差序列。是回归方程的残差序列。选择参数估计量选择参数估计量b，使下式所示的加权距离最小。，使下式所示的加权距离最小。样本矩的协方差矩阵为样本矩的协方差矩阵为 可以使用可以使用White异方差一致协方差或异方差一致协方差或Newey-West HAC一一致协方差估计致协方差估计 矩阵，则矩阵，则 A=-1。87 相应的L个样本矩为88 例例例例2.62.6 在表在表2.6中，给出了我国中，给出了我国1978-2012年国民生产总值年国民