计量经济学多元线性回归模型及参数估计

第三章第三章 经典单方程计量经济学模型：经典单方程计量经济学模型：多元线性回归模型多元线性回归模型本章主要内容3.1 多元线性回归模型及其参数估计多元线性回归模型及其参数估计3.2 多元线性回归模型的统计检验多元线性回归模型的统计检验3.3 多元线性回归模型的区间估计多元线性回归模型的区间估计3.1 多元线性回归模型多元线性回归模型 及其参数估计及其参数估计一、一、多元线性回归模型及其基本假定多元线性回归模型及其基本假定二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质四、样本容量问题四、样本容量问题五、五、多元线性回归模型实例多元线性回归模型实例 由于：由于：在实际经济问题中，一个变量往往受到多个原在实际经济问题中，一个变量往往受到多个原因变量的影响；因变量的影响；“从一般到简单从一般到简单”的建模思路。的建模思路。所以，所以，线性回归模型中的解释变量往往有线性回归模型中的解释变量往往有多个多个（至少开始是这样）。（至少开始是这样）。这样的模型被这样的模型被称为称为多元线性回归模型多元线性回归模型。一、一、多元线性回归模型及其基本假定多元线性回归模型及其基本假定 多元线性回归模型的一般形式多元线性回归模型的一般形式为：为：习惯上，把常数项看成为一个虚变量虚变量（记作（记作Xio）的系数，在参数估计过程中该虚变量的样本观测值该虚变量的样本观测值始终取始终取1（即（即Xi0 1）。i=1,2,n 这样：模型中解释变量的数目为（模型中解释变量的数目为（k+1）。1.1.多元线性回归模型的形式多元线性回归模型的形式 (见教材见教材P62-63P62-63)iikkiiiXXXY22110 多元线性回归模型的多元线性回归模型的矩阵表达式矩阵表达式为：为：YX其中 01211kk()121nn121nnYYYY)1(212222111211111knnknnkkXXXXXXXXXX注意这里的符号和教材教材P63的对应关系。kB10nYYYY21neee21eeXY其中其中)1(212222111211111knnknnkkXXXXXXXXXX如果多元线性回归模型的样本回归模型为：如果多元线性回归模型的样本回归模型为：(教材教材P63P63)iikkiiieXXXY22110 i=1,2,n 则有则有2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定(见教材见教材P64-65P64-65)（2）解释变量Xj(j=1,2,k)是确定性变量，不是随机变量，在重复抽样中取固定值；解释变量之间不存在严格的线性相关性（无完全多重共线性）。（3）各个解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量Xj的样本方差趋于一个非零的有限常数Qj。即当n时，（1）回归模型是正确设定的。kjQXXnjnijij,2,1,)(112为使参数的普通最小二乘估计量具有良好的统计性质，对多元线性回归模型提出下列基本假定基本假定：（4）随机误差项具有零均值和同方差；随机误差项在不同样本点之间是独立的，不存在序列相关：E(i)=0 i=1,2,n Var(i)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n注意：严格讲，这里应该是条件期望、条件方差和条件协方差的形式。教材P65指出：这里的条件期望、条件方差和条件协方差均可以简写为非条件的形式。（5）随机误差项与解释变量之间不相关：Cov(Xij,i)=0 i=1,2,n；j=1,2,k（6）随机误差项服从零均值、同方差、零协方差的正态分布：iN(0,2)i=1,2,n注意：注意：以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss）假设假设。满足这些假设的线性回归模型，也称为经典线性回归经典线性回归模型模型（Classical Linear Regression Model,CLRM）。在经典假设下，21201122,kkkY XXXNXXX严格讲，这里也应该是条件协方差形式。严格讲，这里也应该是条件分布形式。2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）关于多元线性回归模型的基本假定关于多元线性回归模型的基本假定26，也可以写，也可以写成矩阵形式。成矩阵形式。见见教材教材P64-65，一定要熟记。，一定要熟记。如：如：0000)()()()(2121nnEEEENE秩秩(X)=k+1，即，即Xn(k+1)为列满秩矩阵。为列满秩矩阵。因为各个解释变量之间不存在严格的线性关系，也即任何一个解释变量都不能用其它解释变量的线性组合来表示，这样，矩阵X的任何一列都不可能通过线性变换变成全为0。2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）IEENNENENNENENCovVarnnnnnnn222222122212121212121000000)()()()(2.2.多元线性回归模型的基本假定多元线性回归模型的基本假定（矩阵形式）（矩阵形式）0000)()()()()()(111)(111111111111212112111niiikniiiniiniiikniiiniiniiikniiiniinnkkknXEXEEXEXEEXXEXXXXXXENXE1.1.普通最小二乘估计普通最小二乘估计二、多元线性回归模型的参数估计二、多元线性回归模型的参数估计如果模型的参数估计值j已经求得，则有：ikkiiiXXXY22110（i=1,2,n）随机抽取被解释变量和解释变量的n组样本观测值niYXXXiikii,2,1,21根据最小二乘原理，参数估计值应该是下列方程组的解：0120000QQQQk其中 2112)(niiiniiYYeQ最小最小niikkiiiXXXY1222110 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值,jjk 012。于是得到关于待估参数估计值的正规方程组正规方程组：问题：问题：我们无法象一元回归那样，用小代数公式来表达多元线性回归模型的参数估计量！000021ikiiiiiiXeXeXeeikikkiiikiiikkiiiiiikkiiiiikkiiiXXXXXYXXXXXYXXXXXYXXXY)()()()(221102221102122110122110上述估计过程的矩阵表示上述估计过程的矩阵表示kB10nYYYY21neee21eeXY其中其中 从而，被解释变量的观测值与估计值之差的平方和为：)()(XYXYeeniiniiieYYQ1221)()1(212222111211111knnknnkkXXXXXXXXXX根据最小二乘原理，参数估计值应该是下列方程组的解：()()YXYX 0求解过程如下：（教材（教材P66）00)2(0)(0)(XXYXXXXYYXXXYYXYYXYXYY要点要点：若A、X均为列向量，则 AX 关于列向量X的导数为A。注意：注意：一个函数关于列向量求导，是指这个函数关于列向量中的每个元素求导，其结果仍应写成列向量的形式。于是，得到正规方程组：正规方程组：X YX X由于假定解释变量之间不存在多重共线性，XX为(k+1)阶满秩矩阵，可得参数的最小二乘估计值为：参数的最小二乘估计值为：()X XX Y1该式等价于P66的（3.2.3）式例例 利用第二版P28表2.1.3中的家庭可支配收入（可支配收入（X X）和消费支出（消费支出（Y Y），估计一元线性回归模型，参数估计的计算可通过下面的表2.2.1进行。表表 2.2.1 参数估计的计算表参数估计的计算表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594-1350-973 1314090 1822500 947508 640000 352836 2 1100 638-1050-929 975870 1102500 863784 1210000 407044 3 1400 1122-750-445 334050 562500 198381 1960000 1258884 4 1700 1155-450-412 185580 202500 170074 2890000 1334025 5 2000 1408-150-159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 777.07425000576930021iiixyx因此，由该样本估计的回归方程为：iiXY777.0172.103小代数解法：小代数解法：172.1032150777.0156710XY对于该例题，如果用矩阵公式求解用矩阵公式求解，那么过程如下：XXXXXX)(17496.066.1043946840015674000000134.00002896.00002896.0722559.0536500002150021500101021500215005365000053650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得：()X XX Y1000000134.00002896.00002896.0722559.07425000010215002150053650000例例3.2.1 对于第三版第三版P37例例2.3.1的家庭可支配收入-消费支出数据，如果用矩阵公式求解用矩阵公式求解，那么过程如下：见教材教材P67，略 正规方程组正规方程组 的另一种写法：(教材教材P67)对于正规方程组正规方程组 于是 0eX或(*)或（*）是多元线性回归模型正正规方程组规方程组的另一种写法。(*)(*)X YX X代入，得：将eBXYBXXeXBXX000021iikiiiiieXeXeXe离差形式的样本回归方程由于ikkiiiXXXY221100)(22110ikkiiiXXXYkkXXXY22110所以)()()(222111kikkiiiXXXXXXYYikkiiixxxy2211这就是离差形式的样本回归方程离差形式的样本回归方程。随机误差项随机误差项 的均值为0，方差的无偏估计量方差的无偏估计量为：21e enk提示：提示：证明过程参见潘文卿、李子奈：计量经济学学习指南与练习，高等教育出版社，2010，P37-P37-3838，例，例7 7随机误差项方差的无偏估计量随机误差项方差的无偏估计量随机误差项方差估计量的无偏性（证明，有补充，证明，有补充，不要求不要求）由于被解释变量的估计值与观测值之间的残差 eYXMXXXXIXXXXXXXXXX)()()()(111残差的平方和为：e eM M所以有 e eM)()(MNNEEeennnnnnnnmmmmmmmmmE2121222211121121nnnnnnnnnnmmmmmmmmmE21221122221121221111nnnnnnnnnnmmmmmmmmmE22112222211211221111nnnnnmmmEmEmEm22112222222111)()()()1()()()(212122kntrtrtrMtrXXXXIXXXXI其中,符号“tr”表示矩阵的迹，其定义为矩阵主对角线元素的和。于是21Enk()e e所以，随机误差项方差的无偏估计量为随机误差项方差的无偏估计量为21 een k注意：注意：这里对潘文卿等计量经济学学习指南与练习（P37-38，例，例7）作了补充！提示：tr(A+B)=tr(A)+tr(B)；tr(ABC)=tr(CAB)=tr(BCA)这两步推导，分别利用了序这两步推导，分别利用了序列无关假定和同方差假定！列无关假定和同方差假定！即即21Eknee关关于于YXBYYee的的证证明明：MYYXX)XX(IYXX)XX(YBXYYYe11MYMY(MY)(MYee可以证明，)XX)XX(IM1为对称等幂矩阵，即 MM，MM2，于是：BXYYYYXX)XX(YYYYXX)XX(IYMYYee11由于BXY为一数量，故 YXB)BXY(BXY，于是：YXBYYee注：注：潘文卿等计量经济学学习指南与练习P50给出了另一种证明。（不要求不要求）2.2.最大似然估计最大似然估计（Maximum Likelihood,ML)Maximum Likelihood,ML)(不作要求）不作要求）随机抽取随机抽取Y Y的的n组样本观测值，其联合概率为组样本观测值，其联合概率为)()()(),(),(21212nnYPYPYPYYYPL)()(21)(212222211022)2(1)2(1XYXYeenXXXYnnikkiiin 对数似然函数为对数似然函数为 参数的最大似然估计参数的最大似然估计 结果结果与参数的普通最小二乘估计相同。与参数的普通最小二乘估计相同。LLn LnLn*()()()()2122YXYX()X XX Y13.3.矩估计矩估计（Moment Method,MMMoment Method,MM）（不作要求）（不作要求）三、三、OLSOLS参数估计量的统计性质参数估计量的统计性质（教材（教材P70P70）对于满足基本假设的多元线性回归模型YX，其参数的普通最小二乘估计具有线性、无偏性和有效性三个特性。另外，随着样本容量的增加，即当n时，参数估计量还具有渐近无偏性渐近无偏性、一致性一致性和渐近有效性渐近有效性等三个性质。1线性线性 由()X XX Y1，可知参数j),2,1,0(kj的普通最小二乘估计j为),2,1(niYi的线性函数。2无偏性无偏性 参数估计量的无偏性证明如下：这里利用了解释变量为非随机变量解释变量为非随机变量和随机误差项的零均值假设随机误差项的零均值假设：)()()()()()(1EEEEXXXXXXXYXXX110)(E3有效性 其中利用了()X XX Y1XXXXXXX11)()()(E()2I12112121111)()()()()()()()()()()()()()(XXXXXXXXXXXXXXXXXX1XXXXXXIXXEEEEEECovVar主对角线给出了各参数估计j的方差，其余部分给出了不同参数估计i与j的协方差，故称为参数估计向量B的方方差差-协协方方差差矩矩阵阵。由 于 矩 阵 k k k k E B B B B E )(1 1 0 0 1 1 0 0 2 1 1 0 0 1 1 2 1 1 0 0 1 1 0 0 1 1 0 0 2 0 0)()()()()()()()()(k k k k k k k k k k E E E E E E E E E (3.根据高斯根据高斯马尔可夫定理，上述方差在所有无马尔可夫定理，上述方差在所有无偏估计量的方差中是最小的偏估计量的方差中是最小的，所以普通最小二，所以普通最小二乘参数估计量具有有效性。乘参数估计量具有有效性。12112121111)()()()()()()()()()()()()()(XXXXXXXXXXXXXXXXXX1XXXXXXIXXEEEEEECovVar四、样本容量问题四、样本容量问题1.最小样本容量最小样本容量2.2.满足基本要求的样本容量满足基本要求的样本容量 计量经济学模型，说到底是从表现已经发生的经济活动的样本数据中寻找经济活动中内含的规律性，所以，它对样本数据具有很强的依赖性。最小样本容量最小样本容量（教材（教材P71）所谓所谓“最小样本容量最小样本容量”，是指从最小二乘原理出发，是指从最小二乘原理出发，欲得到参数估计量，不管其质量如何，所要求的样欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。本容量的下限。样本容量必须不少于模型中解释变量的数目（包括样本容量必须不少于模型中解释变量的数目（包括常数项）常数项）：（证明过程，见（证明过程，见教材教材P71P71）nk1这就是最小样本容量。这就是最小样本容量。2.2.满足基本要求的样本容量满足基本要求的样本容量（教材（教材P71）虽然当 nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。一般经验认为，当n 30或者至少nk31()时，才能说满足模型估计的基本要求。五、五、多元线性回归模型实例多元线性回归模型实例（一）中国居民人均消费模型（一）中国居民人均消费模型 二元二元线性回归模型 第二版教材第二版教材P65例例3.2.2 被解释变量：被解释变量：居民人均消费支出CONSP 解释变量：解释变量：人均国内生产总值GDPP;滞后一期（前一年）的居民人均消费支出CONSP(-1)模型的形式：模型的形式：二元线性回归模型 样本数据：样本数据：见第二版教材P50表2.5.1。第二版教材第二版教材P50表2.5.1 中国居民人均消费支出与人均GDP（元/人）人均居民消费人均G D P人均居民消费人均G D PCONSPGDPPCONSPGDPP1978395.8675.11990797.11602.31979437716.91991861.41727.21980464.1763.71992966.61949.81981501.9792.419931048.62187.91982533.5851.119941108.72436.11983572.8931.419951213.12663.71984635.61059.219961322.82889.119857161185.219971380.93111.91986746.51269.619981460.63323.11987788.31393.619991564.43529.31988836.4152720001690.83789.71989779.71565.9年份年份Eviews软件运行结果软件运行结果Dependent Variable:CONSP Method:Least Squares Date:03/16/06 Time:16:10 Sample(adjusted):1979 2000 Included observations:22 after adjusting endpoints Variable Coefficient Std.Error t-Statistic Prob.C 120.7253 36.51374 3.306299 0.0037 GDPP 0.221359 0.060973 3.630462 0.0018 CONSP(-1)0.451408 0.170318 2.650380 0.0158 R-squared 0.995403 Mean dependent var 928.4909 Adjusted R-squared 0.994919 S.D.dependent var 372.6339 S.E.of regression 26.56264 Akaike info criterion 9.523012 Sum squared resid 13405.90 Schwarz criterion 9.671791 Log likelihood-101.7531 F-statistic 2056.887 Durbin-Watson stat 1.278902 Prob(F-statistic)0.000000 拟合效果-100-5005005001000150020008082848688909294969800ResidualActualFitted（二）（二）第三版教材第三版教材P72-73 例例3.2.2 已知数据是2006年中国内地各省区城镇居民家庭人均全年可支配收入与人均全年消费性支出。要求：以人均全年消费性支出为被解释变量，以人均全年可支配收入与滞后一期的人均全年消费性支出为解释变量，建立二元线性回归。第三版教材第三版教材P72-73 例例3.2.2Dependent Variable:YMethod:Least SquaresSample:1 31Included observations:31VariableCoefficientStd.Errort-StatisticProb.C143.3265260.40320.5504020.5864X10.5556440.0753087.3783200.0000X20.2500850.1136342.2007910.0362R-squared0.975634 Mean dependent var8401.468Adjusted R-squared0.973893 S.D.dependent var2388.459S.E.of regression385.9169 Akaike info criterion14.84089Sum squared resid4170093.Schwarz criterion14.97966Log likelihood-227.0337 F-statistic560.5650Durbin-Watson stat1.843488 Prob(F-statistic)0.000000 同学们课后应经常上机练习。