计量经济学(庞浩)第三章 多元线性回归模型

计量经济学计量经济学(庞浩庞浩)第三章第三章 多元线性回归模型多元线性回归模型引子引子:中国已成中国已成为世界汽世界汽车产销第一大国第一大国 2009年，为应对国际金融危机、确保经济平稳较快增长，国家出台了一系列促进汽车消费的政策，有效刺激了汽车消费市场，汽车产销呈高增长态势，首次成为世界汽车产销第一大国。2009年，汽车产销分别为1379.1万辆和1364.5万辆，同比增长48.3%和46.15%。是什么因素导致中国汽车数量的增长是什么因素导致中国汽车数量的增长?影响中国汽车行业发展的因素并不是单一的，经济增长、影响中国汽车行业发展的因素并不是单一的，经济增长、消费趋势、市场行情、业界心态、能源价格、道路发展、内消费趋势、市场行情、业界心态、能源价格、道路发展、内外环境，都会使中国汽车行业面临机遇和挑战。外环境，都会使中国汽车行业面临机遇和挑战。2分析中国汽车行业未来的趋势分析中国汽车行业未来的趋势,应具体分析这样一些问题：应具体分析这样一些问题：中国汽车市场发展的状况如何？中国汽车市场发展的状况如何？（用销售量观测）（用销售量观测）影响中国汽车销量的主要因素是什么？影响中国汽车销量的主要因素是什么？（如收入、价格、费用、道路状况、能源、政策环境等）（如收入、价格、费用、道路状况、能源、政策环境等）各种因素对汽车销量影响的性质怎样？各种因素对汽车销量影响的性质怎样？（正、负）（正、负）各种因素影响汽车销量的具体数量关系是什么？各种因素影响汽车销量的具体数量关系是什么？所得到的数量结论是否可靠？所得到的数量结论是否可靠？中国汽车行业今后的发展前景怎样？应当如何制定汽车的中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业政策？产业政策？很明显，只用一个解释变量已很难分析汽车产业的发展很明显，只用一个解释变量已很难分析汽车产业的发展,还需要寻求有更多个解释变量情况的回归分析方法。还需要寻求有更多个解释变量情况的回归分析方法。怎怎样分析多种因素的影响？分析多种因素的影响？3 本章主要讨论本章主要讨论:多元线性回归模型及古典假定多元线性回归模型及古典假定 多元线性回归模型的估计多元线性回归模型的估计 多元线性回归模型的检验多元线性回归模型的检验 多元线性回归模型的预测多元线性回归模型的预测4 第第一一节 多多元元线性性回回归模模型型及及古古典典假定假定 一、多元一、多元线性回性回归模型的意模型的意义 一般形式：对于有一般形式：对于有K-1个解释变量的线性回归模型个解释变量的线性回归模型 注意：注意：模型中的模型中的 （j=1,2,-k）是是偏回归系数偏回归系数 样本容量为样本容量为n 偏偏回回归系系数数：控控制制其其它它解解释释量量不不变变的的条条件件下下，第第j j个个解解释释变变量量的的单单位位变变动动对对被被解解释释变变量量平平均均值值的的影影响响，即即对对Y Y平均值平均值“直接直接”或或“净净”的影响。的影响。5 5多元多元线性回性回归中的中的“线性性”指对各个回归系数而言是指对各个回归系数而言是“线性线性”的，对变量则可的，对变量则可以是线性的，也可以是非线性的以是线性的，也可以是非线性的例如：生产函数例如：生产函数取对数取对数这也是多元线性回归模型，只是这时变量为这也是多元线性回归模型，只是这时变量为lnY、lnL、lnK6多元多元总体回体回归函数函数条件期望表现形式：条件期望表现形式：将将Y Y的总体条件期望表示为多个解释变量的函数，如的总体条件期望表示为多个解释变量的函数，如:注意：这时注意：这时Y总体条件期望的轨迹是总体条件期望的轨迹是K维空间的一条线维空间的一条线个别值表现形式：个别值表现形式：引入随机扰动项引入随机扰动项或表示为或表示为 7多元多元样本回本回归函数函数Y的样本条件均值可表示为多个解释变量的函数的样本条件均值可表示为多个解释变量的函数或回归剩余（残差）：或回归剩余（残差）：其中其中 8多个解释变量的多元线性回归模型的多个解释变量的多元线性回归模型的n组样本观测值，可组样本观测值，可表示为表示为 用矩阵表示用矩阵表示 9 9总体回归函数总体回归函数或或样本回归函数样本回归函数或或 其中：其中：都是有都是有n个元素的列向量个元素的列向量是有是有k 个个元素的列向量元素的列向量（k=解释变量个数解释变量个数+1）是第一列为是第一列为1的的nk阶解释变量阶解释变量数据矩阵数据矩阵，(截距项可视为解释变量总是取值为截距项可视为解释变量总是取值为1)矩阵表示方式10 假定假定1：零均零均值假定假定 （i=1，2，-n）或 E（u）=0 假定假定2和假定和假定3：同方差和无自相关假定同方差和无自相关假定：或用方差或用方差-协方差矩阵表示为协方差矩阵表示为:（i=j）(ij)011假定假定5:无多重共无多重共线性假定性假定 (多元中增加的多元中增加的)假假定定各各解解释释变变量量之之间间不不存存在在线线性性关关系系，或或各各个个解解释变量观测值之间线性无关。或解释变量观测值释变量观测值之间线性无关。或解释变量观测值 矩阵矩阵X的秩为的秩为K(注意注意X为为n行K列列)。Ran(X)=k Rak(XX)=k 即即 (XX)可逆可逆 假定假定6:正正态性假定性假定12假定假定4：随机随机扰动项与解与解释变量不相关量不相关12一、普通最小二乘法一、普通最小二乘法（OLSOLS）原则：原则：寻求寻求剩余平方和最小的参数估计式剩余平方和最小的参数估计式 即求偏导，并令其为0 其中即 13用矩阵表示的正规方程偏导数偏导数因为样本回归函数为因为样本回归函数为两边左乘两边左乘根据最小二乘原则根据最小二乘原则则正规方程为则正规方程为14 OLS估估计式式 由正规方程由正规方程多元回归的多元回归的OLS估计量为估计量为当只有两个解释变量时为：当只有两个解释变量时为：注意：注意：为为X、Y的离差的离差对比对比简单线性回归中简单线性回归中15 回归线通过样本均值回归线通过样本均值 估计值估计值 的均值等于实际观测值的均值等于实际观测值 的均值的均值 剩余项剩余项 的均值为零的均值为零 被解释变量估计值被解释变量估计值 与剩余项与剩余项 不相关不相关 解释变量解释变量 与剩余项与剩余项 不相关不相关 （j=1,2,-k）1616 1、线性性特征 是是Y的的线线性性函函数数，因因 是是非非随随机机或或取取固固定值的矩阵定值的矩阵 2、无无偏偏特性 (证证明明见见教教材材P101附录附录3.1)3、最小方差最小方差特性 在在 所有的线性无偏估计中，所有的线性无偏估计中，OLS估计估计 具有最小方差具有最小方差 (证明见教材证明见教材P101或附录或附录3.2)结论：结论：在古典假定下，多元线性回归的在古典假定下，多元线性回归的 OLS估估 计式是最佳线性无偏估计式（计式是最佳线性无偏估计式（BLUE）17三、三、OLS估估计的分布性的分布性质基本思想基本思想：是是随随机机变变量量，必必须须确确定定其其分分布布性性质质才才可可能能进进行行区间估计和假设检验区间估计和假设检验是服从正态分布的随机变量，是服从正态分布的随机变量，决定了决定了Y也是服从正态分布的随机变量也是服从正态分布的随机变量 是是Y的的线线性性函函数数，决决定定了了 也也是是服服从从正正态态分布的随机变量分布的随机变量18 的期望的期望 (由无偏性由无偏性)的方差和标准误差：的方差和标准误差：可以证明可以证明 的方差的方差协方差矩阵为协方差矩阵为（见下页）（见下页）这里的这里的（其中（其中 是矩阵是矩阵 中第中第 j 行第行第 j 列的元素）列的元素）所以所以 （j=1,2,-k）的期望与方差19其中：其中：(由无偏性由无偏性)(由同方差性由同方差性)(由由OLS估计式估计式)20注意注意 是向量是向量的方差的方差-协方差方差20 一般未知，可证明多元回归中一般未知，可证明多元回归中 的无偏的无偏 估计为：估计为：(证明见证明见P103附录附录3.3)或表示为或表示为 将将 作标准化变换：作标准化变换：21对比对比:一元回归中一元回归中21因因 是未知的，是未知的，可用可用 代替代替 去估计参数的去估计参数的标准误差标准误差:当为大样本时，用估计的参数标准误差对当为大样本时，用估计的参数标准误差对 作标作标准化变换，所得准化变换，所得 Z 统计量仍可视为服从正态分布统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对当为小样本时，用估计的参数标准误差对 作标作标准化变换，所得的准化变换，所得的 t 统计量服从统计量服从 t 分布：分布：2222五、五、回回归系数的区系数的区间估估计 由于由于给定给定，查，查t分布表的自由度为分布表的自由度为n-k 的临界值的临界值或或或表示为或表示为2323一、多元回一、多元回归的的拟合合优度度检验 多重可决系数多重可决系数：在多元回归模型中，由各个解释在多元回归模型中，由各个解释 变量联合起来解释了的变量联合起来解释了的Y的变差，在的变差，在Y的总变差中占的总变差中占 的比重，用的比重，用 表示表示 与简单线性回归中可决系数与简单线性回归中可决系数 的区别只是的区别只是 不同不同多元回归中多元回归中多重可决系数可表示为多重可决系数可表示为 (注意注意:红色字体是与一元回归不同的部分红色字体是与一元回归不同的部分)2424多重可决系数的矩多重可决系数的矩阵表示表示可用代数式表达为可用代数式表达为特点特点:多重可决系数是模型中解释变量个数的不减函多重可决系数是模型中解释变量个数的不减函 数数，这这给给对对比比不不同同模模型型的的多多重重可可决决系系数数带带来来缺缺陷陷，所以需要修正。所以需要修正。25修正的可决系数修正的可决系数思想：思想：可决系数只涉及变差，没有考虑可决系数只涉及变差，没有考虑自由度自由度。如果用自由度去校正所计算的变差，可纠如果用自由度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。正解释变量个数不同引起的对比困难。回顾回顾:自由度自由度：统计量的自由度指可自由变化的样本观统计量的自由度指可自由变化的样本观测值个数，它等于所用样本观测值的个测值个数，它等于所用样本观测值的个数减去对观测值的约束个数数减去对观测值的约束个数。26可决系数的修正方法可决系数的修正方法 总变差总变差TSS自由度为自由度为n-1解释了的变差解释了的变差ESS自由度为自由度为k-1剩余平方和剩余平方和RSS自由度为自由度为n-k修正的可决系数为修正的可决系数为 27 修修正正的的可可决决系系数数 与与可可决决系系数数 的关系的关系已经导出：已经导出：注意：注意：可可决决系系数数 必必定定非非负负，但但所所计计算算的的修修正正可可决系数决系数有可能为负值有可能为负值 解解决决办法法：若若计计算算的的 ，规规定定 取值为取值为02829基本思想：基本思想：在多元回归中包含多个解释变量，它们与被解释在多元回归中包含多个解释变量，它们与被解释变量是否有显著关系呢？变量是否有显著关系呢？当然可以分别检验各个解释变量对被解释变量影当然可以分别检验各个解释变量对被解释变量影响的显著性。响的显著性。但是我们首先关注的是所有解释变量联合起来对被但是我们首先关注的是所有解释变量联合起来对被解释变量影响的显著性解释变量影响的显著性,或整个方程总的联合显著性，或整个方程总的联合显著性，需要对方程的总显著性在方差分析的基础上进行需要对方程的总显著性在方差分析的基础上进行F F检验检验。2930在讨论可决系数时已经分析了被解释变量总变差在讨论可决系数时已经分析了被解释变量总变差TSS的分解及自由度：的分解及自由度：TSS=ESS+RSS注意注意:Y的样本方差的样本方差=总变差总变差/自由度自由度 即即显显然然，Y的的样样本本方方差差也也可可分分解解为为两两部部分分，可可用用方方差差分分析表分解析表分解301.方差分析30变变差差来来源源 平平 方方 和和 自自由由度度 方方差差归于回归模型归于回归模型ESS=k-1归于剩余归于剩余RSS=n-k总变差总变差TSS=n-1基本思想基本思想:如果多个解释变量联合起来对被解释变量的影响不显著如果多个解释变量联合起来对被解释变量的影响不显著,“归于回归于回归的方差归的方差“比比“归于剩余的方差归于剩余的方差”显著地小应是大概率事件。显著地小应是大概率事件。方差分析表31原假设原假设:（所有所有解释变量联合起来对被解释变量的影响不显著）解释变量联合起来对被解释变量的影响不显著）备择假设备择假设:不全为不全为0建立统计量建立统计量(可以证明可以证明):给定显著性水平给定显著性水平 ，查，查F分布表中自由度为分布表中自由度为 k-1 和和 n-k 的临界值的临界值 ，并通过样本观测，并通过样本观测值计算值计算F值值3232F检验方式如果计算的如果计算的F值大于临界值值大于临界值 ，则拒绝则拒绝 ，说说明明回回归归模模型型有有显显著著意意义义，即所有解释变量联合起来对即所有解释变量联合起来对Y确有显著影响。确有显著影响。如果计算的如果计算的F值小于临界值值小于临界值 ，则不拒绝，则不拒绝 ，说明回归模型没有显著，说明回归模型没有显著 意义，即所有解释变量联合起来对意义，即所有解释变量联合起来对Y没有显著影响。没有显著影响。33注意注意:在一元回归中在一元回归中F F检验与检验与t t检验等价检验等价,且且 (见教材见教材P87证明证明)但在多元回归中，但在多元回归中，F检验显著，不一定每个解释变量都对检验显著，不一定每个解释变量都对Y有显著影响。还需要分别检验有显著影响。还需要分别检验当其他解释变量保持不变当其他解释变量保持不变时时，各个解释变量，各个解释变量X对被解释变量对被解释变量Y是否有显著影响。是否有显著影响。方法：方法：原假设原假设 （j=1,2,k）备择假设备择假设 统计量统计量t为：为：34给定显著性水平给定显著性水平，查，查t t分布表的临界值为分布表的临界值为如果如果 就不拒绝就不拒绝 ，而拒绝，而拒绝即即认认为为 所所对对应应的的解解释释变变量量 对对被被解解释释变变量量Y Y的的影影响不显著。响不显著。如果如果 就拒绝就拒绝 而不拒绝而不拒绝 即即认认为为 所所对对应应的的解解释释变变量量 对对被被解解释释变变量量Y Y的的影响是显著的。影响是显著的。讨论：讨论：在多元回归中，可以作在多元回归中，可以作F F检验，也可以分别对每个回检验，也可以分别对每个回归系数逐个地进行归系数逐个地进行 t t 检验。检验。F F 检验与检验与t t检验的关系是什么？检验的关系是什么？对各回归系数假设检验的作法35 一、被解一、被解释变量平均量平均值预测1.Y平均平均值的点的点预测 方法：方法：将解释变量预测值代入估计的方程：将解释变量预测值代入估计的方程：多元回归时：多元回归时：或或注意注意:预测期的预测期的 是第一个元素为是第一个元素为1 1的的行向量行向量,不不是矩阵是矩阵,也不是列向量也不是列向量 36 2.Y平均平均值的区的区间预测基本思想基本思想：（与简单线性回归时相同）（与简单线性回归时相同）由于存在抽样波动，预测的平均值由于存在抽样波动，预测的平均值不一定不一定等于真实平均值等于真实平均值，还需要对，还需要对作区间估计。作区间估计。为了对为了对Y作区间预测，必须确定平均值预测值作区间预测，必须确定平均值预测值的抽样分布。的抽样分布。必须找出与必须找出与和和都有关的统计量都有关的统计量,并要明确其概率分布性质。并要明确其概率分布性质。3737区区间预测的具体作法的具体作法当当未知未知时，只得用时，只得用代替，这时代替，这时简单线性回归中简单线性回归中(回顾简单线性回归回顾简单线性回归)3838多元回归时，与预测的平均值多元回归时，与预测的平均值和真实平均值和真实平均值 都有关的是二者的偏差都有关的是二者的偏差：服从正态分布，可证服从正态分布，可证明明用用代替代替，可构造，可构造 t 统计量统计量区区间预测的具体作法（多元的具体作法（多元时）39 服从正态分布，可证明服从正态分布，可证明 即即标准化标准化当用当用 代替代替 时时，可构造，可构造 t 统计量统计量4040 给定显著性水平给定显著性水平，查，查t分布表，得自由度为分布表，得自由度为n-k的的临界值临界值，则，则或或区区间预测的具体作法的具体作法41 基本思想：基本思想：（与简单线性回归时相同）（与简单线性回归时相同）由由于于存存在在随随机机扰扰动动 的的影影响响，Y的的平平均均值值并并不不等等于于Y的个别值。的个别值。为为了了对对Y的的个个别别值值 作作区区间间预预测测，需需要要寻寻找找与与预预测测值值 和个别值和个别值 有关的统计量，并要明确其概率分布性质。有关的统计量，并要明确其概率分布性质。42 已已知知剩剩余余项项是是与与预预测测值值和和个个别别值值都都有有关关的变量的变量并且已知并且已知服从正态分布，且多元回归时可证明服从正态分布，且多元回归时可证明当用当用代替代替时，对时，对标准化的标准化的变量变量t为：为：个个别值区区间预测具体作法具体作法43给定显著性水平给定显著性水平，查，查t分布表得自由度为分布表得自由度为n-k的临的临界值界值则则因此，多元回归时因此，多元回归时Y的个别值的置信度的个别值的置信度1-的预测的预测区间的上下限为区间的上下限为44第五第五节案例分析案例分析研究的目的要求研究的目的要求为了研究影响中国税收收入增了研究影响中国税收收入增长的主要原因，分析中央和地方的主要原因，分析中央和地方税收收税收收入增入增长的数量的数量规律，律，预测中国税收未来的增中国税收未来的增长趋势，需要建立需要建立计量量经济模型。模型。研究范研究范围：19781978年年-2007-2007年年全国税收收入全国税收收入理理论分析：分析：为了全面反映中国税收增了全面反映中国税收增长的全貌，的全貌，选择包括包括中央和地方税收的中央和地方税收的“国家国家财政收入政收入”中的中的“各各项税收税收”（简称称“税收收入税收收入”）作）作为被解被解释变量；量；选择国内生国内生产总值（GDP）作作为经济整体增整体增长水平的代表；水平的代表；选择中央和地方中央和地方“财政支出政支出”作作为公共公共财政需求的代表；政需求的代表；选择“商品零售价格指数商品零售价格指数”作作为物物价水平的代表。价水平的代表。45年份税收收入（亿元）（Y）国内生产总值（亿元）（X2）财政支出（亿元）（X3）商品零售价格指数（%）（X4）1978519.283624.11122.09100.71979537.824038.21281.79102.01980571.704517.81228.83106.01981629.894862.41138.41102.41982700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.519892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.44619934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.4199910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.847序列序列Y、X2、X3、X4的线性图的线性图可以看出可以看出Y、X2、X3都是逐年增都是逐年增长的，但增长速率有所变动，而长的，但增长速率有所变动，而且且X4在多数年份呈现出水平波动。在多数年份呈现出水平波动。说明变量间不一定是线性关系，说明变量间不一定是线性关系，可探索将模型设定为以下对数模可探索将模型设定为以下对数模型：型：注意这里的注意这里的“商品零售价格指数商品零售价格指数”（X4）未取对数。）未取对数。48三、估三、估计参数参数模型估计的结果为：模型估计的结果为：(0.6397)(0.1355)(0.1557)(0.0055)t=(-4.4538)(3.0420)(4.2788)(2.0856)F=673.7521 df=3049模型模型检验：1 1、经济意义检验：、经济意义检验：模型估计结果说明，在假定其它变量不变的情况下，当年GDP每增长1%，税收收入会增长0.4123%；当年财政支出每增长1%，平均说来税收收入会增长0.6664%；当年商品零售价格指数上涨一个百分点，平均说来税收收入会增长0.0115%。这与理论分析和经验判断相一致。2 2、统计检验：、统计检验：拟合优度：拟合优度：，表明样本回归方程较好表明样本回归方程较好地拟合了样本观测值。地拟合了样本观测值。F F检验：检验：对对 已得到已得到 F=F=673.7521，给定给定查表得自由度查表得自由度k-1=3和n-k=26的临界值：的临界值：，因为，因为F=673.75212.98，说明模型总体上显著，说明模型总体上显著，即即“国内生产总值国内生产总值”、“财政支出财政支出”、“商品零售价格指数商品零售价格指数”等等变量联合起来确实对变量联合起来确实对“税收收入税收收入”有显著影响。有显著影响。5050 t t检验分别针对分别针对 ，给定显著性水平，给定显著性水平 ,查查t t分布表得自由度为分布表得自由度为n-k=21n-k=21的临界值的临界值 。由回归结果已知与由回归结果已知与 、对应的对应的t t值分值分别为：别为：-4.4538、3.0420、4.2788、2.0856，其绝对值均大于其绝对值均大于 ，这说明在显著性水平，这说明在显著性水平 下，分下，分别都应当拒绝别都应当拒绝 说明当在其它解释变量不变的情况下，解释变量说明当在其它解释变量不变的情况下，解释变量“国内生国内生产总值产总值”、“财政支出财政支出”、“商品零售价格指数商品零售价格指数”分分别对被解释变量别对被解释变量“税收收入税收收入”Y Y都有显著的影响。都有显著的影响。511.多元线性回归模型及其矩阵形式。多元线性回归模型及其矩阵形式。2.多元线性回归模型中对随机扰动项多元线性回归模型中对随机扰动项u的假定，除了其他的假定，除了其他基本假定以外，还要求满足无多重共线性假定。基本假定以外，还要求满足无多重共线性假定。3.多元线性回归模型参数的最小二乘估计量；在基本假定多元线性回归模型参数的最小二乘估计量；在基本假定满足的条件下，多元线性回归模型最小二乘估计式是最满足的条件下，多元线性回归模型最小二乘估计式是最佳线性无偏估计量佳线性无偏估计量。4.多元线性回归模型中参数区间估计的方法。多元线性回归模型中参数区间估计的方法。52 5.多重可决系数的意义和计算方法，修正可决系数多重可决系数的意义和计算方法，修正可决系数的作用和方法。的作用和方法。6.对多元线性回归模型中所有解释变量联合显著性的对多元线性回归模型中所有解释变量联合显著性的F检验。检验。7.多元回归分析中，对各个解释变量是否对被解释变多元回归分析中，对各个解释变量是否对被解释变量有显著影响的量有显著影响的t检验。检验。8.利用多元线性回归模型作被解释变量平均值预测利用多元线性回归模型作被解释变量平均值预测与个别值预测的方法。与个别值预测的方法。5354第三章第三章结束了！束了！54