第4章多元回归估计与假设检验课件

第第4章多元回归：估计与假设检验章多元回归：估计与假设检验 Essentials of Econometrics多元回归：估计与假设检验多元回归：估计与假设检验 第4章4-2重点讨论重点讨论n如何估计多元回归模型？多元回归模型的估计过如何估计多元回归模型？多元回归模型的估计过程与双变量模型有何不同？程与双变量模型有何不同？n多元回归模型的假设检验与双变量模型有何不同多元回归模型的假设检验与双变量模型有何不同？n多元回归模型有没有一些在双变量模型中未曾遇多元回归模型有没有一些在双变量模型中未曾遇到的特性？到的特性？n既然一个多元回归模型能够包括任意多个解释变既然一个多元回归模型能够包括任意多个解释变量，那么如何决定解释变量的个数？量，那么如何决定解释变量的个数？4-3n4.1 三变量线性回归模型三变量线性回归模型n4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定n4.3 多元回归参数的估计多元回归参数的估计n4.4 估计多元回归的拟合优度：多元判定系数估计多元回归的拟合优度：多元判定系数R2n4.5 古董钟拍卖价格一例古董钟拍卖价格一例n4.6 多元回归的假设检验多元回归的假设检验n4.7 对偏回归系数进行假设检验对偏回归系数进行假设检验n4.8 检验联合假设检验联合假设n4.9 从多元回归模型到双变量模型：设定误差从多元回归模型到双变量模型：设定误差n4.10 校正的判定系数校正的判定系数n4.11 什么时候增加新的解释变量什么时候增加新的解释变量n4.13 若干例子若干例子本章主要内容本章主要内容4-44.1 三变量线性回归模型三变量线性回归模型n三变量三变量PRFPRF的非随机形式的非随机形式 ：E E(Y Yt t)=)=B B1 1+B B2 2X X2 2t t+B B3 3X X3 3t t (4-1)(4-1)n其随机形式为：其随机形式为：Y Yt t=B B1 1+B B2 2X X2 2t t+B B3 3X X3 3t t+u ut t (4-2)(4-2)=E E(Y Yt t)+)+u ut t (4-3)(4-3)式中式中Y Y应变量；应变量；X X2 2、X X3 3 解释变量；解释变量；u u随机扰动项；随机扰动项；t t第第t t个观察值。个观察值。n表明：任何一个表明：任何一个 值可以表示成为两部分之和：值可以表示成为两部分之和：1.1.系统成分或确定性成分系统成分或确定性成分()()，也就是，也就是 的均值的均值 2.2.非系统成分或随机成分非系统成分或随机成分 ，即由除，即由除 、以外其他因素决定以外其他因素决定 。B2、B3为为偏回归系数偏回归系数4-54.1 三变量线性回归模型三变量线性回归模型偏回归系数的含义偏回归系数的含义nB2，B3称称 为为 偏偏 回回 归归 系系 数数(partial regression coefficients)或偏斜率系数或偏斜率系数(partial slope coefficients)。n其其意意义义如如下下：B2度度量量了了在在X3保保持持不不变变的的情情况况下下，X2每每变变动动一一单单位位，Y的的均均值值E(Y)的的改改变变量量。同同样样的的，B3度度量量了了在在X2保保持持不不变变的的情情况况下下，X3每每变变动动一一单单位位，Y的均值的均值E(Y)的改变量。的改变量。4-64.1 三变量线性回归模型三变量线性回归模型多元线性回归模型一般形式多元线性回归模型一般形式 n 多元线性回归模型多元线性回归模型：表现在线性回归模型中的解释变表现在线性回归模型中的解释变量有多个。量有多个。n 一般表现形式：一般表现形式：其其中中：k为为解解释释变变量量的的数数目目（包包括括截截距距项项），称称为为回回归归系系数数（regression coefficient）。）。n 习习惯惯上上：把把常常数数项项看看成成为为一一虚虚变变量量的的系系数数，该该虚虚变变量量的的样本观测值始终取样本观测值始终取1。这样：。这样：模型中解释变量的数目为模型中解释变量的数目为k。4-74.1 三变量线性回归模型三变量线性回归模型也被称为总体回归函数的随机表达形式。也被称为总体回归函数的随机表达形式。n它的非随机表达式为：它的非随机表达式为：方程表示：各变量方程表示：各变量X X值固定时值固定时Y Y的平均响应。的平均响应。n 被被称称为为偏偏回回归归系系数数，表表示示在在其其他他解解释释变变量量保保持持不不变变的的情情况况下下，X Xt t每每变变化化1 1个个单单位位时时，Y Y的的均均值值E(Y)E(Y)的的变变化化；或或者者说说 给给出出了了X Xt t的的单单位位变变化化对对Y Y均均值值的的“直直接接”或或“净净”（不不含含其其他他变量）影响。变量）影响。4-84.1 三变量线性回归模型三变量线性回归模型样本回归函数样本回归函数：用来估计总体回归函数：用来估计总体回归函数其其随机表示式随机表示式:称为称为残差残差或或剩余项剩余项(residuals)，可看成是总可看成是总体回归函数中随机扰动项体回归函数中随机扰动项 的近似替代。的近似替代。4-94.2 多元线性回归模型的若干假定多元线性回归模型的若干假定假定假定4.1 回归模型是参数线性的，并且是正回归模型是参数线性的，并且是正 确设定的。确设定的。假定假定4.2 随机扰动项与解释变量不相关。随机扰动项与解释变量不相关。假定假定4.3 误差项均值为零。误差项均值为零。(4 7)假定假定4.4 同方差假定，即同方差假定，即ui的方差为一常量：的方差为一常量：(4-8)4-10假定假定4.7 为了假设检验，假为了假设检验，假 定随项误差定随项误差ui服从均值服从均值为零，为零，(同同)方差为方差为 的正态分布。即，的正态分布。即，uiN(0,)4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定假定假定4.5 无自相关假定无自相关假定 cov(ui,uj)=0 ,ij假定假定4.6 解释变量之间不存在完全共线性。即两解释变量之间不存在完全共线性。即两 个解释变量之间无确切的线性关系。个解释变量之间无确切的线性关系。(4-9)(4-10)4-114.2 多元线性回归模型的若干假定多元线性回归模型的若干假定n利用普通最小二乘法（利用普通最小二乘法（OLS）进行参数估计）进行参数估计 n无共线性（无共线性（no collinearity）或无多重共线性）或无多重共线性（no multicollinearity）假定）假定 n共线性的共线性的(collinear)或严格的线性假定或严格的线性假定n高度共线性（高度共线性（high perfect collinearity）或近）或近似完全共性线（似完全共性线（near perfect collinearity）假定假定 4-124.3 多元回归参数的估计多元回归参数的估计n4.3.1 普通最小二乘估计量普通最小二乘估计量n4.3.2 OLS估计量的方差与标准误估计量的方差与标准误n4.3.3 多元回归多元回归OLS估计量的性质估计量的性质4-134.3.多元回归参数的估计多元回归参数的估计4.3.14.3.1普通最小二乘估计量普通最小二乘估计量n对于随机抽取的对于随机抽取的n组观测值，组观测值，如果样本函数的参数估计如果样本函数的参数估计值已经得到，则有样本回归方程：值已经得到，则有样本回归方程：n根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 4-144.3 多元回归参数的估计多元回归参数的估计n于是得到关于待估参数估计值的于是得到关于待估参数估计值的正规方程组正规方程组：4-154.3 多元回归参数的估计多元回归参数的估计4.3.2 OLS4.3.2 OLS估计量的方差与标准误估计量的方差与标准误随机误差项随机误差项ui的方差的方差 2 2的无偏估计的无偏估计 可以证明，随机误差项可以证明，随机误差项 方差的无偏估计量为方差的无偏估计量为 4-164.3 多元回归参数的估计多元回归参数的估计4.3.3 4.3.3 多元回归多元回归OLSOLS估计量的性质估计量的性质n 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普普通最小二乘估计通最小二乘估计仍具有：仍具有：线性性线性性、无偏性无偏性、有效性有效性。4-174.4 估计多元回归的拟合优度：多元判定系数估计多元回归的拟合优度：多元判定系数n 的正平方根的正平方根 称为多元相关系数称为多元相关系数（coefficient of multiple correlation）多元判定系数多元判定系数R24-184.5 古董钟拍卖价格一例古董钟拍卖价格一例4-194.5 古董钟拍卖价格一例古董钟拍卖价格一例4-204.5 古董钟拍卖价格一例古董钟拍卖价格一例4-214.5 古董钟拍卖价格一例古董钟拍卖价格一例4-224.5 古董钟拍卖价格一例古董钟拍卖价格一例4-234.5 古董钟拍卖价格一例古董钟拍卖价格一例4-244.5 古董钟拍卖价格一例古董钟拍卖价格一例4-254.5 古董钟拍卖价格一例古董钟拍卖价格一例4-264.5 古董钟拍卖价格一例古董钟拍卖价格一例n拍卖价格与钟表年代和竞标人数正相关。拍卖价格与钟表年代和竞标人数正相关。n斜斜率率系系数数12.74表表示示，在在其其他他变变量量保保持持不不变变的的条条件件下下，如如果果钟钟表表年年代代每每增增加加一一年年，则则钟钟表表价价格格平平均均上上升升12.74马克。马克。n负的截距项没有实际意义。负的截距项没有实际意义。n 值值相相当当高高，约约为为0.89，表表示示两两个个变变量量解解释释了了拍拍卖卖价格价格89%的变异。的变异。4-274.6 多元回归的假设检验多元回归的假设检验n可以证明偏回归系数可以证明偏回归系数 均服从均值分均服从均值分别为别为 的正态分布的正态分布n如用如用 代替代替 ,则则OLS估计量服从自由度估计量服从自由度为为(n-k)的的t分布分布4-284.7 对偏回归系数进行假设检验对偏回归系数进行假设检验4.7.1 4.7.1 变量的显著性检验（变量的显著性检验（t检验）检验）n每个解释变量对被解释变量有无影响？每个解释变量对被解释变量有无影响？n必必须须对对每每个个解解释释变变量量进进行行显显著著性性检检验验，以以决决定定是是否否作为解释变量被保留在模型中。作为解释变量被保留在模型中。n这一检验是由对变量的这一检验是由对变量的t t检验完成的。检验完成的。4-294.7.1 变量的显著性检验（t检验）t检验检验n设计原假设与备择假设：设计原假设与备择假设：H1：Bt 0 n给定显著性水平给定显著性水平，可得到临界值，可得到临界值t/2(n-k)，由样本由样本求出统计量求出统计量t的数值，通过的数值，通过|t|t|t/2(n-k)或或|t|t|t/2(n-k)来拒绝或接受原假设来拒绝或接受原假设H0，从而从而判定对应的解释变量是判定对应的解释变量是否应包括在模型中否应包括在模型中。H0：Bt=0 t=1,2,k 4-304.7.1变量的显著性检验（t检验）双边双边t检验步骤：检验步骤：4-314.7.1 变量的显著性检验（t检验）在在钟钟表表价价格格与与年年代代、投投标标人人数数的的三三变变量量回回归归模模型例中型例中，由软件计算出参数的由软件计算出参数的t值：值：给定显著性水平给定显著性水平=0.05，查得相应临界值：，查得相应临界值：t0.025(29)=2.045。可可见见，计计算算的的所所有有t值值都都大大于于该该临临界界值值，所所以以拒绝原假设。即拒绝原假设。即:包包括括常常数数项项在在内内的的3个个解解释释变变量量都都在在95%的的水水平下显著，都通过了变量显著性检验。平下显著，都通过了变量显著性检验。双边检验双边检验 4-324.7.1变量的显著性检验（t检验）n单边单边t检验步骤检验步骤:如果根据理论或常识，如果根据理论或常识，非负，则可做单侧检验，比较非负，则可做单侧检验，比较 t 与与t。原假设原假设 H0：Bt 0备择假设备择假设 H1：Bt 04-334.7.1变量的显著性检验（t检验）n由于先验地预期钟表年代的系数为正，因此，这里由于先验地预期钟表年代的系数为正，因此，这里实际上用的是单边检验：实际上用的是单边检验：原假设原假设 H0：B2 0备择假设备择假设 H1：B20右侧单边检验右侧单边检验4-344.7.2 假设检验的置信区间法 参参数数的的置置信信区区间间用用来来考考察察：在在在在一一一一次次次次抽抽抽抽样样样样中中中中所所所所估估估估计的参数值离参数的真实值有多计的参数值离参数的真实值有多计的参数值离参数的真实值有多计的参数值离参数的真实值有多“近近近近”。在变量的显著性检验中已经知道：在变量的显著性检验中已经知道：4-354.7.2 假设检验的置信区间法容易推出：其中，其中，t/2为显著性水平为为显著性水平为 、自由度为、自由度为n-k的临界值。的临界值。在在100(1-)%的置信水平下的置信区间是的置信水平下的置信区间是:4-364.7.2 假设检验的置信区间法 在在钟钟表表价价格格与与年年代代、投投标标人人数数三三变变量量回回归归模模型型例例中中,给定给定=0.05，查表得临界值：，查表得临界值：t0.025(29)=2.045计算得参数的计算得参数的95%置信区间置信区间：B1：(977.617,1694.481)B2：(10.876,14.607)B3：(67.764,103.764)从回归计算中已得到从回归计算中已得到4.5 古董钟拍卖价格一例4-374.8 检验联合假设：检验联合假设：或或n多元回归的总体显著性检验：多元回归的总体显著性检验：n检测所观测到的多元回归的总体显著性的检测所观测到的多元回归的总体显著性的方方差分析法（差分析法（analysis of variance analysis of variance ANOVAANOVA）：）：F F检验检验4-38方程的显著性检验方程的显著性检验(F检验检验)F F检验的思想检验的思想来自于总离差平方和的分解式：来自于总离差平方和的分解式：TSS=ESS+RSS 如果这个比值较大，则如果这个比值较大，则X的联合体对的联合体对Y的解释程度高，可的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。认为总体存在线性关系，反之总体上可能不存在线性关系。因此因此,可通过该比值的大小对总体线性关系进行推可通过该比值的大小对总体线性关系进行推断断。4.8 检验联合假设：检验联合假设：或或4-39方程的显著性检验方程的显著性检验(F检验检验)方方程程的的显显著著性性检检验验，旨旨在在对对模模型型中中被被解解释释变变量量与与解解释释变变量量之之间间的的线线性性关关系系在在总总体体上上是是否否显显著著成立作出推断。成立作出推断。即检验模型即检验模型 回归系数全部为零的可能性。回归系数全部为零的可能性。可提出如下原假设与备择假设：可提出如下原假设与备择假设：4.8 检验联合假设：检验联合假设：或或4-40方差分析表（方差分析表（ANOVA)平方和平方和d.f.均方差均方差ESSk-1RSSn-kTSSn-14.8 检验联合假设：检验联合假设：或或4-41 选择显著水平选择显著水平，计算，计算F统计量的值，与统计量的值，与F分布表中的临界值进行比分布表中的临界值进行比较：较：4.8 检验联合假设：检验联合假设：或或4-424.8 检验联合假设：检验联合假设：或或 4-43Table 4-2给定显著性水平给定显著性水平 =0.05，查分布表，得到临界值：，查分布表，得到临界值：F(2(2,29)=)=3.34显然有显然有 F F F(k-1,n-k)即模型的线性关系在即模型的线性关系在95%的水平下显著成立。的水平下显著成立。4-44与与之间的重要关系之间的重要关系4.8 检验联合假设：检验联合假设：或或1.F与与R2统计量同方向变动；统计量同方向变动；2.当当R2=0时，时，F为为0；3.R2越大，越大，F值越大；值越大；4.当当R2取极限值取极限值1时，时，F值趋于无穷大。值趋于无穷大。4-454.9 从多元回归模型到双变量模型：设定误差从多元回归模型到双变量模型：设定误差n设定偏差（设定偏差（model specification bias)或设定或设定误差（误差（specification error）4-464.9 从多元回归模型到双变量模型：设定误差从多元回归模型到双变量模型：设定误差4-47 判定系数判定系数该统计量越接近于该统计量越接近于1，模型的拟合优度越高。，模型的拟合优度越高。问题：问题：在在应应用用过过程程中中发发现现，如如果果在在模模型型中中增增加加一一个个解解释释变变量量，R2往往增大往往增大 这这就就给给人人一一个个错错觉觉：要要使使得得模模型型拟拟合合得得好好，只只要要增增加加解释变量即可解释变量即可。但但是是，现现实实情情况况往往往往是是，由由增增加加解解释释变变量量个个数数引引起起的的R2的增大与拟合好坏无关的增大与拟合好坏无关，R2需调整需调整。4.10 比较两个比较两个 值值 4-48 与解释变量与解释变量X的个数无关，而的个数无关，而 则可能随着解释变量的增加则可能随着解释变量的增加而减少（至少不会上升），因而，不同的而减少（至少不会上升），因而，不同的SRF，得到的，得到的R2 就可能不同。就可能不同。必须消除这种因素，使必须消除这种因素，使R2 即能说明被解释的离差与总离差之间的关系，即能说明被解释的离差与总离差之间的关系，又能说明自由度的数目。定义校正的样本判定系数又能说明自由度的数目。定义校正的样本判定系数 ：校正的判定系数校正的判定系数R2 与 的性质4.10 比较两个比较两个 值值 4-494.11 什么时候增加新的解释变量什么时候增加新的解释变量n只只要要校校正正判判定定系系数数值值 增增加加(即即使使 值值可可能能小小于于非非校正判定系数校正判定系数R2的值的值)，就可以增加解释变量。，就可以增加解释变量。n但是什么时候校正的判定系数值但是什么时候校正的判定系数值 开始增加呢？开始增加呢？n可可以以证证明明：如如果果增增加加变变量量的的系系数数的的|t|值值大大于于1，就就会会增增加加，这这里里的的t值值是是在在零零假假设设：真真实实系系数数为为零零下下计算得到的。计算得到的。4-504.11 什么时候增加新的解释变量什么时候增加新的解释变量4-514.12 受限最小二乘受限最小二乘 n受限模型受限模型（restricted model）与与受限最小二受限最小二乘法（乘法（restricted least squares,RLS）n非受限模型（非受限模型（unrestricted model）与非受限）与非受限最小二乘法（最小二乘法（unrestricted least squares,URLS）4-52 选择显著水平选择显著水平，计算，计算F统计量的值，与统计量的值，与F分布表中的临界值进行比分布表中的临界值进行比较：较：4.12 受限最小二乘受限最小二乘4-534.12 受限最小二乘受限最小二乘4-544.13 若干实例：若干实例：税收政策会影响公司的资本结构吗？税收政策会影响公司的资本结构吗？4-55 第第4章作业章作业n4.9；4.10；4.11；4.12；4.15；4.16n选做题：选做题：4.13；4.14；4.18；4.19；4.21；4.22