第二章 经典多元线性回归模型

第二章第二章 经典多元线性回经典多元线性回归模型归模型第一节、多元线性回归模型第一节、多元线性回归模型1 1、回归的含义、回归的含义“回归回归”的本意：向的本意：向“均值均值”回复的趋势回复的趋势回归的现代意义回归的现代意义(Regression Analysis)：估：估计和预测被解释变量的均值，是研究被解计和预测被解释变量的均值，是研究被解释变量对于解释变量依赖关系的计算方法释变量对于解释变量依赖关系的计算方法和理论。和理论。2设设系统因素系统因素无信息时对随机变量的预测：均值无信息时对随机变量的预测：均值有信息时对随机变量的预测：条件均值有信息时对随机变量的预测：条件均值2 2、多元线性回归模型的统计学解释、多元线性回归模型的统计学解释随机因素随机因素(随机扰动项随机扰动项)3此即为多元线性总体回归模型。此即为多元线性总体回归模型。若设：若设：则得：则得：称称为多元线性总体回归函数。为多元线性总体回归函数。4计量经济学模型引入随机扰动项的原因：计量经济学模型引入随机扰动项的原因：反映影响被解释变量的未知因素；反映影响被解释变量的未知因素；代表数据观测误差；代表数据观测误差；反映影响被解释变量的个体因素；反映影响被解释变量的个体因素；5用上述样本得总体回归函数用上述样本得总体回归函数得多元线性样本回归函数：得多元线性样本回归函数：中的参数的估计：中的参数的估计：定义残差：定义残差：称称为多元线性样本回归模型。为多元线性样本回归模型。3、总体与样本（、总体与样本（Population and Sample）样本样本6第二节、多元线性回归模型的估计第二节、多元线性回归模型的估计 一、普通最小二乘法（一、普通最小二乘法（OLSOLS）7若得到样本回归函数若得到样本回归函数,记记最小二乘原理：最小二乘原理：8称称此此方方程程组组为为为为正正规规方方程程组组9记：记：则多元线性总体回归模型则多元线性总体回归模型可表示为：可表示为：10则多元线性样本回归函数：则多元线性样本回归函数：可表示为：可表示为：记：记：11可以表示为可以表示为残差：残差：此时，多元线性样本回归模型：此时，多元线性样本回归模型：可以表示为：可以表示为：记残差向量为记残差向量为12由上述正规方程组由上述正规方程组变形得：变形得：1314正规方程组正规方程组的的矩阵形式矩阵形式:利用前述引入的记号利用前述引入的记号X,X,得得15多元线性回归模型参数多元线性回归模型参数普通最小二乘估计普通最小二乘估计与参数的关系：与参数的关系：残差向量：残差向量：16普通最小二乘估计的残差平方和：普通最小二乘估计的残差平方和：M为对称幂等矩阵为对称幂等矩阵记：记：17由正规方程组得，多元线性回归模型参数普通最小二乘由正规方程组得，多元线性回归模型参数普通最小二乘估计残差的性质：估计残差的性质：18二、经典多元线性回归模型的基本假定二、经典多元线性回归模型的基本假定 假设假设1，所有解释变量之间互不相关（无，所有解释变量之间互不相关（无多重共线性）。多重共线性）。假设假设2，随机扰动项具有零期望、同方差，随机扰动项具有零期望、同方差序列不相关。序列不相关。19 假设假设3 3，解释变量与随机项不相关，解释变量与随机项不相关 假设假设4 4，随机扰动项满足正态分布，随机扰动项满足正态分布 假设假设5 5，线性模型设定是正确的。，线性模型设定是正确的。20用矩阵表示上述假设用矩阵表示上述假设 假设假设1 1相当于相当于矩阵矩阵X的秩的秩R=k+1+1，即，即X满秩，满秩，假设假设2 2：零期望相当于：零期望相当于U U的方差协方差矩阵定义：的方差协方差矩阵定义：可逆可逆同方差、不相关相当于同方差、不相关相当于U U的方差协方差矩阵的方差协方差矩阵V-COVV-COV（U U）21假设假设4，向量，向量U 服从多维联合正态分布，即服从多维联合正态分布，即 假设假设3相当于相当于，E(E(XU)=0)=022若多元线性回归模型经典假定成立，则若多元线性回归模型经典假定成立，则23若多元线性回归模型经典假定成立，普通若多元线性回归模型经典假定成立，普通最小二乘估计的分布最小二乘估计的分布（1 1）参数普通最小二乘估计的方差与分布）参数普通最小二乘估计的方差与分布24此时，此时，为矩阵为矩阵第第j+1j+1列第列第j+1j+1行元素。行元素。25（2）随机扰动项方差估计的分布）随机扰动项方差估计的分布26三、三、多元线性回归模型的极大似然估计。多元线性回归模型的极大似然估计。若前述经典假设成立，则若前述经典假设成立，则可得：可得：其中：其中：似然函数为似然函数为 极大似然估计的结果与极大似然估计的结果与OLSOLS估计相同。估计相同。在满足基本假设的情况下，多元线性模在满足基本假设的情况下，多元线性模型参数型参数 的的普通最小二乘估计普通最小二乘估计具有具有线性线性性性、无偏性无偏性、有效性有效性。同时，随着样本容量增加，参数估计量同时，随着样本容量增加，参数估计量具有具有一致性一致性。四、参数估计量的性质四、参数估计量的性质291、线性性、线性性 其中其中,C=(XX)-1 X 为一仅与为一仅与X有关的矩阵。有关的矩阵。2、无偏性、无偏性 303 3、证明有效性，设、证明有效性，设是是的任一线性无偏估计，则存在某矩阵的任一线性无偏估计，则存在某矩阵C C*,使使31可得：可得：32的方差协方差矩阵为：的方差协方差矩阵为：证毕证毕33同时，当线性回归模型经典假同时，当线性回归模型经典假定成立时，参数的普通最小二定成立时，参数的普通最小二乘估计量是乘估计量是一致估计一致估计。341 1、最小样本容量最小样本容量 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理和，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。质量如何，所要求的样本容量的下限。样本最小容量必须不少于模型中解释变量的样本最小容量必须不少于模型中解释变量的数目（包括截距项）数目（包括截距项）,即 n k+1五、样本容量问题五、样本容量问题352 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的角度从统计检验的角度：n 30 时，时，Z检验才能应用；检验才能应用；n-k 8 8时时,t分布较为稳定分布较为稳定 一般经验认为一般经验认为:当当n 30或者至少或者至少n 3(k+1)时，才能说满足时，才能说满足模型估计的基本要求。模型估计的基本要求。当样本容量较大时，当样本容量较大时，模型普通最小二乘估模型普通最小二乘估计的性质才比较好。计的性质才比较好。36第三节、多元线性回归模型的统计检验第三节、多元线性回归模型的统计检验 Statistical Test of Multiple Linear Regression Model 37一、拟合优度一、拟合优度1 1、可决系数与调整的可决系数、可决系数与调整的可决系数记记总离差平方和总离差平方和（Total Sum of Squares）回归平方和（回归平方和（Explained Sum of Squares）残差平方和（残差平方和（Residual Sum of Squares）总离差平方和的分解总离差平方和的分解38TSS=ESS+RSS可证明：可证明：39 可决系数（可决系数（Coefficient of Determination）：复）：复相关系数。相关系数。该统计量越接近于该统计量越接近于1，模型的拟合优度越高。，模型的拟合优度越高。可决系数的缺点与调整可决系数的缺点与调整40 调整的可决系数调整的可决系数（adjusted coefficient of determination）其中：其中：n-k-1为残差平方和的自由度，为残差平方和的自由度，n-1为总体平为总体平方和的自由度。方和的自由度。问题：调整的可决系数多大才是合适的？问题：调整的可决系数多大才是合适的？412、赤池信息准则和施瓦茨准则、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有拟合优度，常用的标准还有:赤池信息准则赤池信息准则（Akaike information criterion,AIC）施瓦茨准则施瓦茨准则（Schwarz criterion，SC）这两准则均要求这两准则均要求仅当所增加的解释变量能够减少仅当所增加的解释变量能够减少AICAIC值或值或SCSC值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。似然函数似然函数42二、模型的统计学检验二、模型的统计学检验Testing the Overall Significance of a Multiple Regression(the F test)43模型（或方程）的显著性检验，旨在对模型中被模型（或方程）的显著性检验，旨在对模型中被解释变量与所有解释变量之间的线性关系是否显解释变量与所有解释变量之间的线性关系是否显著成立作出推断。著成立作出推断。对方程的检验假设：对方程的检验假设：联合检验联合检验1、多元线性回归模型是否显著的检验、多元线性回归模型是否显著的检验44 方程显著性检验的想法：方程显著性检验的想法：如果这个比值较大，方程具有显著性。否则，方程如果这个比值较大，方程具有显著性。否则，方程没有显著性。没有显著性。TSS=ESS+RSS45若若H0成立成立，则，则F F应该比较小；反之，若应该比较小；反之，若F F比较大，比较大，则拒绝原假设。则拒绝原假设。给定显著性水平给定显著性水平，可得到临界值，可得到临界值F(k,n-k-1)，由样本求出统计量由样本求出统计量F的数值，若的数值，若F F F(k,n-k-1)，则，则拒绝原假设拒绝原假设H0，方程，方程总体上总体上显著成立；否则，若显著成立；否则，若F=F(k,n-k-1)则没有证据表明方程显著成立。则没有证据表明方程显著成立。统计量统计量 46可决系数与方程显著性检验可决系数与方程显著性检验F统计量的关系统计量的关系、与可决系数同方向变化。、与可决系数同方向变化。、与可决系数为等价。、与可决系数为等价。47注意：不能仅考虑拟合优度的大小，只注意：不能仅考虑拟合优度的大小，只要经检验，方程具有显著性，则一般情要经检验，方程具有显著性，则一般情况下，拟合优度就是合适的。况下，拟合优度就是合适的。问题：可决系数多大才是合适的？问题：可决系数多大才是合适的？检验可决系数为与检验方程的显著性等价检验可决系数为与检验方程的显著性等价482、多元线性回归模型、多元线性回归模型变量变量的显著性检验：检验某的显著性检验：检验某个解释变量对被解释变量是否有显著的影响。个解释变量对被解释变量是否有显著的影响。原假设与备择假设：原假设与备择假设：H1：j0 H0：j=0 （j=1,2k）检验统计量：检验统计量：若若|Tj|t/2(n-k-1)，则拒绝原假设，则拒绝原假设H0，即，即第第j个解释变量对被解释变量有显著的影响。个解释变量对被解释变量有显著的影响。49第四节第四节 受约束回归受约束回归 Restricted Regression问题：问题：考察参数之间的某个关系是否成立考察参数之间的某个关系是否成立如：上述模型中考察如：上述模型中考察是否成立是否成立50检验假设检验假设H0：系数受约束系数受约束MUR：不受约束的回归模型不受约束的回归模型上述为受约束的回归模型上述为受约束的回归模型MR51检验统计量检验统计量：推断：若推断：若F F(ku-kR,n-kU-1)则拒绝原假设则拒绝原假设H0分别为受约束与不受约束回归模分别为受约束与不受约束回归模型的残差平方和。型的残差平方和。分别为不受约束与受约束回归模型解释变量的个数分别为不受约束与受约束回归模型解释变量的个数。52证明证明*：53结束语结束语谢谢大家聆听！谢谢大家聆听！54