第七讲多元回归的联合检验-课件

多元线性回归分析多元线性回归分析2020/12/151总体回归函数总体回归函数：样本回归函数样本回归函数：总体回归模型：总体回归模型：样本回归模型：样本回归模型：2020/12/152精品资料3你怎么称呼老师？如果老师最后没有总结一节课的重点的难点，你是否会认为老师的教学方法需要改进？你所经历的课堂，是讲座式还是讨论式？教师的教鞭“不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘”“太阳当空照，花儿对我笑，小鸟说早早早”4多元线性回归模型的基本经典假定多元线性回归模型的基本经典假定 假设假设1 随机误差项具有零均值。随机误差项具有零均值。假设假设2 对于解释变量的所有观测值，随机对于解释变量的所有观测值，随机误差项有相同的方差。误差项有相同的方差。2020/12/155 假设假设3 3 随机误差项彼此之间不相关随机误差项彼此之间不相关 2020/12/156满足经典假设的满足经典假设的u的方差协方差矩阵的方差协方差矩阵2020/12/157如果不满足如果不满足假设二假设二，我们称误差项存在，我们称误差项存在异方差：异方差：Var(u)主对角线上的元素不相主对角线上的元素不相等等。2020/12/158如果不满足如果不满足假设三假设三，我们称误差项存在，我们称误差项存在自相关：非主对角线上的元素不为自相关：非主对角线上的元素不为0。2020/12/159假设假设4 4 所有的解释变量所有的解释变量X Xi i为确定性变量，与随为确定性变量，与随机误差项彼此之间不相关。机误差项彼此之间不相关。2020/12/1510假设假设5 解释变量解释变量Xi之间不存在精确的线形之间不存在精确的线形关系，即解释变量的样本观测值矩阵关系，即解释变量的样本观测值矩阵X是是满秩矩阵，应满足关系式：满秩矩阵，应满足关系式：rank(X)=k+1 t/2(n-k-1)，则拒绝H0，接受H1；若|t|t/2(n-k-1)，则拒绝H1，接受H0；2020/12/1531 i的置信区间是的置信区间是 单个变量的置信区间单个变量的置信区间（小样本假设下）（小样本假设下）2020/12/1532reg testscr str el_pct2020/12/1533我们可以看出，大样本假设和小样本假我们可以看出，大样本假设和小样本假设下同一个回归的系数完全一样，但标设下同一个回归的系数完全一样，但标准误和准误和t值、置信区间完全不同。值、置信区间完全不同。2020/12/1534 多元回归分析使学区负责人相信，基于目多元回归分析使学区负责人相信，基于目前的证据，缩小学区内的班级规模有利于提前的证据，缩小学区内的班级规模有利于提高测试成绩。但她现在又提出了有点细微差高测试成绩。但她现在又提出了有点细微差别的问题。即如果她雇用了更多的教师，则别的问题。即如果她雇用了更多的教师，则她要么通过缩减预算内的其他开支她要么通过缩减预算内的其他开支(不再购买不再购买新的计算机，降低维修费等等新的计算机，降低维修费等等)，要么要求增，要么要求增加预算加预算(显然不是纳税人喜欢的显然不是纳税人喜欢的)来支付这些来支付这些教师的工资。因此她问到，如果保持每个学教师的工资。因此她问到，如果保持每个学生所分摊的预算生所分摊的预算(和英语学习者百分率和英语学习者百分率)不变不变那么降低学生那么降低学生/教师比对测试成绩的效应是多教师比对测试成绩的效应是多少少?2020/12/1535这个问题可以通过估计测试成绩对学生这个问题可以通过估计测试成绩对学生/教师比，每个学生所分摊的预算以及英教师比，每个学生所分摊的预算以及英语学习者百分率的回归来解决。语学习者百分率的回归来解决。即解释变量包含三个：学生即解释变量包含三个：学生/教师比，每教师比，每个学生所分摊的预算、英语学习者百分个学生所分摊的预算、英语学习者百分率。率。2020/12/1536方程中加入每个学生的花费方程中加入每个学生的花费2020/12/1537原因的一种解释是，在这些加利福尼亚学区的原因的一种解释是，在这些加利福尼亚学区的数据中，学校管理者有效地分配了预算。数据中，学校管理者有效地分配了预算。假设，与事实相反，上式中假设，与事实相反，上式中STR的系数取大的的系数取大的负值。如果是这样的话，学区可以通过减少其负值。如果是这样的话，学区可以通过减少其他用途他用途(教材、技术、运动等等教材、技术、运动等等)的资金而将其的资金而将其用于雇用更多的教师以便在费用固定情况下通用于雇用更多的教师以便在费用固定情况下通过降低班级规模来提高测试成绩。过降低班级规模来提高测试成绩。但是，上式中但是，上式中STR的系数较小且统计上不显著，的系数较小且统计上不显著，表明资金的这种转移对测试成绩几乎没什么影表明资金的这种转移对测试成绩几乎没什么影响。换言之，学区内的资金分配已经很有效了。响。换言之，学区内的资金分配已经很有效了。2020/12/1538纳税人的假设是个联合假设，因此我们纳税人的假设是个联合假设，因此我们需要用新的工具需要用新的工具F统计量来检验它。统计量来检验它。2020/12/1539联合检验联合检验称方程附加了两个约束称方程附加了两个约束2020/12/1540为什么不能使用为什么不能使用t检验检验虽然看似可以通过利用常用虽然看似可以通过利用常用t统计量一次统计量一次检验一个约束来检验联合假设，但这种检验一个约束来检验联合假设，但这种方法是不可靠的。具体地，假设你想检方法是不可靠的。具体地，假设你想检验式子：验式子：1=0 1=0 且且 2=0 2=0 令令t1表示检验原假设表示检验原假设1=01=0的的t统计量，统计量，t2表示检验原假设表示检验原假设2=02=0的的t统计量。统计量。2020/12/1541 假设假设t统计量相互独立：统计量相互独立：拒绝原假设概率公式为：拒绝原假设概率公式为：1-0.952=9.75%这种这种“一次一个一次一个”的方法给了你太多的机的方法给了你太多的机会，也就是当你用第一个会，也就是当你用第一个t统计量无法拒统计量无法拒绝时，你还可以尝试使用第二个绝时，你还可以尝试使用第二个t统计量，统计量，所以过多地拒绝了原假设。所以过多地拒绝了原假设。若回归变量相关，则情况要更复杂。若回归变量相关，则情况要更复杂。2020/12/1542记为记为2 分布和分布和F F分布分布定义定义:设设 相互独立相互独立,都服从正态都服从正态分布分布N(0,1),则称随机变量：则称随机变量：所服从的分布为自由度为所服从的分布为自由度为 n 的的 分布分布.分布是由正态分布派生出来的一种分布分布是由正态分布派生出来的一种分布.2020/12/1543F 分布分布定义定义:设设 X与与Y相互独立相互独立,n1 称为第一自由度，称为第一自由度，n2 称为第二自由度称为第二自由度,记作记作:FF(n1,n2).则称统计量则称统计量服从自由度为服从自由度为n1及及 n2 的的 F 分布分布.2020/12/1544异方差假设下的异方差假设下的F检验（大样本）检验（大样本）一。一。q=2个约束的个约束的F统计量。统计量。假设我们假设我们想检验式子：想检验式子：1=0 1=0 且且 2=0 2=0 令令t1表示检验原假设表示检验原假设1=01=0的的t统计量，统计量，t2表示检验原假设表示检验原假设2=02=0的的t统计量。统计量。2020/12/15451。假设。假设t统计量不相关统计量不相关F=(1/2)(t12+t22)即，即，F统计量是统计量是t统计量平方的均值。统计量平方的均值。原假设下原假设下t1和和t2为独立的标准正态随机为独立的标准正态随机变量，所以原假设变量，所以原假设F服从服从F2,分布。如果分布。如果11或者或者22显著（或者都显著），显著（或者都显著），t12或者或者t22很大，检验结果拒绝原假设。很大，检验结果拒绝原假设。2020/12/1546 在经济计量学中，具有大分母自由度的在经济计量学中，具有大分母自由度的F分分布是很普遍的。当布是很普遍的。当n2变为无限时，变为无限时，F的分母的分母完全收敛为完全收敛为1，所以我们可以将分布，所以我们可以将分布Fn1,n2变变为为Fn1,我们可以证明，在一元回归模型中，我们可以证明，在一元回归模型中，F统计统计量与量与t统计量存在关系：统计量存在关系：Ft22020/12/15472。假设。假设t统计量相关统计量相关原假设依然服从原假设依然服从F2,分布。分布。2020/12/1548二。二。q个约束的个约束的F统计量。统计量。可以证明，原假设服从可以证明，原假设服从Fq,分布。分布。2020/12/1549利用利用F统计量计算统计量计算p值值2020/12/1550“总总”回归的回归的F统计量统计量“总总”回归的回归的F统计量检验了所有斜率系数统计量检验了所有斜率系数为零的联合假设。假设方程有为零的联合假设。假设方程有k个变量。个变量。可以证明，原假设服从可以证明，原假设服从Fk,分布。分布。2020/12/1551应用实例一：应用实例一：1。回归方程必须要加。回归方程必须要加robust选项。选项。2。检验命令用。检验命令用test(Wald检验检验)reg testscr str expn el_pct,robusttest (str=0)(expn=0)2020/12/1552应用实例二：应用实例二：reg testscr str expn el_pct,robusttest (str=0)(expn=0)(el_pct=0)或者简单写成：或者简单写成：test str expn el_pct结果和结果和stata呈现的呈现的F值相同。值相同。2020/12/1553同方差适用同方差适用F统计量统计量当检验被解释变量当检验被解释变量yt与一组解释变量与一组解释变量x1,x2,.,xk是否存在回归关系时，给出的是否存在回归关系时，给出的零假设与备择假设分别是零假设与备择假设分别是H0：1=2=.=k=0；H1：i，i=1,.,k不全为零。不全为零。2020/12/1554检验思路：（所有参数联合检验）检验思路：（所有参数联合检验）无约束模型为：无约束模型为：方程（方程（a）yt=0+1x1t+2x2t +kx k t+ut 受约束模型：受约束模型：方程（方程（b）：）：yt=0+vt 受约束模型表示原假设为真，无约束模受约束模型表示原假设为真，无约束模型表示备则假设为真。型表示备则假设为真。2020/12/1555如果原假设成立，那么模型（如果原假设成立，那么模型（a）中的参）中的参数数 1,k均不显著，模型（均不显著，模型（a）与模型）与模型（b）的残差平方和近似相等。如果备择）的残差平方和近似相等。如果备择假设成立，那么模型（假设成立，那么模型（a）中至少有一个）中至少有一个变量是显著的，而模型（变量是显著的，而模型（b）中的随机扰）中的随机扰动项动项vt包含了这些显著性的变量，因此包含了这些显著性的变量，因此模型（模型（b）的残差平方和会明显高于模型）的残差平方和会明显高于模型（a）的残差平方和。）的残差平方和。2020/12/1556模型（模型（a）的残差平方和表示为）的残差平方和表示为RSSU（其中（其中U表示没有约束表示没有约束（Unrestricted）。）。模型（模型（b）的残差平方和表示为）的残差平方和表示为RSSR（其中（其中R表示带有约束（表示带有约束（Restricted）。）。2020/12/1557因此，可以根据残差项方差的变化来检因此，可以根据残差项方差的变化来检验假设是否是正确的。如果（验假设是否是正确的。如果（RSSR-RSSU）比较大（小），则倾向于拒绝）比较大（小），则倾向于拒绝（接受）原假设。正式的统计检验是通（接受）原假设。正式的统计检验是通过构建如下过构建如下F 统计量来完成的。统计量来完成的。2020/12/1558在在H0成立条件下，有成立条件下，有F F(k,n k 1)由检验思路可以看出，由检验思路可以看出，F统计量越大（小），我统计量越大（小），我们越倾向于拒绝（接受）原假设。因此，这是右们越倾向于拒绝（接受）原假设。因此，这是右单端检验。检验可以临界值方法和构建单端检验。检验可以临界值方法和构建p值的方值的方法来完成。设检验水平为法来完成。设检验水平为 ，检验规则如下。，检验规则如下。临界值法：若临界值法：若F F (k,n k 1)，则接受，则接受H0；若；若F F (k,n k 1)，则拒绝，则拒绝H0。P值法：若值法：若P(x F)，接受，接受H0；若；若P(x F)，拒绝，拒绝H0。2020/12/1559拒绝拒绝H0意味着肯定有解释变量与意味着肯定有解释变量与yt存在存在回归关系。若回归关系。若F检验的结论是接受检验的结论是接受H0，则说明则说明k个解释变量都不与个解释变量都不与yt存在回归关存在回归关系。此时，假设检验应该到此为止。当系。此时，假设检验应该到此为止。当F检验的结论是拒绝检验的结论是拒绝H0时，应该进一步做时，应该进一步做t检验，从而确定模型中哪些是重要解释检验，从而确定模型中哪些是重要解释变量，哪些是非重要解释变量。变量，哪些是非重要解释变量。2020/12/15602020/12/1561重新计算前面两个例子重新计算前面两个例子结论相同结论相同F值差异较大值差异较大计算简单，只适用于同方差假设（没有计算简单，只适用于同方差假设（没有异方差）异方差）2020/12/1562练习练习例一：例一：工资方程工资方程use wage2,clearreg lnwage educ tenure exper expersq1。教育（。教育（educ）和工作时间（）和工作时间（tenure）对工资）对工资的影响相同。的影响相同。test educ=tenure 2。工龄（。工龄（exper）对工资没有影响）对工资没有影响 test exper 或者或者 test exper=0 3。检验。检验 educ和和 tenure的联合显著性的联合显著性 test educ tenure 或者或者 test(educ=0)(tenure=0)2020/12/1563例二：生产函数例二：生产函数productionuse production,clear 假假设方程为设方程为Y=AKL reg lny lnl lnk1。检验。检验 和和 的联合显著性的联合显著性 test lnl lnk2。检验。检验=0.2 并且并且 =0.8 test(lnk=0.2)(lnl=0.8)3。该生产过程规模报酬不变。该生产过程规模报酬不变 test lnk+lnl=12020/12/1564多个系数的置信集多个系数的置信集2020/12/1565多元回归的模型假定多元回归的模型假定如果决定如果决定Yi的遗漏因素至少和其中一个回归的遗漏因素至少和其中一个回归变量相关则多元回归系数的变量相关则多元回归系数的OLS估计量存在估计量存在遗漏变量偏差。遗漏变量偏差。例如来自富裕家庭的学生通常比非富裕家庭例如来自富裕家庭的学生通常比非富裕家庭的学生有更多的学习机会。因此会取得更好的学生有更多的学习机会。因此会取得更好的成绩。此外，如果该地区较富有，则学校的成绩。此外，如果该地区较富有，则学校往往有更多的财政预算和更低的学生往往有更多的财政预算和更低的学生/教师教师比。比。2020/12/1566如果是这样的话，学生的富裕程度和学如果是这样的话，学生的富裕程度和学生生/教师比呈负相关，则即使控制了英语教师比呈负相关，则即使控制了英语学习者的百分率，但学生学习者的百分率，但学生/教师比系数的教师比系数的OLS估计量中还是包含了地区平均收入估计量中还是包含了地区平均收入的效应。的效应。简言之漏掉学生的经济背景会使测试成简言之漏掉学生的经济背景会使测试成绩对学生绩对学生/教师比和英语学习者百分率的教师比和英语学习者百分率的回归中包含遗漏变量偏差。回归中包含遗漏变量偏差。2020/12/15672020/12/1568理论和实际应用中的模型设定理论和实际应用中的模型设定我们解决遗漏变量偏差难题的方法分为两部分：首先，我们解决遗漏变量偏差难题的方法分为两部分：首先，基于基于专业判断专业判断、经济理论经济理论和和数据收集数据收集的方法选择核心的方法选择核心或基础的回归变量集合；有时称基于该回归变量基础或基础的回归变量集合；有时称基于该回归变量基础集合的回归为集合的回归为墓础设定形式墓础设定形式。它应该包括最感兴趣的。它应该包括最感兴趣的变量以及根据专业判断和经济理论得到的控制变量。变量以及根据专业判断和经济理论得到的控制变量。列出候选的列出候选的备选设定形式备选设定形式，即备选的回归变量集如果，即备选的回归变量集如果感兴趣的系数估计值在所有备选设定形式中大小差不感兴趣的系数估计值在所有备选设定形式中大小差不多，则提供证据表明了由基础设定形式得到的估计值多，则提供证据表明了由基础设定形式得到的估计值是可靠的。但如果感兴趣的系数估计值在不同形式中是可靠的。但如果感兴趣的系数估计值在不同形式中变化很大，则提供证据表明了原先设定的形式中存在变化很大，则提供证据表明了原先设定的形式中存在遗漏变量偏差。遗漏变量偏差。2020/12/1569R2和调整和调整R2在实际应用中的解释在实际应用中的解释2020/12/15702020/12/15712020/12/1572测试成绩集分析测试成绩集分析1。如何利用多元回归缓解遗漏变量偏差。如何利用多元回归缓解遗漏变量偏差。2。利用表格列出回归结果。利用表格列出回归结果。2020/12/1573基础和备选设定形式的讨论基础和备选设定形式的讨论某些影响测试成绩的因素和学生某些影响测试成绩的因素和学生/教师比教师比相关，所以在回归中遗漏这些变量会导相关，所以在回归中遗漏这些变量会导致遗漏变量偏差。如果可获得这些遗漏致遗漏变量偏差。如果可获得这些遗漏变量的数据，解决这个问题的方法是把变量的数据，解决这个问题的方法是把它们作为回归变量加入到多元回归中。它们作为回归变量加入到多元回归中。如果我们这么做了，那么学生如果我们这么做了，那么学生/教师比的教师比的系数就是在保持这些其他因素不变情况系数就是在保持这些其他因素不变情况下，学生下，学生/教师比变化的效应。教师比变化的效应。2020/12/1574这里我们加入控制影响测试成绩的三个学生背景特这里我们加入控制影响测试成绩的三个学生背景特征变量。其中一个控制变量我们以前用过，是征变量。其中一个控制变量我们以前用过，是还在还在学习英语的学生比率。学习英语的学生比率。另外两个变量是新引入的，另外两个变量是新引入的，用于控制学生的经济背景。由于在数据集中没有经用于控制学生的经济背景。由于在数据集中没有经济背景的理想度量，因此我们利用学区内家庭低收济背景的理想度量，因此我们利用学区内家庭低收入的两个不完全指标变量来衡量。其中第一个新变入的两个不完全指标变量来衡量。其中第一个新变量是量是校内有资格接受资助或免费午餐的学生百分率校内有资格接受资助或免费午餐的学生百分率。只有学生家庭收入低于某个阀值只有学生家庭收入低于某个阀值(大概是贫困线的大概是贫困线的150%)时，他们才有资格享受该项计划。第二个时，他们才有资格享受该项计划。第二个新变量是新变量是学区内学生家庭有资格享受加利福尼亚收学区内学生家庭有资格享受加利福尼亚收入补贴计划的学生百分率入补贴计划的学生百分率。家庭是否有资格享受这。家庭是否有资格享受这个收入补贴计划部分取决于他们家庭的收入但其阀个收入补贴计划部分取决于他们家庭的收入但其阀值要低值要低(严格严格)于午饭资助计划的阀值。于午饭资助计划的阀值。2020/12/1575故后两个变量衡量了学区内经济困难的学故后两个变量衡量了学区内经济困难的学生比率；显然它们之间是相关的，但并不生比率；显然它们之间是相关的，但并不完全相关完全相关(它们的相关系数为它们的相关系数为0.74)。虽然。虽然理论上表明经济背景是个很重要的遗漏因理论上表明经济背景是个很重要的遗漏因素，但理论和专业判断实际上并没有帮助素，但理论和专业判断实际上并没有帮助我们确定这两个变最中哪个能更好地衡量我们确定这两个变最中哪个能更好地衡量学生的家庭收入背景。在基础设定形式中，学生的家庭收入背景。在基础设定形式中，我们选够格享受午餐资助的学生百分率作我们选够格享受午餐资助的学生百分率作经济背景变量，但我们也考虑了同时包括经济背景变量，但我们也考虑了同时包括这两个变量的备选设定形式。这两个变量的备选设定形式。2020/12/15762020/12/1577单位量纲的选择不影响结果，只是某些单位量纲的选择不影响结果，只是某些单位量纲更易于理解或解释。单位量纲更易于理解或解释。例如：例如：expn和和expn_sdu均均表示人均分担的预表示人均分担的预算，但算，但expn_sdu的单位是元，的单位是元，expnd的的单位是千元。单位是千元。回归变量的单位量纲回归变量的单位量纲2020/12/1578选择回归变量的方法选择回归变量的方法逐步尝试法：逐步尝试法：定义如下定义如下1。学生。学生/教师比（教师比（X1）2。英语学习者百分率（。英语学习者百分率（X2）3。有资格享受午餐资助的学生百分率。有资格享受午餐资助的学生百分率（X3）4。家庭有资格享受公共收入补贴的学生百。家庭有资格享受公共收入补贴的学生百分率（分率（X4)2020/12/1579回归过程回归过程第一次：第一次：X1第二次：第二次：X1、X2第三次：第三次：X1、X2、X3第四次：第四次：X1、X2、X4第五次：第五次：X1、X2、X3、X42020/12/15802020/12/1581方法内部命令：内部命令：est table 命令命令est table o_1 o_2 o_3est table o_1 o_2 o_3,stat(r2 r2_a N F)b(%6.3f)star est table o_1 o_2 o_3,stat(r2 r2_a N F)b(%6.3f)star(0.1 0.05 0.01)est table o_1 o_2 o_3,stat(r2 r2_a N F)b(%6.3f)se(%6.2f)2020/12/1582外部命令：外部命令：findit esttabesttab o_1 o_2 o_3 o_4 o_5esttab o_1 o_2 o_3 o_4 o_5,scalar(r2 r2_a N F)star(*0.1*0.05*0.01)compress2020/12/1583结果分析结果分析2020/12/15842020/12/1585