多元线性回归分析估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Multiple Regression Analysis:Estimation,多元线性回归分析：估计,(1),y=,b,0,+,b,1,x,1,+,b,2,x,2,+.,b,k,x,k,+u,1,第,2,章内容回顾,1.Definition of the Simple Regression Model,简单回归模型的定义,2.Deriving the Ordinary Least Squares Estimates,推导普通最小二乘估计量,3.Mechanics of OLS,OLS,相关的代数性质,4.Unites of Measurement and Functional Form,测量单位和函数形式,5.Expected Values and Variances of the OLS estimators,OLS,估计量的期望值和方差,6.Regression through the Origin,过原点的回归,2,本章大纲,1.,为什麽使用多元回归,Motivation for Multiple Regression,2.,普通最小二乘法的操作和解释,Mechanics and Interpretation of Ordinary Least Squares,3.OLS,估计量的期望值,The Expected Values of the OLS Estimators,4.OLS,估计量的方差,The Variance of the OLS Estimators,5.OLS,的有效性：高斯马尔科夫定理,Efficiency of OLS:The Gauss-Markov Theorem,3,本课大纲,1.,多元回归模型的结构,2.,为什么使用多元回归,3.,多元回归模型中的零值条件期望假定,4.,多元回归模型的,OLS,估计及代数性质,5.,解释多元回归模型参数,6.,简单回归模型与多元回归模型的比较,4,1.,多元线性回归模型结构：,5,多元线性回归模型结构：含有,k,个自变量的模型,多元线性回归模型一般可以写作：,x1xk,，,k=2,K,，多个解释变量。,6,多元回归模型的结构,b,0,仍是截距,(intercept),b,1,到,b,k,仍然都称为斜率参数,(slope parameters),u,仍是误差项,(,或干扰项,)(error term(or disturbance),：除了,x1xk,之外，影响,y,的其他因素。,7,多元回归模型的结构,因变量,自变量,被解释变量,解释变量,响应变量,控制变量,被预测变量,预测元变量,回归子,回归元,8,多元回归模型的结构,线性：,参数线性：对于回归模型参数是线性的。,9,2.,为什么使用多元回归模型？,10,为什么使用多元回归？,1.,为获得其它因素不变的效应，控制更多的因素,在实证工作中使用简单回归模型,首要的困难在于：要得到在其它因素不变的情况下，,x1,对,y,的影响,(,ceteris,paribus effect,),，非常困难。,在简单线性回归中，是否能够获得在其它条件不变情况下，,x1,对,y,的影响,(,ceteris,paribus,effects of x on y),，完全取决于零值条件期望假设是否符合现实。,如果影响,y,的其它因素，与,x1,不相关，则改变,x1,，,可以确保,u,(,均值,),不变，从而识别出在其它条件不变情况下,x,对,y,的影响。,不幸的是，影响,y,的其它因素,(,包含在,u,中,),，往往与,x1,相关：改变,x1,，,u,(,均值,),也往往发生变化，从而使得仅仅利用简单回归模型，无法识别出在其它条件不变情况下,x1,对,y,的影响。,11,为什么使用多元回归？,1.,控制更多的因素,一个策略就是，将与,x1,相关的其他因素从误差项,u,中取出来，放在方程里，作为新的解释变量，这就构成多元回归模型。,多元回归分析可以明确地控制许多其它同时影响因变量的因素，而不是放在不可观测的误差项中，故多元回归分析更适合于,其它条件不变情况下（,ceteris paribus,）,的特定因素,x,对,y,的影响。,多元回归模型能容许很多解释变量，而这些变量可以是相关的。,在使用非实验数据时，多元回归模型对推断,y,与解释变量,x,间的因果关系很重要。,12,为什么使用多元回归？,2.,更好地预测,一个变量,y,的变化，不仅与一种因素有关，可能决定于许多因素。,预测一个变量的变化，往往需要尽可能多地知道影响该变量变化的因素。,简单回归模型，只包含一个解释变量，有时只能解释,y,的变动的很小部分。,(,如，拟合优度很低,),多元回归模型由于可以控制更多地揭示变量，因此，可以解释更多的因变量变动。,13,为什么使用多元回归？,3.,表达更多的函数关系,多元回归模型，可以包含多个解释变量，因此，可以利用变量的函数变换，在模型中表达多种函数关系。,因此，多元线性回归模型，是实证分析中应用最广泛的分析工具。,14,为什么使用多元回归模型？例,1:,教育对工资的影响,教育,educ,对工资,wage,的影响,一个简单回归模型,:,Wage=,b,0,+,b,1,educ,+u,然而，上述工资方程中，许多影响工资，同时又与教育年限相关的变量，被包含于误差项,u,中，如劳动力市场经验等。一方面，他们影响工资，但又不同于教育，故包含于,u,中。另一方面，他们又与教育相关。如教育年限越长，则参与劳动市场的时间就相对越短。因此，零值条件期望假定不成立，会导致,OLS,估计量,b,1,有偏。,15,例,1:,教育对工资的影响,一个策略就是，最好能够将这些与教育相关的变量找出来，放在模型中，进行控制。,一个多元回归模型：,Wage=,b,0,+,b,1,educ,+,b,2,exper+,u,wage:,工资对数；,educ:,教育年限,;exper:,劳动力市场经验,(,年,),。,在此例中，劳动力市场经验,exper,，由于与感兴趣变量教育,educ,相关，而被从误差项,u,中取出。,16,例2：预测高考成绩,预测高考成绩：,一个简单模型：,成绩,=,b,0,+,b,1,师资,+u,一个学生的期末成绩不仅决定于师资，还决定于其他多种因素：,成绩,=,b,0,+,b,1,师资,+,b,2,心理,+,b,3,方法,+,b,4,内在能力,+,b,5,家庭,+,b,6,早恋,+u,17,为什么使用多元回归？例,3,：收入与消费,假定存在一个模型：家庭消费,cons,是家庭收入,inc,的二次方程，则模型可写作：,cons=,b,0,+,b,1,inc+,b,2,inc,2,+u,尽管该模型表述的是消费与收入两个变量之间的关系，但是，简单回归方程无法实现。,这里，边际消费倾向,(marginal propensity to consume),可以近似表达为：,MPC=,cons/,inc,=,b,1,+2,b,2,inc,18,3.,零值条件期望假定,19,多元回归模型中的零值条件期望假定,多元回归的零值条件期望假定：,E(,u|x,1,x,2,x,k,)=0,两层含义：,(1)E(u)=0,(2)E(,u|x,1,x,2,x,k,)=E(u),即,cov(u,x,j,)=0,j=1,k,注意：在上面例,3,中，零值条件期望假定可以表述为：,E(u|inc,inc,2,)=E(u|inc)=0,20,4.,多元回归模型的,OLS,估计与代数性质,21,4.,多元回归模型的,OLS,估计,普通最小二乘法,(OLS):,选择能最小化残差平方和的参数估计值：,22,4.,多元回归模型的,OLS,估计,如何得到,OLS,估计值,23,4.,多元回归模型的,OLS,估计,零值条件期望假定与距条件,一阶条件也是相关的总体矩在样本中的对应。,E(,u|x,1,x,2,x,k,)=0,E(u)=0,Cov(u,x,j,)=0,，,j=1k,在估计之后，得到样本回归函数（,SRF,），或称为,OLS,回归线：,24,OLS,的代数性质,残差之和与平均值为零,OLS,残差与每个自变量之间的样本协方差为零。,OLS,残差与因变量拟合值之间的样本协方差为零。,点 总位于,OLS,样本回归线上。,25,5.,解释多元回归模型：其他因素不变；剔除其他变量的影响；,26,解释多元回归模型,估计一个两自变量回归方程，得到：,是当x1=0,x2=0时，y的(平均值)预测值(predicted value),或拟合值(fitted value).,则可以解释为局部效应(partial effect),或其他因素不变效应(ceteris paribus),27,解释多元回归,可解释为：当,x2,保持不变，即,x2=0,时,，,x1,变化所引起的,y,的变化。,相应地，可解释为：当,x1,保持不变，即,x1=0,时,，,x2,变化所引起的,y,的变化。,28,解释多元回归,对于所估计的一个多元回归函数：,进行差分，得到：,保持,x2xk,不变，意味着：,此时：,故，解释为在其他解释因素不变的情况下，,x1,变化,1,单位，所引起的,y,的,(,平均值,),的变化数量。,因此，每一个,均可解释为局部效应,(partial effect),或其他情况不变效应,(ceteris paribus effect),29,解释多元回归,教育对工资的影响,估计教育,-,经验,-,工资方程：,wage=,b,0,+,b,1,educ,+,b,2,exper,wage:,工资拟合值；,educ:,教育年限,;exper:,劳动力市场经验,(,年,),。,差分得到：,wage=,b,0,+,b,1,educ,+,b,2,exper,b,1,衡量的就是，在工作经验,exper,不变的情况下，教育每增加,1,年，工资增加多少元；,b,2,衡量的是，在教育水平,educ,不变的情况下，工作经验每增加,1,年，工资增加多少元；,30,关于多元回归中的“保持其它因素不变”,(Holding other factors fixed),多元回归中，所得到的“其他因素不变的效应”，并非是通过在实际抽样中，固定其他因素不变。,在教育,-,经验,-,工资一例中，在获得教育对的工资其他条件不变影响时，在实际抽样中，也并非是固定工作经验，收集不同教育年限的样本，来分析教育年限变化，对于工资的影响。,对个体进行随机抽样，就可通过多元回归分析得到“其他因素不变的效应”。,多元回归分析的优势，在于它使我们能在非实验环境中去做自然科学家在受控实验中所能做的事情：保持其它因素不变。,31,一个“剔除其它变量影响”的解释,A“Partialling Out”Interpretation,对于估计的样本回归线,可以表示为：,？,32,一个“剔除其它变量影响”的解释,A“Partialling Out”Interpretation,首先，将第一个自变量,x1,对第二个自变量,x2,进行回归，得到样本回归函数,，,根据,x,i,和拟合值,，得到残差 。残差表示剔除了,x2,的影响之后，,x1,的其他部分。它与,x2,不相关,样本均值为,0,。,然后，将,y,对 进行简单回归得到 。,衡量的是，剔除了其他自变量的影响之后，,x1,对于,y,的净影响。,33,“剔除其它变量影响”“,Partialling Out”,上述过程表明：将,y,同时对,x,1,和,x,2,回归得出的,x,1,的影响，与先将,x,1,对,x,2,回归得到残差，再将,y,对此残差回归得到的,x,1,的影响相同。,同时说明，在多元回归模型中，,x,1,的系数衡量的是，,x,1,中与其他自变量不相关的部分，与,y,的相关关系。,即，在多元回归模型中，所估计的是，在其他自变量对于,x1,的影响“被剔除,(partialled out)”,后，,x,1,对,y,的影响。,34,“,剔除其