第2章-线性回归的基本思想：双变量模型ppt课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,2,章 线性回归的基本思想：双变量模型,Simple regression model,y=,b,0,+b,1,x+u,2,目录,Introduction to Regression Analysis,2.1,变量间的关系及回归分析的基本概念,2.2,总体回归函数,2.3,随机扰动项,2.4,样本回归函数,2.5,“线性”回归的含义,2.6,从双变量回归到多元线性回归,2.7,参数估计：,OLS,3,2.1,变量间的关系及回归分析的基本概念,4,1,、变量间的关系,确定性关系或函数关系：,研究的是确定现象非随机变量间的关系。,统计依赖或相关关系：,研究的是非确定现象随机变量间的关系。,经济变量之间的关系，大体可分为两类：,5,对变量间,统计依赖关系,的考察主要是通过,相关分析,(correlation analysis),或,回归分析,(regression analysis),来完成的：,正相关,线性相关,不相关,相关系数：,统计依赖关系,负相关,1,1,-,XY,r,有因果关系,回归分析,正相关,无因果关系,相关分析,非线性相关,不相关,负相关,6,几点注意,不线性相关并不意味着不相关；,有相关关系并不意味着一定有因果关系；,回归分析,/,相关分析,研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系；,相关分析,对称地对待任何（两个）变量，两个变量都被看作是随机的。,回归分析,对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）。,7,回归分析是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。,这里前一个变量被称为,被解释变量,（,Explained Variable,）或,应变量,（,Dependent Variable,），后一个（些）变量被称为,解释变量,（,Explanatory Variable,）或,自变量,（,Independent Variable,）。,2,、回归分析的基本概念,8,由于变量间关系的随机性，,回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值,，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。,回归分析构成计量经济学的方法论基础，其主要内容包括：,（,1,）根据样本观察值对计量经济模型参数进行估计，求得回归方程；,（,2,）对回归方程、参数估计值进行检验；,（,3,）利用回归方程进行分析、评价及预测。,9,2.2,总体回归函数,Population Regression Function,10,例子,例,2.1,：,一个假想的社区有,60,户家庭组成，要研究该社区每月家庭消费支出,Y,与每月家庭可支配收入,X,的关系。,即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。,为达到此目的，将该,60,户家庭划分为组内收入差不多的,10,组，以分析每一收入组的家庭消费支出（表,2.1,）。,11,表,2.1,某社区每月家庭收入与消费支出查统计表,每月家庭收入,X,（元）,800,1000,1200,1400,1600,1800,2000,2,200,2400,2600,550,650,790,800,1020,1100,1200,1350,1370,1500,600,700,840,930,1070,1150,1360,1370,1450,1520,650,740,900,950,1100,1200,1400,1400,1550,1750,700,800,940,1030,1160,1300,1440,1520,1650,1780,750,850,980,1080,1180,1350,1450,1570,1750,1800,0,880,0,1130,1250,1400,0,1600,1890,1850,每月,家庭,消费,支出,Y,（元）,0,0,0,1150,0,0,0,1620,0,1910,共计,3250,4620,4450,7070,6780,7500,6850,10430,9660,12110,条件概率,1/5,1/6,1/5,1/7,1/6,1/6,1/5,1/7,1/6,1/7,条件均值,650,770,890,1010,1130,1250,1370,1490,1610,1730,E,（,Y|X=800,）,=650,12,由于不确定因素的影响，对同一收入水平,X,，不同家庭的消费支出不完全相同；,(,见,表,2.1,),但由于调查的完备性，给定收入水平,X,的消费支出,Y,的分布是确定的，即以,X,的给定值为条件的,Y,的,条件分布,（,Conditional distribution,）是已知的，如：,P(Y=550|X=800,）,=1/5,。,因此，给定收入,X,的值,X,i,，可得消费支出,Y,的条件均值（,conditional mean,）或条件期望（,conditional expectation,）,：,该例中：,E,（,Y|X=800,）,=650,分析,13,从散点图发现：随着收入的增加，消费“,平均地说,”也在增加，且,Y,的条件均值均落在一根正斜率的直线上。这条直线称为,总体回归线,。,X,Y,14,概念,在给定解释变量,i,X,条件下被解释变量,i,Y,的期望轨迹称为,总体回归线,（,population regression line,），或更一般地称为,总,体回归曲线,（,population regression curve,）。相应的函数,（方,程）：,),(,),|,(,i,i,X,f,X,Y,E,=,（,2.1,）,称为,（双变量）,总体回归函数,（方程）,（,PRF,）,（,population,regression function,）,。,15,总体回归函数（,PRF,）说明被解释变量,Y,的平均状态（总体条件期望）随解释变量,X,变化的规律。,函数形式可以是线性或非线性的。,例,2,.1,中,：,i,i,X,X,Y,E,1,0,),|,(,b,b,+,=,为一线性函数。,其中，,1,b,与,2,b,为未知,然而固定的参数，称为,回归系数,（,regression coefficients,）,。,16,2.3,随机扰动项,17,随机扰动项的引入,总体回归函数说明在给定的收入水平,Xi,下，该社区家庭平均的消费支出水平。,但对某一个别的家庭，其消费支出可能与该平均水平有偏差。记,),|,(,i,i,i,X,Y,E,Y,-,=,u,),(,1,0,i,i,X,Y,b,b,+,-,=,（,2.2,）,称,i,u,为观察值,i,Y,围绕它的期望值,),|,(,i,X,Y,E,的,离差,（,deviation,）,，它是一,个不可观测的随机变量，又称为,随机干扰项,（,stochastic disturbance,）,或,随机误差项,（,stochastic error,）,。,18,由（,2.2,）式，个别家庭的消费支出为：,Y,i,=E(Y|X,i,)+u,i,=,b,0,+b,1,X,i,+u,i,(2.3),即，给定收入水平,X,i,个别家庭的支出可表示为两部分之和：,该收入水平下所有家庭的平均消费支出,E(Y|X,i,),称为,系统性,(systematic),或,确定性,(deterministic),部分。,其他,随机,或,非确定性,（,nonsystematic),部分,u,i,。,19,（,2.3,）式称为,总体回归函数,（方程）,PRF,的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。,由于方程中引入了随机项，成为计量经济学模型，因此也称为,总体回归模型,。,20,随机误差项的影响因素,在解释变量中被忽略的因素的影响；,变量观测值的观测误差的影响；,模型关系的设定误差的影响；,其它随机因素的影响。,21,2.4,样本回归函数（,SRF,）,22,问题的提出,由于总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一组样本。,问题是能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？,例,2.2,：,在例,2.1,的总体中有如下一个样本，问：能否从该样本估计总体回归函数,PRF,？,23,该样本的,散点图,（,scatter diagram),：,样本散点图近似于一条直线，画一条直线以尽可能好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为,样本回归线,（,sample regression lines,），,其函数形式记为：,i,i,i,X,X,f,Y,1,0,),(,b,b,+,=,=,（,2.4,）,称为,样本回归函数,（,sample regression function,）,SRF,。,24,注意：,这里,将（,2.4,）看成（,2.1,）的近似替代。,25,样本回归函数的随机形式,/,样本回归模型,(2.5),称为,样本回归模型,。,同样地，对某一个体,i,Y,，有,i,i,i,i,i,e,X,Y,Y,+,+,=,+,=,1,0,b,b,（,2.5,）,式中，,i,e,称为,（样本）残差,或,剩余项,(Residual),代表了其他,影响,i,Y,的随机因素的集合体，可看成为,i,u,的估计量。,26,回归分析的主要目的,根据样本回归函数,SRF,，估计总体回归函数,PRF,。,即，根据,i,i,i,i,i,e,X,e,Y,Y,+,+,=,+,=,1,0,b,b,估计,i,i,i,i,i,X,X,Y,E,Y,u,b,b,u,+,+,=,+,=,1,0,),|,(,27,28,2.5,“线性”回归的含义,解释变量线性,E(Y|X)=,b,0,+,b,1,X,参数线性,E(Y|X)=,b,0,+,b,1,log(X),E(Y|X)=,b,0,+,b,1,X,2,非线性回归,E(Y|X)=,b,0,+,exp(,b,1,X),29,2.6,从双变量回归到多元线性回归,很容易将双变量回归推广到多元线性回归，即解释变量包含多个，共同影响因被解释变量，基本形式为,E(Y|X,1,X,2,X,3,)=,b,0,+,b,1,X,1,+,b,2,X,2,+,b,3,X,3,多元线性回归模型可以写成,Y=,b,0,+,b,1,X,1,+,b,2,X,2,+,b,3,X,3,+,u,更为一般的形式为,Y=,b,0,+,b,1,X,1,+,b,2,X,2,+,b,k,X,k,+,u,30,2.7,参数估计：,OLS,对于双变量总体回归方程：,Y=,b,0,+,b,1,X+,u,我们用样本回归方程来估计总体回归方程,=,b,0,+,b,1,X,或写成,Y,=,b,0,+,b,1,X+,e,那么，残差项可以写成,e,i,=,Y,i,i,=Y,i,-,b,0,-,b,1,X,i,OLS,Min:,S,e,i,2,=,S,(Y,i,-,b,0,-,b,1,X,i,),2,(RSS),31,OLS,32,OLS,33,例,2.2,例,2.2,的样本回归方程,34,Y,X,ybar,xbar,(X-xbar)(Y-ybar),(X-xbar),2,1,700,800,1110,1700,369000,810000,2,650,1000,1110,1700,322000,490000,3,900,1200,1110,1700,105000,250000,4,950,1400,1110,1700,48000,90000,5,1100,1600,1110,1700,1000,10000,6,1150,1800,1110,1700,4000,10000,7,1200,2000,1110,1700,27000,90000,8,1400,2200,1110,1700,145000,250000,9,1550,2400,111