第二章 简单线性回归模型(1)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第二章 简单线性回归 模型,第一节 回归分析与回归函数,第二节 简单线性回归模型参数的估计,第三节 拟合优度的度量,第四节 回归系数的区间估计和假设检验,第五节 回归模型的预测,第六节 案例分析,第一节 回归分析与回归函数,一、相关分析,（一）公式,总体相关系数：,样本相关系数：,（二）性质,相关系数的特点：介于,【-1,，,1】,之间,如果相关系数等于,1,，表明变量之间存在完全正相关；如果等于,-1,，表明变量之间存在完全负相关；如果等于,0,，表明变量之间不存在线性相关关系；如果相关系数在（,-1,，,0,）或（,0,，,1,）之间，表明变量存在一定的相关关系,(,样本,),相关系数绝对值越接近,1,，表明变量之间线性相关程度越高。,（三）检验,原假设,备择假设,当样本,n,大于等于,10,时，可构造检验统计量：,检验准则：,当 时，拒绝原假设，认为变量之间具有显著的相关关系。,例：收入、消费相关系数,城镇居民人均可支配收入,城镇居民人均消费支出,城镇居民人均可支配收入,城镇居民人均消费支出,北 京,24724.89,16460.26,湖 北,13152.86,9477.51,天 津,19422.53,13422.47,湖 南,13821.16,9945.52,河 北,13441.09,9086.73,广 东,19732.86,15527.97,山 西,13119.05,8806.55,广 西,14146.04,9627.4,内蒙古,14432.55,10828.62,海 南,12607.84,9408.48,辽 宁,14392.69,11231.48,重 庆,14367.55,11146.8,吉 林,12829.45,9729.05,四 川,12633.38,9679.14,黑龙江,11581.28,8622.97,贵 州,11758.76,8349.21,上 海,26674.9,19397.89,云 南,13250.22,9076.61,江 苏,18679.52,11977.55,西 藏,12481.51,8323.54,浙 江,22726.66,15158.3,陕 西,12857.89,9772.07,安 徽,12990.35,9524.04,甘 肃,10969.41,8308.62,福 建,17961.45,12501.12,青 海,11640.43,8192.56,江 西,12866.44,8717.37,宁 夏,12931.53,9558.29,山 东,16305.41,11006.61,新 疆,11432.1,8669.36,河 南,13231.11,8837.46,（四）相关分析存在的缺点,不能反映变量之间的因果关系；,只能反映变量之间的线性相关关系；,只能研究两个变量之间的相关关系；,不能研究某个变量的变化对其他变量的影响程度,。,例如：,序号,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,X,-1,-0.75,-0.5,-0.25,0,0.25,0.5,1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,0,0.66,0.87,0.97,1,0.97,0.87,0,-0.66,-0.87,-0.97,1,-0.97,-0.87,-0.66,Y,0,0.66,0.87,0.97,1,0.97,0.87,0,-0.66,-0.87,-0.97,1,-0.97,-0.87,-0.66,-1,-0.75,-0.5,-0.25,0,0.25,0.5,1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,二、回归分析,（一）产生渊源,“,回归,”,这个词最早由,高尔顿,在遗传学研究中提出来。,高尔顿是达尔文的表弟，是一名英格兰,维多利亚时代的文艺复兴人、人类学家、,优生学家、热带探险家、地理学家、发明家、,气象学家、统计学家、心理学家和遗传学家。,在统计学方面，高尔顿提出了,“,回归,”,和,“,相关,”,的概念。,19,世纪,80,年代，高尔顿就开始思考父代和子代相似，如身高、性格等。他选择了父母平均身高,X,与其一子身高,Y,的关系作为研究对象。他观察了,1074,对父母及每对父母的一个儿子，将结果描成散点图，发现趋势近乎一条直线。,高尔顿发现这,1074,对父母平均身高的平均值为,68,英寸（英国计量单位，,1,英寸,=2.54cm,）时，,1074,个儿子的平均身高为,69,英寸，比父母平均身高大,1,英寸。于是他推想，当父母平均身高为,64,英寸时，,1074,个儿子的平均身高应为,64+1=65,英寸；若父母的身高为,72,英寸时，他们儿子的平均身高应为,72=1=73,英寸，但观察结果确与此不符。高尔顿发现前一种情况是儿子的平均身高为,67,英寸，高于父母平均值达,3,英寸，后者儿子的平均身高为,71,英寸，比父母的平均身高低,1,英寸。,高尔顿对此研究后得出的解释是自然界有一种约束力，它让身高有一种,“,回归,”,到中心的作用。由于这个性质，高尔顿就把,“,回归,”,这个词引进到问题的讨论中，这就是,“,回归,”,名称的由来，逐渐被后人沿用成习。,（二）回归分析的现代释义,回归分析：分析一个叫做应变量的变量对另一个或多个叫做自变量的变量的依赖关系，其用意在于,通过后者的已知或设定值去估计和预测前者的均值。,二、总体回归函数,对于经典,线性,回归来说：,事实上，总体回归函数的具体形式，只能根据经济理论对所研究问题的深刻认识及实践经验去设定。,三、随机扰动项,对于个别点，多是围绕回归线上下波动。,随机扰动项,表示未个别点,Y,i,与条件期望 的偏差，表示如下：,对于线性回归函数：,随机扰动项存在的原因：,作为未知影响因素的代表,作为无法取得数据的已知因素的代表,作为众多细小影响因素的代表,垃圾箱,模型的设定误差,变量的观测误差,经济现象的内在随机性,例：,假定,100,个家庭构成一个,总体,，支出的条件均值和收入呈线线关系，个别点会偏离总体回归函数。,四、样本回归函数,通常由于总体包含的单位数很多，总体回归函数实际上是未知的。,通过样本，找一条线（样本回归线），去推断总体回归线。,残差：样本点,Y,i,与 的差，表示如下：,例：从上述总体中抽取,10,个样本,可支配收入,X,1000,1500,2000,2500,3000,3500,4000,4500,5000,5500,消费支出,Y,888,1121,1340,1650,2179,2210,2398,2650,3021,3288,过样本点的线有无数条,第二节 简单线性回归模型参数的估计,一、普通最小二乘法,原理：经过样本点的线有很多，但最好的方法是找一条直线，使得这些点到直线上相应个点的,垂直坐标距离,之和为最小。即：,等价于：,可见，有具体观测值；为待求参数。可采用微积分中求极值的办法：,如果令：,则有：,例：用最小二乘法估计,2008,年,31,个省直辖市的城镇居民人均可支配收入,X,和人均消费支出的样本回归函数,二、最小二乘回归线的性质,残差和为,0,求导的第一个式子：,Y,的观测值与拟合值有共同的均值,残差与解释变量,X,不相关,残差与拟合值不相关,思考：,用最小二乘法求出回归模型 参数的估计值；并思考样本回归线是否满足上述性质？,如果目的仅仅是估计参数，运用最小二乘法就足够了。但是还需考虑以下问题：,1,、方程是否有理论支撑？,理论分析,2,、样本回归函数拟合数据的程度怎样？,R,2,3,、参数估计值有多可靠？如何根据估计值去推断总体参数？,区间估计、假设检验,对于第三点，除非我们知道 的统计性质，否则将无法对总体参数 作出任何统计推断。,因此，要知道 的性质，只需明确 是怎样产生的。,三、简单线性回归的基本假定,0,均值,同方差,无自相关,随机扰动项和解释变量不相关,扰动项服从正态分布,以上称为高斯假定或古典假定,解释变量,X,为非随机变量,X,的样本值要有变异性,为何假定正态分布,：,1,、扰动项代表模型中未明显引进的许多变量的总影响，有中心极限定理知，大量独立的（不是严格独立的也可以）且分布相同的随机变量的总和趋于正态分布。,2,、假设成正态分布用起来比较简单,。,C.F.Gauss,是 德国著名数学家、物理学家、天文学家、大地测量学家。他有数学王子的美誉，并被誉为历史上伟大的数学家之一，和阿基米德、牛顿、欧拉同享盛名,。,三、最小二乘估计式的统计性质,以 为例：,同法：,性质,1,：线性,性质,2,：无偏性,概念：如果参数的估计式的期望等于参数的真实值，则称该估计式为参数的无偏估计式。,性质,2,：有效性,概念：对于参数 的任意一个无偏估计 ，都有,，则称 为参数 的最小方差估计。,证明：,假定另一个,无偏,估计量：,分别是 的最佳线性无偏估计（,BLUE,）,BEST LINEAR UNBIASED ESTIMATOR,