一元线性回归

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,2,章 一元线性回归,2.1,一元线性回归模型,2.2,参数,0,、,1,的估计,2.3,最小二乘估计的性质,2.4,回归方程的显著性检验,2.5,残差分析,2.6,回归系数的区间估计,2.7,预测和控制,2.8,本章小结与评注,2.1,一元线性回归模型,例,2.1,表,2.1,列出了,15,起火灾事故的损失及火灾发生地与最近的消防站的距离。,表,2.1,火灾损失表,2.1,一元线性回归模型,例,2.2,全国人均消费金额记作,y,(,元,);,人均国民收入记为,x,(,元,),表,2.2,人均国民收入表,2.1,一元线性回归模型,一元线性回归模型,y,=,0,+,1,x,+,回归方程,E,（,y|x,）,=,0,+,1,x,2.1,一元线性回归模型,样本,模型,y,i,=,0,+,1,x,i,+,i,i,=1,2,n,回归方程,E,(,y,i,)=,0,+,1,x,i,var(,y,i,)=,2,，,样本观测值,(,x,1,y,1,),(,x,2,y,2,),(,x,n,y,n,),经验回归方程,2.2,参数,0,、,1,的估计,一、普通最小二乘估计,(Ordinary Least Square Estimation,简记为,OLSE),最小二乘法就是寻找参数,0,、,1,的估计值,使离差平方和达极小,称为,y,i,的回归拟合值,简称回归值或拟合值,称为,y,i,的残差,2.2,参数,0,、,1,的估计,2.2,参数,0,、,1,的估计,经整理后,得正规方程组,2.2,参数,0,、,1,的估计,得,OLSE,为,记,2.2,参数,0,、,1,的估计,续例,2.1,回归方程,2.2,参数,0,、,1,的估计,二、最大似然估计,连续型：是样本的联合密度函数：,离散型：是样本的联合概率函数。,似然函数并不局限于独立同分布的样本。,似然函数,在假设,i,N(0,2,),时,由（,2.10,）式知,y,i,服从如下正态分布,:,2.2,参数,0,、,1,的估计,二、最大似然估计,y,1,y,2,y,n,的似然函数为：,对数似然,函数为：,与最小二乘原理完全相同,2.3,最小二乘估计的性质,一、线性,是,y,1,y,2,y,n,的,线性函数,：,其中用到,2.3,最小二乘估计的性质,二、无偏性,2.3,最小二乘估计的性质,三、的方差,2.3,最小二乘估计的性质,三、的方差,在正态假设下,GaussMarkov,条件,2.4,回归方程的显著性检验,一、,t,检验,原假设：,H,0,：,1,=0,对立假设：,H,1,：,1,0,由,当原假设,H,0,：,1,=0,成立时有：,2.4,回归方程的显著性检验,一、,t,检验,构造,t,统计量,其中,2.4,回归方程的显著性检验,二、用统计软件计算,1,例,2.1,用,Excel,软件计算,什么是,P,值,?,(,P,-value),P,值即显著性概率值,Significence,Probability Value,是当原假设为真时得到比目前的 样本更极端的样本的 概率，所谓极端就是与原假设相背离,它是用此样本拒绝原假设所犯弃真错误的 真实概率，,被称为观察到的,(,或实测的,),显著性水平,双侧检验的,P,值,/,2,/,2,t,拒绝,拒绝,H,0,值,临界值,计算出的样本统计量,计算出的样本统计量,临界值,1/2,P,值,1/2,P,值,左侧检验的,P,值,H,0,值,临界值,a,样本统计量,拒绝域,抽样分布,1-,置信水平,计算出的样本统计量,P,值,右侧检验的,P,值,H,0,值,临界值,a,拒绝域,抽样分布,1-,置信水平,计算出的样本统计量,P,值,利用,P,值进行检验的决策准则,若,p-,值,不能拒绝,H,0,若,p-,值,拒绝,H,0,双侧检验,p-,值,=2,单侧检验,p-,值,2.4,回归方程的显著性检验,二、用统计软件计算,2.,例,2.1,用,SPSS,软件计算,2.4,回归方程的显著性检验,二、用统计软件计算,2.,用,SPSS,软件计算,2.4,回归方程的显著性检验,三、,F,检验,平方和分解式,SST=SSR+SSE,构造,F,检验统计量,2.4,回归方程的显著性检验,三、,F,检验,一元线性回归方差分析表,方差来源,自由度,平方和,均方,F,值,P,值,回归,残差,总和,1,n,-2,n,-1,SSR,SSE,SST,SSR,/1,SSE,/,（,n,-2,）,P,(,F,F,值,),=,P,值,2.4,回归方程的显著性检验,四、相关系数的显著性检验,2.4,回归方程的显著性检验,四、相关系数的显著性检验,2.4,回归方程的显著性检验,四、相关系数的显著性检验,附表,1,相关系数,=0,的临界值表,n-2,5%,1%,n-2,5%,1%,n-2,5%,1%,1,0.997,1.000,16,0.468,0.590,35,0.325,0.418,2,0.950,0.990,17,0.456,0.575,40,0.304,0.393,3,0.878,0.959,18,0.444,0.561,45,0.288,0.372,4,0.811,0.947,19,0.433,0.549,50,0.273,0.354,5,0.754,0.874,20,0.423,0.537,60,0.250,0.325,6,0.707,0.834,21,0.413,0.526,70,0.232,0.302,7,0.666,0.798,22,0.404,0.515,80,0.217,0.283,8,0.632,0.765,23,0.396,0.505,90,0.205,0.267,9,0.602,0.735,24,0.388,0.496,100,0.195,0.254,10,0.576,0.708,25,0.381,0.487,125,0.174,0.228,11,0.553,0.684,26,0.374,0.478,150,0.159,0.208,12,0.532,0.661,27,0.367,0.470,200,0.138,0.181,13,0.514,0.641,28,0.361,0.463,300,0.113,0.148,14,0.497,0.623,29,0.355,0.456,400,0.098,0.128,15,0.482,0.606,30,0.349,0.449,1000,0.062,0.081,2.4,回归方程的显著性检验,四、相关系数的显著性检验,用,SPSS,软件做相关系数的显著性检验,2.4,回归方程的显著性检验,四、相关系数的显著性检验,两变量间相关程度的强弱分为以下几个等级：,当,|,r,|0.8,时，视为高度相关；,当,0.5|,r,|,0.8,时，视为中度相关；,当,0.3|,r,|,0.5,时，视为低度相关；,当,|,r,|,0.3,时，表明两个变量之间的相关程度极弱，,在实际应用中可视为不相关。,2.4,回归方程的显著性检验,五、三种检验的关系,H,0,:,b,=0,H,0,:,r,=0,H,0,:,回归无效,2.4,回归方程的显著性检验,六、样本决定系数,可以证明,2.5,残差分析,一、残差概念与残差图,残差,误差项,残差,e,i,是误差项,e,i,的估计值。,2.5,残差分析,一、残差概念与残差图,2.5,残差分析,一、残差概念与残差图,图,2.6,火灾损失数据残差图,2.5,残差分析,二、残差的性质,性质,1,E(,e,i,)=0,证明,:,2.5,残差分析,二、残差的性质,性质,2,其中,称为杠杆值,2.5,残差分析,二、残差的性质,2.5,残差分析,二、残差的性质,性质,3.,残差满足约束条件,:,2.5,残差分析,三、改进的残差,标准化残差,学生化残差,2.6,回归系数的区间估计,等价于,1,的,1-,置信区间,2.7,预测和控制,一、单值预测,2.7,预测和控制,二、区间预测,找一个区间（,T,1,T,2,），使得,需要首先求出其估计值,的分布,1,因变量新值的区间预测,二、区间预测,1,因变量新值的区间预测,以下计算,的方差,从而得,二、区间预测,1,因变量新值的区间预测,记,于是有,则,二、区间预测,1,因变量新值的区间预测,y,0,的置信概率为,1-,的置信区间为,y,0,的置信度为,95%,的置信区间近似为,二、区间预测,2,因变量平均值的区间估计,得,E,(,y,0,),的,1-,的置信区间为,E(,y,0,)=,0,+,1,x,0,是常数,二、区间预测,计算,对例,2.1,的火灾损失数据，假设保险公司希望预测一个距最近的消防队,x,0,=3.5,公里的居民住宅失火的损失,点估计值,95%,区间估计 单个新值：,（,22.32,，,32.67,）,平均值,E(,y,0,),：（,26.19,，,28.80,）,的,95%,的近似置信区间为,=,（,27.50-22.316,，,27.50+22.316,）,=,（,22.87,，,32.13,）,三、控制问题,给定,y,的预期范围,(,T,1,T,2,),如何控制自变量,x,的值,才能以,1-,的概率保证,用近似的预测区间来确定,x,。如果,=0.05,则要求,把,带入,2.8,本章小结与评注,一、一元线性回归模型从建模到应用的全过,程,例,2.2,全国人均消费金额记作,y(,元,);,人均国民收入记为,x(,元,),表,2.2,人均国民收入表,2.8,本章小结与评注,二、有关回归假设检验问题,1973,年,Anscombe,构造了四组数据,这四组数据所建的回归方程是相同的,决定系数,F,统计量也都相同,且均通过显著性检验。,2.8,本章小结与评注,