实用回归分析(_)ppt课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,ad,*,第四章 违背基本假设的情况,4.1,异方差性产生的背景和原因,4.2,一元加权最小二乘估计,4.3,多元加权最小二乘估计,4.4,自相关性问题及其处理,4.5 BOX-COX,变化,4.6,异常值与强影响点,4.7,本章小结与评注,1,ad,第四章 违背基本假设的情况 4.1 异方差性产生的背景和,第四章 违背基本假设的情况,Gauss-Markov,条件,与假设违背的情况：,1.,异方差性,2.,自相关性,产生的背景和原因,带来的影响,诊断及处理方法,2,ad,第四章 违背基本假设的情况 Gauss-Markov条件,4.1,异方差性产生的背景和原因,一、异方差产生的原因,例,4.1,居民收入与消费水平有着密切的关系。用,x,i,表示第,i,户的收入量,y,i,表示第,i,户的消费额,一个简单的消费模型为,:,y,i,=,0,+,1,x,i,+,i,，,i,=1,2,n,低收入,的家庭购买差异性比较小,高收入,的家庭购买行为差异就很大。,导致消费模型的随机项,i,具有不同的方差。,3,ad,4.1 异方差性产生的背景和原因 一、异方差产生的原因3,4.1,异方差性产生的背景和原因,二、异方差性带来的问题,当存在异方差时，普通最小二乘估计存在以下问题,:,(1),参数估计值虽是无偏的,但,不是最小,方差线性无偏估计,;,(2),参数的,显著性检验失效,;,(3),回归方程的,应用效果,极不理想。,4,ad,4.1 异方差性产生的背景和原因 二、异方差性带来的问,4.2,一元加权最小二乘估计,一、异方差性的检验,（一）残差图分析法,（二）等级相关系数法,（一）残差图分析法,它以残差,ei,为纵坐标，以其他适宜的变量为横坐标画散点图。,常用的,横坐标,有：,1.,拟合值；,2.xi,i=1,p,3.,观测时间或序号,5,ad,4.2 一元加权最小二乘估计 一、异方差性的检验（一）残,4.2,一元加权最小二乘估计,一、异方差性的检验,（一）残差图分析法,图,2.5,（,b),存在异方差,一般情况下，当,回归模型满足所有假定时,，残差图上的n个点散布应是随机的，无任何规律；,存在异方差时，残差图上的点散布呈现相应的,趋势,.,6,ad,4.2 一元加权最小二乘估计 一、异方差性的检验图2.5,4.2,一元加权最小二乘估计,一、异方差性的检验,（二）等级相关系数法,等级相关系数检验法又称,斯皮尔曼,(Spearman),检验,是一种应用较广泛的方法。这种检验方法既可用于,大,样本,也可用于,小,样本。进行等级相关系数检验通常有三个步骤。,第一步,作,y,关于,x,的普通最小二乘回归,求出,e,i,的估计值,即,e,i,的值。,7,ad,4.2 一元加权最小二乘估计 一、异方差性的检验7ad,4.2,一元加权最小二乘估计,（二）等级相关系数法,第二步,取,e,i,的绝对值,分别把,x,i,和,|e,i,|,按递增（或递减）的次序分成等级,按下式计算出,等级相关系数,:,其中,n,为样本容量,d,i,为对应于,x,i,和,|e,i,|,的等级的差数,。,8,ad,4.2 一元加权最小二乘估计 （二）等级相关系数法其中,4.2,一元加权最小二乘估计,（二）等级相关系数法,第三步,做等级相关系数的显著性检验。在,n,8,的情况下,用下式对样本等级相关系数,r,s,进行,t,检验。检验统计量为,:,如果,tt,/2,(n-2),可认为异方差性问题,不存在,，,如果,t,t,/2,(n-2),说明,x,i,与,|e,i,|,之间存在系统关系,异方差性问题存在,。,检验：,x,i,与,|e,i,|,显著关系,9,ad,4.2 一元加权最小二乘估计 （二）等级相关系数法如果t,4.2,一元加权最小二乘估计,例,4.3,设某地区的居民收入与储蓄额的历史统计数据如表,4.1,。,(1),用普通最小二乘法建立储蓄,y,与居民收入,x,的回归方程,并画出,残差散点图,;,(2),诊断该问题是否存在异方差,;,10,ad,4.2 一元加权最小二乘估计 例4.3 设某地区的居民,11,ad,11ad,12,ad,12ad,13,ad,13ad,14,ad,14ad,15,ad,15ad,4.2,一元加权最小二乘估计,16,ad,4.2 一元加权最小二乘估计 16ad,4.2,一元加权最小二乘估计,图,4.1,残差图,误差项具有明显的异方差性，误差随着,x,的增加而增加。,17,ad,4.2 一元加权最小二乘估计 图4.1 残差图误差项具,4.2,一元加权最小二乘估计,（,2,）计算等级相关系数。,残差绝对值与自变量显著相关，误差存在异方差性。,18,ad,4.2 一元加权最小二乘估计 （2）计算等级相关系数。,4.2,一元加权最小二乘估计,用,SPSS,计算等级相关系数。,TransformCompute,算出残差绝对值,|ei|=abs(ei),；,CorrelateBivariateSpearman,19,ad,4.2 一元加权最小二乘估计 用SPSS计算等级相关系数,4.2,一元加权最小二乘估计,Spearman,等级相关系数,可以反映,非线性相关,的情况（可以如实反映单调递增或者单调减趋势的变量间的相关性）,Pearson,简单相关系数,不能,反映非线性相关的情况,(,只适宜衡量直线趋势的变量间的相关性,),。,例如,x,与,y,的取值如下，,容易计算出,y,与,x,的简单相关系数,r,=0.9746,，,而,y,与,x,的等级相关系数,r,s,=1,具有完全的曲线相关。,20,ad,4.2 一元加权最小二乘估计 Spearman等级相关系,4.2,一元加权最小二乘估计,二、一元加权最小二乘估计,存在异方差性,对原模型,变换,（变换后满足同方差假设）,模型参数估计,消除异方差性的方法通常有：,加权最小二乘法,Box-Cox,变换法,方差稳定性变换法,加权最小二乘法,(Weighted Least Square,简记为,WLS),是一种最常用的消除异方差性的方法。,21,ad,4.2 一元加权最小二乘估计 二、一元加权最小二乘估计存,4.2,一元加权最小二乘估计,二、一元加权最小二乘估计,一元线性回归普通最小二乘法的离差平方和为,：,一元线性回归的加权最小二乘的离差平方和为：,22,ad,4.2 一元加权最小二乘估计 二、一元加权最小二乘估计一,4.2,一元加权最小二乘估计,加权最小二乘估计为：,其中，,是自变量的加权平均；,是因变量的加权平均。,23,ad,4.2 一元加权最小二乘估计 加权最小二乘估计为：其中,4.2,一元加权最小二乘估计,观测值的权数,应该是观测值误差项方差的倒数,即,在实际问题中,误差项的方差是未知的,常与自变量,x,的幂函数,x,m,成比例，其中,m,是待定的未知参数,。此时权函数为,误差项方差较大的观测值接受较小的权数；,误差项方差较小的观测值接受较大的权数。,24,ad,4.2 一元加权最小二乘估计 观测值的权数应该是观测值误,4.2,一元加权最小二乘估计,三、寻找最优权函数,利用,SPSS,软件可以,确定幂指数,m,的最优取值,。,依次点选,Analyze-Regression-Weight Estimation,进入估计权函数对话框，默认的幂指数,m,的取值为,m=-2.0,，,-1.5,，,-1.0,，,-0.5,，,0,，,0.5,，,1.0,，,1.5,，,2.0,。,先将因变量,y,与自变量,x,选入各自的变量框，再把,x,选入,Weight,变量框，幂指数（,Power,）取默认值，计算结果如下：,25,ad,4.2 一元加权最小二乘估计 三、寻找最优权函数利用SP,4.2,一元加权最小二乘估计,26,ad,4.2 一元加权最小二乘估计 26ad,4.2,一元加权最小二乘估计,27,ad,4.2 一元加权最小二乘估计 27ad,4.2,一元加权最小二乘估计,普通最小二乘法,28,ad,4.2 一元加权最小二乘估计 普通最小二乘法28ad,4.2,一元加权最小二乘估计,幂指数,m,的最优取值为,m=1.5,。,加权最小二乘的,r,2,=0.9360,，,F,值,=423.741,；,普通最小二乘的,r,2,=0.912,，,F,值,=300.732,。,说明加权最小二乘估计的效果好于普通最小二乘的效果。,29,ad,4.2 一元加权最小二乘估计 幂指数m的最优取值为m=1,先计算权,再计算加权残差,30,ad,先计算权30ad,先计算权,再计算加权残差,31,ad,先计算权31ad,4.2,一元加权最小二乘估计,图,4.2,加权最小二乘残差图残差图,32,ad,4.2 一元加权最小二乘估计 图4.2 加权最小二乘残,4.2,一元加权最小二乘估计,33,ad,4.2 一元加权最小二乘估计 33ad,4.2,一元加权最小二乘估计,34,ad,4.2 一元加权最小二乘估计 34ad,4.2,一元加权最小二乘估计,35,ad,4.2 一元加权最小二乘估计 35ad,回归模型存在异方差时，加权最小二乘估计只是对普通二乘的,改进,（可能是,细微,的），不能理解为加权最小二乘估计一定会得到比普通截然不同的回归方程，或者一定有大幅的改进（可以构造数据，回归模型具有明显的异方差性，但是,两个回归方程完全一样,）。,加权最小二乘以牺牲大方差项的拟合效果为代价改善了小方差项的拟合效果，并不总是研究者需要的。所以在一定场合下，,即使数据存在异方差，也可以选择使用普通最小二乘估计,。,4.2,一元加权最小二乘估计,36,ad,回归模型存在异方差时，加权最小二乘估计只是对普通二乘的改进（,4.3,多元加权最小二乘,当误差项,i,存在异方差时，加权离差平方和为,记,加权最小二乘估计,WLS,的矩阵表达,37,ad,4.3 多元加权最小二乘 当误差项i存在异方差时，加权,4.3,多元加权最小二乘估计,通常取权函数,W,为某个自变量,x,j,（,j=1,2,，,p,）的幂函数，即，,在,x,1,x,2,x,p,这,p,个自变量中取哪一个？,这只需计算每个自变量,x,j,与普通残差的等级相关系数，选取等级,相关系数最大的自变量构造权函数,。,二、权函数的确定方法,38,ad,4.3 多元加权最小二乘估计 通常取权函数W为,4.3,多元加权最小二乘估计,例,4.4,续例,3.2,，研究北京市各经济开发区经济发展与招商投资的关系。,因变量,y,为各开发区的销售收入（百万元），,x,1,为截至,1998,年底各开发区累计招商数目，,x,2,为招商企业注册资本（百万元）。,计算出普通残差的绝对值,ABSE=|e,i,|,与,x,1,、,x,2,的等级相关系数，,r,e1,=0.443,，,r,e2,=0.721,，因而选取,x,2,构造权函数。,39,ad,4.3 多元加权最小二乘估计 例4.4 续例,4.3,多元加权最小二乘估计,40,ad,4.3 多元加权最小二乘估计 40ad,41,ad,41ad,42,ad,42ad,4.3,多元加权最小二乘估计,仿照例,4.3,，用,Weight Estimate,估计幂指数,m,，得,m,的最优值为,m=2,。,由于,m=2,是在默认范围,-2,，,2,的边界，因而应该扩大范围重新计算。取,m,从,1,到,5,，步长仍为,0.5,，得,m,的最优值为,m=2.5,43,ad,4.3 多元加权最小二乘估计 仿照例4.3,4.3,多元加权最小二乘估计,44,ad,4.3 多元加权最小二乘估计 44ad,4.3,多元加权最小二乘估计,45,ad,4.3 多元加权最小二乘估计 45ad,4.3,多元加权最小二乘估计,加权最小二乘的,R,2,=0.84941,，,F,值,=33.84,；,普通最小二乘的,R,2,=0.842,，,F,值,=31.96,。,加权最小二乘估计的拟合效果略好于普通最小二乘。,加权最小二乘