资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,第四章 回归模型的扩展,一、异方差性,二、自相关性,三、多重共线性,2,一、异方差,1,、异方差的定义,2,、异方差产生的原因,3,、异方差性的后果,4,、异方差性的检验,5,、异方差性的解决办法,6,、案例分析,3,1,、异方差的定义,分析：,4,(A),概率密度,储蓄,Y,收入,X,异方差的图形表示,同方差,(B),概率密度,储蓄,Y,收入,X,异方差,5,定义：,对于模型,如果出现,即,对于不同的解释变量的值,，,随机误差项的方差不再是常数,，,则认为出现了,异方差性,(,Heteroskedasticity,),。,i,ki,k,i,1i,i,X,X,X,Y,m,b,b,b,b,+,+,+,+,+,=,L,2,2,1,0,6,2,、异方差性产生的主要原因,（,1,）,假性异方差,模型遗漏了重要的变量,模型函数形式的设定误差,解决方法：通过设定正确的模型来解决。,7,（,2,）真正的异方差,随机因素的影响,截面数据中，波动,(,不确定性,),与经济规模的比例关系。,例如赚钱越多，消费的选择余地越大。,时间序列中，波动的系统变化,干中学的模型,自回归条件异方差,ARCH,经验表明，横截面数据更易产生异方差性，我们主要研究横截面数据中的异方差问题,8,3,、异方差问题的后果,计量经济模型一旦出现异方差，如果仍采用,OLS,估计模型参数，会产生以下后果,OLS,估计量仍然是线性、无偏的，但是,OLS,估计不再是有效估计。,无法正确估计回归系数的标准差（参数估计的标准差出现偏差，有可能增大也可能偏小）,T,检验失效,模型预测不准确（区间估计与随机误差项的方差有关）,9,4,、异方差性的检验,为了检验模型是否存在异方差性，需要了解随机误差项取值的分布情况。,随机误差项取值无法观测，只能通过残差分布情况来推测随机误差项的分布特征,10,常用方法,（,1,）图示检验法,（,2,）戈德菲尔德,-,匡特检验,（,3,）怀特检验,（,4,）帕克检验和戈里瑟检验,11,（,1,）、图示检验法,相关图分析,绘制,Y X,的散点图,考察,Y,的离散程度与解释变量是否有相关关系,Eviews,实现,Scat x Y,12,13,残差序列分布图,考察残差分布图的离散程度。,不存在异方差时，参差序列均匀分布在横轴上下一定范围,如果随,I(Xi),的增大，残差分布增加、减少，则可能存在异方差,如果呈现其他规律变化，可能是复杂异方差，也可能是参数变化或者函数设定偏差,14,(a),(b),15,(c),(d),16,(e),(f),17,残差分析图的,eview,实现,(Sort X),Ls Y C X,Genr E1=resid,Genr E2=abs(E1),或者,genr E2=E1*E1,Scat x E2,18,（,2,）、戈德菲尔德,-,夸特（,Goldfeld-Quandt）,检验,G_Q,检验的适用范围：,样本容量较大,单调异方差（异方差递增或者递减）的情形。,对于复杂异方差则无法应用,检验思路,19,具体步骤：,1)将样本观察值,X,i,按大小顺序排列,2)将序列中间的,c,个观察值除去，并将剩下的观察值划分成大小相同的两个子样本，每个子样本的容量为(,n-c）/2,3),对每个子样本分别求回归方程，并计算各自的残差平方和,20,4）提出假设,5）构造统计量,当,H,0,成立时，,如果 ，误差项存在明显的递增异方差性；,如果 ，误差项没有明显的异方差性。,21,G-Q,检验的,Eviews,实现,Sort X,Smpl 1 x1,Ls Y C X,，求,RSS1,Smpl x2 n,Ls Y C X,求,RSS2,计算,F,，查,F,临界值，并进行判断,22,G-Q,检验缺点：,无法确定具体形式，对于接下来如何解决异方差没有提供很好的建议,对于复杂异方差不适用,对于多元的情况，处理比较麻烦,23,（,3,）、怀特,(white),检验,怀特检验的适用范围（优点）：,任何形式的异方差（不仅限于单调异方差）,对于多元模型也很方便,可以初步推测异方差的形式。,24,例如：以二元回归模型为例：,检验的思路：检验残差平方与所有解释变量的各种形式之间的相关性。,25,怀特检验步骤,（,1,）估计回归模型，并计算残差平方,（,2,）估计辅助回归方程,即将残差平方关于所有解释变量的一次项，二次 项和交叉项回归。,计算辅助回归的判定系数 ，可以证明：同方差假设下（,），渐进地有：,在给定的显著性水平下，如果,26,注意：,辅助回归是残差平方（用以表示条件方差）与解释变量各种可能组合的显著性，因此，辅助回归方程中还可引入解释变量的更高次方。不过为了节省自由度，往往到两次就可以了。,在多元回归中，由于辅助回归方程中可能有太多解释变量，从而使自由度减少，有时可去掉交叉项。,检验的是辅助回归方程的整体显著性,27,White,检验的,eviews,实现,建立回归模型：,LS Y C X,检验异方差性：,方程窗口中,viewresidual testwhite heteroskedasticity,28,（,4,）、帕克（,Park,）检验和 戈里瑟(,Gleiser),检验,为什么要进行,Park,和,Gleiser,检验,White,检验形式太过一般，为了具体化，和以后修正异方差的需要。,基本思想:,利用残差绝对值序列或残差平方序列，分别对,X,i,（的某种形式）进行一元辅助回归。,由回归方程的显著性、拟合优度判断异方差存在。,该检验的优点是可以近似给出异方差的具体形式,。,29,帕克检验的模型形式：,30,通常拟合 和 之间的回归模型：,戈里瑟检验形式,31,Park,检验的,Eviews,实现,Ls Y C X,GENR LNE2=LOG(RESID2),GENR LNX=LOG(X),LS LNE2 C LNX,32,Gleiser,检验的,Eviews,实现,Ls Y C X,GENR E=ABS(RESID),GENR X1=*(,如：,1/X,，,x*x,等）,LS E C X1,33,5,、异方差性的解决办法,如果是假性异方差,模型遗漏重要变量,函数形式设定不当（比如可以取对数）,首先修正模型，若检验后发现异方差不存在了，说明原来的异方差是假性异方差。模型修正后就已经解决。,34,5,、异方差性的解决办法,如果是真正的异方差（通过模型修正无法改善异方差的情形），,利用增长率模型，将与规模有关的异方差去除或减弱。,模型变换法,加权最小二乘法（,WLS,）,35,（1）、模型变换法,思想：,通过对存在异方差的总体回归方程作适当的代换使之成为满足同方差假定的模型，然后用,OLS,估计。,变换的关键是事先对异方差 的具体形式有一个合理的假设。若,其中,2,为常数,是不变方差，将上述回归模型两边除以 ，化为同方差（方差为 ）,36,假设原模型为：,变换为新模型：,新模型的变量：,新模型的随机误差项的方差：,37,注意：模型的变换在相差一个常数的基础上，都可以化为同方差模型。,对于变换后的模型，其方差是满足同方差的随机变量，故可以对模型实施普通最小二乘法估计。,对新模型进行最小二乘估计的残差平方和的实质：(加权最小二乘),38,。,例：当,f(X,i,),取下列形式时，如何进行模型变换：,1、,2、,3、,39,（2）、加权最小二乘法（,WLS),在一元线性回归分析法中，对各点的残差平方和所提供的信息的重要程度是一视同仁的，它们在决定参数估计的过程中所起的作用是相同的（取了相同的权数）。,在异方差的情况下，合理的做法是：对于较大的残差平方赋予较小的权重，而对于较小的残差平方则赋予较大的权重，这样可以提高参数估计的精度。,在异方差存在的情况下，,WLS,估计量才是最优线性无偏估计量（,BLUE,）,40,几点说明：,例如，模型变换时,?,理解成权重，则构成了“加权最小二乘法”,事实上权数可以选取任一变化趋势与异方差的趋势相反的变量序列,41,6,、案例分析,42,二、自相关问题及解决办法,1,、自相关性的定义,2,、自相关性产生的原因,3,、自相关性的后果,4,、自相关性的检验,5,、自相关性的解决方法,6,、案例分析,43,1,、自相关的定义,自相关的概念：,如果对于不同的样本点，随机误差项之间存在自相关性，则认为出现了,误差序列相关（自相关）,即：,44,2,、自相关性产生的原因,假性自相关：,模型中遗漏了重要的解释变量,模型函数形式的设定误差,真正的自相关,经济惯性（例如：本期投资与前年的投资有关）,随机因素的影响的持续性（例如：自然灾害，金融危机等）,45,OLS,估计虽然是线性无偏的，但不再是有效的估计。,OLS,估计的标准误差估计不再准确。,参数显著性,t,检验失效,模型预测精度下降,3,、自相关问题的后果,46,4,、自相关的检验,（,1,）自相关的表示形式：,P,阶自相关：,称为,s,阶自相关系数。是满足基本假定的随机变量。,47,一阶自相关,误差序列相关比较基本和重要类型（为什么重视一阶自回归？）：,这里,是自相关系数，|,|1,0,时为正自相关，,0,时为负自相关。,是满足基本假定的随机变量。,48,（,2,）、自相关的检验,、残差序列图分析,误差序列随时间变化,如果,e,i,随时间变化呈有规律的变化，说明存在自相关。,49,误差序列自相关残差分布图,50,、偏相关系数检验,偏相关系数是衡量多个变量之间相关程度的重要指标，可以用它来判断自相关性的类型。,只要有一个自相关系数显著不为零，就存在自相关。,利用,eviews,可以方便的进行,(,见,92,页,),方程窗口,viewresidual testcorrelogram-Q-statistics,51,、德宾沃森（,Durbin-Walson),检验,DW,检验适用条件,随机项一阶自相关,解释变量与随机项不相关,样本容量比较大,52,DW,检验的原理,对线性回归模型,如果误差项有一阶自回归问题，那么,其中的 ，是均值为,0,的独立同分布随机变量。,53,根据 和 的性质，有,因此,54,考虑与 有密切关系的,DW,统计量,55,因为 所以,D-W,统计量的值域,并且:,56,检验误差序列正自相关性,DW,检验区域图,一阶自相关 无法判断 无一阶自相关性 无法判断 一阶负自相关,Durbin-Watson,根据样本容量,n,和解释变量数目,k,在给定的 显著性水平,下,建立了,D-W,统计量的下临界值,d,L,和上临界值,d,U,.,57,0,dd,L,拒绝,H,0,，,接受,H,1,。,存在一阶正自相关，并且,d,越靠近0，正自相关越强。,4,d,L,d,4,拒绝,H,0,，,接受,H,1,。,存在一阶负自相关，并且,d,越靠近4，负自相关越强。,d,U,d,4-d,U,接受,H0，,拒绝,H,1,。,不 存在一阶自相关，并且,d,越靠近2，无相关把握越大。,d,L,dd,U,或 4-,d,U,d4-d,L,不能确定是否存在自相关。,58,D-W,检验的局限性：,只适用一阶自回归，不适合高阶自回归,不适用解释变量与随机项相关的模型（当有滞后变量作为解释变量时，,DW,有趋向,2,的趋势）。需要利用,Durbin-h,统计量进行判断,D-W,检验存在两个不能确定的区域，一旦,d,落入这两个区域，要通过其他方法（或者增加样本数据，或者重新取样，或者用其他检验方法。）,Eviews,直接给出,DW,值,59,、布罗斯戈弗雷检验（,Breusch-Godfrey,），又称拉格朗日乘数检验（,LM,检验）,简称,B-G,检验，或,LM,（,lagrange multiphcator),检验,分析：对于模型,设自相关形式为：,假设 ，即不存在自相关性。,实际操作中，用 代替,60,检验步骤,用,OLS,方法估计模型，得残差序列,将 关于所有解释变量和残差的滞后值,进行回归，并计算出辅助回归模型的判定系数,61,检验步骤,布罗斯和戈弗雷证明，在大样本情况下，渐近的有：,在给定的显著性水平下，,62,布罗斯戈弗雷检验的,eviws,实现,在方程窗口中，,viewresidual testserial correlation LM test,需要人为设定滞后期长度，一般从,s=1,开始，多试几次，比如直到,s=10,左右。如果检验结果均不显著，则可以认为不存在自相关性。,63,案例分析（一）,P91【,例,3】,自相关问题的检验,64,5,、自相关性的解决方法,假性自相关：,模型遗漏重要变量,模型函数形式设定不当,首先修正模型，若检验后发现自相关不存在了，说明原来的自相关假性自相关。模型修正后就已经解决,65,真正的自相关：,广义差分方法（是,GLS,方法的一种特例）,66,（一）广义差分法,（,1,）相关系数已知时，直接利用广义差分法,设线性回归模型为,已知 有一阶自相关性，即,把滞后一期的观测值代入变量关系，得方程：,可得,令 ，,根据,可得,如果记 ，所以上式为,67,（,2,）、相关系数未知时，,先估计相关系数，再采用广义差分,根据估计相关系数方法的不同，可以分为下面几种方法：,68,、近似估计法,近似估计法,1,：,然后再利用广义差分方法。,69,近似估计法,2,：,对于小样本，,Theil,给出以下近似公式：,K,为解释变量个数。,然后再利用广义差分方法,70,近似估计法,3,：,利用残差代替随机误差项，计算,再利用广义差分方法,71,、科克兰内奥克特迭代方法,步骤:,S1.,根据样本观察值数据,用,OLS,方法估计模型,得到样本回归方程,S2.,计算残差,e,t,作为,u,t,的估计.,S2.,用,OLS,方法求,的初次估计值,72,S4,用 对原模型进行广义差分变换，作第一次迭代。得广,义差分模型,用,OLS,方法估计模型，得到残差序列 并进行自相关检验。如果无自相关，迭代结束，求得,如果存在自相关，则重复进行上述工作：,S5.,计算,的第二次估计值，,S6.,用 对原模型进行广义差分变换，作第二次迭代。得广,义差分模型,同样的过程可以重复进行，直到 收敛，或达到迭代的预定上限。,73,、搜索估计法,又称为希尔德雷思卢估计法。,在区间,-1,1,中按照一定间隔选取相关系数,然后利用每个 进行广义差分变换，估计相应的广义差分模型并计算每个模型的残差平方和,从所有模型中选取一个使残差平方和最小的模型，作为最佳模型。对应的 即为所估计的,该方法的特点：,保证使得残差平方和总体最小，而达到最优。而迭代方法可能仅是局部最优（与初始值有关）,74,广义差分方法的,eviews,实现,用,OLS,估计模型，得残差序列,根据残差序列判断自相关的类型,利用广义差分法估计模型,LS Y C X AR(1),可以对迭代过程进行控制,方程窗口中,estimate,按扭,对话框中,options,在迭代程序对话框中输入最大迭代次数或收敛精度。,（,3,）广义差分法案例分析,75,（二）广义最小二乘法,GLS,（略）,、,GLS,的基本思想,就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用,OLS,估计。,可见,WLS,与广义差分都是的特例,76,、,GLS,估计,由于,是一个正定的对称矩阵，由矩阵代数的知识，我们知道存在一个满秩矩阵,P,，使得,77,在古典回归方程两边同乘,，得到,或者,可见,78,显然,变换后的模型,满足古典假定，因此可以用,OLS,对该式进行估计。得到如下结果,79,3,、（可行的,GLS,）,如果,已知，那么,GLS,就是最优的估计方法,如果,未知。必须先对矩阵,进行估计，得到,，然后再按照上述,GLS,的方法对回归模型进行估计,，称为,FGLS,估计。,80,81,三、多重共线性,1,、完全多重共线性,2,、多重共线性的定义,3,、多重共线性产生的原因,4,、多重共线性的后果,5,、多重共线性的检验,6,、多重共线性的解决方法,7,、案例,82,1,、完全,多重共线性,定义：多元线性回归模型中的解释变量之间，存在严格的线性关系。,82,对于多元线性回归模型,解释变量之间存在较强的线性关系。或者说存在一组不全为,0,的常数 ，使得,违反了基本假定,83,1,、完全,多重共线性,原因：通常是模型设定的失误,后果：此时无法唯一解出确定的参数估计值，估计的方差无穷大,检验：出错提示,解决：可以放弃部分解释变量。,84,（,1,）（近似）多重共线性定义,（注意修正书上,P107-108,的说法）,对于多元线性回归模型,解释变量之间存在较强的线性关系。或者说存在一组不全为,0,的常数 ，使得,不违反基本假定,2,、,多重共线性及产生原因,85,（,2,）多重共线性的原因,变量之间的内在联系,(,如劳动和资本投入在数量上的必然联系）,经济变量变化趋势的“共向性”（比如经济繁荣时经济指标趋向增长）,滞后变量的引入,样本资料的原因。,可见，经济变量之间总存在一定程度的线性相关，因此，问题不是多重共线性的有无，而是多重共线性的严重程度。,3,、,多重共线性产生的原因,86,4,、多重共线性的后果,好消息！,近似多重共线性不违反任何假设。可以得到参数估计值。,OLS,估计量仍旧是唯一的，最小方差的线性无偏估计量。,87,4,、多重共线性的后果,后果,增大,OLS,估计的方差，使得参数估计不稳定，异常值多。,难以区分每个解释变量的单独影响,t,检验的可靠性降低。（单个参数的,t,检验不显著，甚至符号相反。）,回归模型缺乏稳定性,88,5,、,多重共线性的检验,多重共线性并不违反经典假设，多重共线性普遍存在，因此对于不严重的多重共线性我们无需处理，只有当多重共线性比较严重时才需要处理。,所以我们检验的不是多重共线性的有无，而是多重共线性的强弱。下面给出的不是严格的统计方法,而是基于经验的判断。,89,(1),、相关系数检验,主要针对两个解释变量的情况。,一般，如果两个解释变量简单相关系数比较高（如，大于,0.8),，可以认为存在较严重的多重共线性,注意，该方法对解释变量多于两个时，不一定有效。此时变量之间两两相关系数很低，也可能存在严重的多重共线性。,90,(2),、辅助回归模型检验,当模型解释变量个数多于两个，而且呈现复杂相关关系时采用,用每一个解释变量对其他解释变量构造辅助回归方程来检验多重共线性。,如果方程整体显著（,F),，则表明存在多重共线性。,若有,则怀疑有多重共线性,看辅助回归方程的拟合度 的大小。,91,(3),方差膨胀因子检验,分析思路：,多重共线性使得参数估计方差放大。通过考察参数估计被放大的程度，判断模型存在多重共线性的程度。,可以推出，在多元回归中有:,92,当 时，,当 时，,方差扩大因子，记作,常以方差扩大因子是否大于,10,来判断第,j,个解释变量是否存在较强的、必须加以处理的多重共线性。,对应的辅助方程的判决系数为,0.9,93,R,2,0,0.5,0.8,0.9,0.95,0.98,0.99,0.999,VIF,1,2,5,10,20,50,100,1000,当完全共线时，,R,2,1,，,VIF,无穷大,94,与,VIF,等价的指标。,“,容许度,”,判别,显然，,一般当,TOL0.1,，认为模型存在较严重的多重共线性。,95,看参数估计量的符号、数值是否与理论相符和？如果与定性分析结果违背，可能可能存在多重共线性。（当然也可能模型设定出现了问题）,若回归整体显著性,F,拒绝,H0,，但参数,t,检验多数都不显著。,当增加或者剔除一个解释变量，回归参数的估计值和标准差发生较大变化。,(4),、直观判断,(5),特征值检验,(,略）,根据矩阵代数知识，矩阵的特征值为矩阵的特征根的乘积。,96,97,6,、,多重共线性的解决方法,基本原则,如果建模目的是预测，则模型的拟合优度较高，并且相关关系保持不变，就可以忽略多重共线性问题。如果建模目的是结构分析，则需要消除多重共线性的影响。,引起多重共线性的原因是模型存在相关的解释变量，因此消除多重共线的根本方法只能是删除这些变量，但剔除变量要,要谨慎。否则，去掉了重要的变量，经济意义不合理，或者模型设定出现偏误。,98,(1),扩大或改变样本,原理：多重共线是一种样本现象。可以从样本入手。样本容量越大，变量相关性越小，相关越难。,增加样本容量,采用面板数据,增加数字的字长，进行双精度计算,该方法的局限：,由于资料收集以及调查的困难，改变样本、增加样本容量在实践中有时并不容易。,如果新增加的样本数据与原来具有相同的性质，那么就无法起到作用。可以利用面板数据加以克服。,99,(2),、从解释变量角度，剔除次要变量,如果考虑了过多的解释变量，其中有些可能是无显著作用的次要变量，可以直接去除。,可能引起模型设定误差，违反其他假定。,可以借助统计方法帮助选择。,首先将变量按照重要程度排序,然后逐步添加解释变量。,基于,t,检验,，,AIC,SC,等准测。,100,（,3,）逐步回归法,用被解释变量对每一个所考虑的解释变量回归。,以对被解释变量贡献最大的解释变量所对应的方程为基础，按照对被解释变量贡献大小，逐个引入其余变量。,要求，模型的每个解释变量影响显著，参数符号正确，有所提高,如此下去，直至无法加入新的变量为止。,101,(4),、模型改造和变量替换,将名义变量替换为实际变量。因为名义变量之间由于价格关系可能存在多重共线性问题,利用相对数量,例如研究需求函数时,102,、利用先验信息约束估计,例：生产函数 ，经对数变换为：,如果预先知道所研究的经济有规模报酬不变的性质，即函数中的参数满足 就可以克服多重共线性。,103,混合估计,混合估计：利用其他方法（如专家调查）估计出部分参数，带入模型。整理后可以建立一个新的模型。然后对新模型进行估计。,104,混合估计例子,例：,研究需求规律的模型,可以先求出模型中参数 的估计值（用截面数据等）。,前一个模型变为,整理这个模型可以得到,从而估计出 和 的估计值 和 ，,得到克服了多重共线性的回归直线,105,（,5,）主成分回归,主成分回归的思想,利用主成分方法将解释变量转换成若干个互不相关的主成分,将被解释变量关于这些主成分回归,再根据主成分与解释变量的对应关系，求得原回归模型的估计方程,案例分析,P118,。例,7,106,
展开阅读全文