9-2多重共线性

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多重共线性,Multi-Collinearity,1,由于在,社会科学研究,中，我们对于数据和样本的选择是被动和无奈的，因此其往往难以满足我们这样或那样的数据要求也就不足为奇了，,对一个坏的设计采取就事论事的治疗方法,，诸如逐步回归或岭回归，,可能招致灾难性的后果,。正确的做法是，宁可接受事实，,我们的非试验数据有时不能对我们感兴趣的参数提供多少信息！,2,一、多重共线性的概念,二、实际经济问题中的多重共线性,三、多重共线性的后果,四、多重共线性的检验,五、克服多重共线性的方法,六、案例,*七、分部回归与多重共线性,多重共线性,3,一、多重共线性的概念,对于模型,Y,i,=,0,+,1,X,1i,+,2,X,2i,+,k,X,ki,+,i,i=1,2,n,其基本假设之一是解释变量是互相独立的。,如果某两个或多个解释变量之间出现了线性相关性，则称为,多重共线性,(,Multicollinearity,),。,4,如果存在,c,1,X,1i,+,c,2,X,2i,+,c,k,X,ki,=0,i,=1,2,n,其中:,c,i,不全为0，,则称为解释变量间存在,完全共线性,（perfect multicollinearity）,。,如果存在,c,1,X,1i,+,c,2,X,2i,+,c,k,X,ki,+,v,i,=0,i,=1,2,n,其中,c,i,不全为0，,v,i,为随机误差项，则称为,近似共线性,（,approximate multicollinearity,）,或,交互相关,(intercorrelated),。,5,在矩阵表示的线性回归模型,Y,=,X,+,中，,完全共线性,指：,秩(X),k,+,1,，即,中，至少有一列向量可由其他列向量（不包括第一列）线性表出。,如：X,2,=,X,1,，则X,2,对Y的作用可由X,1,代替。,6,注意：,完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。,很多时候，相关性并不表现为线性，而是非线性相关。（参见P321）,7,二、实际经济问题中的多重共线性,一般地，产生多重共线性的主要原因有以下三个方面：,（,1）经济变量相关的共同趋势,时间序列样本：,经济,繁荣时期,，各基本经济变量（收入、消费、投资、价格）都趋于增长；,衰退时期,，又同时趋于下降。,横截面数据,：,生产函数中,，,资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。,8,（2）滞后变量的引入,在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。,例如,，消费=f(当期收入, 前期收入）,显然，两期收入间有较强的线性相关性。,9,（3）,样本资料的限制,由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。,一般经验,：,时间序列数据,样本：简单线性模型，往往存在多重共线性。,截面数据,样本：问题不那么严重，但多重共线性仍然是存在的。,10,二、多重共线性的后果,1、完全共线性下参数估计量不存在,如果存在,完全共线性,，则,(XX),-1,不存在，无法得到参数的估计量。,的OLS估计量为：,11,例：,对离差形式的二元回归模型,如果两个解释变量完全相关，如,x,2,=,x,1,，则,这时，只能确定综合参数,1,+,2,的估计值：,12,2、近似共线性下,OLS,估计量非有效,近似共线性下，可以得到OLS参数估计量，,但参数估计量,方差,的表达式为,由于,|XX|,0,，引起,(XX),-1,主对角线元素较大，使参数估计值的方差增大，,OLS参数估计量非有效。,13,仍以二元线性模型,y=c+,1,x,1,+,2,x,2,+,为例:,恰为,X,1,与,X,2,的线性相关系数的平方,r,2,由于,r,2,1,，故,1/(1- r,2,),1,14,多,重共线性使参数估计值的方差增大,，,1/(1-r,2,),为,方差膨胀因子,(Variance Inflation Factor, VIF),当,完全不共线,时,r,2,=0,当,近似共线,时,0,r,2,R,2,，则,xi,，,xj,间的多重共线性是有害的。,(4) SAS判别,本征值与病态指数（ill-conditioned）及条件数,24,(5) Theil多重共线性效应系数,TheilID=R,2,（R,2,-R,2,J,),R,2,J,为原模型剔除对应变量后所得拟合优度，则该指标接近0无共线性，趋近1存在严重的共线性,。,25,2、判明存在多重共线性的范围,如果存在多重共线性，需进一步确定究竟由哪些变量引起。,(1) 判定系数检验法,使模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。,如果某一种回归,X,ji,=,1,X,1i,+,2,X,2i,+,L,X,Li,的,判定系数,较大，说明X,j,与其他X间存在,共线性,。,26,具体可进一步对上述回归方程作F检验：,式中：,R,j,2,为第,j,个解释变量对其他解释变量的回归方程的决定系数，,若存在较强的共线性，则,R,j,2,较大且接近于1，这时（,1- R,j,2,）较小，从而,F,j,的值较大。,因此，给定显著性水平,，计算,F,值，并与相应的临界值比较，来判定是否存在相关性。,构造如下,F,统计量,27,在模型中排除某一个解释变量,X,j,，估计模型,；,如果拟合优度与包含,X,j,时十分接近，则说明,X,j,与其它解释变量之间存在共线性。,另一等价的检验,是:,28,(2)逐步回归法,以Y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。,根据拟合优度的变化决定新引入的变量是否独立。,如果拟合优度变化显著,，则说明新引入的变量是一个独立解释变量；,如果拟合优度变化很不显著,，则说明新引入的变量与其它变量之间存在共线性关系。,29,找出引起多重共线性的解释变量，将它排除出去。,以,逐步回归法,得到最广泛的应用。,注意：,这时，剩余解释变量参数的经济含义和数值都发生了变化。,如果模型被检验证明存在多重共线性，则需要发展新的方法估计模型，最常用的方法有三类。,四、克服多重共线性的方法,1、第一类方法：排除引起共线性的变量,30,逐步回归法,：,（1）用被解释变量对每一个所考虑的解释变量做简单回归。（2）以对被解释变量贡献最大的解释变量所对应的回归方程为基础，以对被解释变量贡献大小为顺序逐个引入其余的解释变量。这个过程会出现3种情形。若新变量的引入改进了R2，且回归参数的,t,检验在统计上也是显著的，则该变量在模型中予以保留。若新变量的引入未能改进R2，且对其他回归参数估计值的,t,检验也未带来什么影响，则认为该变量是多余的，应该舍弃。若新变量的引入未能改进R2，且显著地影响了其他回归参数估计值的符号与数值，同时本身的回归参数也通不过t检验，这说明出现了严重的多重共线性。舍弃该变量。,31,2、第二类方法：差分法,时间序列数据、线性模型：将原模型变换为差分模型:,Y,i,=,1, X,1i,+,2, X,2i,+,k, X,ki,+ ,i,可以有效地消除原模型中的多重共线性。,一般讲，增量之间的线性关系远比总量之间的线性关系弱得多,。,32,例如,：,33,由表中的比值可以直观地看到，,增量的线性关系弱于总量之间的线性关系,。,进一步分析：,Y与C(-1)之间的判定系数为0.9988，,Y与C(-1)之间的判定系数为0.9567,34,3、第三类方法：减小参数估计量的方差,多重共线性,的主要,后果,是参数估计量具有较大的方差，所以,采取适当方法减小参数估计量的方差,，虽然没有消除模型中的多重共线性，但确能消除多重共线性造成的后果。,例如：,增加样本容量,，,可使参数估计量的方差减小,。,35,*,岭回归法,（,Ridge Regression,）,70年代发展的岭回归法，,以引入偏误为代价减小参数估计量的方差,，受到人们的重视。,具体方法是：引入矩阵,D,，使参数估计量为,其中矩阵,D,一般选择为主对角阵，即,D,=a,I,a,为大于,0,的常数。,（*）,显然，与未含D的参数B的估计量相比，(*)式的估计量有较小的方差。,36,2、第四类方法：合并数据的分步估计*,详见P339,注意：,该方法的应用前提为：,截面参数在时序变化上的稳定性！,37,六、案例中国粮食生产函数,根据理论和经验分析，影响粮食生产（,Y,）的主要因素有：,农业化肥施用量（,X,1,）；粮食播种面积(,X,2,),成灾面积(,X,3,); 农业机械总动力(,X,4,);,农业劳动力(,X,5,),已知中国粮食生产的相关数据，建立中国粮食生产函数：,Y=,0,+,1,X,1,+,2,X,2,+,3,X,3,+,4,X,4,+,4,X,5,+,38,39,1、用,OLS,法估计上述模型,：,R,2,接近于1；,给定,=5%，得F,临界值 F,0.05,(5,12)=3.11,F=638.4 15.19，,故认上述粮食生产的总体线性关系显著成立。,但,X,4,、,X,5,的参数未通过t检验，且符号不正确，故,解释变量间可能存在多重共线性,。,(-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14),40,2、检验简单相关系数,发现：,X,1,与,X,4,间存在高度相关性。,列出,X,1,，,X,2,，,X,3,，,X,4,，,X,5,的相关系数矩阵：,41,3、找出最简单的回归形式,可见，应选,第,1,个式子,为初始的回归模型。,分别作,Y,与,X,1,，,X,2,，,X,4,，,X,5,间的回归：,(25.58) (11.49),R,2,=0.8919 F=132.1 DW=1.56,(-0.49) (1.14),R,2,=0.075 F=1.30 DW=0.12,(17.45) (6.68),R,2,=0.7527 F=48.7 DW=1.11,(-1.04) (2.66),R,2,=0.3064 F=7.07 DW=0.36,42,4、逐步回归,将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。,43,回归方程以,Y=f(,X,1,，X,2,，X,3,),为最优：,5、结论,44,*七、分部回归与多重共线性,45,1、分部回归法(Partitioned Regression),对于模型,在满足解释变量与随机误差项不相关的情况下，可以写出关于参数估计量的方程组：,将解释变量分为两部分，对应的参数也分为两部分：,46,如果存在,则有,同样有,这就是仅以X,2,作为解释变量时的参数估计量,。,这就是仅以X,1,作为解释变量时的参数估计量,47,2、由分部回归法导出,如果一个多元线性模型的解释变量之间完全正交，可以将该多元模型分为多个一元模型、二元模型、进行估计，参数估计结果不变；,实际模型由于存在或轻或重的共线性，如果将它们分为多个一元模型、二元模型、进行估计，参数估计结果将发生变化；,48,严格地说，实际模型由于总存在一定程度的共线性，所以每个参数估计量并不 真正反映对应变量与被解释变量之间的结构关系。,当模型存在共线性，将某个共线性变量去掉，剩余变量的参数估计结果将发生变化，而且经济含义有发生变化；,49,