《OLS的渐进性》课件

,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第,五章,：,OLS,的渐进性,(,OLS Asymptotics,),5.1,一致性,5.2,渐近正态和大样本推断,5.3,OLS,的渐进有效性,第五章：OLS的渐进性5.1 一致性5.2 渐近正,第一节 一致性,(consistency),一、,一致性的含义,令,W,n,是基于样本,y,1,y,2,y,n,的关于参数,的估计量，如果对任意,0,，当,n,时，,P,r,(|W,n,|,),0,，,W,n,就是,的一个一致估计量,(consistent estimator),。当,W,n,具有一致性时，我们也称,为,W,n,的概率极限,(probability limit of W,n,),，记作,Plim(W,n,),=,。,1.,定义,第一节 一致性(consistency)一、一致性的含义,2,2.,为什么要考虑一致性,我们已经讨论了有限样本,(,finite sample,),，也就是小样本,(,small sample,),中,OLS,估计量,(,OLS estimators,),和检验统计量,(,test statistics,),具有的如下性质：,在,MLR. 1-4,下,OLS,估计量具有无偏性,(Unbiasedness),在,MLR. 1-5,下,OLS,估计量是最优线性无偏无计量,(BLUE),在,MLR. 1-6,下,OLS,估计量是最小方差无偏估计量,(MVUE),T,统计量的分布为,t,分布,样本容量为任意,n,时，这些性质都成立。,2.为什么要考虑一致性 我们已经讨论了有限样本,由于在很多情形下误差项可能呈现非正态分布，了解,OLS,估计量和检验统计量的渐近性，即当样本容量任意大时,(,when the sample size grows without bound,),的特性就是重要的问题。,虽然在高斯马尔可夫假定下,OLS,是最优线性无偏估计量，但在别的情形下不一定能找到无偏估计量。因此，,在那些情形下，我们只要找到一致的估计量，即,n,时,这些估计量的分布退化为参数的真值即可。,由于在很多情形下误差项可能呈现非正态分布，,当,n,增加时样本的分布,(,Sampling Distributions as n increases,),b,1,n,1,n,2,n,3,1,的样本分布,例：,n,1,:,每次从班上抽取10人，,抽若干次后，平均身高的分布；,n,2,:,每次从班上抽取100人，,抽若干次后，平均身高的分布；,n,3,:,每次从班上抽取200人，,抽若干次后，平均身高的分布,。,当n增加时样本的分布(Sampling Distributi,5,OLS的渐进性课件,6,3.,一致性和无偏性的关系,(,Consistency v.s. unbiasedness,),一个估计量是否有可能在有限样本（小样本）中是有偏的但在大样本条件下又具有一致性？,假设,Z,的真值为,0,，一个随机变量,X,以,(n-1)/n,的概率取值为,Z,，而以,1/n,的概率取值为,n,。那么，,X,的期望为,1,，也就是：,记,plim(x),为,n,趋向无穷大时,x,的取值，则有：,plim(x),=,z,=,0,3.一致性和无偏性的关系(Consistency v.s.,是否有可能一个估计量是无偏的但又不具备一致性？,依然假设,Z,的真值为,0,，一个随机变量,X,以,0.5,的概率取,0.5,，而以,0.5,的概率取,-0.5,，那么,X,的期望为,0,，也就是说，,X,是,Z,的无偏估计量。,但是，,X,总是在,X=0,这条线上下摆动，当,n,趋向无穷大时，它的方差并不会趋于,0,。因此，,X,并不是,Z,的一致估计量，也就是说,X,不具备一致性。,无偏估计量未必是一致的，但是那些当样本容量增大时方差会收缩到零的无偏估计量是一致的。,是否有可能一个估计量是无偏的但又不具备一致性？,二,、,OLS,估计量的,一致性,1.,定理,5.1,在假设,MLR.1,到,MLR.4,下，,OLS,截距估计量和斜率估计量都是一致的估计量。,2.,证明一致性,在简单回归中，斜率的估计量为：,n,时，分子趋近于,0,，但分母却不趋近于,0,，因此，当,n,时，,Plim( ),=,二、OLS估计量的一致性1.定理5.1 在假设,3.,一个更弱的假定,要获得估计量的无偏性,(,unbiasedness,),，我们假定零条件期望,(,zero conditional mean,),：,E(,u|x,1, x,2,x,k,) = 0,而要获得估计量的一致性,(,consistency,),，我们可以使用更弱的假定：零期望和零相关性假定，即：,E(,u,) = 0,，,Cov,(,x,j,u,) = 0,j,= 1, 2, ,k,。,如果连这个较弱的假定也不成立，,OLS,将是有偏,(,biased,),而且不一致的,(,inconsistent),。,上述讨论表明：如果,OLS,估计量是无偏的，那么它一定是一致的；但是如果,OLS,估计量是一致的，却不能保证它是无偏的。,3.一个更弱的假定 要获得估计量的无偏性(un,推导不一致性,定义渐近偏差,(,asymptotic bias,),为： ， 并考虑下面的真实模型和待估计模型。,真实的模型为：,实际进行估计的模型为：,显然：,推导不一致性定义渐近偏差(asymptotic bias)为,则：,则：,12,因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。,值得注意的是，不一致性是一个大样本问题。因此，当数据增加时候这个问题并不会消失。也就是说，即使样本容量再大，,OLS,估,计的偏误也不会消失，而且会收敛到一个有偏误的值。,因此，考虑渐近偏差的方向就像是考虑存在一个,4.,存在内生性时的一致性,考虑真实模型为,y = b,0,+ b,1,x,1,+ b,2,x,2,+ u,，但,u,和,x,1,相关，即,cov(u,x,1,)0,。,则,OLS,估计量的,不一致性（,inconsistency,）,为：,4.存在内生性时的一致性考虑真实模型为y = b0 + b1,若,x,1,和,x,2,相关，即,cov,(,x,1,x,2,) 0,，而,u,和,x,2,不相关，即,cov,(,u,x,2,)=0,时，则对,b,1,和,b,2,的,OLS,估计量都是不一致的。,若,x,1,和,x,2,不相关，即,cov,(,x,1,x,2,)=0,，且,u,和,x,2,不相关，即,cov,(,u,x,2,)=0,时，则只有对,b,1,的,OLS,估计量是不一致的。,存在内生性时,对其他参数估计量,的一致性的影响,若x1 和x2相关，即cov(x1 , x2 ) 0，而u,15,5.,渐近有效性,我们知道，如果总体回归模型满足,MLR.1-5,，那么,OLS,估计量是最优线性无偏估计量。,事实上，可以证明在这些假定下，,OLS,估计量是,渐近有效的（,asymptotic efficient,）,。也就是说，随着样本容量无限增大，,OLS,估计量具有最小的渐近方差。,5.渐近有效性 我们知道，如果总体回归模型满足,16,第二节 渐近正态和大样本推断,(,Asymptotic Normality and Large Sample Inference,),估计量的一致性是一条重要性质，但我们并不能只靠它来进行统计推断。在经典线性模型假设下，样本的分布是正态分布，因而我们推出,t,分布和,F,分布用于检验。,这种准确的正态分布来自于总体误差,(,population error,),的分布是正态分布的假定。这个正态误差的假定意味着当,x,给定时，,y,的分布也是正态分布。,第二节 渐近正态和大样本推断 估计量的一致,为什么需要正态性假定？,为了证明无偏性？,为了证明最优线性估计量？,为了能够用,t,统计量和,F,统计量做精确的推断？,很容易碰到一些例子，其中严格的正态性假定并不能成立。因为正态分布是对称的，所以，任何一个,明显不对称,(clearly skewed),的变量，像拘捕次数，储蓄量等都不可能服从正态分布。,当样本容量变大时是否估计量会渐近地趋向于正态分布？我们关注的,OLS,估计是否量满足渐近正态性。,为什么需要正态性假定？为了证明无偏性？为了证明最优线性估计,中心极限定理,(,Central Limit Theorem,),基于中心极限定理，我们能够证明,OLS,估计量是渐近正态。,渐近正态意味着当,n,时，,P(Zz),F(z),或者,P(Zz),(z),。,中心极限定理指出任何一个均值为,，方差为,2,的总体的标准化平均值的分布渐近趋同于,N(0,1),，或者记作：,1.,中心极限定理是研究独立随机变量和的极限分布为正态分布的问题。,中心极限定理(Central Limit Theorem),2.,定理,5.2,：,OLS,的渐近正态性,(,Asymptotic Normality of OLS,),在高斯,马尔科夫假设,MLR.1 MLR.5,前提下：,1,） 符合渐近正态分布，也就是说：,其中， 是 的渐近方差；,，而 是,x,j,对其他解释变量进行回归所得到的残差。,2.定理5.2：OLS的渐近正态性在高斯马尔科夫假设ML,2,） 是 的一个一致性估计。,3,）随着样本容量,n,的扩大，对任意,j,，都有：,2） 是 的一个一致性估计。3,在定理,5.2,中什么才是我们的假定,误差的分布具有有限的方差,(finite variance),零条件期望,(Zero conditional mean),同方差性,(Homoskedasticity),线性结构,(Linear structure),随机样本,(random sample),1,）去掉了正态性假定,(normality assumption),MLR.6,2,）仍然保留以下假定：,在定理5.2中什么才是我们的假定误差的分布具有有限的方差(f,对定理,5.2,的理解,为什么在,1,）中考虑的是 ，而不是,因为,注意到 的样本方差为,的样本方差为,对定理5.2的理解为什么在1）中考虑的是,其中， 是 的总体方差。,令 ，那么有：,当 时， 以 的速度减小到零，因此，只有按照 的比例增大 ，才能讨论渐近分布。,其中， 是,因为自由度很大的,t,分布接近于正态分布，我们也可以得到：,注意到尽管我们在大样本中不再需要正态性假定，我们仍然需要同方差性,(,homoskedasticity,),。,因为自由度很大的 t分布接近于正态分布，我们也可以得到：注意,渐,近,标准误差,(,Asymptotic Standard Errors,),所以,，我们预计标准误差减小的速度,与 成正比。,如果,u,不是正态分布，我们有时把标准误差称作渐近标准误差，因为：,渐近标准误差(Asymptotic Standard Err,26,大样本推断,(,Large sample inference,),OLS,估计量的渐近正态性告诉我们，如果样本容量足够大，而且总体回归模型满足,MLR.1-5,，那么,t,统计量近似地服从标准正态分布或,t,分布，从而可以进行,t,检验。此时，不必要求满足正态性假定。,如果样本容量足够大，而且总体回归模型满足,MLR.1-5,，那么通常的,F,检验也是适用的。,需要注意的是，进行大样本推断的前提是,MLR.5,（同方差假定）必须成立。,大样本推断(Large sample inference)O,拉格朗日乘子统计量,(,Lagrange Multiplier statistic,),当我们使用大样本并且依靠渐近正态性,(,asymptotic normality,),进行推断时，除了,t,和,F,统计量，我们还可以使用别的统计量。,拉格朗日乘子或,LM,统计量是检验多重限定性约束,(,multiple exclusion restrictions,),的另一种选择，,LM,统计量使用一个辅助性的回归,(auxiliary regression),，因此它有时也被叫做,nR,2,统计量。,对于大样本数据，可以使用,LM,检验对多个线性假设进行检验，前提是高斯马尔科夫假定（,MLR.1-5,）成立,拉格朗日乘子统计量(Lagrange Multiplier,28,假设我们有一个标准模型,:,y = b,0,+ b,1,x,1,+ b,2,x,2,+ . . . b,k,x,k,+ u,而我们的零假设为,: H,0,:,b,k-q+,1,= 0,.,b,k,= 0,我们的备选假设为,: H,1,:,b,k-q+,1,.,b,k,中至少有一个不为零,假设我们有一个标准模型:而我们的零假设为:,LM,检验的特性,(,Characteristics of LM test,),LM,统计量有时被称作是,nR,2,，或者得分统计量,(,score,statistic,),约束,q,的个数,(,number of restrictions, q,),辅助,R,2,的大小,(,the size of the auxiliary R-squared,),样本容量,(,the,sample size,),相关的因素只有,:,未约束模型中自由度的个数,未约束模型和被约束模型的,R,2,不相关的因素有,:,LM检验的特性(Characteristics of LM,30,LM,检验与,F,检验和,t,检验的优劣对比,LM test vs F test & t test,在大样本中，,F,检验和,LM,检验得到的结果相似。,只有一个约束时，,F,检验和,t,检验是等价的，然而,LM,检验和,F,检验并不等价。,主回归和辅助回归必须使用相同的一组观测值。,LM检验与F检验和t检验的优劣对比,31,例,5.3: Economic Model of Crime(,crime1.raw,),narr,86=,0,+,1,pcnv,+,2,avgsen,+,3,tottime,+,4,ptime,86+,5,qemp,86+,u,H,0,:,2,=,3,=0,H,1,:,2,和,3,至少有一个不为,0,Steps,（,i,）对约束模型进行回归，得到残差,（,ii,）用 对无约束模型的所有解释变量进行回归，得到,R,u,2,可知,R,u,2,=0.0015,，从而,LM=nR,u,2,= 27250.0015=4.09,Df,=2,，显著性水平为,5%,的,2,分布临界值为,5.99,，显然有,LM,5.99,，因此不能拒绝,H,0,.,例5.3: Economic Model of Crime(,32,渐近有效,(,Asymptotic Efficiency,),在高斯,-,马尔可夫假定下，,OLS,估计量以外的估计量可以具有一致性。,但是，在高斯,-,马尔可夫假定下，,OLS,估计量具有最小的渐近方差,(,asymptotic variances,),。,我们说在高斯,-,马尔可夫假定下,OLS,估计量是渐近有效的估计量。,值得注意的是如果同方差,(,homoskedastic,),的假定不成立，上述结论也不能成立。,渐近有效(Asymptotic Efficiency)在高斯,33,定理,5.3,：,OLS,估计量的渐近有效性,Asymptotic Efficiency of OLS Estimators,在,高斯,马尔科夫假定下，将 记为如下方程的估计量：,其中， 为任何一个观测值,i,的所有自变量的函数,进一步，让 为,OLS,估计量，那么，,OLS,有最小的渐近方差，即：,定理5.3： OLS估计量的渐近有效性在高斯马尔科夫假定下,34,证明,OLS,估计量的渐近有效性,简单回归模型,y,i,= b,0,+ b,1,x,i,+ u,i,中,b,1,OLS,估计量的方差为：,现在考虑一个新的估计量：,其中，,x,i,可以转化为,z,：,z,i,=x,i,2,证明OLS估计量的渐近有效性简单回归模型yi = b0 +,35,我们首先证明 是一致的：,如果 ，我们就可以得到：,因此有：,我们首先证明 是一致的：如果,36,因为：,根据附录中的推导，我们可以证明：,如果,z=x,，则有：,因为：根据附录中的推导，我们可以证明：如果z=x，则有：,37,如果 ，则由柯西不等式，可得：,因此：,也就是：,如果 ，则由柯西不等式，可得：因,38,本讲定性地讨论了,OLS,估计量的渐近性质，不要求同学们掌握证明过程和细节问题。重要的是希望大家记住：即便正态性假定不被满足，在大样本情况下，用,OLS,方法进行参数估计和假设检验仍然是适用的。,如此看来，样本容量越大，对,OLS,方法施加的限制就越少，因此我们应该使用容量足够大的样本。遗憾地是，并没有一个被广泛接受的标准用来判断样本容量到底应该多大才符合渐近性的要求,小 结,本讲定性地讨论了OLS估计量的渐近性质，不要求同学们掌握证明,OLS的渐进性课件,41,可编辑,感谢下载,41可编辑感谢下载,42,可编辑,感谢下载,42可编辑感谢下载,