第6章(多元线性回归的向量表述)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,*,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,1,第,6,章 多元线性回归的向量表述,多元线性回归模型的向量形式,最小二乘法（,OLS,）的向量表述,最小二乘估计量的性质,LR,、,Wald,和,LM,检验,案例分析,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,2,多元线性回归模型的一般形式,在实际经济问题中，一个变量往往受到多个原因变量的影响，在线性回归模型中则表现为有多个解释变量，这样的模型被称为多元线性回归模型。,模型的一般形式如下：,其中：,K,为解释变量个数；,K+1,为未知参数个数,模型中的未知参数 称为偏回归系数，的数值结果表明，当其他变量保持不变的情况下，,X,1,增加一个单位，,Y,平均增加 个单位；的数值表明，当其他变量保持不变时，,X,2,增加一个单位，,Y,平均增加 个单位，以此类推。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,3,第,6,章 多元线性回归的向量表述,6.1,多元线性回归模型的向量表述,上式是由,n,个方程，,k+1,个未知参数组成的一个线性方程组，即：,把线性方程组写成矩阵的形式：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,4,这个模型相应的矩阵表达式简记为,其中：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,5,多元线性回归模型的四种向量表述,真实的回归模型：,估计的回归模型：,真实的回归线：,样本回归线：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,6,6.2 OLS,估计量的向量表述,因此，回归参数的,OLS,估计量为：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,7,6.2 OLS,估计量的向量表述,注：,OLS,估计量中隐含了一个假设条件,只要模型及样本数据满足第四章的假定,7,，则 一定成立。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,8,随机误差项的方差 的估计,因为残差可以表示为：,矩阵 是对称的幂等矩阵，幂等矩阵是指自身相乘后仍等于自身的矩阵，即 。,因此残差平方和可以表示为：,两边求期望得：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,9,随机误差项的方差 的估计,由于残差的平方和是标量,(Scalar),，可以采用迹,(Trace),，即：,根据迹运算的性质,tr(AB)=tr(BA),上式为：,即：,所以 的无偏估计量是：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,10,OLS,估计量 的方差,-,协方差估计,因为：,则：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,11,一、,OLS,估计量的有限样本性质,在满足基本假设的情况下，其结构参数,的,普通最小二乘估计,(OLS),具有：,线性性,、,无偏性,、,有效性,。,同时，随着样本容量增加，参数估计量具有：,一致性、渐近正态性,。,1,、线性性,其中,C,=,(XX),-1,X,为一仅与固定的,X,有关的行向量。,2,、无偏性,这里利用了假设,:E(,X,)=,0,6.3,最小二乘（,OLS,）估计量的性质,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,12,3,、有效性（最小方差性）,所谓有效性是指在所有线性无偏估计量中，,OLS,估计量具有最小方差。为了证明,OLS,估计量的有效性，现假设有另一任意的线性无偏估计量：,其中矩阵,A,和,C,是与,X,矩阵有关的,(K+1)N,阶矩阵，上式：,为了满足无偏性，,AX=I,必须成立，,I,是单位矩阵。,上式可以得到,CX=0,，同时意味着,，所以：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,13,因此估计量 的方差,-,协方差矩阵为：,显然要使得 的方差最小，必须使,C=0,，所以 是所有无偏估计量中方差最小的，即,OLS,估计量具有有效性。,总结：,高斯,马尔可夫定理,(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量,即,OLS,估计量是,BLUE,估计量。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,14,二、,OLS,估计量的渐近性质,1.OLS,估计量是一致估计量,一致估计量是指对于回归参数的真实值 ，样本容量为,N,时的,OLS,估计量记为 ，随着样本容量,N,的逐步增大，即：,2.OLS,估计量的正态性,正态性是指，在大样本下，,OLS,估计量的分布收敛到正态分布。设 ，则：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,15,补充：样本容量问题,最小样本容量,所谓“,最小样本容量,”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即,n,k,+1,因为，,无多重共线性要求：秩,(X)=,k,+1,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,16,2,、满足基本要求的样本容量,从统计检验的角度：,n,30,时，,Z,检验才能应用；,n-,k,8,时,t,分布较为稳定,一般经验认为,:,当,n,30,或者至少,n,3(,k,+1),时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,17,6.4 LR,、,Wald,和,LM,检验,1.,似然比,(LR),检验,似然比检验是三种检验中最简单的，其原假设和备选假设分别为：,H,A,：原假设的约束条件中至少有一个不成立,LR,检验统计量等于似然函数的无约束极大值和有约束极大值之差的两倍，即：,其中 分别表示模型中参数向量的无约束和有约束的极大似然估计结果。,LR,检验的基本思想是：如果约束条件为真，则无约束和有约束的似然函数极大值不应有显著的差异，所以，如果二者存在较大差异则认为约束条件不成立。在大样本下：,q,表示约束条件的个数。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,18,LR,检验的判别规则：,如果 ，则拒绝原假设；反之不能拒绝原假设。,2.Wald,检验,LR,检验既要估计约束条件下的极大似然函数值，又要估计无约束下的极大似然函数值，但当约束模型的估计很困难时，检验就不适用了。而,Wald,检验则只需要对无约束模型进行极大似然估计，所以比,LR,检验具有一定的优势。,Wald,检验的原假设和备择假设为：,H,A,：原假设的约束条件中至少有一个不成立。,如果约束条件是成立的，我们用参数估计值 来代替参数 ，应该很接近,0,；而如果约束条件不成立，将显著地偏离,0,。因此构造以下统计量：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,19,在原假设成立的条件下，在大样本下,Wald,统计量具有以下渐近分布：,q,为约束条件的个数。,Wald,检验的,判别规则：,如果 ，则拒绝原假设；反之就不能拒绝原假设。,3.LM,检验,当无约束模型的估计较容易时，采用,Wald,检验较方便，但是当无约束模型的估计很难或根本不可能时，只能采用,LM,检验，,LM,检验又称为得分检验,(Score Test),。,LM,检验,的基本方法是首先给出无约束的对数似然函数：,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,20,对于无约束极大似然估计量 必然有：,j=1,2,k,若约束条件成立，则施加约束条件下极大似然估计量 应与不施加约束条件下的极大似然估计量 非常接近。,也就是说，如果约束条件 成立，应近似为零。拉格朗日乘子检验的原理是：如果 显著不为零，则说明约束条件不成立。,LM,检验统计量被定义为：,其中：为信息矩阵。在约束条件成立的条件下，,LM,统计量渐近地服从：,q,也是约束条件个数，,判别规则与前面两种检验方法相同。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,21,对三个检验统计量的说明,1.,可以证明，当样本容量趋于无穷大时，三种检验统计量都具有同样的极限分布，检验结果是一致的，即三者在大样本下，同时拒绝原假设或同时不拒绝原假设，这被称为渐近等价；,而对于小或中等样本容量来说，三者的表现不同且未知，检验结果可能不一致。,在实际应用中，对于小或中等样本容量，在进行线性约束检验时，通常的,F,统计量可能更为有效。,2.,三种检验统计量均采用极大似然估计量。,LR,检验同时进行有约束和无约束的极大似然估计；,Wald,只需做无约束极大似然估计；而,LM,只需做有约束的极大似然估计。,3.,对于线性回归模型而言，在有限样本或小样本中，,W,LR,LM,。,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,22,6.5,案例分析,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,23,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,24,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,25,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,26,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,27,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,28,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,29,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,30,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,31,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,32,计量经济学，高教出版社，王少平、杨继生、欧阳志刚等编著。,33,