第4章 线性回归模型的矩阵方法

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 线性回归模型的矩阵方法,教师：卢时光,本章介绍用矩阵代数符号来表示经典线性回归模型。本章除矩阵模型之外，不涉及新概念。,矩阵代数最大的优越性在于，它为处理任意多个变量的回归模型提供了一种简洁的方法。,本章需要具有行列式和矩阵代数的数学基础，请各位同学自行复习相关知识。在本章的讲授过程中所遇到的有关矩阵计算的定理和结论，不再一一证明，请自行参考有关书籍。,4.1 k,变量的线性回归模型,如果我们把双变量和三变量的回归模型进行推广，则包含应变量,Y,和,k-1,个解释变量,X,2,，,X,3,，,，,X,k,的总体回归函数（,PRF,）表达为：,其中，,1,截距，,2,到,k,是偏斜率（回归）系数，,u,是随机干扰项，,i,是第,i,次观测，,n,为总体大小。,总体回归函数如同以前那样解释：给定了,X,2,，,X,3,，,，,X,k,的固定值（在重复抽样中）为条件的,Y,的均值或期望值。,PRF,还可以表达为：,上述表达式，如果写出矩阵的形式：,这样，我们把下述方程表达称之为：,一般（,k,变量）线性模型的矩阵表现,：,如果矩阵和向量的各个维数或阶不会引起误解，则可以简单写作：,y,：对应变量,Y,观测值的,n,1,列向量。,X,：给出对,k-1,个变量,X,2,至,X,k,的那次观测值的,n,k,矩阵，其全为,1,的列表示截距项。此阵又称为,数据矩阵,。,：未知参数,1,到,k,的,k,1,列向量。,u,：,n,个干扰,u,i,的,n,1,列向量。,4.2,经典回归模型的假定的矩阵表达,1.,残差期望为零,2.,同方差性和无序列相关性,u,是列向量,u,的转置或者一个行向量。做向量乘法：,由于同方差性和无序列相关性，我们得到干扰项,u,i,的方差,-,协方差矩阵。,此阵的主对角线（由左上角到右下角）上的元素给出方差，其他元素给出协方差。注意方差,-,协方差矩阵的对称性。,其中,I,是一个恒等矩阵。,3.,X,是非随机的。我们的分析是条件回归分析，是以各个,X,变量的固定值作为条件的。,4.,无多重共线性,无多重共线性是指矩阵,X,是列满秩的，即其矩阵的秩等于矩阵的列数，意思是，,X,矩阵的列是线性独立的。,存在一组不全为零的数,1,2,k,，使得：,用矩阵来表示：,5.,向量,u,有一多维正态分布，即：,4.3 OLS,估计,我们先写出,k,变量样本回归函数：,如同前面的分析，我们也是从残差平方和的最小化来进行的：,为了使得残差平方和 尽可能的小，我们仍然是对参数,1,到,k,微分，并令微分的结果表达式为零，同样得到最小二乘理论的正则方程：,k,个未知数的,k,个联立方程。,整理后：,注意,(,XX,),矩阵的特点,：,1.,主对角线是元素的平方和；,2.,因为,X,2i,与,X,3i,之间的交叉乘积就是之间,X,3i,与,X,2i,的交叉乘积，因此矩阵的对称的；,3.,它的阶数是（,k,k,），就是,k,行与,k,列。,上述方程是用矩阵符号来表示的,OLS,理论的一个基本结果。,上述方程也能够通过,uu,对,的微分直接求得，请大家自行参考相关文献。,一个例子：,收入,-,消费,Y,1,X,70,80,65,100,90,120,95,140,110,160,115,180,120,200,140,220,155,240,150,260,的方差,-,协方差矩阵,矩阵方法不仅能使我们导出 的任意元素 的方差公式，还求出 的任意两元素 和 的协方差。我们需要用这些方差和协方差来做统计推断。,定义：,参考相关资料，上述方差,-,协方差矩阵可以从下述公式计算：,其中 是,u,i,的共同方差，而 就是出现在,OLS,估计量方程中的逆矩阵。,和前面一样，用其无偏估计量 来替代：,的计算,原理上 可以从估计的残差中算出，但实践中更愿意按照下述方法直接得到。,回顾：,一项被称为均值校正值。因此：,一旦得到 则 就容易计算。回到我们的例子中：,4.4,用矩阵来表示判定系数,R,2,4.5,关于个别回归系数的假设检验的矩阵表达,我们曾经假设每一个,ui,都服从均值为,0,和不变方差的正态分布。用矩阵符号来表示，为：,其中，,u,和,0,都是,n,1,列向量，,I,是,n,n,恒定矩阵，,0,是零向量。,在,k,阶回归模型中，我们可以证明：,由于实际的 未知，我们使用估计量 ，就要用到从正态分布到,t,分布的的转换，这样 每一个元素都遵循,n-k,个自由度的,t,分布。,利用,t,分布来检验关于真值 的假设，并建立它的置信区间，具体的方法我们在前面已经讨论过，这里不再重复。,4.6,检验总体回归的总显著性：用矩阵表示的方差分析,方差分析（,ANOVA,）用以,（,1,）检验回归估计的总显著性，即检验全部（偏）回归系数同时为零的虚拟假设。（,2,）评价一个解释变量的增量贡献。,方差分析很容易推广到,k,变量情形。,假定干扰,ui,是正态分布的，并且虚拟假设：,则可以证明：,是服从自由度为（,k-1,n-k,）的,F,分布。,在前面的讨论中，我们发现,F,与,R,2,之间存在紧密联系，,因此，上面的方差分析表还可以表达为：,这么做的好处是全部分析都通过,R2,来进行，这样我们不需考虑,F,变量中被消掉的 。,小结,本章的主要目的是介绍线性回归模型的矩阵方法。矩阵方法的优点是在处理多变量线性回归模型的时候，提供了一种简洁的表达方法。,回归系数的假设检验和利用回归做均值预测、个值预测的方法和前面讨论的没有差别，具体方法请回顾以及学习过的知识。,