多元线性回归课件.ppt

第二章 多元线性回归 2.1多元线性回归模型 为了研究 y 与 1 , txx 之间的关系，首先必须收集 n 组独立 观测数据 , ),( 1 iiti yxx ， ni ,2,1 并假定它们之间有如下关系式： 0 1 1 2 1 , 2 , , (0 , ) i i t i t i i y x x i n N 各 相 互 独 立 且 同 分 布 服 从 为了方便起见，多元回归分析常采用矩阵形式来表示，并通过 矩阵的性质来研究参数及其他性质。记 : n y y y Y 2 1 t 1 0 nt t t n x x x x x x Y 2 1 1 21 11 1 1 1 n 2 1 则模型可表示为 ),0( 2 n IN XY 称 Y 为随机变量的观测向量， 为未知参数向量， X 为结 构矩阵， 为随机误差向量， nI 为单位矩阵。显然，由假 设可知： ),( 2 nIXNY 2.2 参数的最小二乘估计 和一元线性回归一样，仍采用最小二乘法去估计参数 t , 10 。令： 2 0 1 1 1 ( ) ( ) ( ) ( ) n i i t it i Q y x x Y X Y X 则 各 的 LS 估计 ，满足 ()Q = m i n ( ) m i n ( ) ( )Q Y X Y X 根据微积分原理， | ( ) 0Q X Y X Y X X X X 整理可得正规方程组： X X X Y 当 1)( XX 存在时， 的最小二乘估计为： YXXX 1)( 为了方便 , 我们定义 : XXA 为正规方程组的系数 矩阵 ，为 )1( t 阶方阵； YXB 为正规方程的常数项 矩阵 ，为 1t 维向量矩阵； 11 )( XXAC 为相关矩阵，为 )1( t 阶方阵。 例 2 . 1 用矩阵形式写出如下一元线性回 归模型： ),0(. 2 10 Ndii xy i iii ni ,2,1 并用矩阵形式求出 10 , 的最小二乘估计。 解：记： n y y y Y 2 1 1 0 n x x x X 2 1 1 1 1 n 2 1 则可记为 : ),0( 2 n IN XY , 并且有： XXA 2 ii i xx xn YXB ii i yx y 1AC nxn xnx nlnxn xnx xnxn i xx i i 22 22 1 )( 1 故： CB xxxyii i xx ll xy yx yn nxn xnx nl / 1 1 2 例 2.2 下面的模型称为 t 元中心化线性回归模型： 0 1 1 1 2 ( ) ( ) ( 0 , ) i i t i t t i i y x x x x i i d N 各 ni ,2,1 写出模型相应的 矩阵 , , , ,X Y A B C ，并求出模型参数的 最小二 乘估计。 记： n y y y Y 2 1 t 1 0 tnt tt tt n xx xx xx xx xx xx X 2 1 11 121 111 1 1 1 n 2 1 则模型可写为 ),0( 2 n IN XY XXA ttt t ll ll n 1 111 0 0 00 ， 其中 ： jkkj ll n i kikjij xxxx 1 )( , tkj ,2,1, 。 YXB ty y l l yn 1 ， 其中： jy l n i ijij yyxx 1 )( , tj ,2,1 。 记 ： L ttt t t ll lll lll . . . . . 1 22221 11211 1L tttt t t lll lll lll . . . . . 21 22221 11211 则 11)( ACXX 1 0 0 1 L n ty y y ty y t l l l L y l l yn L n 2 1 1 1 1 1 0 0 0 1 即： y0 ， ty y y t l l l L 2 1 12 1 由此可得 t , 1 为下列方程的解： 1 1 1 1 1 2 1 1 2 2 1 1 01 t t y t t y tt tt t ty t t l l l l l l l l l y x x 例子，见 p 38 - 41 参数估计的性质 记： HYYXXXXXY )( 1 为拟合向量。其中： XXXXH 1)( 为方阵，其元素记为 ijh ，显然， H 是对称并且幂等矩阵。 ()e Y Y I H Y 为残差向量。 ( ) ( ) ( )S S E Y Y Y Y Y I H Y 为残差平方和。 下 面 几 个 性 质 除 性 质 6 之 外 ， 对 随 机 误 差 假 定 0E ， 2 nV a r I 。 性质一 是 的线性无偏估计，且 21 ()V a r X X 证明：因 YXXX 1)( 是 Y 的线性函数，故为线性估计。 又： XXXXEYXXXE 11 )()( ，即： 为 的 无偏估计。 1 2 1 ( ) ( ) ( )V a r X X X D Y X X X X X 性质二 0Ee , 2 ( 1 )V a r e H 证明：由于 YHe )1( , 故有： 0)1()1( XHEYHEe 22( 1 ) ( 1 ) ( 1 ) ( 1 )V a r e H V a r Y H H H 从上述性质可知，残差向量的各分量之间一般也是相关的。 并且当 为正态时， )1(,0( 2HNe 性质三 0),( eC ov 证明： )(,)1(),( 1 YXXXYHC o veC o v XXXDYH 1)()1( 0 这一性质说明残差向量 e 与 的最小二乘估计 之间不相 关。在 为正态分布时，由于 e 与 均服从正态分布，故 e 与 独 立。并由此可知 SSE 与 独立。 A 是 kk 的方阵，那么，矩阵迹 1 k ii i t r A a t r aA at r A ； tr A tr A tr A B tr A tr B tr A B tr B A 性质四 2( ) ( 1 )E S S E n t 证明：利用矩阵迹的性质及 ( ) 0I H X 可知 ( ) ( ( ) )E S S E E Y I H Y ( ) ( ) ( )E Y X I H Y X = ( ) ( ) ( ) E tr I H Y X Y X DYHtr )1( )1(2 Htr 21 ( ( ) ) t r I t r X X X X )( 12 XXXXtrn )( 12 tt r In )1(2 tn 注： 由这一性质可知： 1 2 tn SSEs 是 2 的无偏估计。 性质五（高斯 - 马尔可夫定理） 在假设 XEY ， nIDY 2 下， 的任一线性函数 的最 小方差线性无偏估计为 ，其中 是任一不为零的 1t 维向量， 是 最小二乘估计。 证明：（ 1 ） YXXX 1)( 是 Y 的线性函数，所以是线性估计。 （ 2 ） )()()( 1 YEXXXE XXXX 1)( 故 是 的无偏估计。 （ 3 ） 为证 是 的一切线性无偏估计中的方差最小者，可设 Yl 为 的一个线性无偏估计，即对一切 有 XlYlE , 从而必 要： Xl , 又 122 )()()( XXllDYlD )( 12 lXXXXlll 由于 )1(2 H 是 e 的协方差矩阵，故必要为非负定矩阵，从而对一切 n 维向量 l 有 0)1( lHl , 即 是 的一切线性无偏估计中方差最 小者。 注：这一性质决定了最小二乘估计在线性无偏估计意义下的优越性。 下面一个性质在假定 ),( 2 nn IXNY 条件下讨论。 性质六 当 2 ( , ) nnY N X I ，则 （ 1 ） 21 ( , ( ) )N X X （ 2 ） SSE 与 独立； （ 3 ） 2 2 ( 1 ) SSE nt 证明：（ 1 ）与（ 2 ）在前面已说明。下面证明性质（ 3 ）。 由于 )(1()()1( XYHXYYHYS S E ， XXXXH 1)( 是一个非负定矩阵，其秩为 X 的秩 1t 。所以 必存在正交阵 C 使 00 0 1t J CCH 其中： 1 1 1 t t J 0i , 1,2,1 ti 。由 CCHCCHCCHCCH 2 , 知： 111 ttt JJJ 所以 1i 1,2,1 ti 令： )( XYCZ ，则有： 0)( XEYCEZ 2() nV arY C V ar Y X C I 由 ),( 2 nn IXNY 的假设 知 ),0( 2 nn INZ ， 所以 ZCHCZS S E )1( Z J ZZZ t 00 0 1 n i t i ii zz 1 1 1 22 n ti i z 2 2 因此 ， )1( 2 2 tnx SSE 。 2.3 回归方程的显著性检验 在实际问题中，随机变量 y 与一般变量 txxx 21 之间究竟是否存 在线性相关关系呢？如果 Ey 不随 txxx , 21 的变化而变化，则应有： 01 t 。否则 Ey 应随 txxx , 21 的变化而作变化，所以 有必要对回归方程作显著性检验。即： :oH 021 t 为 了找出上述假设检验的统计量，可采用平方和分解的方法， SSRSSEyyyyyySST n i i n i ii n i i 1 2 1 2 1 2 )()()( 和一元线性回归一样， SS T 称为总的平方和； SS E 称为残差平方和； SS R 称回归平方和。 由上一节性质 6 的证明可知： )1( 2 2 tn SSE 。当 0H 为 真时，多元线性模型可改写为： ).0(. 2 0 Ndii y i ii 即 ),( 20 Ny i 为 dii . 的正态随机变量，所以，由数理统计 中的知识可知： )1( 2 2 n SST ，所以，当 0H 为真时， )( 2 2 t SS R ，并且 SSR 与 SSE 独立。由上述讨论构造检验统 计量： ( 1 ) S S R t F S S E n t 当 0H 为真时， )1,( tntFF 。 2 2 1 1 1 22 22 1 1 1 1 1 ( ) ( ) ( ) ( ) ( ) ( 1 ) ( ) n n t i j ij j i i i j n t n n t j ij j i j ij j i j i i j SST y y x x x x n x x 2 1 1 2 )( n i t j jijj xxtS S R 当 0H 为真时， 0j tj ,2,1 ，即 2tSSR 。而对一般情 形， 2tSSR 。故，我们对给定的显著水平 给出拒绝域如下： )1,(1 tntFFW 方差分析表 来源 平方和 自由度 均方和 F 比 回归 SSR t t SSR 残差 SSE 1 tn ( 1 ) SSE nt F= ( 1 ) SSR t SSE n t 总和 SST 1n )1,(1 tntF 1 - t jy j j S S R l S S E S S T S S R 2.4 回归系数的显著性检验 当回归方程的显著性检验得出拒绝 0H 时，我们并不能说明所有的 ix 均与 y 有线性相关关系，而只仅仅说明至少有一个 ix 与 y 有线性相 关关系，而对 有些 0j 时，说明相应的的变量 jx 与 y 的变化无关， 即不会引起 Ey 的线性变化，为了使方程简单明了，我们应把 jx 从方程 中去掉。所以在进行了回归方程的显著性检验后，还应对每个 j )2,1( tj 进行检验。 0:0: 10 jjjj HH 当数据中心化时，有： t 1 ，相应的相关矩阵为 1 0 0 1 L nC ，由此可知： 1 12 t Var L 记 ttjjlL 1 即 j ， jVa r 的方差为 2 jjl 。 由此可 给出检验 0:0 jjH 统计量为： sl tn SSE l t jj j jj j j 1 2 其中： 1 tn S S E s 在模型误差为正态的假设下， 2 ( , )jj jj Nl ，并 且与 SSE 独立。所以，当 jH 0 为真时， )1( tntt j 。 对给定的显著水平 ，给出检验假设的拒绝域为： )1(2/1 tnttW j 接例 2 . 3 ，对 0: 101 H 的检验 981.4 563.3 818.1 563.3 64 1 18.1 1 1 sl t jj 经查表得 0 . 0 5 0 . 9 7 5 1 2 ( 1 6 3 1 ) ( 1 2 ) 2 . 1 7 8 8tt ，所以拒绝 01H ，即 1x 变量是显著的。 2.5 回归系数的置信区间 由上一节的讨论知： )1(),( 2 2 2 tnSS ElN jj jj 故有： )1( tnt sl jj jj ，即 j 的置信水平为 1 的置 信区间为： )1(,)1( 2 1 2 1 sltntsltnt jjjjjj 2.6 预测 通过回归方程，当给定 ),( 002010 txxxx 时，可求出 0y ) 1 0 1 000 j t j jj t j jj xxyxy （ 0y 相应可作为 0Ey 或 0y 的点估计，并且 是 0Ey 的无偏估计。下 面给出 0Ey 和 0y 区间估计。 （ 1 ） 0Ey 的区间估计 由于 y 与 j 之间是不相关的，故有： 0 0 0 0 11 22 00 11 22 00 11 ( ) ( ) c o v ( , ) 1 ( ) ( ) 1 ( ) ( ) tt j j k k j k jk tt jk j j k k jk tt jk j j k k y jk V a ry V a ry x x x x x x x x l n x x x x l n 当随机误差为正态的假设条件下有， ),( 0200 yEyNy ，又 )1( 2 2 tn SSE 且与 0y 独立，故可知 0Ey 的置信水平为 1 的置信区间为 ),( 00 yy 其中： 2 001 11 1 ( ) ( ) tt jk j j k k jk t s x x x x l n (2) 0y 的区间估计 0y 也同时为 0y 的无偏估计，并且 0y 与 0y 独立 ( 请读者自己 说明理由 ) ，故当随机误差为正态的假设条件下有 ),0( 02200 yNyy 0y 的概率为 1 的预测区间为： ),( 00 yy 其中： t j t k jk kkjj lxxxx n stnt 1 1 001 )( 1 1)1( 2 当 n 充分大，且 0 x 与 x 较接近时， 0y 的概率为 1 的近似预测区间为： ),( 2 1 0 2 1 0 sZysZy 当 05.0 时： )2,2( 00 sysy 当 01.0 时： )3,3( 00 sysy 加权最小二乘法 加权最小二乘是在下列数学模型下面提出的 2 0 nn Y X e E e V a r e G 其中 G 是一个已知的、正定对称矩阵。 若 n 1 之间是方差不等或相关的， 则 nyyy 21 , 之间也 是方差不等 或 相关的。 作为 的最小二乘估计就 不一定 是 BLU E ，如不是，那么又如何来找 的 BLU E 呢？ （ 1 ） 也不一定是 BLUE 由于 X 是 )1( tn 矩阵，且一般有 1 tn ，因此存在一个 b （ 0b ），使 Xb =0 。取 YbYl 其中： 为任意常数， 为 的最小二乘估计。 因 XbYlE ，故 Yl 是 的无偏估计。 11 12 o v ( , ) o v ( ( ) , ) ( ) ( ) () C b Y C X X X Y b Y X X X V a r Y b X X X G b 一般情况下 ov ( , ) 0C b Y ，取 o v ( , ) () C b Y V a r b Y 2 ( ) ( ) ( ) 2 o v ( , ) V a r l Y V a r V a r b Y C b Y 2 2 2 ov ( , ) V a r ( ) ( ) () ov ( , ) 2 () ov ( , ) 垐 ( ) ( ) () C b Y V ar b Y V ar b Y C b Y V ar b Y C b Y V ar V ar V ar b Y 即存在 Yl 为 的线性无偏估计，但 ()V arl Y V ar 。故 不再是 BLU E 。 （ 2 ）求模型的 BLUE 由假设 G 是正定对称矩阵，存在 2 1 G 使 2 1 2 1 GGG ， 若记 1 2 1 2 1 )( GG ， 令 1 2Z G Y ，则 1 1 1 1 222 2 2 2 nV a r Z G V a r Y G G G G I 模型可改写为： 2 n E Z U V a r Z I 其中： XGU 2 1 模型满足误差方差独立及齐性的条件，由前面讨论的结果知 YGXXGX YGGXXGXGZUUU 111 2 1 2 1 12 1 2 1 1 )( )()( 为 的 B LUE 。 所以 的 BLUE 为： YGXXGX 111 )( 一般我们称 为 的加权最小二乘估计。 当 IG 时， 当 n w w G 0 0 1 时，可取 i i i y w Z 1 ni 2,1 。 例 2.3的 SAS实现 data example2; input x1 x2 y; cards; . ; run; proc reg; model y=x1 x2/p r clm cli; run; 方差分析 The REG Procedure Model: MODEL1 Dependent Variable: y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 2 2.33292 1.16646 127.71 .0001 Error 25 0.22834 0.00913 Corrected Total 27 2.56127 Root MSE 0.09557 R-Square 0.9108 Dependent Mean 3.78893 Adj R-Sq 0.9037 Coeff Var 2.52237 参数估计 去掉 x2 data example2; input x1 x2 y; cards; . ; run; proc reg; model y=x1 /p r clm cli; run; 方差分析 参数估计 上机作业 Page 68-69: 2.8;2.9.