效应的最小二乘估计

效应的最小二乘估计 最小二乘方差分析 简要介绍 一、最小二乘分析法的原理和方法 这里主要讨论次级样本容量不等的最小二乘分析法 的基本内容 与其他方法相比，最小二乘分析法至少有以下几个 优点： 1、最小二乘分析法适用于线性和非线性数学模型 2、最小二乘分析法与最重要的一个统计量 算术 平均数发生关系 3、适应范围广 最小二乘分析法特别适合于以下几种情况： 1、试验条件复杂，成本太高、来源一致的大样本资 料不容易获得 2、来自各试验单位的资料不平衡、需要进行校正 3、次要因素不容易控制 4、资料需要校正合并 5、资料次级样本容量不等，而使得平方和的可加性 遭到破坏 目前，绝大多数统计软件中的方差分析均为最小二 乘方差分析法 设有一批观测值 以下均以 代替以前的 根据最小二乘原理求出处理效应的估计值，即取这 样一个 y值 ,作为这批数据 的最佳值，它应当与各 个 的平方和最小，即 对 求微分，并令之为 0，则有 y即为算术平均数 1, 2 ,.,iy i n iy ix 2 2 2 12 2 . m in n i f y y y y y y y yy iy iy fy 20iyy 0iy ny 1 iyyn y 继续求其二级微分，可知 为极小 即算术平均数 是一批观测值的最小二乘估计值 在线性方程组 中，如果 ，即方程组非齐次 X的秩 =b的维数（即 X为非奇异阵） 增广矩阵 |Xy|的秩 =X的秩（即方程组相容 ） 则方程组有唯一解： 当 X不是方阵（即方程组中方程的个数与未知数的 个数不等）， 必为一非奇异阵，则方程组 的解可由 其中， 即为 b的最小二乘估计值 y fy Xb y 0y 1b X y XX 1 X X b X y b X X X y b 可以证明， 是唯一的、无偏的 任何数学模型均可用矩阵形式表示 如线性模型 的矩阵形式为 其中， y为 n维观测值向量 X为固定效应的结构矩阵 b为固定效应向量 e为随机误差向量，且 在 中，绝大多数情况下， X不会是方阵，即 方程个数与未知数个数不等，为使方程有解 ij i ijy y Xb e 20,E e V e I y Xb e 方程可改写成 可以证明，该式必有解： 当 满秩时，必有 存在，且为唯一，即 其中， 是唯一的，且是 b的最小二乘估计值，是 b的 最佳线性无偏估计值 当 不满秩时， 有无穷多个解 为使方程有唯一解，可加入约束条件，从而使 为满秩，得出唯一解 常用的约束条件有很多，如：和约束、相对约束 （ ）等，但约束条件不同，解也不同 X X b X y XX 1XX 1 b X X X y b 0i 0k X X b X yXX XX 二、单向分类资料的最小二乘分析法 例：设计了三种草本植物添加剂作饲养试验，得数据 如下： 添加剂种类 增重效果 1.2 1.0 1.1 1.1 1.4 1.3 1.0 0.9 1.2 本例中， ， ， 设三种添加剂的效应值分别为 每一观测值完整的数学模型为： 1 4n 2 2n 3 3n 1 2 3, 1 2 3ij ijy 请回顾一下，用 普通方差分析法 该如何分析之？ 当有 k个组时，观测值的一般通式为： 本例每一观测值的数学模型： 第一组： 第二组： 第三组： 12 .ij k ijy 1 2 3 1 11 .2 1 0 0 1 2 3 2 11 . 4 0 1 0 1 2 3 3 11 . 0 0 0 1 其结构矩阵 X为： X= 该结构阵不是一个方阵，因此应求 XX 1 1 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 0 0 1 1 0 0 1 1 0 0 1 1 2 3 XX= = XX的一般通式是： 111111111 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 0 0 1 1 0 0 1 1 0 0 1 9 4 2 3 4 4 0 0 2 0 2 0 3 0 0 3 1 11 . . k kk n n n nn nn 而 Xy= Xy= 上式中： 10.2 4.4 2.7 3.1 1 2 . k y y y y 12 1. 2. . . 1 . . i k k n i ij j n n n n y y y y yy 因此，矩阵方阵为： 其通式是： 可以看出， XX是不满秩的，因此它无唯一解 1 2 3 9 4 2 3 10 .2 4 4 0 0 4. 4 2 0 2 0 2. 7 3 0 0 3 3. 1 12 1 1 1 1. 2 2 2 2. . . . . . k k k k k n n n n y n n y n n y n n y 由于 是其约束条件，因此可以将该方程组减 去一个 （习惯上总是减去最后一个 ） 首先作行相减，第一行是 方程，因此不减 从第二行逐行减去最后一个方程： 然后作列相减，即除第一列外的各列均减去最后一 列： 0i k 1 2 9 4 2 3 1 0 .2 1 4 0 3 1 .3 1 0 2 3 0 .4 1 2 9 1 1 1 0 .2 1 7 3 1 .3 1 3 5 0 .4 这一过程称为矩阵的降阶，降阶后的矩阵称为降阶矩 阵，降阶矩阵与原矩阵相比，少了一行一列，即由 原来的（ k+1）行（ k+1）列降为 k行 k列 降阶后的矩阵仍为对称阵，且满秩，因此有唯一解： 1 1 2 9 1 1 10. 2 1 7 3 1.3 1 3 5 0.4 0.1 204 0.0 370 0.0 463 10. 2 1.1 611 0.0 370 0.2 037 0.1 296 1.3 0.0 611 0.0 463 0.1 296 0.2 870 0.4 0.1 889 即 （总体效应值） =1.1611，此即为最小二乘均 值 LSM（ least square mean） （第一种中草药添加剂效应值） =-0.0611 （第二种中草药添加剂效应值） =0.1889 （第三种中草药添加剂效应值） = =-（ -0.0611+0.1889） =-0.1278 三种中草药添加剂的最小二乘均值（ LSM）则分别 为： 1 2 3 11 22 33 1.16 11 0.06 11 1.1 1.16 11 0.18 89 1.35 1.16 11 0.12 78 1.03 3 y y y 数据比较简单时，手工计算和统计软件运算两者差 别不大，但当数据结构比较复杂，或数据量很大 时，则必须借助于统计软件 这里仅用单因素的数据结构来说明最小二乘分析法 的原理和基本方法，以作为统计软件中方差分析 方法的说明 两因素、多因素的最小二乘分析法此处不再介绍， 其基本原理是一样的，仅方法上更复杂一些 （ *） end