第八章方差分析与回归分析pu课件

第八章第八章 方差分析与回归分析方差分析与回归分析单因素方差分析单因素方差分析回归分析的基本概念回归分析的基本概念一元线性回归模型的建立与检验一元线性回归模型的建立与检验方差分析的概念与基本思想方差分析的概念与基本思想第八章 方差分析与回归分析单因素方差分析回归分析的基本概念1 在工农业生产和科研活动中，我们经常遇到这样的问题：影响产品产量、质量的因素很多，例如影响农作物的单位面积产量有品种、施肥种类、施肥量等许多因素。我们要了解这些因素中哪些因素对产量有显著影响，就要先做试验，然后对测试结果进行分析，作出判断。方差分析就是分析测试结果的一种方法。引引 言言 在工农业生产和科研活动中，我们经常遇到这样的问题：影2基基 本本 概概 念念 试验试验指标指标试验结果。试验结果。可控可控因素因素在影响试验结果的众多因素中，可人为在影响试验结果的众多因素中，可人为 控制的因素。控制的因素。水平水平可控因素所处的各种不同的状态。每个可控因素所处的各种不同的状态。每个 水平又称为试验的一个处理。水平又称为试验的一个处理。单因素试验单因素试验如果在一项试验中只有一个因素改变，如果在一项试验中只有一个因素改变，其它的可控因素不变，则该类试验称其它的可控因素不变，则该类试验称 为单因素试验。为单因素试验。基 本 概 念 试验指标试验结果。可控因素在影响试3引例引例 例例1（灯丝的配料方案优选）某灯泡厂用四种配料方案制成的灯（灯丝的配料方案优选）某灯泡厂用四种配料方案制成的灯丝生产了四批灯泡，在每批灯泡中作随机抽样，测量其使用寿丝生产了四批灯泡，在每批灯泡中作随机抽样，测量其使用寿命（单位：小时），数据如下：命（单位：小时），数据如下：灯泡灯泡寿命寿命灯丝灯丝12345678甲甲1600 1610 1650 1680 1700 1720 1800乙乙1580 1640 1640 1700 1750丙丙1460 1550 1600 1620 1640 1740 1660 1820丁丁1510 1520 1530 1570 1680 1600引例 例1（灯丝的配料方案优选）某灯泡厂用四种配料方案制4试验指标试验指标灯泡的使用寿命灯泡的使用寿命可控因素可控因素（唯一的一个）（唯一的一个）灯丝的配料方案灯丝的配料方案四个水平四个水平四种配料方案（甲乙丙丁）四种配料方案（甲乙丙丁）因此，本例是一个因此，本例是一个四水平的单因素试验四水平的单因素试验。引引 例例 用用X1，X2，X3，X4分别表示四种灯泡的使用寿命，即为分别表示四种灯泡的使用寿命，即为四个总体。假设四个总体。假设X1，X2，X3，X4相互独立，且服从方差相互独立，且服从方差相同的正态分布，即相同的正态分布，即XiN（i，2）（）（i=1，2，3，4）本例问题归结为检验假设本例问题归结为检验假设 H0：1=2=3=4 是否成立。是否成立。试验指标灯泡的使用寿命可控因素（唯一的一个）灯丝的5 单因素方差分析的目的：单因素方差分析的目的：通过试验数据来判断因通过试验数据来判断因素素 A 的不同水平对试验指标是否有影响。的不同水平对试验指标是否有影响。设设 A 表示欲考察的因素，它的表示欲考察的因素，它的 个不同水平，对个不同水平，对应的指标视作应的指标视作 个总体个总体 每个水平下每个水平下,我我们作若干次重复试验：们作若干次重复试验：（可等重复也可不（可等重复也可不等重复），同一水平的等重复），同一水平的 个结果，就是这个总体个结果，就是这个总体 的一个样本：的一个样本：单因素试验的方差分析单因素试验的方差分析因此，因此，相互独立，且与相互独立，且与 同分布。同分布。单因素方差分析的目的：通过试验数据来判断因素6单因素试验资料表单因素试验资料表其中诸其中诸 可以不一样，可以不一样，水平水平重复重复 1.ni（水平组内平均值）（水平组内平均值）（总平均值）（总平均值）试验结果试验结果单因素试验资料表其中诸 可以不一样，水平重复 1（7 纵向个体间的差异称为纵向个体间的差异称为随机误差（组内差异），随机误差（组内差异），由试验造由试验造成；横向个体间的差异称为成；横向个体间的差异称为系统误差（组间差异），系统误差（组间差异），由因素的由因素的不同水平造成。不同水平造成。品种品种重复重复123例：五个水稻品种单位产量的观测值例：五个水稻品种单位产量的观测值 纵向个体间的差异称为随机误差（组内差异），由8 由于同一水平下重复试验的个体差异是随机误差，由于同一水平下重复试验的个体差异是随机误差，所以设：所以设：其中其中 为试验误差，相互独立且服从正态分布为试验误差，相互独立且服从正态分布方差分析的线性方差分析的线性模型模型 单因素试验的方差分析的数学模型单因素试验的方差分析的数学模型具有具有方差齐性。方差齐性。相互独立，从而各子样也相互独立。相互独立，从而各子样也相互独立。首先，我们作如下假设：首先，我们作如下假设：即即 由于同一水平下重复试验的个体差异是随机误差，所以设：9令令 （其中（其中 ）称为）称为一般平均值一般平均值。称为因素称为因素A的的第第 个水平个水平 的效应的效应。则则线性统计模型线性统计模型变成变成于是检验假设：于是检验假设：等价于检验假设：等价于检验假设：显然有：显然有：整个试验的均值整个试验的均值 令 （其中 10考察统计量考察统计量经恒等变形，可分解为：经恒等变形，可分解为：其中其中组间平方和（系组间平方和（系统离差平方和）统离差平方和）反映的是各水平平均值偏离总平均值的偏离程度。反映的是各水平平均值偏离总平均值的偏离程度。如果如果H0 成立，则成立，则SSA 较小。较小。若若H0成立，则成立，则总离差平方和总离差平方和 考察统计量经恒等变形，可分解为：其中组间平方和（系统离差平方11组内平方和组内平方和误差平方和误差平方和反映的是重复试验种随机误差的大小。反映的是重复试验种随机误差的大小。组内平方和反映的是重复试验种随机误差的大小。12若假设若假设 成立，则成立，则 将将 的自由度分别记作的自由度分别记作则则（记（记 ，称作均方和），称作均方和）（各子样同分布）（各子样同分布）若假设 13则则（记（记 ，称作均方和），称作均方和）对给定的检验水平对给定的检验水平 ，由，由得得H0 的拒绝域为：的拒绝域为：F 单侧检验单侧检验 结论：结论：方差分析方差分析实质上实质上是假设检验是假设检验，从分析离差，从分析离差平方和入手，找到平方和入手，找到F统计量统计量，对对同方差同方差的多个正态总体的多个正态总体的均值是否相等进行假设检验的均值是否相等进行假设检验。单因素试验中两个水。单因素试验中两个水平的均值检验可用第七章的平的均值检验可用第七章的T检验法。检验法。则（记 14（1）若若 ，则称因素的，则称因素的差异极显著差异极显著（极有极有统计意统计意义），或称因素义），或称因素A的影响的影响高度显著高度显著，这时作标记，这时作标记 ；约约 定定 （2）若）若 ，则称因素的，则称因素的差异显著差异显著（差异（差异有有统计意义），或称因素统计意义），或称因素A的的影响显著影响显著，作标记，作标记 ；（3）若）若 ，则称因素，则称因素A有一定影响有一定影响，作，作标记标记（）；（4）若）若 ，则称因素，则称因素A无显著影响（差异无显著影响（差异无无统计意义）。统计意义）。注意注意：在方差分析表中，习惯于作如下规定：在方差分析表中，习惯于作如下规定：（1）若 ，则称因素的差异极显著15单因素试验方差分析表单因素试验方差分析表方差来源方差来源组间组间组内组内总和总和平方和平方和 自由度自由度均方和均方和F 值值F 值临介值值临介值简便计算公式：简便计算公式：其中其中同一水平同一水平下观测值下观测值之和之和 所以观测所以观测值之和值之和单因素试验方差分析表方差来源组间组内总和平方和自由度均方和F16 例例2 以以 A、B、C 三种饲料喂猪，得一个月后每猪三种饲料喂猪，得一个月后每猪所增体重（单位：所增体重（单位：500g）于下表，试作方差分析。）于下表，试作方差分析。饲料饲料ABC增重增重51 40 43 4823 25 2623 28解解：例2 以 A、B、C 三种饲料喂猪，得一个月17解：解：解：18不同的饲料对猪的体重的影响不同的饲料对猪的体重的影响极有统计意义极有统计意义。方差分析表方差分析表方差来源方差来源组间组间组内组内总和总和平方和平方和 自由度自由度均方和均方和F 值值F 值临介值值临介值不同的饲料对猪的体重的影响极有统计意义。方差分析表方差来源组19定理定理 在单因素方差分析模型中，有在单因素方差分析模型中，有 如果如果H0不成立不成立，则，则 所以，所以，即即H0不成立不成立时，时，有大于有大于1的趋势。的趋势。所以所以H0为真时的小概率事件应取在为真时的小概率事件应取在F值较大的一侧。值较大的一侧。定理 在单因素方差分析模型中，有 如果H0不成立，则 20多重比较法拒绝H0，接受H1,表示总体均数不全相等哪两两均数之间相等？哪两两均数之间不等？需要进一步作多重比较。多重比较。方差分析结果 不拒绝H0，表示拒绝总体均数相等的证据不足，分析终止。常用多重比较法最小显著差数法最小显著差数法(L Least significant difference，简称LSD法)多重比较法拒绝H0，接受H1,表示总体均数不全相等方差分析21q法(又称SNK(student-Newman-Keuls)检验法)q测验方法是将r个平均数由大到小排列后，根据所比较的两个处理平均数的差数是几个平均数间的极差分别确定最小显著极差LSR值的。q法(又称SNK(student-Newman-Keul22Tukey法(又称honestly significant difference，简称，简称HSD)Tukey法(又称honestly significant23 回归这一术语是回归这一术语是18861886年英国生物学年英国生物学家高尔顿在研究遗传现象时引进的家高尔顿在研究遗传现象时引进的.他发现他发现:虽然高个子的先代会有高个子的后代虽然高个子的先代会有高个子的后代,但后代的增高并不与先代的增高等量但后代的增高并不与先代的增高等量.他称这他称这一现象为一现象为“向平常高度的回归向平常高度的回归”.一一 回归分析的基本概念回归分析的基本概念 回归这一术语是1886年英国生物学家高尔顿在24 尔后尔后,他的朋友麦尔逊等人搜集了上千个家庭他的朋友麦尔逊等人搜集了上千个家庭成员的身高数据成员的身高数据:y=0.516x+33.73(英寸英寸)分析出儿子的身高分析出儿子的身高y和父亲的身高和父亲的身高x大致为如大致为如下关系：下关系：1 英寸=2.54cm 尔后,他的朋友麦尔逊等人搜集了上千个家庭成员的身25 这这意意味味着着,若若父父亲亲身身高高超超过过父父代代平平均均身身高高6英英寸寸,那那么么其其儿儿子子的的身身高高大大约约只只超超过过子子代代平平均均身身高高3英寸英寸,可见有向平均值返回的趋势可见有向平均值返回的趋势.如今对如今对回归回归这一概念的理解并不是高尔顿的原这一概念的理解并不是高尔顿的原意意,但这一名词却一直沿用下来但这一名词却一直沿用下来,成为统计学中最成为统计学中最常用的概念之一常用的概念之一.6英寸英寸3英寸英寸 这意味着,若父亲身高超过父代平均身高6英26 在现实问题中，处于同一个过程中的一些变量，在现实问题中，处于同一个过程中的一些变量，往往是相互依赖和相互制约的，它们之间的相互关系往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种：大致可分为两种：相关关系相关关系问题 （1 1）确定性关系）确定性关系函数关系；函数关系；（2 2）非确定性关系）非确定性关系相关关系；相关关系；相关关系表现为这些变量之间有一定的依赖关系，但相关关系表现为这些变量之间有一定的依赖关系，但这种关系并不完全确定，它们之间的关系不能精确地用函这种关系并不完全确定，它们之间的关系不能精确地用函数表示出来，这些变量其实是随机变量，或至少有一个是数表示出来，这些变量其实是随机变量，或至少有一个是随机变量。随机变量。在现实问题中，处于同一个过程中的一些变量，往往是相互27 类似的变量间的关系在大自然和社会中类似的变量间的关系在大自然和社会中屡见不鲜屡见不鲜.例例如如,小小麦麦的的穗穗长长与与穗穗重重的的关关系系;某某班班学学生生最最后后一一次次考考试试分分数数与与第第一一次次考考试试分分数数的的关关系系;温温度度、降降雨雨量量与与农农作作物物产产量量间间的的关关系系;人人的的年年龄龄与与血血压压的的关关系系;最最大大积积雪雪深深度度与与灌灌溉溉面面积间的关系积间的关系;家庭收入与支出的关系等等家庭收入与支出的关系等等.类似的变量间的关系在大自然和社会中屡见不鲜.28函数关系与相关关系的区函数关系与相关关系的区别 相关关系相关关系影响影响的值，的值，不能确定。不能确定。函数关系函数关系决定决定的值，的值，因此，统计学上讨论两变量的相关关系时，是设法因此，统计学上讨论两变量的相关关系时，是设法确定：在给定自变量确定：在给定自变量 的条件下，因变量的条件下，因变量 的的条件数学期望条件数学期望函数关系与相关关系的区别 相关关系影响的值，不能确定。函29回回归分析的概念分析的概念 研究一个随机变量与一个（或几个）可控变量之间研究一个随机变量与一个（或几个）可控变量之间的相关关系的统计方法称为回归分析。的相关关系的统计方法称为回归分析。只有一个自变量的回归分析称为一元回归分析；多只有一个自变量的回归分析称为一元回归分析；多于一个自变量的回归分析称为多元回归分析。于一个自变量的回归分析称为多元回归分析。引进回归函数引进回归函数称为回归方程称为回归方程 回归方程反映了因变量回归方程反映了因变量 随自变量随自变量 的变化而变化的变化而变化的平均变化情况的平均变化情况.回归分析的概念 研究一个随机变量与一个（或几个）可控变30 在这一讲里,我们主要讨论的是一元线性回归.它是处理两个变量之间关系的最简单的模型.它虽然比较简单,但我们从中可以了解到回归分析的基本思想、方法和应用.在这一讲里,我们主要讨论的是一元线性回归.31 为了估计山上积雪融化后对下游灌溉的为了估计山上积雪融化后对下游灌溉的影响影响,在山上建立了一个观测站在山上建立了一个观测站,测量了最大测量了最大积雪深度积雪深度x与当年灌溉面积与当年灌溉面积 y,得到连续得到连续10年年的数据如下表的数据如下表:让我们用一个例子来说明如何建立一元让我们用一个例子来说明如何建立一元线性回归方程线性回归方程.为了估计山上积雪融化后对下游灌溉的影响,32年序 最大积雪深度x(米)灌溉面积y(公顷)1 5.1 1907 2 3.5 1287 3 7.1 2693 4 6.2 2373 5 8.8 3260 6 7.8 3000 7 4.5 1947 8 5.6 2273 9 8.0 3113 10 6.4 2493年序 最大积雪深度x(米)灌溉面积y33 为了研究这些数据中所蕴含的规律性为了研究这些数据中所蕴含的规律性,我们由我们由10对数据作出散点图对数据作出散点图.从图看到从图看到,数据点大致落在一条直线数据点大致落在一条直线附近附近,这告诉我们变量这告诉我们变量x和和y之间大致可看之间大致可看作线性关系作线性关系.yxo40003000200010002 4 6 8 10 从图中还看到从图中还看到,这些点又不完全在这些点又不完全在一条直线上一条直线上,这表明这表明x和和y的关系并没有确切的关系并没有确切到给定到给定x就可以唯一确定就可以唯一确定y的程度的程度.为了研究这些数据中所蕴含的规律性,我们由10对34 事实上事实上,还有许多其它因素对还有许多其它因素对y产生影产生影响响,如当年的平均气温、当年的降雨量等等如当年的平均气温、当年的降雨量等等,都是影响都是影响y取什么值的随机因素取什么值的随机因素.事实上,还有许多其它因素对y产生影响,35一元一元线性回性回归模型模型 如果试验的散点图如下图呈直线状如果试验的散点图如下图呈直线状 设随机变量设随机变量Y Y依赖于自变量依赖于自变量x x，作，作n n次独立试验，次独立试验，得得n n对观测值：对观测值：称这称这n n对观测值为容量为对观测值为容量为n n的一个子样，若把这的一个子样，若把这n n对观对观测值在平面直角坐标系中描点，得到试验的测值在平面直角坐标系中描点，得到试验的散点图散点图.一元线性回归模型 如果试验的散点图如下图呈直线状 36其中其中 同服从于正态分布同服从于正态分布 相互独立，相互独立，因此因此 图图 8-1则设则设 其中 同服从于正态分布 相互独立，因此 图 8-1则设 37其中其中 是与是与 无关的无关的未知常数未知常数。（9.1）一元一元线性回性回归模型模型 一般地，称如下数学模型为一元线性模型一般地，称如下数学模型为一元线性模型 而而 称为回归函数或回归方程。称为回归函数或回归方程。称为回归系数。称为回归系数。其中 是与 无关的未知常数。（9.138回回归函数（方程）的建立函数（方程）的建立 由观测值由观测值 确定的回归确定的回归函数函数 ，应使得，应使得 较小。较小。考虑函数考虑函数 问题：确定问题：确定 ，使得，使得 取得极小值。取得极小值。这是一个二元函数的无条件极值问题。这是一个二元函数的无条件极值问题。回归函数（方程）的建立 由观测值 39回回归方程的建立方程的建立 令令 回归方程的建立 令 40回回归方程的建立方程的建立 记记 表示对表示对 的估计值的估计值则变量则变量 对对 的回归方程为的回归方程为 回归方程的建立 记 表示对 的估计值则变量 41回回归方程有效性的方程有效性的检验 对于任何一组数据对于任何一组数据 ，都可按最，都可按最小二乘法确定一个线性函数，但变量小二乘法确定一个线性函数，但变量 与与 之间是否真之间是否真有近似于线性函数的相关关系呢？尚需进行假设检验。有近似于线性函数的相关关系呢？尚需进行假设检验。假设假设 如果如果 成立，则不能认为成立，则不能认为 与与 有线性相关关系。有线性相关关系。三种检验方法：三种检验方法：F F检验法、检验法、t-t-检验法、检验法、r r检验法。检验法。回归方程有效性的检验 对于任何一组数据 42回回归方程有效性的方程有效性的F检验法法 记记 总离差平方和总离差平方和，反映观测值与平均值的偏差程度。，反映观测值与平均值的偏差程度。经恒等变形，将经恒等变形，将 分解分解 回归方程有效性的F检验法 记 总离差平方和，反映观43回归平方和，反映回归值与平均值的偏差，揭示回归平方和，反映回归值与平均值的偏差，揭示变量变量 与与 的线性关系所引起的数据波动。的线性关系所引起的数据波动。剩余平方和，反映观测值与回归值的偏差，揭示剩余平方和，反映观测值与回归值的偏差，揭示试验误差和非线性关系对试验结果所引起的数据波动。试验误差和非线性关系对试验结果所引起的数据波动。回归平方和，反映回归值与平均值的偏差，揭示剩余平方和44如果如果 为真，则为真，则 于是，统计量于是，统计量 对给定的检验水平对给定的检验水平 ，（1 1）当）当 时，时，拒绝拒绝 ，即可认为变量，即可认为变量 与与 有线性相关关系有线性相关关系；（2 2）当）当 时，时，接受接受 ，即可认为变量，即可认为变量 与与 没有线性相关关系没有线性相关关系；如果 为真，则 于是，统计量 对给45此时，可能有以下几种情况：此时，可能有以下几种情况：（2 2）对对 有显著影响，但这种影响不能用线性关系有显著影响，但这种影响不能用线性关系表示，应作非线性回归；表示，应作非线性回归；（3 3）除）除 之外，还有其它变量对之外，还有其它变量对 也有显著影响，从也有显著影响，从而削弱了而削弱了 对对 的影响，应考虑多元回归。的影响，应考虑多元回归。（1 1）对对 没有显著影响，应丢弃自变量没有显著影响，应丢弃自变量 ；此时，可能有以下几种情况：（2）对 有显著影响，但46回回归方程有效性的方程有效性的r检验法法 记记 样本的相关系数样本的相关系数 可反映变量可反映变量 与与 之间的线性相关程度。之间的线性相关程度。因为因为 回归方程有效性的r检验法 记 样本的相关系数 47回回归方程有效性的方程有效性的r检验法法 记记 样本的相关系数样本的相关系数 越大，变量越大，变量 与与 之间的线性相关程度越强。之间的线性相关程度越强。因为因为 （1 1）（2 2）时，时，（3 3）时，时，与与 有线性相关关系；有线性相关关系；与与 无线性相关关系；无线性相关关系；回归方程有效性的r检验法 记 样本的相关系数 48计算计算 对给定的检验水平对给定的检验水平 ，查相关系数的临界值表，查相关系数的临界值表 如果如果 ，则拒绝，则拒绝 ，即线性回归方程有效；，即线性回归方程有效；否则，接受否则，接受 ，即线性回归方程无效。，即线性回归方程无效。计算 对给定的检验水平 ，查相关系数的临界值表 49回回归方程有效性的方程有效性的t检验法法 统计量统计量 H H0 0成立时，成立时，对给定的检验水平对给定的检验水平 ，H H0 0的拒绝域为的拒绝域为 即当即当 时，变量时，变量 与与 有线性相关关系。有线性相关关系。回归方程有效性的t检验法 统计量 H0成立时，对给50编号编号123456789脂肪脂肪含量含量%15.417.518.920.021.022.815.817.819.1蛋白蛋白质含质含量量%44.039.241.838.937.438.144.640.739.8试求出试求出 与与 的关系，并判断是否有效。的关系，并判断是否有效。例例1 1 为了研究大豆脂肪含量为了研究大豆脂肪含量 和蛋白质含量和蛋白质含量 的关系，的关系，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，得到如下数据得到如下数据编号123456789脂肪含量%15.417.518.92051解解 （1 1）描散点图）描散点图 解 （1）描散点图 52（2 2）建立模型）建立模型 由散点图，设变量由散点图，设变量 与与 为线性相关关系：为线性相关关系：确定回归系数确定回归系数 和和 ：编号编号123456789 x15.417.518.920.021.022.815.817.819.1168.3y44.039.241.838.937.438.144.640.739.8364.5x2237.16306.25357.21400441519.84249.64316.84364.813192.75y219361536.641747.241513.211398.761451.611989.161656.491584.0414813.2xy677.6686790.02778785.4868.68704.68724.46760.186775.02（2）建立模型 由散点图，设变量 与 为线性相关关系：53所以，所求的回归方程为所以，所求的回归方程为 所以，所求的回归方程为 54（3 3）检验回归方程的有效性）检验回归方程的有效性 查相关系数临界值表查相关系数临界值表 因为因为 所以回归方程在所以回归方程在 的检验水平下有统计意义。的检验水平下有统计意义。即可以认为大豆的蛋白质含量与脂肪含量有线性相关性。即可以认为大豆的蛋白质含量与脂肪含量有线性相关性。（3）检验回归方程的有效性 查相关系数临界值表 因为 55利用回利用回归方程方程进行行预测1 1、点预测、点预测 时，时，即为即为 的点预测值。的点预测值。2 2、区间预测、区间预测 统计量统计量 对给定的置信水平对给定的置信水平 ，的预测区间为的预测区间为 利用回归方程进行预测1、点预测 时，56 续例续例1 1 求大豆脂肪含量为求大豆脂肪含量为18.6%18.6%的条件下蛋白质的条件下蛋白质95%95%的预测区间。的预测区间。解解 由已求得的回归方程由已求得的回归方程 得蛋白质的点预测值为得蛋白质的点预测值为 所以脂肪含量为所以脂肪含量为18.6%18.6%时，蛋白质的时，蛋白质的95%95%的预测区间为的预测区间为 利用回利用回归方程方程进行行预测 续例1 求大豆脂肪含量为18.6%的条件下蛋白质解 57