简单回归分析课件1

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第十一章,简 单 线 性 回 归,1,h,第十一章1h,本章内容,线性回归；,线性回归的应用,残差分析；,非线性回归。,2,h,本章内容线性回归；2h,双变量计量资料：每个个体有两个变量值；,总体,：无限和有限对变量值；,样本,：从总体随机抽取的n对变量值；,（X1,Y1),(X2,Y2),(X3,Y3),(Xn,Yn),目的：研究X和Y的数量关系；,方法：回归,3,h,双变量计量资料：每个个体有两个变量值；3h,“回归”一词的来由,“回归”一词最早由Golton在一项有关父亲与儿子身高的研究中提出，他发现儿子身高（y，英寸)和父亲(x,英寸）身高存在线性关系：,Y=33.73+0.516X,身材高大的父亲,儿子的身高 人群的平均身高,身材矮小的父亲,回归,4,h,“回归”一词的来由“回归”一词最早由Golton在一项有关父,后来人们借助“回归”一词来描述通过自变量的数值预测反应变量的平均水平。 “回归”已成为表示变量之间某种数量依存关系的统计学术语，并且衍生出“回归方程”和“回归系数”等统计学概念。,例如：研究糖尿病病人血糖和其胰岛素水平的关系，研究儿童体重和年龄的关系。,5,h,后来人们借助“回归”一词来描述通过自变量,容易测得的指标（,如身高、体重、肺活量,）,相对难测的指标,（如心室血输出量、用药剂量、体循环总血量）,通过对产妇的尿雌三醇含量的检测来估计腹中胎儿体重，以便采取必要的措施降低生产过程的难产风险。,估计,为了通过,可测或易测的变量,对,未知或难测或不可测量,的状态进行估计，可以借助回归分析。,6,h,容易测得的指标（如身高、体重、肺活量）估计为了通过可测或,第一节 简单线性回归,7,h,第一节 简单线性回归7h,左图的相关系数就没有右图的大，,相关系数反映了散点的疏密。,8,h,左图的相关系数就没有右图的大，相关系数反映了散点的疏密。8h,左图中当X每增加一个单位时，Y平均增加的较多，而在右图中当X增加一个单位时Y平均增加的少。即左图中X的变动对Y值得影响要比右图中大，这一信息是相关分析所无法传达的，需要回归分析来研究。,9,h,左图中当X每增加一个单位时，Y平均增加的较多，而,在上一章中，对14名4060岁的健康妇女的体重（,X,）与基础代谢（,Y,）数据计算了相关系数（ ），定量地描述了变量,X,与,Y,间的线性关联性。现在试用回归分析的方法，从预测的角度来描述基础代谢（,Y,）如何依存体重（,X,）的变化而变化的规律性。,（,1,）如果我们知道了一名健康妇女的基础代谢，能推断出,体重是多少吗？,（,2,）体重可能在什么范围内呢？,（,3,）基础代谢（,X),每增加,1,单位，体重（,Y),变化多少呢？,上面的相关关系分析不能提供给我们需要的答案。这些要用线性回归的方法来解决。,10,h,在上一章中，对14名4060岁的健康妇女的体重（X）与基础,（,1,） 当我们知道了两个变量之间有直线相关关系，并且一个变量的变化会引起另一个变量的变化，这时，如果它们之间存在准确、严格的关系，它们的变化可用函数方程来表示，叫它们是函数关系，它们之间的关系式叫,函数方程,。,（,2,）但在实际生活当中，由于其它因素的干扰，许多双变量之间的关系并不是严格的函数关系，不能用函数方程反映，为了区别于两变量间的函数方程，我们称这种关系式为,线性回归方程,，这种关系为线性回归.,11,h,（1） 当我们知道了两个变量之间有直线相关关系，并且一个变量,一、线性回归的概念及其统计描述,目的：,研究应变量Y和自变量X的数量依存关系，建立一个方程式，从而可由X变量的大小推算出Y变量的估计值。,特点：,统计关系。X和Y的均数的关系，不同于一般数学上X和Y的函数关系。,12,h,一、线性回归的概念及其统计描述目的：研究应变量Y和自变量X的,反应变量（Y)依赖于另一自变量（X)简单线性回归模型表述为：,：为第i个个体的反应变量值,：为其自变量值,：为回归直线的,截距,参数,：为回归直线的,斜率,参数,13,h,反应变量（Y)依赖于另一自变量（X)简单线性回归模型表述为,：,是由自变量X推算应变量Y的估计值,(读作Y hat),a,：,是回归直线在Y轴上的截距，即X=0时的Y值；,b,:,为样本的回归系数，即回归直线的斜率，,表示,当X变动一个单位时，Y平均变动b个单位。,由样本数据建立的有关Y依X变化的回归方程：,14,h,：是由自变量X推算应变量Y的估计值由样本数据建立,图12-1 14例中老年健康妇女的基础代谢与体重的回归直线,15,h,图12-1 14例中老年健康妇女的基础代谢与体重的回归直线,（1）在实际应用中，线性回归中的自变量还可以是能够精确测量和严密控制的量，但因变量Y必须是随机变化的。,例如某研究者应用单向环状免疫扩散法，在固定IgG浓度下测得琼脂免疫板上沉淀环直径的数据见表12-1，以此研究沉淀环直径（,Y,）如何依存IgG浓度（,X,）的变化规律。数据的散点图见图12-2，散点的分布具有线性趋势, 我们称为I型回归。,（2）前述健康妇女的体重（,X,）与基础代谢（,Y,）两者都是随机变化的，那里,Y,关于,X,的回归称为II型回归。,16,h,（1）在实际应用中，线性回归中的自变量还可以是能够精确测量和,17,h,17h,二、 线性回归模型的适用条件,18,h,二、 线性回归模型的适用条件18h,线性（linear),指反应变量Y的总体平均值与自变量X呈线性关系。,解决办法：绘制散点图或残差图。观察散点的形态来判断线性假设是否成立。,19,h,线性（linear)指反应变量Y的总体平均值与自变量X呈线性,独立(independent),(2)每个个体观察值之间,相互,独立,，,如果该条,件不满足，名义上有n个个体的资料，实际,上提供的信息却没有这么多，导致回归估,计值不够准确和精确；,解决办法：利用专业知识。,20,h,独立(independent)(2)每个个体观察值之间相互独,正态性(nomal),线性模型的,误差项,服从正态分布，如果该条件不成立，在正态分布假设下对总体回归系数的,假设检验和置信区间估计,的结论均无意义。,解决办法：残差的直方图、正态概率图来考察这一条件是否成立。,21,h,正态性(nomal)线性模型的误差项服从正态分布，如果该条件,方差相等,(equal variance),指在自变量X取值范围内，不论X取什么值，Y都具有相同的方差。,如果这一条件不满足，回归参数的估计有偏性，置信区间估计及检验的结论均无效。,解决办法：采用散点图或残差的散点图判断等方差性。,22,h,方差相等(equal variance)指在自变量X取值范,样本回归方程 是对两变量总体间线性关系的一个估计。根据散点图我们可以假定：对于X各个取值，相应Y的总体均数,yIx,在一条直线上,表示为。,若把上述线性回归模型的适用条件的四个关键英语单词的首写字母连在一起，恰好为“LINE”，便于记忆。模型的线性、正态性以及方差齐性可用图11-3表示。,23,h,样本回归方程 是对两变量总体间线性关系的一个,线性回归模型的适用条件示意图,24,h,线性回归模型的适用条件示意图24h,三、回归参数的估计,（一）回归参数估计的最小二乘法原则；,(二) 回归参数的估计方法,25,h,三、回归参数的估计（一）回归参数估计的最小二乘法原则；25h,（一）回归参数估计的最小二乘法原则；,26,h,（一）回归参数估计的最小二乘法原则；26h,要使 是 最适合的直线，必须满足下列条件:,(1)直线上方各点离回归线的距离（以平行于Y轴计算）之和与直线下方各点离回归线的距离之和绝对值相等，但方向相反，因此：,27,h,要使 是 最适合的直线，必,（2）此直线是使得误差平方和 为最小值的直线，即因变量的实际观察值y与理论值 之差的平方和取最小值。,28,h,28h,每一个x值,实际的y值,估计的 值,误差平方和为最小值,最小二乘法,理论上,误差越小越好,29,h,每一个x值实际的y值估计的 值误差平方和为最小值最,30,h,30h,（二）回归参数的估计方法,例12-1,计算例11,-,1的基础代谢（,Y,）关于体重（,X,）的线性回归方程。,1 由样本数据计算如下统计量：,31,h,（二）回归参数的估计方法例12-1 计算例11-1的基础,得回归方程为：,32,h,得回归方程为：32h,四、总体回归系数,的统计推断,建立了样本回归方程，只是完成了统计分析中两变量关系的,统计描述,，研究者还必须回答它所来自的总体的直线回归关系是否确实存在，即是否对总体有 0。,我们知道，即使,X、Y,的总体回归系数,为零，由于抽样误差的存在，样本回归系数,b,也不一定为零。因此需作总体回归系数,是否为零的假设检验，可用方差分析或,t,检验。,33,h,四、总体回归系数 的统计推断 建立了样本回归方程，只,34,h,34h,无论X如何取值，总体Y总在一条水平线上，即 =0，总体直线回归方程不成立。然而在一次随机抽样中，如果所得样本为实心圆点所示，则会得到一个并不等于0的回归系数。 和0相差多大可以认为具有统计学意义，可用方差分析和t检验来回答这一问题。,35,h,无论X如何取值，总体Y总在一条水平线上，即 =0，总,1.,方差分析,F=MS,组间,/MS,组内,2.t,检验,回归系数的假设检验,H,0,：=0,H,1,：0,=0.05,选择合适的假设检验方法，计算统计量,计算概率值P,做出推论：统计学结论和专业结论,当变量Y服从正态分布时，回归系数的统计学检验,可用t检验，也可用方差分析,36,h,1.方差分析 回归系数的假设检验H0：=0当变量Y服从,1.方差分析,理解回归中方差分析的基本思想，需要对应变量Y的离均差平方和做分解。,37,h,1.方差分析理解回归中方差分析的基本思想，需要对应变量Y的离,Y的离均差，总变异,残差,38,h,Y的离均差，总变异残差38h,任意点,p,（,X,，,Y,）离过,的水平线的距离可分成两段：,第一段长度为 ，是,p,点与回归直线的纵向距离，即前述的实测值,Y,与其估计值之差，称为残差（residual）。,第二段长度为（ ），是估计值与均数之差。它的大小与回归系数,b,有关， 越大，,也越大；反之亦然。,39,h,任意点p（X，Y）离过 的水平线的距离可分成两段：39,为,Y,的离均差平方和，反映在回归之前，,Y,的变异 ；,为回归之后残差平方和。,正是回归的贡献，记为 ，称为回归平方和。,反映在,Y,的总变异中由于,X,与,Y,的直线关系而使,Y,的总变异减少的部分，即在,Y,的总变异中可以用,X,解释的部分， 越大，说明回归效果越好。,经数学推导可得下式：,40,h,为Y的离均差平方和，反映在回归之前，Y的变异 ；经,求得,F,值后查,F,界值表（附表3.1）得到,P,值，并按,水准作出总体回归系数,是否为零的结论，即推断,X,与,Y,的总体回归方程是否成立。,H,0,:,= 0，,H,1,:,0,41,h,求得F值后查F界值表（附表3.1）得到P值，并按水准作出总,例12-2 试对例11-1资料的样本回归方程作假设检验（用方差分析）。,42,h,例12-2 试对例11-1资料的样本回归方程作假设检验（用,检验步骤：,H,0,:,= 0,即基础代谢与体重之间无线性回归关系,H,1,:,0 即基础代谢与体重之间有线性回归关系,=,0.05,一、建立假设检验，确定检验水准,二、计算检验统计量,43,h,检验步骤：H0: = 0 即基础代谢与体重之间无线性回归关,三、查表，得,P,值，,已知,1,=,回,= 1，,2,=,残,=,n,2=12，查,F,界值表得,F,=4.75，今求得,F,= 158.3614.75，则,P,0.05,四、做统计推断,按,=0.05水准拒绝,H,0,，差异有统计学意义。可认为体重与基础代谢之间有线性回归关系。,44,h,三、查表，得P值，44h,45,h,45h,(二),t,检验,46,h,(二) t 检验46h,：样本回归系数b的标准误,47,h,：样本回归系数b的标准误47h,由 ,查,t,界值表得 ，今求得,t,b,=12.5842.179，则,P,0.05，按,=0.05水准拒绝,H,0，差异有统计学意义。结论同前。,例12-3 试对例11-1资料的样本回归方程作假设检验（用,t,检验）。,48,h,例12-3 试对例11-1资料的样本回归方程作假设检验（,（三）总体回归系数,的置信区间,类似总体均数的置信区间，参数 的置信区间为：,相应于自由度为n-2的t分布双侧尾部面积,为1- 的t界值。,49,h,（三）总体回归系数 的置信区间类似总体均数的置信区间，参数,(四),决定系数,意义：,取值在0到1之间，且无单位。它反映了回归贡献的相对程度，即,在因变量,Y,的总变异中回归关系所能解释的比例。,例如：,在实际应用中，通过用决定系数来反映回归的实际效果。如例12-1， =0.930，说明4060岁健康妇女的体重信息大约可以解释自身基础代谢信息量的93%，还有剩余的7%的信息则通过体重以外的其它因素来解释。说明用体重来预测基础代谢量的实际效果较佳。,50,h,(四) 决定系数50h,对于简单回归, 可以证明, 回归平方和与总离均差平方和之比恰好等于相关系数的平方。但是，对于下一章要学的多重回归，这一性质并不成立。,51,h,对于简单回归, 可以证明, 回归平方和与总离均差平方和之比恰,第二节 线性回归的应用,利用回归方程进行估计和预测,52,h,第二节 线性回归的应用利用回归方程进行估计和预,1. 预测（forecast） （给定,X,值，估计,Y,）,2. 控制 （给定,Y,值范围，求,X,值范围）,第二节 线性回归的应用,利用回归方程进行估计和预测,53,h,1. 预测（forecast） （给定X值，估计Y）第,一、统计预测,利用回归方程进行统计预测（prediction）是回归分析最重要的应用。所谓预测就是将预报因子（自变量,X,）代入回归方程对预报量进行估计。,(一),Y,的总体均数的置信区间,(二) 个体,Y,值的预测区间,54,h,一、统计预测利用回归方程进行统计预测（prediction）,(一),Y,的总体均数的置信区间,给定X=Xp时，Y的总体均数 的点估计值为;,Y的总体均数的点估计值因样本而异，存在抽样误差,，,反映其抽样误差大小的标准误：,（1）,当同时考虑X的所有可能取值时，Y的总体均数的点估计值就是,根据样本算得的回归直线：,55,h,(一) Y的总体均数的置信区间给定X=Xp时，Y的总体均数,（2）,给定某一X值时可以算出所对应的总体均数的置信区间，当同时考虑X的所有可能取值所对应的总体均数的置信区间时，其1- 置信区间的上下限连起来形成一个,弧形区带,，称为回归直线的,1-置信带,。,在直角坐标系表示一条中间窄、两端宽的带子。,56,h,（2）给定某一X值时可以算出所对应的总体均数的置信区间，当同,1-置信带的意义：,在满足线性回归的假设条件下，可以认为真实的回归直线落在两条弧形曲线所形成的区带内，置信度为1-,57,h,1-置信带的意义： 在满足线性回归的假设,表示可能的总体回归线，它们均落在虚线所确定的置信带内。,上下两侧弧形虚线为总体回归线的,1- 置信区带。,58,h,表示可能的总体回归线，它们均落在虚线所确定的置信带内。上下两,二、个体Y值的预测区间,总体中，当,X,p,为某一固定值时，个体,Y,值围绕着对应于,X,p,值的 波动，,所谓预测就是把预报因子（自变量X）代入回归方程对总体中预报量（应变量Y）的个体值进行估计。,59,h,二、个体Y值的预测区间总体中，当Xp为某一固定值时，个体Y,准差为：,（1）,个体Y值的1-,预测区间为：,(2),对应于所有,X,值的,Y,的预测区间，以相应的,X,为横坐标，,Y,为纵坐标，将预测区间的上下限分别连起来形成的两条弧形线间的区域，称为,Y,值的预测带。见图12-6中离回归直线较远的虚线带。,可见，在相同置信度下，个体值预测带的曲线要比回归线置信带的曲线离回归直线更远。,60,h,准差为：（1）个体Y值的1- 预测区间为：(2)对应于,61,h,61h,可信区间与预测区间的区别：,给定X=X,0,时，相应的Y的均数的可信区间与其个体Y值的预测区间的含义是不同的。,可信区间,：表示在固定的X,0,处，如果反复抽样100次，可算出100个相应的总体均数的可信区间，平均有100X(1-)可信区间包含总体均数；,预测区间,：表示一个预测值的取值范围，即预测100个个体值中平均有100X(1-)个个体值在求出的范围内。,62,h,可信区间与预测区间的区别：给定X=X0时，相应的Y的均数的可,二、统计控制,统计控制（statistical control）是利用回归方程进行逆估计，即若要求因变量,Y,在一定数值范围内变化，可以通过控制自变量,X,的取值来实现。,63,h,二、统计控制 统计控制（statistical co,第三节 残差分析,残差定义：,观测值与估计值（回归模型拟合值）之差。,意义：,（1）反映模型与数据拟合优劣的信息。,（2）识别异常点。,符号表示：,64,h,第三节 残差分析残差定义：符号表示：64h,对于例12-1,，,第一点的残差为：,同样可以算出各点的残差，将各点的残差减去其均数，除以其标准差，可得,标准化残差,。,构成的散点图，这类散点图统称标准化残差图。如：,=4175.64220.784= - 45.184,65,h,对于例12-1，第一点的残差为：同样可以算出各点的残差，将各,图12-7 基础代谢依体重数据回归的标准化残差图,66,h,图12-7 基础代谢依体重数据回归的标准化残差图66h,离群点的判断,1.当标准化残差图中散点的分布，绝大部分在,2倍标准差之间，在以0参考线的上下随机且均匀地散布时，可以认为模型与数据拟合得较好；,2.一般认为在,3标准差以外区域出现的点所对应的原始数据为离群点；,3.在,2标准差以外、,3标准差以内区域出现的点所对应的原始数据,可能,为离群点。,67,h,离群点的判断1.当标准化残差图中散点的分布，绝大部分在2倍,图a、b中散点的分布呈扩张或收缩的喇叭型，,表明误差的方差随着,Y,的增大而增大或减小，,表明误差不满足方差齐性；,a,b,c,d,e,f,图c中散点呈弯曲的点带形状，,显示存在非线性关系；,图d中散点呈线性趋势的点带形状，,表明可能漏掉了另外的自变量,图e,显示在,3,倍标准差以外,有一个离群点，而在,2,倍标准差,和,3,倍标准差之间有三个可疑值,图f显示模型恰当,68,h,图a、b中散点的分布呈扩张或收缩的喇叭型，abcdef图c中,第四节 非线性回归,在医学科研实践中，两个连续型变量间并非都呈现线性关系 。,如：药物在体内的浓度与时间的关系、细菌在溶液中繁殖数量与时间的关系、放射性同位素随时间而衰减的关系等都属于非线性关系。,一、通过自变量的变换实现线性化,69,h,第四节 非线性回归 在医学科研实践中，两个连续型变量,图12,-,9 1995年中国022岁居民身高均数随年龄的变化情况,70,h,图12-9 1995年中国022岁居民身高均数随年龄的变,非线性关系的回归模型的建立：,非线性回归(non-linear regression),或称曲线拟合（curve fitting）,71,h,非线性关系的回归模型的建立：非线性回归(non-linear,一、非线性回归分析的基本策略,首先绘制两个变量的散点图，观察点的分布趋势，根据分布趋势的形状，可选择如下不同的分析过程：,1. 曲线直线化（linearization）,当散点分布的形状接近某些常见的函数曲线时，我们可以尝试采取变量变换的方法，使变换后的两个变量之间呈直线关系（通过散点图判断）。求出直线回归方程后，再将方程中的变量还原，便得到曲线回归方程。,2. 非线性回归,当不能通过变量变换的方法使曲线直线化或直接进行曲线拟合时，需利用非线性最小二乘估计的原则，采用迭代计算方法获得非线性回归方程。,72,h,一、非线性回归分析的基本策略首先绘制两个变量的散点图，观察点,曲线直线化的一般步骤为：,1. 绘制原始数据,Y,与,X,的散点图，观察散点分布形态,类似于何种常用函数类型；,2. 按照所选定的函数进行适宜的变量变换，得到,X,与,Y,；,3. 绘制变换后数据,Y,与,X,的散点图，观察散点分布,形态是否呈直线趋势，从而确定曲线类型，否则,重复1、2步直至满足散点分布呈直线趋势；,4. 作,Y,关于,X,的线性回归方程并进行假设检验；,5. 根据第2步的变量变换式进行反变换，得到原始,数据,Y,与,X,的曲线方程。,73,h,曲线直线化的一般步骤为：1. 绘制原始数据Y与X的散点图，观,例12,-,6,某研究者测得某女童19月的身高数据，如表12,-,4所示。试用合适的回归模型描述该月龄段女童的身高随时间变化的规律。,74,h,例12-6某研究者测得某女童19月的身高数据，如表12-4,图12-10 某女童19月的身高与时间的散点图,图12-11 身高与取对数的时间的散点图,75,h,图12-10 某女童19月的身高与时间的散点图 图12-,76,h,76h,分别拟合三种不同的回归模型的结果，发现：在所拟合的三种模型中，以X对数函数回归的效果最佳。,因为该模型拟合的残差均方最小，多重平方相关系数最大。,77,h,分别拟合三种不同的回归模型的结果，发现：在所拟合的三种模型中,78,h,78h,79,h,79h,直线相关和回归应用注意的事项：,80,h,直线相关和回归应用注意的事项：80h,1、根据分析目的选择变量及统计方法,直线相关,用于说明两变量之间直线关系的方向和密切程度，X和Y没有主次之分；,直线回归,更进一步地用于定量刻画应变量Y队自变量X在数值上的依存关系。根据专业要求定应变量，可以把易于精确测量的变量作为X，另一个随机变量作为Y,如用身高估计体表面积。,81,h,1、根据分析目的选择变量及统计方法直线相关用于说明两变量之间,2、进行相关、回归分析前应作散点图,直线相关分析要求X、Y服从双变量正态分布。直线回归要求至少对于每个X相应的Y要服从正态分布，x可以是服从正态分布的随机变量也可以是能精确测量和严格控制的非随机变量。,散点图可以考察数据是否满足这一分布条件较为直观的方法。,82,h,2、进行相关、回归分析前应作散点图直线相关分析要求X、Y服从,如果图中发现有明显偏离主体数据的观测，称为异常点。对异常点的识别和处理要从专业知识和现有数据量方面来考虑。只有认真核对原始数据并检查其产生过程是过失误差，或者通过重复测定确定是抽样误差造成的偶然结果，才可以谨慎地剔出或采用其他估计方法。,83,h,如果图中发现有明显偏离主体数据的观测，称为异常点。对异常点的,3 用残差图考察数据是否符合模型假设条件,对于线性回归模型通常采用最小二乘法来估计回归系数，并在此基础上作进一步判断,84,h,3 用残差图考察数据是否符合模型假设条件对于线性回归模型通常,直线回归与相关的区别与联系,区别：,资料：,回归,Y,正态随机变量，,X,为选定变量；,X,、,Y,服从双变量正态分布。,相关,2. 应用 ：,回归, 由一个变量值推算另一个变量值,相关, 只反映两变量间互依关系,3. 回归系数有单位,相关系数无单位,85,h,直线回归与相关的区别与联系区别：85h,方向一致：r与b 的正负号一致,假设检验等价：t,b,=t,r,用回归解释相关:决定系数,联系：,86,h,方向一致：r与b 的正负号一致用回归解释相关:决定系数联系：,SPSS回归分析,87,h,SPSS回归分析87h,1直线回归分析,数据文件：例11-1,数据格式：1个自变量“X”，一个 应变量“Y”,过程：将两组拆分，分别作回归分析,Analyze,Regression,linear,dependent ：Y,Independent：X（自变量）,88,h,1直线回归分析数据文件：例11-188h,Spend more time with your family and friends, eat your favorite foods, visit the places you love.,89,h,Spend more time with your fami,Thank you!,90,h,Thank you!90h,