第九章回归分析课件

1第九章第九章 回归分析回归分析n 一元线性回归分析一元线性回归分析n 多元线性回归分析简介多元线性回归分析简介 n1第九章 回归分析 一元线性回归分析2 在现实问题中处于同一个过程中的一些变量往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两类.一类是确定性关系确定性关系，即数学上的函数关系.引引 言言 例如:n 在匀速直线运动中，当速度 给定时，路程 与 运动时间 的关系 .n 圆的面积 与半径 之间的关系 .n2 在现实问题中处于同一个过程中的一些变量往往是3 另一类是非确定性关系非确定性关系，又叫相关关系相关关系.例如:n 小麦亩产量 与施肥量 ，小麦品种 ，浇水量之间的关系.n3 另一类是非确定性关系，又叫相关关系.例如:小麦3变量之间的关系变量之间的关系确定性关系确定性关系相相 关关 关关 系系确定性关系确定性关系身高和体重身高和体重相关关系相关关系相关关系的特征是相关关系的特征是:变量之间的关系很难用一变量之间的关系很难用一种精确的方法表示出来种精确的方法表示出来.n变量之间的关系确定性关系相关关系确定性关系身高和体重相关关系4确定性关系确定性关系和和相关关系相关关系的联系的联系由于存在测量误差等原因由于存在测量误差等原因,确定性关系在实际确定性关系在实际问题中往往通过相关关系表示出来问题中往往通过相关关系表示出来;另一方面另一方面,当对当对事物内部规律了解得更加深刻时事物内部规律了解得更加深刻时,相关关系也有可相关关系也有可能转化为确定性关系能转化为确定性关系.回归分析回归分析处理变量之间的相关关系的一处理变量之间的相关关系的一种数学方法种数学方法,它是最常用的数理统计方法它是最常用的数理统计方法.线性回归分析线性回归分析非线性回归分析非线性回归分析回回归归分分析析一元线性回归分析一元线性回归分析多元线性回归分析多元线性回归分析n确定性关系和相关关系的联系由于存在测量误差等原因,确定性56n研究一个随机变量与一个（或几个）可控变量之间的相关关系的统计方法称为回归分析回归分析.n只有一个自变量的回归分析叫做一元回归分析一元回归分析n多于一个自变量的回归分析叫做多元回归分析多元回归分析n自变量与因变量呈直线相关的回归称为线性回归线性回归n自变量与因量不呈直线相关的回归称为非非线线性性回回归归n6研究一个随机变量与一个（或几个）可控变量之间的相关关系的统7 利用回归分析这种统计方法，可以从一个（或几个）可控变量的取值去估计作为因变量的随机变量的取值.具体地说，回归分析主要包括三个方面的内容：n 提供建立有相关关系的变量之间的数学关系式（通常称之为经验公式经验公式）的一般方法；n 判别所建立的经验公式是否有效，并从影响随 机变量的诸变量中判别哪些变量的影响是显著 的，哪些是不显著的；n 利用所得的经验公式进行预测和控制预测和控制.n7 利用回归分析这种统计方法，可以从一个（或几个）可控81 散点图与经验公式散点图与经验公式 在一元回归分析里，我们要考虑的是，随机变量 与一普通变量 之间的关系.对有一定联系的两个变量：与 ，在观测中得到若干对数据的基础上，用什么方法来获得这两个变量之间（对）的经验公式呢？为说明问题，先看一个例子.1 一元线性回归分析一元线性回归分析一一 一元线性回归模型一元线性回归模型n81 散点图与经验公式1 一元线性回归分析一 一元线例例1 在某种产品表面进行腐蚀刻线试验，得腐蚀时间在某种产品表面进行腐蚀刻线试验，得腐蚀时间 与腐与腐蚀深度蚀深度 相对应的一组数据如下表：相对应的一组数据如下表：时间5101520304050607090120深度610101316171923252946我们希望由此找出两个变量之间的关系式我们希望由此找出两个变量之间的关系式.n例1 在某种产品表面进行腐蚀刻线试验，得腐蚀时间 与腐蚀9分别对应到平面上的分别对应到平面上的1111个点（如图个点（如图9-19-1），并称这张图为），并称这张图为散点图散点图.n分别对应到平面上的11个点（如图9-1），并称这张图为散点图10 散点图给了我们很多启示散点图给了我们很多启示.首先，这些点虽然是杂乱的，首先，这些点虽然是杂乱的，但大体上分布在某条直线的周围但大体上分布在某条直线的周围.也就是说，腐蚀时间与腐也就是说，腐蚀时间与腐蚀深度大致成线性关系：蚀深度大致成线性关系：(1.1)这里这里,在在 上加上加“”是为了区别于是为了区别于 的实际值的实际值 .至此至此,在散点图的启示下在散点图的启示下,经验公式的形式已完全确经验公式的形式已完全确定定,即是线性的即是线性的.因此因此,只需要确定只需要确定 .通常通常 称为称为回归回归系数系数,关系式关系式 称为称为回归直线回归直线.n 散点图给了我们很多启示.首先，这些点虽然是杂乱11n第九章回归分析课件12一元线性回归问题一元线性回归问题建立回归模型建立回归模型一元线性回归模型一元线性回归模型n一元线性回归问题建立回归模型一元线性回归模型132 一元线性回归系数一元线性回归系数a,b的最小二乘估计的最小二乘估计 要求出回归直线要求出回归直线,只需求出只需求出 .从散点图来看从散点图来看,要求出要求出 是不困难的，在散点图上画一条直线是不困难的，在散点图上画一条直线,使得直线总的来使得直线总的来看最看最“接近接近”全部点，问题是如何将这种思想精确化和数全部点，问题是如何将这种思想精确化和数量化量化.设给定设给定 个不全相同的点个不全相同的点 ,对平面上任一条直线对平面上任一条直线我们用数量我们用数量 (1.3)来刻画点来刻画点 到直线到直线 的远近程度的远近程度.于是于是 (1.4)便定量地描述了直线距离这便定量地描述了直线距离这 个点的总的远近程度个点的总的远近程度.n2 一元线性回归系数a,b的最小二乘估计 要求出14 这个量是随着不同的直线而变化的这个量是随着不同的直线而变化的,也就是说也就是说,是随是随不同不同 而变化的而变化的,它是它是 的二元函数的二元函数,记为记为 (1.5)于是于是,要找一直线要找一直线,使得该直线总的来看最使得该直线总的来看最“接近接近”这个点的这个点的问问题题,就转化为求二元函数就转化为求二元函数 的最小值问题，由于是个平的最小值问题，由于是个平之和之和,所以求所以求 最小值点的方法习惯上称为最小值点的方法习惯上称为最小二乘法最小二乘法.n回归系数的最小二乘估计与最大似然估计有什么不同?n它们的结果是否相同?n 这个量是随着不同的直线而变化的,也就是说15 的最小值点,通常利用微积分中的极值原理,即解方程组整理得 正规方程组正规方程组n 的最小值点,通常利用微积分中的极值原理,整理16故正规方程组有唯一的一组解.解得的最小二乘估计值为n故正规方程组有唯一的一组解.解得的最小二乘估计值为17回归方程回归方程回归直线回归直线n回归方程回归直线18n第九章回归分析课件19例例2(续例续例1)设在例设在例1中的随机变量符合一元线性回归模型的中的随机变量符合一元线性回归模型的条件条件,求关于的经验回归方程求关于的经验回归方程.解:于是,可得的 估计值为n例2(续例1)设在例1中的随机变量符合一元线性回归模型的条20从而回归方程为从而回归方程为:3 参数参数 的估计的估计定理一定理一在一元线性回归模型中,所以,.n从而回归方程为:3 参数 的估计定理一在一元线性回归模21其中 ,表示观测数据 与回归直线上对应点 的纵坐标之差 的平方和.称为剩余平方和剩余平方和.称 为 处的残差残差，所以又称 为残差平方和残差平方和.说明说明,由定理一可知,的无偏估计为 .n其中 224 的分布的分布定理定理二二 在一元线性回归模型中,(1)(2)(3)(4)相互独立.n4 的分布定理二 在一元线性回归23三三 线性回归效果的显著性检验线性回归效果的显著性检验n下面介绍三种常用的检验方法,它们本质上是相同的.1 检验法检验法n三 线性回归效果的显著性检验下面介绍三种常用的检验方法,它们24给定显著性水平给定显著性水平 ,检验法则为检验法则为n若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;n给定显著性水平 ,检验法则为若 252 检验法检验法n可以证明当 为真时,n若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;给定显著性水平给定显著性水平 ,检验法则为检验法则为:n2 检验法可以证明当 为真时,若 263 相关系数相关系数 检验法检验法n若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;给定显著性水平给定显著性水平 ,检验法则为检验法则为:n3 相关系数 检验法若 ,则拒绝 27例例3 用用 检验法及相关系数检验法检验例检验法及相关系数检验法检验例1中的线性回归效中的线性回归效果是否显著果是否显著.(取取 )解解(1)用用 检验法检验检验法检验.由例由例1可知可知,所以拒绝所以拒绝 ,认为回归效果显著认为回归效果显著.n例3 用 检验法及相关系数检验法检验例1中的线性回归效果28(2)相关系数检验法相关系数检验法 所以拒绝所以拒绝 ,认为回归效果显著认为回归效果显著.同理可用同理可用 检验法检验法n(2)相关系数检验法 同理可用 检验法29四四 利用一元线性回归方程进行预测和控制利用一元线性回归方程进行预测和控制n所谓所谓预测预测，就是对固定，就是对固定 的的情况下预测的的情况下预测 的的观测值观测值.n所谓所谓控制控制，就是通过控制，就是通过控制 的值的值,以便把的以便把的 取值取值控制在指定的范围内控制在指定的范围内.预测（预报）与控制实际上是一个问题的预测（预报）与控制实际上是一个问题的两个方面，问题的一方面解决之后，另一两个方面，问题的一方面解决之后，另一方面也就随之解决了方面也就随之解决了.n四 利用一元线性回归方程进行预测和控制所谓预测，就是对固定 301 预测预测n 点预测点预测n 区间预测区间预测n1 预测 点预测31作为作为 的预测值的预测值,即即（2）区间预测）区间预测所谓区间预测就是求所谓区间预测就是求 的区间估计的区间估计.因为可以证明因为可以证明（1）点预测）点预测n作为 32所以所以,对于给定对于给定 的及置信度的及置信度 ,的预测区间即置信区间为的预测区间即置信区间为:n在线性回归确定后,影响预测精度的主要因素有哪些?n所以,对于给定 的及置信度 33例例4(例例1续续)讨论腐蚀深度的预测问题讨论腐蚀深度的预测问题.现测得腐蚀时间为现测得腐蚀时间为75秒秒,试求腐蚀深度的预测区间试求腐蚀深度的预测区间.()解解 根据例根据例2知回归方程为知回归方程为 ，把把 代入回归直线方程代入回归直线方程,得得n例4(例1续)讨论腐蚀深度的预测问题.现测得腐蚀时间为342 控制控制控制控制是预测的反问题,即要求 以概率 落于某区间 时,应控制 在什么范围.这相当于求出相应的 ,使得当 或 时,以概率 落于某区间 .这里,我们只讨论 很大的情形.令n2 控制控制是预测的反问题,即要求 以概率 35解出解出 ,得得n 当当 时时,控制区间为控制区间为 n 当当 时时,控制区间为控制区间为 n解出 ,得 当 时,36例例5(例例1续续)讨论腐蚀时间的控制问题讨论腐蚀时间的控制问题.若要求腐蚀深度在之若要求腐蚀深度在之 间间,问腐蚀时间应如何控制问腐蚀时间应如何控制?解 要求腐蚀深度在 之间,近似地有n即腐蚀时间应控制在n例5(例1续)讨论腐蚀时间的控制问题.若要求腐蚀深度在之37五五 可线性化的非线性回归问题可线性化的非线性回归问题在许多实际问题中，变量之间的关系可以不是线性相关关系，而是某种非线性相关关系.但在某些情况下,我们可以通过一些适当的变量变换,将变量间的关系化为线性的形式.下面通过例子来说明解决的方法.首先,介绍几种常见的可转化为一元线性回归的模型.n情形1.n情形2.n五 可线性化的非线性回归问题在许多实际问题中，变量之间的关系38身高身高143145146147149150153154腿长腿长8885889192939395身高身高155156157158159160162164腿长腿长969897969899100102练习练习1测得测得16名女子的身高和腿长如下名女子的身高和腿长如下(单位单位:cm):试研究这些数据之间的关系试研究这些数据之间的关系.n身高143145146147149150153154腿长8839练习练习2某工厂在分析产量与成本关系时某工厂在分析产量与成本关系时,选取十个生选取十个生产小组作样本产小组作样本,收集到如下数据收集到如下数据:产量产量x(千件千件)4042485565成本成本y(千元千元)150140152160150产量产量x(千件千件)7988100120140成本成本y(千元千元)162175165190185(1)求求 y 对对 x 的线性回归方程的线性回归方程 ax+b;(2)检验回归方程的显著性检验回归方程的显著性(检验水平为检验水平为 0.05);(3)求回归系数的求回归系数的 95%置信区间置信区间;(4)取取 x0=90,求求 y0 的预测值及的预测值及 95%的预测区间的预测区间.n练习2某工厂在分析产量与成本关系时,选取十个生产量x(千件402 2 多元线性回归分析简介多元线性回归分析简介n 多元线性回归模型多元线性回归模型n 多元线性回归模型回归系数多元线性回归模型回归系数 的估计的估计 n2 多元线性回归分析简介 多元线性回归模型41一一 多元线性回归模型多元线性回归模型n一 多元线性回归模型42多元线性回归模型多元线性回归模型n多元线性回归模型43用最小估二乘法估计参数用最小估二乘法估计参数.达到最小达到最小.二二 多元线性回归模型回归系数多元线性回归模型回归系数 的估计的估计 n用最小估二乘法估计参数.达到最小.二 多元线性回归模型回归系44化简可得化简可得n化简可得45正规方程组正规方程组n正规方程组46引入矩阵引入矩阵正规方程组的矩阵形式正规方程组的矩阵形式n引入矩阵正规方程组的矩阵形式47最最 小二乘估计小二乘估计P元经验线性回归方程元经验线性回归方程n最 小二乘估计P元经验线性回归方程48一元线性回归分析小结一元线性回归分析小结1.回归分析的任务回归分析的任务2.一元线性回归的步骤一元线性回归的步骤3.可化为一元线性回归的问题可化为一元线性回归的问题研究变量之间的相关关系研究变量之间的相关关系(1)推测回归函数推测回归函数;(2)建立回归模型建立回归模型;(3)估计未知参数估计未知参数;(4)进行假设检验进行假设检验;(5)预测与控制预测与控制.关键关键:选择适当的选择适当的变量代换变量代换.n一元线性回归分析小结1.回归分析的任务2.一元线性回归的步骤49(1)数学模型数学模型(2)线性回归方程线性回归方程4.一元线性回归一元线性回归n(1)数学模型(2)线性回归方程4.一元线性回归50(3)线性假设的显著性检验线性假设的显著性检验n(3)线性假设的显著性检验51(4)系数系数b的置信区间的置信区间n(4)系数b的置信区间52多元线性回归分析小结多元线性回归分析小结1.多元线性回归的数学模型多元线性回归的数学模型2.数学模型的分析与求解数学模型的分析与求解n多元线性回归分析小结1.多元线性回归的数学模型2.数学模型的533.MATLAB中回归分析的实现中回归分析的实现(1)多元线性回归多元线性回归b=regress(Y,X)(2)一元多项式回归一元多项式回归p,S=polyfit(x,y,m)(3)多元二项式回归多元二项式回归rstool(x,y,model,alpha)(4)逐步回归分析逐步回归分析stepwise(x,y,inmodel,alpha)n3.MATLAB中回归分析的实现(1)多元线性回归b=reg5455其它示例:定义定义 设随机试验下样本空间定理定理 设 为随机事件,则有.证明证明 可以由性质性质1 1.说明说明,注注等等思考思考练习练习n55其它示例:定义 设随机试验下样本空间定理 设 55