资源描述
,欢迎进入数学课堂,回归分析,5.1概述回归分析研究变量与变量之间关系的数学方法。变量之间的关系：5.1.1确定性关系函数关系，经反复的精确试验或严格的数学推导得到。如S=vt。数学分析和物理学中的大多数公式属于这种类型。,到方差分析,实际问题中，绝大多数情况下，变量之间的关系不那么简单。如材料的抗拉强度与其硬度之间的关系；材料的性能与其化学成份之间等等。这些变量之间既存在着密切的关系，又不能由一个（或几个）变量（自变量）的数值精确地求出另一个变量（因变量）的数值，而是要通过试验和调查研究，才能确定它们之间的关系，如图5.1所示，虽然各组数据不是准确地服从f(x)关系，但y值总还是随x的增加而增加。我们称这类变量之间的关系为相关关系。,5.1.2相关关系,虽然各组数据不是准确地服从f(x)关系，但y值总还是随x的增加而变化。,5.1概述,回归分析的主要内容：应用数学的方法，对大量的测量数据进行处理，从而得出比较符合事物内部规律的数学表达式（数学模型）。,（5-1）,待定常数,5.2最小二乘法原理假设x和y是具有某种相关关系的物理量，它们之间的关系可用下式给出：,5.2最小二乘法原理,同时测量x，y的数值，设有m对观测结果：,利用观测值，确定。设x，y关系的最佳形式为：,（5-2）,（5-3）,最佳估计值,如不存在测量误差，则：,（5-4）,由于存在测量误差，因而式（5-3）与（5-4）不相重合，即有：,（5-5）,残差误差的实测值,5.2最小二乘法原理,式（53）中的x变化时，y也随之变化。如果m对观测值中有比较多的y值落到曲线（51）上，则所得曲线就能较为满意地反映被测物理量之间的关系，y值同时出现的概率最大，则曲线（53）就是曲线（51）的最佳形式。如图5.1a所示。如果误差服从正态分布，则概率P(e1,e2,em)为：,（57）,当P最大时，求得的曲线就应当是最佳形式。从图5-1a中可以看出，显然，此时下式应最小：,（56）,即残差平方和最小，这就是最小二乘法原理的由来。,图5.1a,5.2最小二乘法原理,这里假定xi无误差。式（57）可以写成：,（58）,S最小，就应有：,（59）,即要求求解如下联立方程组：,（510）,正规方程，最小二乘解。,5.3直线的回归,5.3.1一元直线回归分析对一元线性回归而言，就是配直线的问题，下面通过例题加以分析说明。,例5.1研究腐蚀时间与腐蚀深度两个变量之间的关系，可把腐蚀时间作为自变量x，把腐蚀深度作为因变量y，将试验数据记录在表5-1中。求出x，y之间的线性关系。,解：将表5-1中的(x,y)数据，在直角坐标系中对应地做出一系列的点，可得图5.2，这种图称之为散点图。,与x的关系大致呈直线关系，但并不是确定性的关系，而是一种相关关系：,回归系数,（511）,最佳估计值应使其残差平方和最小，残差为：,（512）,图52、表51,表5-1试验数据,.,5.3.1一元直线回归分析,其平方和为：,（513）,平方和最小，即：,（514）,得正规方程组：,（515）,5.3.1一元直线回归分析,令平均值为：,（516）,由511得：,（517）（518）,由式（515）得：,5.3.1一元直线回归分析,（519）,式中,（520）,由式(5-18)和式(5-19)可以求得回归直线方程式中的常数a及回归系数b。,令,5-21,便可得到回归系数的另一种表达式：,5-52,的乘积和；,上述回归直线的具体计算，通常都是列表进行的，本节的示例，具体计算见表5-2。,完成表5-2的计算，就可得到回归直线方程：,5-23,1）先把数据在Excel中成列输入到电子表格中；2）全部选择所有数据；3）点击图表向导快捷按钮，按提示一步一步建立散点图；,5.3.2利用微软公司的电子表格（MicrosoftExcel）在计算机中进行线性回归的方法1,4）建立好散点图后，用鼠标点到图上散点的位置，单击鼠标左键选中所有的散点，然后单击鼠标右键，出现一个对话框，点击左键选择添加趋势线，出现另一个对话框，在对话框中选择某些功能，回归直线方程就会出现在图上的某一位置。,2.3.2方差分析,由x预报，精确度如何？用方差分析解决这一问题。残差可表示如下：,试验得到的数据,回归直线对应的数据,上式可改写成：,（524）,移项得：,两端平方求和得：,（525）,可以证明此项为零，故得：,上式中三项平方和的意义如下：,代表在试验范围内，观测值yi总的波动情况，称此为总平方和。,代表x变化所引起的y值变化大小的量，即yi波动中，可以通过回归方程计算出来的那一部分，称之为回归平方和。,上述三个平方和之间的关系，可以用图5.14表示出来。总平方和可以分解成两部分，回归平方和与残差平方和。,是残差平方和，表示了回归方程的拟合误差，即观测值yi偏离回归值的大小。这一部分不能通过回归方程计算出来，它是yi波动中与x无关的部分。,由图中可以看出，如果残差平方和很小，则回归平方和总平方和将接近于1。这时，所有的观测点都靠近或落在回归线上，这就表明回归直线的精度较高。,残差平方和是排除了x对y的线性影响后的剩余部分，y值随机波动程度的大小，用它来估计误差。产生原因：包括随机误差、那些影响很小但尚未考虑的因素。自由度：f总=f回+f残f总=m-1f回=1f残=f总f回=m-2,方差：残差平方和除以它的自由度：,标准偏差估算值：,（529）,用S衡量随机因素对y的影响。回归方程可作如下预报：,将例5.1一元直线回归的方差分析可归纳在表5-3中。,回归方程可改写为：,5.3.4相关性检验用一个数量性的指标，来衡量两个变量之间线性相关关系的密切程度相关系数r。,回归平方和,总平方和,（5-32）,r,1时，说明标准误差很小（试验点与回归点几乎吻合），回归方程才有意义。通常0r1。,r取值不同时的散点分布情况示于图5.15中，具体分析如下：,（1）r=0时。此时b=0，即按最小二乘法确定的回归直线平行于x轴，这说明y的变化与x无关。故x与y之间没有线性关系。通常，散点的分布是完全不规则的，如图5.15（a）所示。（2）0r1。这时，x与y之间存在着一定的线性关系。当r0时b0，散点分布有随x增加y增加的趋势，此时称x与y是正相关，如图5.15（b）所示。当r0时b0，散点图呈y随x增加而减小的趋势，此时称x与y为负相关，如图5.15（c）所示。当r的绝对值比较大时，散点远离回归直线较为分散；当r的绝对值较大时，散点分布就靠近直线。（3）r=1。所有的点都在一条直线上，即散点都落在回归直线上。此时，称x与y完全性相关。实际上，此时x与y之间有确定性的线性关系。如图5.15（d）所示。,图5.15(a)x,图5.15(b)x,图5.15(c)x,图5.15(d)x,图5.15(e)x,从上述讨论可以看出，相关系数r表示两个随机变量x与y之间线性相关的密切程度。r越大，愈接近于1，x与y之间的线性相关也就愈密切。但必须指出，相关系数r只表示线性相关的密切程度，当r很小，甚至等于零时，并不一定说明x与y之间就不存在其它关系。如图515(e)所示，虽然r=0，但从散点分布看，x与y之间存在着明显的曲线关系，只不过这种关系不是线性关系罢了。相关系数的绝对值究竟多大才能认为两个变量是相关的呢？或回归方程才有意义呢？F检验：假设：H0：b=0，F为：,（534）,可见r检验与F检验的作用是一致的，只用一种即可。,可查表得出Fa=（1，m2），当：FF0.01特别显著；F0.01FF0.05时，显著；F0.05FF0.10时，较显著；FF0.10时，不显著。,（1）先把数据在Excel中成列输入到电子表格中；（2）点击下拉菜单的“工具”按钮，鼠标箭头移动到“数据分析”项下，点击左键，出现数据分析对话框，在对话框中选择“回归”，点击“确定”按钮，出现回归对话框，按对话框中的提示，选择对话框中的某些功能，即可得出与直线回归有关的很多参数。（3）利用计算出的参数，即可写出回归方程。,5.3.5利用Excel在计算机中进行线性回归的方法2,5.4曲线回归,在实际问题中，变量之间常常不是直线关系。这时，通常是选配一条比较接近的曲线，通过变量变换把非线性方程加以线性化，然后对线性化的方程应用最小乘法求解回归方程。最小二乘法的一个前提条件是函数y=f（x）的具体形式为已知，即要求首先确定x与y之间内在关系的函数类型。函数的形式可能是各种各样的，具体形式的确定或假设，一般有下述两个途径：一是根据有关的物理知识，确定两个变量之间的函数类型；二是把观测数据划在坐标纸上，将散点图与已知函数曲线对比，选取最接近散点分布的曲线公式进行试算。常见的一些非线性函数及其线性化方法如下。,5.4.1曲线回归,（1）双曲线，型，见图5.23。,（2）指数曲线，见图5.24。,（3）指数曲线，见图5.25。,（4）幂函数曲线，见图5.26。,图5.23(a)双曲线,图5.23(b)双曲线,图5.24(a)指数曲线,图5.24(b)指数曲线,图5.25(a)指数曲线,图5.25(b)指数曲线,图5.26(a)幂函数曲线,0b1,b=1,图5.26(b)幂函数曲线,b1,b=1,10,图5.29(b)对数抛物线,b0,c0,如上所述，许多曲线都可以通过变换化为直线，可以按直线拟合的办法来处理。必须注意！所配曲线的回归中，r、S、F等的计算稍有不同。u、v等仅仅是为了变量变换，使曲线方程变为直线方程，然而要求的是所配曲线与观测数据拟合较好，所以计算r、S、F等时，应首先根据已建立的回归方程，用xi依次代入，得到yi后再计算残差平方和及总平方和，于是：,（536）,（537）,（538）,下面举例说明曲线回归的一般计算方法。例5.2炼钢厂出钢用钢包在使用过程中，由于钢液及炉渣对耐火材料的浸蚀，其容积不断增大。钢包的容积（用盛满钢水的重量kg表示）与相应的使用次数列于表5-4中。求：x、y之间的关系式：,表5-4试验数据,解：首先按实测数据做散点图，如图5.30所示。由图可见，最初容积增加很快，以后减慢并趋于稳定。根据这个特点，选用双曲线：,(539）,表示容积y与使用次数x的关系。,（5-40）,对新变量u、v而言，式（5-40）是一个直线方程，因而可用最小二乘法进行拟合计算，求出回归系数b和常数项a。计算步骤如下：（1）根据表5-4中的数据，计算出v、v2、u、u2、uv和回归系数b及常数项a列于表5-5中。,(2)得出变换后的回归直线方程式为：,变换回原始曲线方程为：,将原始数据带入回归方程式(5-42)中，计算标准偏差S和相关系数R，计算结果见表5-6所示。,由表5-6得出的参数可写出最后的回归曲线方程式为：,本例应用最小二乘法，虽然使用双曲线拟合，在计算过程中使残差平方和达到了最小，但这并不足以说明，所配双曲线是对表5-4中数据的最佳拟合曲线。因而在配曲线时，最好用不同的函数类型计算后再进行比较，选取其中最优者，即选取相关系数R为最大的曲线。此外，在曲线拟合时也可采用分段拟合的方法，即在不同的自变量区间内配以不同的曲线来进行拟合。下面我们采用计算机处理方法，用其它类型的函数进行回归拟合试一试，看会得出什么样的结果？,利用Excel对x、y的数据作散点图，直接作出回归曲线。第一步:在Excel电子表格中，按列（行）输入x与y的试验数据。第二步：对x与y的试验数据作出散点图。第三步：在图中选定散点的数据，做多项式的趋势线，即得到相应的回归曲线。,5.4.2用Excel电子表格软件进行曲线回归的方法,5.4.2.1方法1,5.4.2.2方法2,利用Excel对x、y的数据求出所有的回归系数及方差分析数据。第一步:在Excel电子表格中，按列（行）输入x与y的试验数据。第二步：对x数据进行格式化复制x2x8。第三步：在表中选定所有xx8数据，选择“工具”下拉菜单“数据分析”，按提示进行操作，即可得出全部计算分析数据。,5.5多元回归,5.5.1基本概念上面讨论的是只有两个变量的回归问题，其中一个是自变量，另一个是因变量。但在大多数情况下，自变量不是一个而是多个，称这类问题为多元回归问题。多元回归中最简单且最基本的是多元线性回归。如自变量xi(i=1,2,G)，进行m次试验，所得的数据可以写成两个数组，即两个矩阵：,显然，多元线性统计模型是：,（5-45）,多元线性回归分析原理，与一元线性回归分析原理完全相同只是计算上复杂得多。但是用计算机来进行计算工作量与一元线性回归相比，复杂程度并不大。根据最小二乘法，应使残差：,试验值,回归值,最小,下面我们通过例题来说明如何进行多元线性回归。,例5.3,某种水泥在凝固时放出的热量y(J/g)与水泥中下列四种化学成分的含量有关：x13CaOSi2O3的含量，%x22CaOSiO2的含量，%x33CaOAl2O3的含量，%x44CaOAl2O3Fe2O3的含量，%原始试验数据如表5-7所示：,求解步骤如下：,用Excel电子表格,点击下拉菜单“工具”栏,点击“数据分析”项,选择“回归”项,按回归对话框中的提示，进行选择操作，即可得出全部的回归系数、相关系数、标准偏差等数据。,根据计算出的回归系数写出回归方程。,完,5.5.3多元曲线回归,多元线性回归还可以扩展到更为普遍的情况。假定有：,（5-54）,式中，是x的已知函数，不含有未知参数c，则显然对待定参数c而言，该式仍为线性函数。,如下面函数式的格式就是此类函数的一例：,(5-55),一般，常用的统计数学模型为G1阶多项式：,（5-56）,任何函数至少在一个比较小的范围内可以用多项式任意逼近。因此，在比较复杂的实际问题中，往往不管y与各因素的关系如何，而采用多项式进行回归。可见，多项式回归在回归问题中占有特殊的地位。,方法步骤如下：,将数据成列输入到Excel电子表格中,根据x列的数据分别计算x2、lnx、1/x、(lnx)2。按顺序排列于x列的右则。,点击下拉菜单的“工具”项，点击“数据分析”。,在数据分析对话框中，选取“回归”项，点击确定，出现回归对话框。,按对话框中的提示进行操作，即可得出多项式回归曲线中各项中的系数。然后按x,x2、lnx、1/x、(lnx)2的对应关系代入方程中即得出回归曲线的多项式方程。,同学们,来学校和回家的路上要注意安全,同学们,来学校和回家的路上要注意安全,
展开阅读全文