资源描述
,欢迎进入数学课堂,回归分析,5.1概述回归分析研究变量与变量之间关系的数学方法。变量之间的关系:5.1.1确定性关系函数关系,经反复的精确试验或严格的数学推导得到。如S=vt。数学分析和物理学中的大多数公式属于这种类型。,到方差分析,实际问题中,绝大多数情况下,变量之间的关系不那么简单。如材料的抗拉强度与其硬度之间的关系;材料的性能与其化学成份之间等等。这些变量之间既存在着密切的关系,又不能由一个(或几个)变量(自变量)的数值精确地求出另一个变量(因变量)的数值,而是要通过试验和调查研究,才能确定它们之间的关系,如图5.1所示,虽然各组数据不是准确地服从f(x)关系,但y值总还是随x的增加而增加。我们称这类变量之间的关系为相关关系。,5.1.2相关关系,虽然各组数据不是准确地服从f(x)关系,但y值总还是随x的增加而变化。,5.1概述,回归分析的主要内容:应用数学的方法,对大量的测量数据进行处理,从而得出比较符合事物内部规律的数学表达式(数学模型)。,(5-1),待定常数,5.2最小二乘法原理假设x和y是具有某种相关关系的物理量,它们之间的关系可用下式给出:,5.2最小二乘法原理,同时测量x,y的数值,设有m对观测结果:,利用观测值,确定。设x,y关系的最佳形式为:,(5-2),(5-3),最佳估计值,如不存在测量误差,则:,(5-4),由于存在测量误差,因而式(5-3)与(5-4)不相重合,即有:,(5-5),残差误差的实测值,5.2最小二乘法原理,式(53)中的x变化时,y也随之变化。如果m对观测值中有比较多的y值落到曲线(51)上,则所得曲线就能较为满意地反映被测物理量之间的关系,y值同时出现的概率最大,则曲线(53)就是曲线(51)的最佳形式。如图5.1a所示。如果误差服从正态分布,则概率P(e1,e2,em)为:,(57),当P最大时,求得的曲线就应当是最佳形式。从图5-1a中可以看出,显然,此时下式应最小:,(56),即残差平方和最小,这就是最小二乘法原理的由来。,图5.1a,5.2最小二乘法原理,这里假定xi无误差。式(57)可以写成:,(58),S最小,就应有:,(59),即要求求解如下联立方程组:,(510),正规方程,最小二乘解。,5.3直线的回归,5.3.1一元直线回归分析对一元线性回归而言,就是配直线的问题,下面通过例题加以分析说明。,例5.1研究腐蚀时间与腐蚀深度两个变量之间的关系,可把腐蚀时间作为自变量x,把腐蚀深度作为因变量y,将试验数据记录在表5-1中。求出x,y之间的线性关系。,解:将表5-1中的(x,y)数据,在直角坐标系中对应地做出一系列的点,可得图5.2,这种图称之为散点图。,与x的关系大致呈直线关系,但并不是确定性的关系,而是一种相关关系:,回归系数,(511),最佳估计值应使其残差平方和最小,残差为:,(512),图52、表51,表5-1试验数据,.,5.3.1一元直线回归分析,其平方和为:,(513),平方和最小,即:,(514),得正规方程组:,(515),5.3.1一元直线回归分析,令平均值为:,(516),由511得:,(517)(518),由式(515)得:,5.3.1一元直线回归分析,(519),式中,(520),由式(5-18)和式(5-19)可以求得回归直线方程式中的常数a及回归系数b。,令,5-21,便可得到回归系数的另一种表达式:,5-52,的乘积和;,上述回归直线的具体计算,通常都是列表进行的,本节的示例,具体计算见表5-2。,完成表5-2的计算,就可得到回归直线方程:,5-23,1)先把数据在Excel中成列输入到电子表格中;2)全部选择所有数据;3)点击图表向导快捷按钮,按提示一步一步建立散点图;,5.3.2利用微软公司的电子表格(MicrosoftExcel)在计算机中进行线性回归的方法1,4)建立好散点图后,用鼠标点到图上散点的位置,单击鼠标左键选中所有的散点,然后单击鼠标右键,出现一个对话框,点击左键选择添加趋势线,出现另一个对话框,在对话框中选择某些功能,回归直线方程就会出现在图上的某一位置。,2.3.2方差分析,由x预报,精确度如何?用方差分析解决这一问题。残差可表示如下:,试验得到的数据,回归直线对应的数据,上式可改写成:,(524),移项得:,两端平方求和得:,(525),可以证明此项为零,故得:,上式中三项平方和的意义如下:,代表在试验范围内,观测值yi总的波动情况,称此为总平方和。,代表x变化所引起的y值变化大小的量,即yi波动中,可以通过回归方程计算出来的那一部分,称之为回归平方和。,上述三个平方和之间的关系,可以用图5.14表示出来。总平方和可以分解成两部分,回归平方和与残差平方和。,是残差平方和,表示了回归方程的拟合误差,即观测值yi偏离回归值的大小。这一部分不能通过回归方程计算出来,它是yi波动中与x无关的部分。,由图中可以看出,如果残差平方和很小,则回归平方和总平方和将接近于1。这时,所有的观测点都靠近或落在回归线上,这就表明回归直线的精度较高。,残差平方和是排除了x对y的线性影响后的剩余部分,y值随机波动程度的大小,用它来估计误差。产生原因:包括随机误差、那些影响很小但尚未考虑的因素。自由度:f总=f回+f残f总=m-1f回=1f残=f总f回=m-2,方差:残差平方和除以它的自由度:,标准偏差估算值:,(529),用S衡量随机因素对y的影响。回归方程可作如下预报:,将例5.1一元直线回归的方差分析可归纳在表5-3中。,回归方程可改写为:,5.3.4相关性检验用一个数量性的指标,来衡量两个变量之间线性相关关系的密切程度相关系数r。,回归平方和,总平方和,(5-32),r,1时,说明标准误差很小(试验点与回归点几乎吻合),回归方程才有意义。通常0r1。,r取值不同时的散点分布情况示于图5.15中,具体分析如下:,(1)r=0时。此时b=0,即按最小二乘法确定的回归直线平行于x轴,这说明y的变化与x无关。故x与y之间没有线性关系。通常,散点的分布是完全不规则的,如图5.15(a)所示。(2)0r1。这时,x与y之间存在着一定的线性关系。当r0时b0,散点分布有随x增加y增加的趋势,此时称x与y是正相关,如图5.15(b)所示。当r0时b0,散点图呈y随x增加而减小的趋势,此时称x与y为负相关,如图5.15(c)所示。当r的绝对值比较大时,散点远离回归直线较为分散;当r的绝对值较大时,散点分布就靠近直线。(3)r=1。所有的点都在一条直线上,即散点都落在回归直线上。此时,称x与y完全性相关。实际上,此时x与y之间有确定性的线性关系。如图5.15(d)所示。,图5.15(a)x,图5.15(b)x,图5.15(c)x,图5.15(d)x,图5.15(e)x,从上述讨论可以看出,相关系数r表示两个随机变量x与y之间线性相关的密切程度。r越大,愈接近于1,x与y之间的线性相关也就愈密切。但必须指出,相关系数r只表示线性相关的密切程度,当r很小,甚至等于零时,并不一定说明x与y之间就不存在其它关系。如图515(e)所示,虽然r=0,但从散点分布看,x与y之间存在着明显的曲线关系,只不过这种关系不是线性关系罢了。相关系数的绝对值究竟多大才能认为两个变量是相关的呢?或回归方程才有意义呢?F检验:假设:H0:b=0,F为:,(534),可见r检验与F检验的作用是一致的,只用一种即可。,可查表得出Fa=(1,m2),当:FF0.01特别显著;F0.01FF0.05时,显著;F0.05FF0.10时,较显著;FF0.10时,不显著。,(1)先把数据在Excel中成列输入到电子表格中;(2)点击下拉菜单的“工具”按钮,鼠标箭头移动到“数据分析”项下,点击左键,出现数据分析对话框,在对话框中选择“回归”,点击“确定”按钮,出现回归对话框,按对话框中的提示,选择对话框中的某些功能,即可得出与直线回归有关的很多参数。(3)利用计算出的参数,即可写出回归方程。,5.3.5利用Excel在计算机中进行线性回归的方法2,5.4曲线回归,在实际问题中,变量之间常常不是直线关系。这时,通常是选配一条比较接近的曲线,通过变量变换把非线性方程加以线性化,然后对线性化的方程应用最小乘法求解回归方程。最小二乘法的一个前提条件是函数y=f(x)的具体形式为已知,即要求首先确定x与y之间内在关系的函数类型。函数的形式可能是各种各样的,具体形式的确定或假设,一般有下述两个途径:一是根据有关的物理知识,确定两个变量之间的函数类型;二是把观测数据划在坐标纸上,将散点图与已知函数曲线对比,选取最接近散点分布的曲线公式进行试算。常见的一些非线性函数及其线性化方法如下。,5.4.1曲线回归,(1)双曲线,型,见图5.23。,(2)指数曲线,见图5.24。,(3)指数曲线,见图5.25。,(4)幂函数曲线,见图5.26。,图5.23(a)双曲线,图5.23(b)双曲线,图5.24(a)指数曲线,图5.24(b)指数曲线,图5.25(a)指数曲线,图5.25(b)指数曲线,图5.26(a)幂函数曲线,0b1,b=1,图5.26(b)幂函数曲线,b1,b=1,10,图5.29(b)对数抛物线,b0,c0,如上所述,许多曲线都可以通过变换化为直线,可以按直线拟合的办法来处理。必须注意!所配曲线的回归中,r、S、F等的计算稍有不同。u、v等仅仅是为了变量变换,使曲线方程变为直线方程,然而要求的是所配曲线与观测数据拟合较好,所以计算r、S、F等时,应首先根据已建立的回归方程,用xi依次代入,得到yi后再计算残差平方和及总平方和,于是:,(536),(537),(538),下面举例说明曲线回归的一般计算方法。例5.2炼钢厂出钢用钢包在使用过程中,由于钢液及炉渣对耐火材料的浸蚀,其容积不断增大。钢包的容积(用盛满钢水的重量kg表示)与相应的使用次数列于表5-4中。求:x、y之间的关系式:,表5-4试验数据,解:首先按实测数据做散点图,如图5.30所示。由图可见,最初容积增加很快,以后减慢并趋于稳定。根据这个特点,选用双曲线:,(539),表示容积y与使用次数x的关系。,(5-40),对新变量u、v而言,式(5-40)是一个直线方程,因而可用最小二乘法进行拟合计算,求出回归系数b和常数项a。计算步骤如下:(1)根据表5-4中的数据,计算出v、v2、u、u2、uv和回归系数b及常数项a列于表5-5中。,(2)得出变换后的回归直线方程式为:,变换回原始曲线方程为:,将原始数据带入回归方程式(5-42)中,计算标准偏差S和相关系数R,计算结果见表5-6所示。,由表5-6得出的参数可写出最后的回归曲线方程式为:,本例应用最小二乘法,虽然使用双曲线拟合,在计算过程中使残差平方和达到了最小,但这并不足以说明,所配双曲线是对表5-4中数据的最佳拟合曲线。因而在配曲线时,最好用不同的函数类型计算后再进行比较,选取其中最优者,即选取相关系数R为最大的曲线。此外,在曲线拟合时也可采用分段拟合的方法,即在不同的自变量区间内配以不同的曲线来进行拟合。下面我们采用计算机处理方法,用其它类型的函数进行回归拟合试一试,看会得出什么样的结果?,利用Excel对x、y的数据作散点图,直接作出回归曲线。第一步:在Excel电子表格中,按列(行)输入x与y的试验数据。第二步:对x与y的试验数据作出散点图。第三步:在图中选定散点的数据,做多项式的趋势线,即得到相应的回归曲线。,5.4.2用Excel电子表格软件进行曲线回归的方法,5.4.2.1方法1,5.4.2.2方法2,利用Excel对x、y的数据求出所有的回归系数及方差分析数据。第一步:在Excel电子表格中,按列(行)输入x与y的试验数据。第二步:对x数据进行格式化复制x2x8。第三步:在表中选定所有xx8数据,选择“工具”下拉菜单“数据分析”,按提示进行操作,即可得出全部计算分析数据。,5.5多元回归,5.5.1基本概念上面讨论的是只有两个变量的回归问题,其中一个是自变量,另一个是因变量。但在大多数情况下,自变量不是一个而是多个,称这类问题为多元回归问题。多元回归中最简单且最基本的是多元线性回归。如自变量xi(i=1,2,G),进行m次试验,所得的数据可以写成两个数组,即两个矩阵:,显然,多元线性统计模型是:,(5-45),多元线性回归分析原理,与一元线性回归分析原理完全相同只是计算上复杂得多。但是用计算机来进行计算工作量与一元线性回归相比,复杂程度并不大。根据最小二乘法,应使残差:,试验值,回归值,最小,下面我们通过例题来说明如何进行多元线性回归。,例5.3,某种水泥在凝固时放出的热量y(J/g)与水泥中下列四种化学成分的含量有关:x13CaOSi2O3的含量,%x22CaOSiO2的含量,%x33CaOAl2O3的含量,%x44CaOAl2O3Fe2O3的含量,%原始试验数据如表5-7所示:,求解步骤如下:,用Excel电子表格,点击下拉菜单“工具”栏,点击“数据分析”项,选择“回归”项,按回归对话框中的提示,进行选择操作,即可得出全部的回归系数、相关系数、标准偏差等数据。,根据计算出的回归系数写出回归方程。,完,5.5.3多元曲线回归,多元线性回归还可以扩展到更为普遍的情况。假定有:,(5-54),式中,是x的已知函数,不含有未知参数c,则显然对待定参数c而言,该式仍为线性函数。,如下面函数式的格式就是此类函数的一例:,(5-55),一般,常用的统计数学模型为G1阶多项式:,(5-56),任何函数至少在一个比较小的范围内可以用多项式任意逼近。因此,在比较复杂的实际问题中,往往不管y与各因素的关系如何,而采用多项式进行回归。可见,多项式回归在回归问题中占有特殊的地位。,方法步骤如下:,将数据成列输入到Excel电子表格中,根据x列的数据分别计算x2、lnx、1/x、(lnx)2。按顺序排列于x列的右则。,点击下拉菜单的“工具”项,点击“数据分析”。,在数据分析对话框中,选取“回归”项,点击确定,出现回归对话框。,按对话框中的提示进行操作,即可得出多项式回归曲线中各项中的系数。然后按x,x2、lnx、1/x、(lnx)2的对应关系代入方程中即得出回归曲线的多项式方程。,同学们,来学校和回家的路上要注意安全,同学们,来学校和回家的路上要注意安全,
展开阅读全文