曲线拟合的最小二乘法

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,曲线拟合的最小二乘法,2 什么是最小二乘法,3 最小二乘法的求法,1 曲线拟合的问题：,如果已知函数f(x)在若干点x,i,(i=1,2,n)处的值y,i,便可根据插值原理来建立插值多项式作为f(x)的近似。,但在科学实验和生产实践中，往往节点上的函数值是由实验或观测得到的数据，这些函数值不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点(x,i,y,i,),就会使曲线保留着一切测试误差。,此外,由实验或观测提供的数据个数往往很多,如果用插值法,势必得到次数较高的插值多项式，这样计算起来很烦琐，缺乏实用价值。,希望从给定的数据(x,i,y,i,)出发,在某个函数类中寻求一个近似函数,(x),来拟合这组数据。要求所得的近似曲线能最好的反映数据的基本趋势，如图所示。,一、问题的提法,二、目的,1 曲线拟合的问题,曲线拟合示意图,也就是求一条曲线,使数据点均在离此曲线的上方或下方不远处,它既能反映数据的总体分布,又不至于出现局部较大的波动,能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小.,三、方法,曲线拟合方法,四、曲线拟合的问题,设函数,y=f(x),在,m,个互异点的观测数据为,求一个简单的近似函数,(x),，使之“最好”地逼近,f(x),而不必满足插值原则。这时没必要取,(,x,i,)=,y,i,而要使,i,=,(,x,i,),y,i,总体上,尽可能地小。这种构造近似函数 的方法称为曲线拟合,称函数,y=(x),为,经验公式,或,拟合曲线,。,曲线拟合不要求近似曲线严格过所有的数据点，但使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到总体上尽可能地小。,若令,并称,为,残向量（残差）,。,用,去拟合,的好坏问题变成残量,i,的大小问题,一、基本概念：残差,2 什么是最小二乘法,常见做法：,使 最小,较复杂,使 最小,使 最小,“使,i,=,(,x,i,),y,i,尽可能地小”有不同的准则,最小二乘原则,二、残差的选取方法（原则）,三、最小二乘原则（方法）,1、定义：使“,偏差平方和最小,”的原则称为最小二乘原则。,2、定义:按照最小二乘原则选取拟合曲线的方法,称为,最小二乘法,。,本章主要讨论线性最小二乘问题，基本提法是：,在某个函数类,=,0,(x),1,(x),n,(x),来寻求一个函数,(x),。,是,待定常数,，,使其满足,3、线性最小二乘问题的提法,式中，是函数类,中任一函数。,满足上述关系式的函数,称为上述最小二乘问题,的,最小二乘解,。,问题转化为求待定系数,在实际问题中如何选择基函数是一个复杂的问题，一般要根据问题本身的性质来决定。那么通常可取的基函数有多项式、三角函数、指数函数、样条函数等。,如何求解最小二乘问题？,1、确定函数类（原则:根据实际问题与所给数据点的变化规律）;,2、求解方程：,有多元函数极值必要条件有,对任意函数h(x)和g(x)引入记号,3 最小二乘法的求法,一、求解的基本原理：极小值原理,二、定理（最小二乘解的存在唯一性定理）,三、特例：（代数多项式拟合）,如取,就得到代数多项式,例（P149）,例（P150）,四、应用举例,说明最小二乘法解决实际问题的具体步骤和某些技巧。,例1某种铝合金的含铝量为,x,(),其熔解温度为,y,（,0,C），由实验测得,x,与,y,地数据如下表左边的三列。试用最小二乘法建立,x,与,y,的经验公式。,解：1、将数据进行描图观察；,2、确定拟合曲线的形式。这里根据所描图形分析，拟合曲线接近于一直线，故可用,线性函数,进行拟合这组数据；,3、建立法方程组；,4、解法方程组；,5、检验拟合值与实测值之间的偏差（,均方误差和最大误差,）：,法方程组,对应的代数方程组：,解方程组得：,所得的经验公式：,可令,待定,例2：在某化学反应里，测得生成物浓度y（%）与时间t（min）的数据见表3-3，试用最小二乘法建立t与y之间的经验公式。,表3-3,t,1,2,3,4,5,6,7,8,y,4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,t,9,10,11,12,13,14,15,16,y,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60,解,：,将已知数据点描绘在坐标纸上，可以看出，拟合曲线y=(t)应具有下列特点：,（1）曲线随着t的增加而上升，但上升速度由快到慢。,（2）当t=0，反应尚未开始，即y=0；当t时，y趋于某一常数。故曲线应通过原点（或者当t0时以原点为极限点），且有一水平渐近线。,具有上述特点的曲线很多。选用不同的数学模型，可以获得不同的拟合曲线与经验式。,下面提供两种方案。,方案1,设想y=(t)是双曲线型的，并且具有下面的形式,在这里，我们通过变量替换将它转化为关于待定参数是线性函数。,将式改写成,于是，若引入新变量,则式就是,问题就归结为:求形如y=a+bt 的最小二乘解。,参照例1的做法，解法方程组,即得 a=80.6621，b=161.6822,代入式，得经验公式,方案2,设想y=(t)具有指数形式,(a0,b0),对上式两边取对数,此时若引入变量,并记A=lna,B=b,则上式就是,根据数据表，求形如,的最小二乘解。参照方案1，写出相应的法方程组并解之，得,A=,4.4807,B=,1.0567,于是,故得另一个经验公式,在以多项式作为拟合函数（曲线）时，最小二乘法的计算机实现步骤为右框图。,五、程序化,3.3.2,3.3.2,3.3.2,分析:,1,、实际问题的解决中测得的数据并不都是等精度、等地位的。显然，对于精度高、地位重的数据应该以足够的重视，在计算时，给以足够的、更大的权重，在这种情况下，求给定的数据的拟合曲线，,就要用加权最小二乘法。,2,、利用最小二乘法原则上解决了最小二乘法意义下的曲线拟合问题，但在实际问题的解决时，,n,往往很大，法方程组往往是病态的，因而给求解带来了一定的困难，为了解决这一问题，近年来，产生了一些新方法来克服这一困难，利用正交函数（正交多项式）作多项式的拟合。,小结,曲线拟合的最小二乘法的基本原理、具体的操作技巧；,利用最小二乘法作代数曲线（多项式函数：线性和抛物型）拟合的基本方法；,均方误差和最大偏差的计算。,注:可化为线性拟合的非线性拟合,有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理，对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。,下表列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系,表,曲线拟合方程 变换关系 变换后线性拟合方程,