曲线拟合的最小二乘法

,3.2,.,曲线拟合的最小二乘法,如果已知函数,f,(,x,),在若干点,x,i,(,i,=1,2,n,),处的值,y,i,便可根据插值原理来建立插值多项式作为,f,(,x,),的近似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点(,x,i,y,i,),就会使曲线保留着一切测试误差。当个别数据的误差较大时,插值效果显然是不理想的。此外,由实验或观测提供的数据个数往往很多,如果用插值法,势必得到次数较高的插值多项式，这样计算起来很烦琐。,为此,我们希望从给定的数据(,x,i,y,i,),出发,构造一个近似函数 ,不要求函数 完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图,3.1,所示。,图,3.1,曲线拟合示意图,换句话说:求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求的曲线称为拟合曲线,它既能反映数据的总体分布,又不至于出现局部较大的波动,更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小,这就是最小二乘法。,与函数插值问题不同,曲线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。,在对给出的实验(或观测)数据,作曲线拟合时,怎样才算拟合得最好呢？一般希望各实验(或观测)数据与拟合曲线的偏差的平方和最小,这就是最小二乘原理。,两种逼近概念:,插值: 在节点处函数值相同.,拟合: 在数据点处误差平方和最小,函数插值是插值函数,P,(,x,),与被插函数,f,(,x,),在节点,处函数值相同,即 而曲线,拟合函数 不要求严格地通过所有数据点 ,也,就是说拟合函数 在,x,i,处的偏差(亦称残差）,不都严格地等于零。但是,为了使近似曲线能尽量反,映所给数据点的变化趋势,要求 按某种度量标准,最小。若记向量 ,即要求向量 的,某种范数 最小,如 的,1-,范数 或,-,范数,即,或,最小。为了便于计算、分析与应用，,通常要求的2-范数,即,为最小。这种要求误差（偏差）平方和最小的拟,合称为曲线拟合的最小二乘法。,（,1）,直线拟合,设已知数据点 ,分布大致为一条直线。作拟合直线 ,该直线不是通过所有的数据点 ,而是使偏差平方和,为最小，其中每组数据与拟合曲线的偏差为,根据最小二乘原理，应取 和 使 有极小,值，故 和 应满足下列条件：,即得如下正规方程组,(,3.1),例,3.21,设有某实验数据如下：,1 2 3 4,1.36 1.37 1.95 2.28,14.094 16.844 18.475 20.963,用最小二乘法求以上数据的拟合函数,解:把表中所给数据画在坐标纸上,将会看到数据点的分布可以用一条直线来近似地描述,设所求的,拟合直线为,记,x,1,=1.36,x,2,=1.37,x,3,=1.95,x,4,=2.28,y,1,=14.094,y,2,= 16.844,y,3,=18.475,y,4,=20.963,则正规方程组为,其中,将以上数据代入上式正规方程组,得,解得,即得拟合直线,（,2,）多项式拟合,有时所给数据点的分布并不一定近似地呈一条直,线,这时仍用直线拟合显然是不合适的,可用多项式拟合。对于给定的一组数据,寻求次数不超过,n (nn，,即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛盾方程组)，这时需要寻求方程组的一个“最近似”的解.,记 ,称使 ,即 最小的解 为方程组,Ax=b,的最小二乘解。,定理,是,Ax=b,的最小二乘解的充分必要条件为 是 的解.,证明:充分性,若存在,n,维向量 ,使,任取一,n,维向量 ,令 ,则 ,且,所以 是,Ax=b,的最小二乘解。,必要性:,r,的第,i,个分量为,记,由多元函数求极值的必要条件，可得,即,由线性代数知识知,上式写成矩阵形式为,它是关于的线性方程组,也就是我们所说的正规方程组或法方程组。可以证明如果,A,是列满秩的,则方程组（5.48）存在惟一解,（,5.48,）,例,3.24,求超定方程组,的最小二乘解,并求,误差平方和。,解:方程组写成矩阵形式为,正规方程组为,即,解得,此时,误差平方和为,我们已经讨论了最小二乘意义下的曲线拟合问题,由于方程比较简单,实际中应用广泛,特别是因为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近,因此用多项式作数据拟合,有它的特殊重要性。从而在许多实际问题中,不论具体函数关系如何,都可用多项式作近似拟合,但用多项式拟合时,当,n,较大时(,n,7),其法方程的系数矩阵的条件数一般较大,所以往往是病态的,因而给求解工作带来了困难。,本章小结,本章介绍的插值法和曲线拟合的最小二乘法都是实用性很强的方法。它们解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性，即利用已知的数据去寻求某个较为简单的函数,P,(,x,),来逼近,f,(,x,)。,插值法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的原则，以及构造近似函数的几种具体方法。其中插值法要求近似函数在已知的数据点必须与,f,(,x,),完全一致，曲线拟合法不要求点点一致而只须满足一定的整体逼近条件。,曲线拟合的最小二乘法是处理实验数据的常用方法。本章主要介绍了最小二乘法的基本原理和线性最小二乘问题的求解方法。多项式拟合是线性最小二乘拟合问题的一种特殊情况,其特点是拟合多项式形式简单,但当,n,较大时,法方程组往往是病态的。用离散正交多项式进行曲线拟合,不用解线性方程组,只需按递推式进行计算,避免了法方程组病态所造成的麻烦,并且当逼近次数增加一次时,只要在原基础上增加一项,使计算程序十分简单。关于非线性最小二乘曲线拟合问题,一般求解比较困难,但对一些特殊情形,可以转换为线性最小二乘拟合问题。在实际计算时,要选择合理的拟合多项式的次数,有时是十分困难的。一般可对数据作分析,例如在方格低上作草图,从草图中观察应作几次多项式精度较好。以选择最佳的拟合多项式的次数。,第二章作业,习题,P95: 16,16,题 散点图,