资源描述
3.1 3.1 问题的提出问题的提出函数解析式未知函数解析式未知,通过实验观测得到的一组数据通过实验观测得到的一组数据,即在某即在某个区间个区间a,ba,b上给出一系列点的函数值上给出一系列点的函数值 yi=f(xi)yi=f(xi)或者给出函数表或者给出函数表y=f(x)y=p(x)xx0 x1x2xnyy0y1y2yn 3.2.3.2.曲线拟合的最小二乘法曲线拟合的最小二乘法 如果已知函数如果已知函数f(x)f(x)在若干点在若干点xi(i=1,2,n)xi(i=1,2,n)处处的值的值yi,yi,便可根据插值原理来建立插值多项式作为便可根据插值原理来建立插值多项式作为f(x)f(x)的近似。但在科学实验和生产实践中，往往会的近似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据精确的，这些函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点似函数曲线精确无误地通过所有的点(xi,yi),(xi,yi),就会就会使曲线保留着一切测试误差。当个别数据的误差使曲线保留着一切测试误差。当个别数据的误差较大时较大时,插值效果显然是不理想的。此外插值效果显然是不理想的。此外,由实验或由实验或观测提供的数据个数往往很多观测提供的数据个数往往很多,如果用插值法如果用插值法,势必势必得到次数较高的插值多项式，这样计算起来很烦得到次数较高的插值多项式，这样计算起来很烦琐。琐。为此为此,我们希望从给定的数据我们希望从给定的数据(xi,yi)(xi,yi)出发出发,构造一构造一个近似函数个近似函数 ,不要求函数不要求函数 完全通过所有的完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本数据点，只要求所得的近似曲线能反映数据的基本趋势，如图趋势，如图3.13.1所示。所示。)(x)(x y o x 图图3.13.1曲线拟合示意图曲线拟合示意图 换句话说换句话说:求一条曲线求一条曲线,使数据点均在离此曲线的上方使数据点均在离此曲线的上方或下方不远处或下方不远处,所求的曲线称为拟合曲线所求的曲线称为拟合曲线,它既能反映它既能反映数据的总体分布数据的总体分布,又不至于出现局部较大的波动又不至于出现局部较大的波动,更能更能反映被逼近函数的特性反映被逼近函数的特性,使求得的逼近函数与已知函数使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小从总体上来说其偏差按某种方法度量达到最小,这就是这就是最小二乘法。最小二乘法。与函数插值问题不同与函数插值问题不同,曲线拟合不要求曲线通曲线拟合不要求曲线通过所有已知点过所有已知点,而是要求得到的近似函数能反映数而是要求得到的近似函数能反映数据的基本关系。在某种意义上据的基本关系。在某种意义上,曲线拟合更有实用曲线拟合更有实用价值。价值。在对给出的实验在对给出的实验(或观测或观测)数据数据作曲线拟合时作曲线拟合时,怎样才算拟合得最好呢？一般希望怎样才算拟合得最好呢？一般希望各实验各实验(或观测或观测)数据与拟合曲线的偏差的平方和数据与拟合曲线的偏差的平方和最小最小,这就是最小二乘原理。这就是最小二乘原理。两种逼近概念两种逼近概念:插值插值:在节点处函数值相同在节点处函数值相同.拟合拟合:在数据点处误差平方和最小在数据点处误差平方和最小),1,0)(,(niyxii 函数插值是插值函数函数插值是插值函数P(x)P(x)与被插函数与被插函数f(x)f(x)在节点在节点处函数值相同处函数值相同,即即 而曲线而曲线拟合函数拟合函数 不要求严格地通过所有数据点不要求严格地通过所有数据点 ,也也就是说拟合函数就是说拟合函数 在在xixi处的偏差处的偏差(亦称残差）亦称残差）不都严格地等于零。但是不都严格地等于零。但是,为了使近似曲线能尽量反为了使近似曲线能尽量反映所给数据点的变化趋势映所给数据点的变化趋势,要求要求 按某种度量标准按某种度量标准最小。若记向量最小。若记向量 ,即要求向量即要求向量 的的某种范数某种范数 最小最小,如如 的的1-1-范数范数 或或-范数范数即即 )()(iixfxP),1,0(ni)(x),(iiyx)(x)()(iiixfx),1,0(niiTne,10eee1eeniiiniixfxe001)()()()(maxmaxiiiiixfxe或或 最小。为了便于计算、分析与应用，最小。为了便于计算、分析与应用，通常要求的通常要求的2-2-范数范数 e212021022)()(niiiniixfxe200222)()(niiiniixfxe即即 为最小。这种要求误差偏向平方和最小的拟为最小。这种要求误差偏向平方和最小的拟合称为曲线拟合的最小二乘法。合称为曲线拟合的最小二乘法。（1直线拟合直线拟合设已知数据点设已知数据点,分布大致为一条直线。作拟分布大致为一条直线。作拟合直线合直线,该直线不是通过所有的数据点该直线不是通过所有的数据点,而是而是使偏差平方和使偏差平方和miyxii,2,1,xaaxy10)(iiyx,miiiyxaaaaF121010)(),(为最小，其中每组数据与拟合曲线的偏差为为最小，其中每组数据与拟合曲线的偏差为根据最小二乘原理，应取根据最小二乘原理，应取 和和 使使 有极小有极小值，故值，故 和和 应满足下列条件：应满足下列条件：iiiiyxaayxy10)(mi,2,10a1a),(10aaF1a0a0)(2),(0)(2),(110110110010imiiimiiixyxaaaaaFyxaaaaaF即得如下正规方程组即得如下正规方程组 miiimimiiimiimiiyxxaxayxama1110211110(3.1)例例3.21 3.21 设有某实验数据如下：设有某实验数据如下：1 2 1 2 3 43 4 1.36 1.37 1.36 1.37 1.95 2.281.95 2.28 14.094 16.844 14.094 16.844 18.475 20.96318.475 20.963iixiy 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数 解解:把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上,将会看将会看到数据点的分布可以用一条直线来近似地描述到数据点的分布可以用一条直线来近似地描述,设所求的设所求的 拟合直线为拟合直线为 记记x1=1.36,x2=1.37,x3=1.95 x4=2.28,y1 x1=1.36,x2=1.37,x3=1.95 x4=2.28,y1=14.094,y2=16.844,y3=18.475,y4=20.963=14.094,y2=16.844,y3=18.475,y4=20.963则正规方程组为则正规方程组为 xaaxy10)(4401114442011114iiiiiiiiiiiaaxyaxaxx y32.741iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 将以上数据代入上式正规方程组将以上数据代入上式正规方程组,得得12985.1328434.1332.7376.7032.741010aaaa0113.9374,7.46262aa解得解得 即得拟合直线即得拟合直线 xy4626.79374.3（2 2多项式拟合多项式拟合 有时所给数据点的分布并不一定近似地呈一有时所给数据点的分布并不一定近似地呈一条直条直线线,这时仍用直线拟合显然是不合适的这时仍用直线拟合显然是不合适的,可用多项可用多项式拟合。对于给定的一组数据式拟合。对于给定的一组数据寻求次数不超过寻求次数不超过n(nm)n(nm)的多项式，的多项式，,1,2,iixyim2012nnyaa xa xa x来拟合所给定的数据，与线性拟合类似，使偏差的来拟合所给定的数据，与线性拟合类似，使偏差的平方和平方和210()mnjijiijQya x为最小为最小 由于由于Q Q可以看作是关于可以看作是关于(j=0,1,2,n)(j=0,1,2,n)的多元函数的多元函数,故上述拟合多项式的构造问题可故上述拟合多项式的构造问题可归结为多元函数的极值问题。令归结为多元函数的极值问题。令210()mnjijiijQya x0,0,1,2,kQkna得得 10()0,0,1,mnjkijiiijya x xkn即有即有 0121011201niniiniiniiinnnniiniiia maxaxyaxaxaxx yaxaxaxx y 这是关于系数这是关于系数 的线性方程组，通常称为正的线性方程组，通常称为正规方程组。可以证明，正规方程组有惟一解。规方程组。可以证明，正规方程组有惟一解。ja(3.2)(3.2)例例3.22 3.22 设某实验数据如下：设某实验数据如下：1 2 3 1 2 3 4 5 64 5 6 0 1 2 0 1 2 3 4 53 4 5 5 2 1 5 2 1 1 2 31 2 3iixiy用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据 解：将已给数据点描在坐标系中，可以看出这些点解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为接近一条抛物线，因此设所求的多项式为 2210 xaxaay由法方程组由法方程组3.23.2）,经计算得经计算得 m=6,612616161461361261122,30,14,797,225,55,15iiiiiiiiiiiiiiiiyxyxyxxxx其法方程组为其法方程组为 122979225553022555151455156210210210aaaaaaaaa解之得解之得 5000.0,7857.2,7143.4210aaa25000.07857.27143.4xxy所求的多项式为所求的多项式为 （3一般曲线拟合的 最小二乘法的求法*0101*201110101:(mmn)()()().()(,.,)()min,:02()()0:2()()()0:nnmniiiimnkiikjiikmnmkiiikjjiikiyxxxxaaaayya aayaxxyaxxx 设近似方程为共有组数据且对函数 求偏导数并令其为零 可得得若引入记号11,()(),()mmiiijkjkjjiiifyxxx nk 0000100011011110101:,(0,1,.,),.,.,.,.,(),(),.(kjkjnnnnnnnnnfjnfffxxaaaa 则有可得矩阵可知当i0),(0,1,.,)()aniiixinxa线性无关时存在唯一解就是所求的拟合函数几种常见的数据拟合情况。图几种常见的数据拟合情况。图(a)(a)表示数据接近于表示数据接近于直线，故宜采用线性函数直线，故宜采用线性函数 拟合；图拟合；图(b)(b)数数据分布接近于抛物线。可采拟合；二次多项式据分布接近于抛物线。可采拟合；二次多项式 xaay102210 xaxaay拟合；拟合；y y O x O x(a)(a)(b)(b)图图(c)(c)的数据分布特点是开始曲线上升较快随后逐的数据分布特点是开始曲线上升较快随后逐渐变慢渐变慢,宜采用双曲线型函数宜采用双曲线型函数 或指数型函或指数型函数数 图图(d)(d)的数据分布特点是开始曲线下降快的数据分布特点是开始曲线下降快,随后逐渐变慢随后逐渐变慢,宜采用宜采用 或或 或或等数据拟合。等数据拟合。bxaxyxbaeybxaxy2bxaxybxaey y y O x O x(c)(d)例例3.13 3.13 设某实验数据如下设某实验数据如下:1 2 3 1 2 3 4 5 64 5 6 0 0.5 1 0 0.5 1 1.5 2 2.51.5 2 2.5 2.0 1.0 0.9 2.0 1.0 0.9 0.6 0.4 0.30.6 0.4 0.3iixiy用最小二乘法求拟合曲线用最小二乘法求拟合曲线 解解:将已给数据点描在坐标系中下图所示将已给数据点描在坐标系中下图所示,可以看出这些点可以看出这些点接近指数曲线接近指数曲线,因而可取指数函数因而可取指数函数作为拟合函数作为拟合函数.对函数对函数两边取对数得两边取对数得.令令 则就得到线性模型则就得到线性模型 bxaeybxaeybxaylnlnbaaa10,lnxaay10则正规方程组为则正规方程组为 6601116662011116lnlniiiiiiiiiiiaaxyaxaxxy其中其中 5.761iix75.13612iix043302.2ln61iiy714112.5ln61iiiyx将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得714112.575.135.7043302.25.761010aaaa解得解得 772282.0,562302.010aa由由 得得aaln000.5623021.754708,aaeeba1772282.01ab由由 得得于是得到拟合指数函数为于是得到拟合指数函数为 xey772282.0754708.1 （5 5超定方程组的最小二乘解超定方程组的最小二乘解设线性方程组设线性方程组Ax=bAx=b中，中，,b ,b是是m m维已知向量维已知向量，x x是是n n维解向量，当维解向量，当m mn n，即方程组中方程的个，即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程数多于未知量的个数时，称此方程组为超定方程组。组。一般来说，超定方程组无解此时为矛盾方一般来说，超定方程组无解此时为矛盾方程组程组),),这时需要寻求方程组的一个这时需要寻求方程组的一个“最近似的解最近似的解.记记 ,称使称使 ,即即 最小的解最小的解 为方程为方程组组Ax=bAx=b的最小二乘解。的最小二乘解。nmijaA)(Axbr2r22r*x定理定理 是是Ax=bAx=b的最小二乘解的充分必要条件为的最小二乘解的充分必要条件为 是是 的解的解.证明证明:充分性充分性 若存在若存在n n维向量维向量 ,使使 任取一任取一n n维向量维向量 ,令令 ,那么那么 ,且且 *xbAAxATT*x*xbAAxATT*xx*xxy0y),(*22*22AyAxbAyAxbAyAxbxAb),(),(2),(*AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT2222*AyAxb22*Axb 所以所以 是是Ax=bAx=b的最小二乘解。的最小二乘解。*x必要性必要性:r:r的第的第i i个分量为个分量为,记记knkikiixabr1mi,2,1 2112122)(),(knkikiminxabxxxIr由多元函数求极值的必要条件，可得由多元函数求极值的必要条件，可得0)(211ijknkikimijaxabxInj,2,1即即 nj,2,1imiijknkikmiijbaxaa 111)(由线性代数知识知由线性代数知识知,上式写成矩阵形式为上式写成矩阵形式为 bAAxATT它是关于的线性方程组它是关于的线性方程组,也就是我们所说的正规方程组或也就是我们所说的正规方程组或法方程组。可以证明如果法方程组。可以证明如果A A是列满秩的是列满秩的,则方程组则方程组5.485.48存在惟一解存在惟一解 （5.485.48）例例3.24 3.24 求超定方程组求超定方程组 7262353114221212121xxxxxxxx的最小二乘解的最小二乘解,并求并求误差平方和。误差平方和。解解:方程组写成矩阵形式为方程组写成矩阵形式为763111221534221xx正规方程组为正规方程组为7631112542132122153421254213221xx485146331821xx即即 2418.1,0403.321xx解得解得 3224.725239.529119.2530478.114221212121xxxxxxxx此时此时 误差平方和为误差平方和为 2222)4324.77()5239.56()9119.23()0478.1111(I34065942.0 我们已经讨论了最小二乘意义下的曲线拟合问题我们已经讨论了最小二乘意义下的曲线拟合问题,由于方程比较简单由于方程比较简单,实际中应用广泛实际中应用广泛,特别是因为任何特别是因为任何连续函数至少在一个较小的邻域内可以用多项式任意连续函数至少在一个较小的邻域内可以用多项式任意逼近逼近,因此用多项式作数据拟合因此用多项式作数据拟合,有它的特殊重要性。有它的特殊重要性。从而在许多实际问题中从而在许多实际问题中,不论具体函数关系如何不论具体函数关系如何,都可都可用多项式作近似拟合用多项式作近似拟合,但用多项式拟合时但用多项式拟合时,当当n n较大时较大时(n7),(n7),其法方程的系数矩阵的条件数一般较大其法方程的系数矩阵的条件数一般较大,所以所以往往是病态的往往是病态的,因而给求解工作带来了困难。因而给求解工作带来了困难。这组基函数就称为点集这组基函数就称为点集 上的正交函数集。上的正交函数集。这种情况下法方程组的系数矩阵是对角阵，显然容易求这种情况下法方程组的系数矩阵是对角阵，显然容易求解。关于正交函数下面作简单介绍解。关于正交函数下面作简单介绍 近年来近年来,产生一些直接解线性最小二乘问题的新方产生一些直接解线性最小二乘问题的新方法，例如正交三角化方法。另外法，例如正交三角化方法。另外,如果能选取基函数如果能选取基函数 使得使得 时时,()(1,2,)jxjnkj1(,)()()0mkjkijiixxnxxx,21正交多项式 在高等数学中介绍付立叶级数时，曾提到函数系 1,cosx,sinx,cos2x,sin2x,cosnx,sinnx,中，由于任意两个函数乘积在区间-，+上的积分都等于零，则说这个函数系在-，+上是正交的，并称这个函数系为正交函数系。下面给出正交函数系定义：设函数f(x),g(x)a,b,且则称f(x)与g(x)在a,b上带权(x)正交,0)()()(),(dxxgxfxgfba在a,b上连续的函数0(x),1(x),2(x),.k(x).,满足 则称该函数系是在区间a,b上带权(x)正交函数系.下面介绍与上述定义有关的几个概念，然后引出正交多项的概念，最后再介绍正交多项式的性质以及几种常见的正交多项式。1.权函数:(1)设a,b是有限或无限区间,(x)是定义在a,b上的非零可积函数，若其满足则称(x)是a,b上的一个权函数。kjAkjxdxxxkkbajkj00)()()()(),(baba,2,1)()2(0)(1)ndxxxdxxn存在2 2 内积与范数内积与范数设设f(x),g(x)f(x),g(x)a,b,a,b,(x)(x)是是a,ba,b上的一个权函上的一个权函数，称数，称为为f(x)f(x)与与g(x)g(x)在为在为 a,b a,b上以权函数上以权函数(x)(x)的内积。的内积。显然，对于任意实数显然，对于任意实数a,b,a,b,有有称称为为f(x)f(x)的带权的带权(x)(x)的的22范数。范数。dxxgxfxgfba)()()(),(212212)()(),(dxxfxfffba),(),(),(hfbgfabhagf正交多项式的性质正交多项式的性质定理定理1 a,b1 a,b上带权上带权(x)(x)的正交多项式系的正交多项式系gn(x)gn(x)一定是一定是a,ba,b上线性无关的函数系。上线性无关的函数系。定理定理2 2 设是设是gn(x)a,bgn(x)a,b上带权上带权(x)(x)的正交多的正交多项式系，则对于任何次数不高于项式系，则对于任何次数不高于n-1n-1的多项式的多项式q(x),q(x),总有总有 (q(x),gn(x)=0 (q(x),gn(x)=0 (n=1,2,(n=1,2,）定理定理3 n3 n次正交多项式次正交多项式gn(x)gn(x)有有n n个互异定根，个互异定根，且全部若在且全部若在(a,b)(a,b)内。内。0)(),(xgxqn定理4:任何相邻的三个正交多项式,都具有下列递推关系式 gn+1(x)=(nx-n)gn(x)-n-1gn-1(x)常见的正交多项式常见的正交多项式勒让德多项式(Legendre)切比雪夫多项式(Chebyshev)拉盖尔多项式(Laguerre)埃尔米特多项式 (Hermite)勒让德多项式(Legendre)-1,1,(x)=1递推关系:P0(x)=1,P1(x)=x,22)1(!21)(xdxdxPnnnn)13()(2212xxP)35()(3213xxxPnnxPxxPxPnnnnnnn.3,2,1),()()(111121Tn(x)=cos(narccosx)切比雪夫多项式(Chebyshev),11)(,1,12xx递推关系:T0(x)=1 ,T1(x)=x ,T2(x)=2x2-1 ,T3(x)=4x3-3x,nnxTxTxxTxxTxTnnn.3,2,1),()(,2)()(,1)(1110拉盖尔多项式(Laguerre)0,+),(x)=e-x)()(xnnnxnexdxdexL埃尔米特多项式 (Hermite)(-,+),(x)=e-x222)()1()(xnnxnnedxdexH本章小结本章小结 本章介绍的插值法和曲线拟合的最小二乘法本章介绍的插值法和曲线拟合的最小二乘法都是实用性很强的方法。它们解决的实际问题虽都是实用性很强的方法。它们解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性，然各式各样，但抽象为数学问题却有它的共性，即利用已知的数据去寻求某个较为简单的函数即利用已知的数据去寻求某个较为简单的函数P(x)P(x)来逼近来逼近f(x)f(x)。插值法和曲线拟合的最小二乘。插值法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的原法分别给出了寻求这种近似函数的两类不同的原则，以及构造近似函数的几种具体方法。其中插则，以及构造近似函数的几种具体方法。其中插值法要求近似函数在已知的数据点必须与值法要求近似函数在已知的数据点必须与f(x)f(x)完完全一致，曲线拟合法不要求点点一致而只须满足全一致，曲线拟合法不要求点点一致而只须满足一定的整体逼近条件。一定的整体逼近条件。插值法中的拉格朗日插值多项式是研究数值插值法中的拉格朗日插值多项式是研究数值微积分与微分方程数值解的重要工具。牛顿插值微积分与微分方程数值解的重要工具。牛顿插值多项式是拉格朗日插值多项式的变形，具有承袭多项式是拉格朗日插值多项式的变形，具有承袭性，比拉格朗日插值多项式节省计算量。埃尔米性，比拉格朗日插值多项式节省计算量。埃尔米特插值多项式属于重节点的插值公式，当特插值多项式属于重节点的插值公式，当n+1n+1节节点上的函数值和导数值给定时，可构造点上的函数值和导数值给定时，可构造2n+12n+1次带次带导数的插值多项式。分段低次多项式插值由于具导数的插值多项式。分段低次多项式插值由于具有良好的稳定性与收敛性，且算法简单，便于应有良好的稳定性与收敛性，且算法简单，便于应用。特别是应用广泛的三次样条插值，不但有较用。特别是应用广泛的三次样条插值，不但有较好的稳定性和收敛性，而且具有较好的光滑性，好的稳定性和收敛性，而且具有较好的光滑性，从而满足了许多实际问题的要求。需对样条函数从而满足了许多实际问题的要求。需对样条函数作进一步了解的读者可参阅有关文献作进一步了解的读者可参阅有关文献 曲线拟合的最小二乘法是处理实验数据的常用方法。曲线拟合的最小二乘法是处理实验数据的常用方法。本章主要介绍了最小二乘法的基本原理和线性最小二乘问本章主要介绍了最小二乘法的基本原理和线性最小二乘问题的求解方法。多项式拟合是线性最小二乘拟合问题的一题的求解方法。多项式拟合是线性最小二乘拟合问题的一种特殊情况种特殊情况,其特点是拟合多项式形式简单其特点是拟合多项式形式简单,但当但当n n较大时较大时,法方程组往往是病态的。用离散正交多项式进行曲线拟合法方程组往往是病态的。用离散正交多项式进行曲线拟合,不用解线性方程组不用解线性方程组,只需按递推式进行计算只需按递推式进行计算,避免了法方避免了法方程组病态所造成的麻烦程组病态所造成的麻烦,并且当逼近次数增加一次时并且当逼近次数增加一次时,只要只要在原基础上增加一项在原基础上增加一项,使计算程序十分简单。关于非线性使计算程序十分简单。关于非线性最小二乘曲线拟合问题最小二乘曲线拟合问题,一般求解比较困难一般求解比较困难,但对一些特殊但对一些特殊情形情形,可以转换为线性最小二乘拟合问题。在实际计算时可以转换为线性最小二乘拟合问题。在实际计算时,要选择合理的拟合多项式的次数要选择合理的拟合多项式的次数,有时是十分困难的。一有时是十分困难的。一般可对数据作分析般可对数据作分析,例如在方格低上作草图例如在方格低上作草图,从草图中观察从草图中观察应作几次多项式精度较好。以选择最佳的拟合多项式的次应作几次多项式精度较好。以选择最佳的拟合多项式的次数。数。Thank you very much!Thank you very much!
展开阅读全文