资源描述
1第六章 函数的最优逼近与拟合1 线性赋范空间中的逼近问题1.1 函数逼近与函数空间逼近的思想和方法渗透于几乎所有的学科，其中包括自然科学和人文科学中的学科。逼近论既是一门研究函数的各类逼近性质的学科，属于函数论的范畴，同时又是计算数学和科学工程计算诸多数值方法的理论基础和方法的依据。本章讨论科学计算中基于逼近论的一些函数逼近方法。函数逼近方法与函数插值方法相类似，它也是在某一函数类中求函数，使它与被逼近函数之间满足一定的近似条件。在插值方法中，这个近似条件是在插值结点上使插值函数与被插值函数的函数值对应相等（包括各阶导数值对应相等） ；在逼近方法中，这个近似条件用逼近函数与被逼近函数之间的某种距离来表达。数学上常在各种集合中引入某些确定关系，称为赋予集合以某种空间结构，并将这样的集合称为空间。例如，在线性代数中将所有实 n 维向量组成的集合，按向量加法及向量与数的乘法构成实数域上的线性空间，记作 ，称为 n 维向量空间。类似地，对次数不超过 n（n 为正整数）的实R系数多项式全体，按通常多项式加法及数与函数乘法构成数域 R 上的线性空间，用 表示，称为多项式空间，又如所有定义在区间上的连续函数集nP合，按函数加法和数与函数乘法构成 R 上的线性空间，记作 ，称为,baC连续函数空间。定义 1.1 设集合 S 是数域 P 上的线性空间， 如果存在Sxn,12不全为零的数 使得Pan,1（1.1）02nxax则称 是线性相关的；若（1.1）式只对 成立，nx,1 021na则称是线性无关的。如果 S 包含一个由 n 个元素组成的极大线性无关组，则称 S 是 n 维的，如果对任意自然数 N， S 中存在 N 个线性无关的元素，则称 S 是无穷维的。显然 是无穷维的，但对于 和 0， 可以,baC(),fxCab)(xf用有限维空间 中的元素 逼近，使误差 ，这就nP)(xp)(mpf是著名的 Weierstrass 逼近定理。定理 1.1 设 ，则 0， ，使得,)(baf)(xnP)(xpfn在 上一致成立。,ba此定理可在数学分析书中找到证明。1912 年 Bernstein 构造了一个多项式（1.2）knknkn xfxfB)1()();(0并证明 在 上一致成立，若 在 上 mlimn,)(xf1,0阶可导，则还有 。这也就从理论上给出定理 1.1)();()xfmn的构造性证明。 称为 f 的 n 次 Bernstein 多项式。但由于xfB收敛于 很慢，因此实际计算的近似值时，很少用这种方法。);(xfn)(3连续函数 还可用其他函数集合逼近。一般地，可用一组在)(xf上线性无关的函数集合 的线性组合来逼近 ，,baCniix0)(,)(baCxf即用 01()span(), ,Cab（1.3）)(xn逼近 。于是函数逼近问题就是对 ，在线性子空间)(f ,fx中找某一元素 ,使 在某种意义下最小。换句话说，)()(f也就是找一组系数 ，使（1.3）式中的 成为 在10na )(x)(f中的最佳逼近元。1.2 赋范线性空间中的最佳逼近既然是在线性子空间 中寻找某一函数的逼近，必须引入一个度量的概念来衡量逼近的好坏，即衡量误差 的大小。这对于不仅要|()|fxp计算函数在个别点上的值，而且要考虑函数在区间上的整体性质时，特别有意义。定义 1.2 设 为线性空间，如果对每一向量 ，都有一实数与x之对应，把这一实数记为 ，并且这一对应具有下列性质|x1） ，等号成立当且仅当 ， （ 的零向量）正性|0x02） ，正齐性|*|3） .三角不等式| |yy则称 为 x 的范数，一个线性空间，如果其中定义了满足上述三条公理的范数，我们称之为赋范线性空间，记为X； .注：范数的概念是很广泛的，只要满足上述 3 条，都可作为范数。以4前我们引入的向量和矩阵的范数都是相应空间的范数。同一线性空间可以赋予不同的范数。定义 1.3 设 为赋范线性空间，其范数为 ，若序列 ，K0nK，使f0limfn则称序列 依范数 收敛于 f，记作 . 0n|linfA现在运用赋范线性空间的概念来讲解函数的逼近问题。逼近论的两个基本问题1 给定赋范线性空间 ，以及 的一个真子空间 。对于 如KfK果在 中存在这样的元素 使得对所有的 有*SS*ff成立，则 称为 f 在范数 意义下在 中的最佳逼近元。立即就会出现*S|这样的问题：（1）最佳逼近元是否存在？是否唯一？（2）当最佳逼近元唯一存在时，如何构造最佳逼近元。2 设有 的一系列子空间 ，若对每一K12nK 个子空间 ，问题 1 中的最佳逼近元 存在，是否有 ，以及j*jS*limnSf收敛的速度。我将对于不同的范数定义，逐一研究这些问题。2 最佳一致逼近给出线性空间 ，取其范数和子空间为,baC5， （2.1）)(maxffb1,nspxnP根据定理 1.1，问题 2 的回答是肯定的。考虑问题 1对 中任一元素 f 的最佳逼近问题称为最佳一致逼近（通常又称为,baCChebyshev 意义下的逼近） 。定理 2.1 如果 f 在 上连续，则在集合 中存在一个元素，是 f,ba的最佳一致逼近元。证略。4 最佳平方逼近大家已经学过三维欧氏空间，知道在欧氏空间里一个向量的长度，两个向量的夹角，向量到子空间的投影等是什么意思，在这一节里，我们要把函数逼近问题与欧氏空间联系起来，研究欧氏范数下的最佳逼近。4.1 线性内积空间定义 4.1 设 为实线性空间，如果对每一对向量 ，都有一yx,实数与之对应，把这一实数记为 ，并且这一对应具有下列性质),(yx1） ，),(,xy2） ，3） ，),(,),(zz64） ，等号成立当且仅当 ， （ 的零向量） 。(,)0x0x则称 为 x 和 y 的内积，一个线性空间，如果其中定义了满足上述四条公理的内积，我们称之为内积空间。例 4.1 设 ，对 ，定义内积,baC(),fxgCab，易验证它满足公理 1)-4） 。dxgffba)(),(例 4.2 令 （n 维实向量空间） ，对其中向量R，Tn),(21 Tnyy),(21定义内积 nxxyx21),易知它满足公理 1)-4） 。令 ，可以证明 满足第二章中关于范数的公理，即),()N)(N是一种范数，称为由内积导出的范数，通常记作 ，在不发生混淆(x 2x的情况下也可简记为 。x定义 4.2 设 为内积空间， ，若 ，则称 x 与 y 正yx,0),(y交，记作 4.2 线性内积空间的最佳逼近设 ， ， 是线性内积空间 的 n+1 个线性无关的元素，子01n集 ，在 中寻求对的 某一元素 f 的最佳逼近 ，,spa*S即对 有S*fSf7定理 4.1 是集合 中对 f 的最佳逼近元素，其充要条niiCS0*件是 与所有 正交。f* ),1(j证明 先证充分性，设 S 是 中任一元素，考虑 fSf*由于 与所有 正交，从而 也与 正交，因此fS*j*),(),( *2 fSffSf 22*S*f从而 就是最佳逼近元素，充分性得证。*S再证必要性，假设 是 中元素， 与 ， 中某一元素1SfS10n不正交，记k，则kk且 0),(1kSf记 kS12易知 ，现估计 的范数2Sf),(),( 1122 kksfff (, 21 SSf28从而推得2Sf21f即 不是最佳逼近元，必要性得证。1S推论 最佳逼近元素如果存在，必定是唯一的。事实上，如果在子集 中有两元素都是 f 的最佳逼近，则由定理 4.1必有，j=0，1 ， ， n),(),(21jjSfSf于是 和 都与 正交，于是有21=0 212212121 ),()(),( SfSfSS这就表示 。下面，我们证明最佳逼近元素是存在的并将其构造出来，由定理 4.1最佳逼近元 ，必须满足：jnjCS0， k=0，1 ， ， n （4.1）0,njkjf式（4.1）即， k=0，1 ， ， n （4.2）),(,0kkjnj fC从而由下列方程组所决定9（4.3） ),(),(),(),( , )()()()(100 11101 00nnn nfCCf 方程组（4.3）通常称为法方程组。现在我们研究方程组的系数行列式（4.4）0010110101(,)(,)(,)(,)(,)(,)(,)nn nG 称为关于 的 Gram 行列式。),(10n n定理 4.2 子集 的元素 ， ， 线性相关的充要条件是它们1f2nf的 Gram 行列式 等于零。),(1nfG证明 先证必要性。由于 ， 线性相关，因此有一组不全为零1fnf的数 ， ， ， ，使得12n 021kff上式分别对 ， 作内积有1fkf0),(),(),( , )()()(21 22 1211 kkk kkfff fff 这是关于 ， 的齐次线性方程组，由于 ， ， 不全为1 12k零，故推出其系数行列式必为零，从而100),(21kffG再证充分性，假设 ,研究下列方程组 0),(),(),( , )()()(21 22 1211 kkk kkfff fff 容易明白它必有非零解，设为 。令k kfff21易知 ，另一方面，对上式分别用 作内积可得f,1， ，0),(1f),(2f0)(fk从而有 ),(,(21fffk由于 不全为零，故 线性相关。定理的充分性得证。k,21 ,1现在我们回到方程组（4.3）的讨论，由于 是 的线性无n,10 关元素，故 ),(10nG从而（4.3）的解存在且唯一。也就是说，最佳逼近元素是存在的并可由（4.3）构造出来。下面再给出误差估计式，记 为最佳逼近误差，*Sf则有11),(22 SffSf),(*ff),(),S（4.5）),(),(*1*0* fCffCf n至此，关于内积空间的最佳逼近元素的特征，存在唯一性，构造及误差估计已全部论述清楚了。同一列 在不同的 K 中，其 收敛性可能不同ns例：1,02()2,0,1nxnsxn220,1() 03nLsd而 ,Cx4.3 函数的最佳平方逼近设a,b为有限或无限的区间，定义在它上面的函数 ，如果具有下)(x12列性质：1） ,0)(xba2） 0, dc,0cdc3）积分 存在， n=0，1，。xban)(则称其为a,b上的权函数。对于在a,b上给定的函数，引入内积 dxgfxgfba)()(),(22这里 为权函数，总假设积分)(x（4.6）dxfba)(2是存在的。我们研究满足（4.6）存在的函数全体组成的内积空间，并选子集 。在子集 上寻找一函数,10nsp为中某一函数 f(x)的最佳逼近，是指对于)()(*0*xCxSjnj，都有（4.7）dSfba2*)()( dxSfba2)()(（4.7）式的意义就是误差 的平方在积分意义下达到极njjxCxf0*小，因此对于这种逼近就称为函数的最佳平方逼近，或称为最小二乘逼近，由于它是一个特殊的线性内积空间，因此最佳逼近的存在性，唯一性，解13的构造，误差估计等等已由 4.2 节全部回答了。我们在这里指出， （4.7）也可从另外的观点来得解，我们知道， 上任一函数可写成 ，而积分njjxC0)(dxCfnjjba 20)()(是关于 的二次多元函数，记n,10（4.8）dxxfCI njjban 2010 )()(),( 在子集寻找对 f 的最佳平方逼近函数，就是寻找函数 的极),10nCI小值。其必要条件是， k=0，1 ， ， nkCI从而有 0()()()()nb bkii ka aixxfdx写成内积符号就是，k=0，1 ， ， n0(,)(,)nkjkjCf上式恰巧就是（4.3）式。当然，从函数极小值的讨论去构造最佳逼近函数，其存在性，唯一性等都要建立一套理论来回答这些问题，但是由于我们已建立了一套最佳逼近理论，所以在解决具体问题时运用求极小值的办法，常常会带来演算的方便。),(10nCI14例 4.3 在空间 给定元素 ，子集 由 1， x 的线性1,4Cxf)(组合构成（线性多项式空间） ，试求 在 中的最佳平方逼近（取） 。1)(x解 由于 ， 故0x1，143(,)dt 3215),(),(01041td62,14dt另外又有 1407(,)2ft143,80ftd设最佳逼近元为 ，据（4.3）列出法方程式01axy80316423570a解得 135,270即线性函数 8xy15为 在子集 中的最佳平方逼近函数。xy从例 4.3 可以看出，平方逼近算法简单。例 4.4 取 ，1)(x，k= 0，1 ， ， n， ，在 中求 的 n 次kkx)(1,0)(CxfnPf最佳平方逼近多项式 nxaaS10)(此时 ， j,k=0， 1， ， n10(,)kjjkxdj则法方程组（4.3）的系数矩阵为（4.9）1213211),1( nnnxGn 这是一个 Hilbert 矩阵，前面我们已经知道当 n 较大时，系数矩阵（4.9）是高度病态的，求解时舍入误差很大，这是很不利于计算的，为避免这种情况，需要引入正交基的概念。4.4 正交基如果 是两两互相正交的（ 称为 的一组正n,10 n,10 交基） ，法方程组的系数矩阵为对角阵， （4.3）成为16 ),(),(,),( )(),( 11 010 nnfCfC从而直接可得，i =0，1 ， ， n （4.10）(,)iifC这样就不存在方程组病态的问题了。如果假设 的范数均为 1 （ 称为 的一组标n,10 n,10 准正交基） ，那么进一步有，i =0，1 ， ， n （4.11）(,)iCf在这种情况下， 1(,)niiSf而（4.5）式的误差估计式有（4.12）220|niiffC上式左端恒正，故又有 Bessel 不等式（4.13）20|niif如果对所有的 i， 都存在， 称为 f 的广义 Fourier 展开，i0iiC称为广义 Fourier 系数。iC17下面用正交化过程来证明正交基的存在性。定理 4.3 任何 n 维空间都存在正交基证明 按照 n 维空间的定义，存在一组基 ，由这组基，通过nf,1正交化过程，可以构造出两两正交的基 。ne,1令 ，在 所在“平面”上找，也就是找具有下列形式的1fe1,f12fe选择数 ，使 ，即使0),(12 0),(12f由此得 ),/(,12ef设两两正交而异于零的向量 已经构造出来，向量 要求1ke ke具有形式 121efekkkk 选择系数 使 与向量 正交，即满足11, 1,e 0)(1fkk ,21 0),(11kkeef由于 两两正交，故上述等式简化为：1,ke，),(),(11fkk，022ee 18。0),(),(11kkeef由此得 ,/,11fkk)(222e ),/(),(111kkf最后我们利用 线性无关的条件来证明 ，注意到nf,2 0ke是 和 的线性组合， 又可表示为 和 的线性kef1,ke 1ke1f12,组合，依此类推最后可将 表示为k 11kkff的系数为 1，而 线性无关，所以 ，证毕kf kf, 0e以上的正交化方法通常称为 Schmidt 正交化过程。5 正交多项式若首项系数 的 n 次多项式 ，满足0na)(xgn（j,k=0，1，） kjAdxgxkkjba 0)()(则称多项式序列 在a,b上带权 正交，并称 是,10 )(x)(xgna,b上带权 的 n 次正交多项式。)(x一般来说，当权 及区间a,b给定后，从序列 就可用,124.4 节所述的 Schmidt 正交化过程构造出正交多项式。用上述方法只能19一个接一个地构造出正交多项式，在使用上有所不便，利用多项式的某些性质，我们可以得到一些更直接，更方便的方法来构造正交多项式，较重要的有下列几类：5.1 勒让德（Legendre）多项式当区间为-1,1，权函数 时，由 正交化所得的多1)(x,2x项式就作为 Legendre 多项式并用 表示，这一类 )()(,0Pn正交多项式有如下的简单表达式，n=0 ，1， （5.1）)(!21)(,)( 20 nnxdxP由于 是 2n 次多项式，求 n 阶导数后得x12 01)()1(!)( axann于是得到首项 的系数 ，显然最高系数为 1 的 Legendre 多nx2)!(an项式为（5.2）)1()!2(2nnnxdxPLegendre 多项式有下述几个重要性质性质 1 正交性（5.3） nmdxPmn120)(120证明 令 ，则 （k=0 ，1， ，n-1） 。nx)1()20)(k设 是在区间-1,1上有 n 阶连续可微的函数，由分部积分知)(xQdxQdPnn)(!2)(11xn)(!211dn)(1)(下面分两种情况讨论（1）若 是次数小于 n 的多项式，则 ，故得)(xQ0)(xQn，当0)(1dxPmm（2）若 ,)!(2!2)( nnn xx，)(xQnn于是 12212 )()!() dxdxPnnn 122(nn由于 ，故 102102 )34cos)(dxdxn 12)(12nPn于是（5.3）得证。21性质 2 奇偶性（5.4）)(1)(xPxnn由于 是偶次多项式，经过偶次求导仍为偶次多项式，)(2经过奇次求导则为奇次多项式，故 n 为偶数时为偶函数， n 为奇数时为奇函数，于是（5.4）式成立。性质 3 递推关系 考虑 n+1 次多项式它可表示为 )()()()( 110 xPaxaPxn两边乘以 ，并从-1 到 1 积分，得Pk ddkkn12)()(当 时， 次数小于等于 n-1，上式左端积分为 0，故得2nx，当 k=n 时 为奇函数，左端积分仍为 0。故 ，于是0ka)(2Pn na)()(11xPaxnn其中 1242)(2111 ndxnan1133()() 3nnP从而得到以下的递推公式（n=1，2 ， ） 1 n1()(2)(x)nnxxP （5.5）22由 ， ，利用（5.5）式就可推出1)(0xPx)(， ，2/)1322/)35()3xxP，8/05()44，765x，16/)24P性质 4 在所有最高次项系数为 1 的 n 次多项式中，Legendre 多项式在-1,1上与零的平方误差最小。)(xPn设 是任意一个最高次项系数为 1 的 n 次多项式，它可表示为Q)()(0xPaxkknn于是 dxQnn)(),(21,0nkkn PaP当且仅当 时等号才成立，即当 时平110a )(xn方误差最小。性质 5 在区间（-1，1）内有 n 个不同的实零点。)(xPn前几个 Legendre 多项式的图形如下：235.2 切比雪夫（Chebyshev）多项式（3.1）)arcos()(xnxTn如此定义的 是 x 的多项式吗？试看 n=0 和 n=1 的情形：1)(0xT)cosar1注意到如下的三角恒等式： cos2)1()( nn令 ，则有xarcos， n=1，2， （3.2）)(2)(11xTTnn不难看出 确实是 n 次多项式且与 n 的奇偶性相同，即 随)(xTnn 为奇数或偶数而成为 上的奇函数或偶函数。,24显然 的最高次项 的系数为 ，即)(xTnnx12n（3.3）)(21的 低 次 多 项 式称为 n 次 Chebyshev 多项式。)(n前 9 个 Chebyshev 多项式如下表表 3-1 1321602518)( 76483)(1842)(14877 243552330 xxxTxxTxT显然（3.4）1)(max1n并且在点列cos 0,kkn1= =10x1x上， 以正负交错的符号取到它的绝对值的最大值 1。)(xTn25（3.6）kknxT)1(根据定理 2.2，首项 系数为 1 的多项式n)(2)(1xn为所有 系数为 1 的 n 次多项式类中唯一的，在-1,1上与零偏差最小的nx多项式。的 n 个零点全位于（1，1）内，且都是单重的，它们是：。)(T， （3.7）2coskx1,kn从几何上看，如果将以原点为圆心，以 1 为半径的上半圆周分成 2n 等分，再把圆周上所有奇分点位往 x 轴上投影，则恰好得到点列（3.7） 。此外，实际计算中时常要求 用 ， ， 的线性组合表示，n0T1n其公式为 2021)(nkknxx这里规定 ，n=18 的结果见表 3-2。20T表 3-226)82563(12874)6150(26)43(81)(2164053742352043200 TTxxTxTx它还是一类重要的正交多项式。Chebyshev 多项式有很多重要性质：性质 1 正交性Chebyshev 多项式 在区间-1,1上带权 正交，)(xTn 2()1/xx且（5.7） .0,;2,1)(2nmdxmn事实上，令 ，则 ，于是cosxsin271200,;()cos02,.nm nmTxdnd 性质 2 递推关系，n=1，2，)()(2)(1xTxTnn，0这只要由三角恒等式cos()coscos()1n令 即得。x性质 3 只含 x 的偶次幂， 只含 x 的奇次幂，这性质)(2Tk )(12Tk由递推关系直接得到。性质 4 在区间（-1,1）上有 n 个零点 ，)(n nkk21cosk=1，2， ， n。前几个 Tchebyshev 多项式的图形如下：285.3 无穷区间上的正交多项式正交多项式的正交区间a,b也可以是无界区域，当然此时权函数必须保证 ，n=1，2， 。()x()bnaxd1拉盖尔（Laguerre）多项式 在区间 上带权 的正交多项),0xe式称为 Laguerre 多项式，其表达式为 ()()nxxndLe它也具有正交性质 20 0,()(!)xnmnedx 和递推关系，1)(0L)(29，n =1，2，。)()(21() 12xLxnxLn 2埃尔米特（Hermite）多项式 在区间 上带权 的正),2xe交多项式称为 Hermite 多项式，其表达式为 )()1(22xnxnedH它满足正交关系 nmxennmx ,!20)(20 并有递推关系， ，1)(0H)(n=1，2，。2)(1 xnxn 5.4 一般正交多项式的几个重要性质性质 1 在 空间中， 首一的 n 次正交多项式 在所有2,Lab ()npx最高次项系数为 1 的 n 次多项式中与零的偏差最小。设 是任意一个最高次项系数为 1 的 n 次多项式，它可表示为)(xQn0()()nnkpxapx于是120(,)(),(),(nnnkkxxp（ 勾 股 定 理 ）30当且仅当 时等号才成立，即当0110naa时平方误差最小。)(xPQnn推论 在所有最高次项系数为 1 的 n 次多项式中，Legendre 多项式在-1,1上与零的平方误差最小。)(n性质 2. 首一的 Chebyshev 多项式 在所有最高次项系数为 1()nTx的 n 次多项式中在-1,1上与零的一致偏差最小。定理 5.1 是a,b 上带权 的 n 次正交多项式的充分必要条()npx)(x件是： 是 n 次多项式并且()k=0,1,n-1()0bknad证明是容易的，从略。定理 5.2 设 是 a,b上带权 的 n 次正交多项式，则()npx)(x的零点全位于(a,b) 内，并且都是单重的。npx证明：设 ，如果，不妨设 ，令1()nkkxx1xa，据定理 5.1，2()nkqxn-P()()0bnaxpqdx但是上式中的被积函数为 ，积分21,a.e(,)b应当大于 0，矛盾。同理可证所有的零点不可能大于 b，出现一对共轭复数或为二重的。316 离散情况的最佳平方逼近在4 论述了内积空间的最佳逼近理论。现在我们讨论离散情况的最佳平方逼近。对于 n 维欧氏空间中任二向量，nxX21nyY21其内积定义为，iiTY1),(相应的范数为.2(,)Xx给定欧氏空间的一个子集 ，其中 为线性无关1lspaniX组。子集 对某一向量 Y 的最佳逼近，是指在 中寻找一向量 使它对的任意向量 X 都满足不等式.YX如果 ，也即子集 是一个 n 维欧氏空间，那么由线性代数的知识，nl恒有唯一的一组常数 使c,21 ,1niiXY此时 ，因此 就是 Y 的最佳平方逼近，下面我们讨论0XYl n 的情况。32由4 定理 4.1， 与所有 正交，即XYlX,21， k=1，2 ， ， l0),(k记， ，iliXc112iinix那么有 ).,(,1kkili Yc从而 由下列方程组所决定：ic,21（6.1） ),(),(),(),( , )()()()(21 22212 11lllll lXYccXccc 其中 nkjijTiji x1,),(1, .njiikYXy（6.1）可写成33，,),( 2121 YXcXTjllTjTjj j=1，2，l.容易看出，上式又可写成 .),(),(),( 2122121 YXcXXTlllTl 引入 阶矩阵ln（6.2 ）12121212(,)llnnlxxAX 于是上式可写成（6.3）.YACTT其中 为 l 阶方阵， 分别为 l， n 维向量，AT,， .lc21nyY21容易看出， （6.3）式的系数矩阵 是对称的。由于 为线AT lX,21性无关组，我们可进一步推出矩阵 是正定的。事实上，对于 l 维欧氏34空间的任一向量 g，考虑 的二次型有：AT,0),(),(g其中等号仅当 时才成立：即有 ，或即0T.0),(1221 TiliTll Xgg由 是线性无关组推得 ，即 。从而，当 时lX,21 0i 0g有0，),(gAT也就是说矩阵 是正定矩阵。由于矩阵 是正定的，所以可建立求解AT T（6.3）的特殊方法，例如平方根法，乔列斯基（Cholesky）法。若 两两正交，则矩阵成 为对角形，即),21(liXT,2221lT XxA从而（6.3）的解变为：，i=1,l nknkiiTii xyXYC1212/7 数据拟合的最小二乘法357.1 问题的引入在工程实践和科学实验中，量与量之间的关系表现为：1）确定性关系：如电学中著名的欧姆定律就是确定性的关系。用 V 表示电压， R 表示电阻， I 表示电流，欧姆定律指出 .RIV有的确定性关系是由微分方程或积分方程来描述的。例如，阻尼振动中，位移 x 与时间的确定性关系由微分方程 022xdttx所决定，其中 为固有频率， 为阻尼系数。02）非确定性关系：由于因素的复杂性或其它原因，变量之间找不到完全确定的关系。例如纱的回潮率与原棉含水量之间；钢水含碳量与冶炼时间；鱼的活动与海水温度；台风登陆路径与沿海各地的风向、气温、湿度之间等等，这些量之间，既存在密切关系，又不能由一个（或几个）变量的数值精确地求出另一个变量的值。但是通过人的实践，通过仪器，我们获得了大量的实验数据，这些大量的偶然现象，始终是服从内部隐藏着的规律的。现在我们又回到数值逼近范围内来谈这个问题，为了叙述方便，先讨论两个变量 x， y 的情况。也就是说，通过观测变量 x， y 积累了一组资料，i=1，2 ， ， n， 一般地说 n 都比较大。我们的任务是从积累得),(i到的实验数据 ，i=1 ， 2， ， n， 寻求一近似函数 去逼近),(i )(y。 由于观测数据都带有观测误差，数组 数目又较大，对于这类问),(iyx题运用插值函数去描述 y 往往是不适当的。我们以下面的例子来说明建36立近似函数 的一种办法，即最小二乘法。)(x+例 7.1 合成纤维抽丝工段，第一导丝盘的速度对丝的质量是很重要的参数，现发现它和电流周波有重要关系，由生产记录得到的数据如下表：周波x49.2 50.0 49.3 49.0 49.0 49.5 49.8 49.9 50.2 50.2第一导丝盘速度（ y）16.7 17.0 16.8 16.6 16.7 16.8 16.9 17.0 17.0 17.1表 4今要研究 y 与 x 的关系，通常的步骤如下：1）先用一坐标纸，将 描于图上（图 8） 。),(iy图 7.12）凭视觉约略知道 在一条直线的两侧附近，于是猜想 y 与 x),(iyx37近似地成直线关系，bxay上面直线关系式称为数学模型。在第 i 次观测数据中， 与实测值 有误iyi差，i= 1，2 ， ， n，)(iii xy将它们平方后加起来得到总误差： ).,()(2121 baIiiniini 我们当然希望，数学模型（主观猜想）应尽量接近客观实际，即总误差越小越好，也就是选取 a,b 使 I(a,b)最小。问题又回到了内积空间21ini的最佳逼近。定义向量 Y、 X、 E 分别为， ，ny21nx21.n 维欧氏空间的一个子集 SpanX， E对 Y 的最佳平方逼近就是选取 a,b使向量 ba的范数达到极小，即 )()(2 XEYYT（7.2）.min,21 baIxyiini（7.2）与（7.1）的提法完全一致。从问题的来源看，确定使误差平38方和达到最小的方法称为最小二乘法，高斯对于天文观测数据的处理就运用了这个方法。依照我们建立的理论，a,b 由下列方程组所决定：niniiiii yaxbx112.,解之有 ,1212niniiiiii xyyxa.1212niniiiixyyb运用表 4 的数据求得a=0.04， b=0.339,即 .3904.xy必须指出，这里所说的欧氏空间最佳逼近，并不是说 是 ybxay的最佳数学模型。因此就存在着另一个问题，上述数学模型是否符合客观实际呢？也就是说，如何检查数学模型的质量呢？当然，最根本的办法是拿到生产中去考验，但当观测数据积累多了以后，就能够建立一套数学理论去检验数学模型的准确性，偶然的现象，隐藏着必然的规律，概率统39计的课程里将介绍这个问题。例 7.2某航空售票点（PVG-IAD）机票销售加价和预期销售量之间的关系加价额度x（元）销售量P（张/周） 加价额度x（元）销售量P（张/周）50 58 225 5475 53 250 52100 59 275 50125 55 300 47150 62 325 35175 62 350 27200 55对 P 和 x 的关系用三次多项式进行拟合，用最小二乘法可解得 32()0.2680.790.43765.813xxx40最小二乘法模型中的非线性函数例 7.3 已知 及拟合这批数据的非线性数学模(,)0,1)ixyN型 （a,b 为待定参数）)byae1如何将非线性模型线性化？2写出线性化模型中待定系数的法方程。3设数据 (,)0,1)ixyN 如下：i0 1 2 3i2.010 1.210 0.7400 0.4500iy2.0027 1.2169 0.7395 0.449341求出拟合上述数据的非线性拟合函数。1、设 则模型成为ylnbxayln)(2、设 BbAa法方程式为xniiiniii yxBx1123、 49815.068071.214697.3190.682131001BABA最后拟合的非线性函数 .95().0xyxe=1.0226e-0042 c,renorm= lsqnonlin(fun1117,x0)Local minimum found.0 1 2 3y2.010 1.210 0.7400 0.45000.6981 0.1906 -0.3011 -0.798542c=2.0076 -0.5008renorm = 6.7226e-005例 7.4 出钢时所用盛钢水的钢包，由于钢水对耐火材料的浸蚀，容积不断增大，我们希望找出使用次数与增大的容积之间的关系。试验数据如下表：使用次数增大容积使用次数增大容积使用次数增大容积ixiyixiyixiy2 6.42 7 10.00 12 10.603 8.20 8 9.93 13 10.804 9.58 9 9.99 14 10.605 9.50 10 10.49 15 10.906 9.70 11 10.59 16 10.76解 将数据标在坐标纸上（参见图 7.2） ，我们看到，开始时浸蚀速度快，然后逐渐减弱，显然钢包容积不会无穷增加，于是可以想象它有一条平行于 x 轴的渐近线，根据这些特点我们选取数据拟合的曲线为双曲线。43图 7.2假设选择的数学模型为：,xbay1令 ,1,xy于是上式变为.bay解得结果如下：a=0.0823, b=0.1312.从而 ,132.08.1xy即 .13208.1xy44若将曲线拟合的双曲线模型改成指数形式 ,xbaey将上式两边取对数 .lnx,l,1,l bay则有 .xy求得 .107,458.2ba从而 .,69.1ea最后求得 .78.107xey怎样比较数学模型的好坏呢？双曲线模型的误差为 ,132.08.)1( xy指数形式模式模型的误差为 .679.107)2( xey针对建立的模型比较实测值与拟合值的误差如下表：45实测值 拟合值 拟合值 误差 误差 实测值拟合值 拟合值 误差 误差iy双曲模型指数模型(1)i(2)iiy双曲模型指数模型(1)i(2)i6.42 6.761 6.702 -0.341 -0.282 10.49 10.479 10.451 0.011 0.0398.20 7.934 8.065 0.266 0.135 10.59 10.612 10.557 -0.022 0.0339.58 8.687 8.847 0.893 0.733 10.60 10.725 10.646 -0.125 -0.0469.50 9.212 9.353 0.288 0.147 10.80 10.823 10.723 -0.023 0.0779.70 9.599 9.705 0.101 -0.005 10.60 10.908 10.788 -0.308 -0.18810.00 9.896 9.965 0.104 -0.035 10.90 10.983 10.845 -0.083 0.0559.93 10.131 10.165 -0.201 -0.235 10.76 11.049 10.896 -0.289 -0.1369.99 10.322 10.322 -0.332 -0.333 ,19.)28.0()26.0()341.()(12 nii .4)36.()5.()8.()( 22212 nii由于 较小，所以我们选择指数模型作为钢包使用次数与增大容(2)1nii积之间的近似关系。选择合适的曲线模型是一件不容易做到的事情，主要靠人们对问题所属的专业知识的了解来定，如专业上也不清楚时，可用坐标纸描出点来从数学上加以选择。469 问题与探索：最小二乘法模型中的非线性函数和约束条件最小二乘问题中所包含的条件方程一般可能是非线性的。可是，通常是用线性函数进行最小二乘处理，因为寻求非线性方程的最小二乘解是相当困难的，所以，每当模型中的方程原来是非线性时，必须采用某种线性化方法获得线性方程。为此目的，常常应用级数展开式，特别是泰勒级数，只利用级数展开式的零阶和一阶项，省去其他高阶项。当应用某一级数展开式时，对方程中的未知数必须选取一组近似值。这些近似值的选择是解算问题的一个重要方面。可惜的是，还没有一个选取近似值的具体而唯一的途径能用于所有最小二乘问题。有时依靠经验，另一些时候可以采用某些近似计算。在各种情况下，都应力图利用比较简单的方法得到接近的近似值。为了说明怎样进行线性化，令（8.1）0)(xf表示任一非线性方程组，包括 m 个方程，其中 x 是未知变量的向量。如用表示变量的近似值向量，级数展开式的零阶和一阶项将为0x（8.2）0)(00xFf为函数对于变量向量中各元素的一组偏导数，是一个 维的矩阵pm（Jacobi 矩阵） 。向量是代替未知数向量 x 的近似值的改正数向量。利用级数展开的结果，是把非线性方程变成为线性方程组，其一般形式是：（8.3）uxJ此处 )(0xFu47最小二乘法求解后，所得到的解是向量 ，如果原始近似值向量x充分接近，使得方程（8.2）足以代替方程（8.1） ，即级数的二阶和高0x阶项事实上是可省略的，则最后的最小二乘估值为 。可是，)(0x往往不是这样接近的近似值， 与 x 相加只能得到一个改进的近似值。0现在必须用更新的近似值向量再列出方程式（8.3）或（8.2） ，并应用最小二乘求定更新的向量 ，它的各元素一般比第一次的小。这种用更新的近x似值向量重新线性化的过程继续进行，直到 的最后值小到可以不计时，x终止迭代。最后估值 将是原始近似值和全部改正数向量 之和（或者是 x最后更新的近似值向量加上最后改正数向量） 。在许多实际问题中，理论函数 个各个参变量12(;,)nfxb可能不完全独立，它们的数值常受到某些物理或数学条件的约12,nb束。例如，在曲线拟合中，为使拟合函数或它的导数在某些点上有指定的数值，或为保证分段拟合曲线在连接点处连续与光滑，就出现等式约束条件；不等式约束条件产生于要求约束产生于要求拟合曲线具有正性、单调性与凸性等情况。同样，在物理、统计、数学规划、控制论与经济等领域中，经常也会碰到约束条件的最小二乘问题。因此，讨论这类问题的计算方法具有重要的应用价值。此处不拟讨论约束最小二乘问题的详细解法，有兴趣的读者可参阅有关的教材或专著。非线性或带约束条件的最小二乘问题的解可以用 Matlab 的工具箱函数来求得。值得注意的是非线性问题的迭代有可能陷入局部最优解，因此无论用什么方法解此类问题，一个尽可能接近最优解的初值的选取是非常重要的。如果对于最优解的范围有较多的了解或限制，则利用约束条件：4801Aby可以得到符合实际要求的解。
展开阅读全文