最小二乘法的基本原理和多项式拟合

最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数 灾) 同所给数据点:(i=0,1,m)误差:舄一门(i=0,1，,m),即误差向量H耳二P(Xj)-月(i=o,i,m)绝对值的最大值黑驚眾Zh,即误差向量r的1范数；三是误差平方的x范数；二是误差绝对值的和T和二 的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便 于微分运算，后一种方法相当于考虑2范数的平方，因此在曲线拟合中常采用误y 2差平方和匚 来度量误差：(i=0 , 1，m)的整体大小。数据拟合的具体作法是：对给定数据=(i=0,1,，m)，在取定的函数类二中,求匸二-小，使误差:.-(i=0,1,m)的平方和最小，即= -.从几何意义上讲，就是寻求与给定点-二(i=0,1,m)的距离平方和为最小 的曲线 ?=pW (图6-1 )。函数称为拟合函数或最小二乘解，求拟合函数匚的方法称为曲线拟合的最小二乘 法。可有不同的选取方法6 1二多项式拟合假设给定数据点： ：l (i=0,1,m)，二为所有次数不超过朮二匕 的多项式构成Nd)二乞丑化的函数类，现求一-,使得”另以3)-二为1?说1” 0j-0=min(1)当拟合函数为多项式时，称为多项式拟合，满足式(1)的儿称为最小二乘拟合 多项式。特别地，当n=1时，称为线性拟合或直线拟合。显然为k的多元函数，因此上述问题即为求(如妇叫)的极值问题。由多 元函数求极值的必要条件，得故存在唯一解从式（4）中解出J （k=0,1,，n），从而可得多项式s -* 眾WJliid（3）是关于；r I的线性方程组，用矩阵表示为聊+ 1擁i-0XXiIXi-0ki-0flValflfii-0 m1-01*m_?-0*wa _L a J.M一式（3）或式（4）称为正规方程组或法方程组。可以证明，方程组（4）的系数矩阵是一个对称正定矩阵,我们把n；可以证明，式（5）中的-满足式（1），即门为所求的拟合多项式。另氐）-yj丹心称为最小二乘拟合多项式的平方误差，记作由式可得I-O Z i-0多项式拟合的一般方法可归纳为以下几步：（1）由已知数据画出函数粗略的图形 一一散点图，确定拟合多项式的次数工球（八0丄冏 工#旳（八0丄，劄）列表计算-和;（3）写出正规方程组，求出飞;必（力二乞吋（4）写出拟合多项式二； 。在实际应用中，或；：；当弓二遐时所得的拟合多项式就是拉格朗日或牛顿插值多项式。例1测得铜导线在温度丄）时的电阻-：Jl如表6-1，求电阻R与温度T的 近似函数关系。012345爲(C)19.125.030.136.040.045.150.076.3077.879.2580.882.3583.985.1解 画出散点图(图6-2)，可见测得的数据接近一条直线，故取 n=1，拟合函数为列表如下i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正规方程组为解方程组得故得R与T的拟合直线为利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5 ,即预测温度T=-242.5 C时，铜导线无电阻。6-2例2?已知实验数据如下表i0123456781345 6789101054211234试用最小二乘法求它的二次拟合多项式 解设拟合曲线方程为丿二州+时+卡列表如下I01101111010135927811545244166425616P 6435225125625105046136216129663657149343240174968264512409616128793817296561272438 :104100100010000 :40r 40053323813017253171471025得正规方程组0解得故拟合多项式为 *三最小二乘拟合多项式的存在唯一性定理1 设节点: 1 1互异，则法方程组（4）的解存在唯一（4）的系数矩阵奇异，则其所对应的齐次方程组设方程组证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。 用反证法，J-0J MiS严亍y有非零解式可写为(8)将式（8）中第j个方程乘以：；（j=0,1,，n），然后将新得到的n+1个方程左右两羽亚忤0端分别相加，得- 因为其中所以:(i=O,1,m)n的多项式，它有m+1 n个相异零点，由代数基本定理，必须 ，与齐次方程组有非零解的假设矛盾。因此正规方程组（4）必仏僞a有唯一解。定理2设I T 是正规方程组（4）的解，则 足式（1）的最小二乘拟合多项式。j Qh （x） =证只需证明，对任意一组数r组成的多项式匚 ，恒有即可。因为（k=0,1,，n）是正规方程组（4）的解，所以满足式（2）,因此有 故八为最小二乘拟合多项式。*四多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而且 正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间I厂丄；I偏离原点越远，病态越严重; （i=0,1,，m）的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合；不使用原始节点作拟合，将节点分布区间作平移，使新的节点关于原 点对称,可大大降低正规方程组的条件数，从而减低病态程度。平移公式为：A/弄(9)对平移后的节点1 （i=0,1,，m）,再作压缩或扩张处理：匚 一 -;（10）p 二（桝 +1）/刀（X尸厂其中, （r是拟合次数）（11）经过这样调整可以使的数量级不太大也不太小，特别对于等距节点，作式（10）和式（11）两项变换后，其正规方程组的系数矩阵设 为A,则对14次多项式拟合，条件数都不太大，都可以得到满意的结 果。变换后的条件数上限表如下：拟合次数1234=19.950.3435在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方 法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。我们只 介绍第一种，见第三节。例如 m=19/ i =328,h=1,: =+ih，i=0,1,，19，即节点 分布在328,347 ，作二次多项式拟合时 直接用构造正规方程组系数矩阵-，计算可得严重病态，拟合结果完全不能用。 作平移变换阳：构造正规方程组系数矩阵-l，计算可得比J 降低了 13个数量级，病态显着改善，拟合效果较好。 取压缩因子作压缩变换：二 1,:二：用匚构造正规方程组系数矩阵-,计算可得又比二裁心 降低了 3个数量级，是良态的方程组，拟合效果十分理想。如有必要，在得到的拟合多项式中使用原来节点所对应的变量x，可写为訣）=久（皿一）仍为一个关于x的n次多项式，正是我们要求的拟合多项式。