资源描述
最小二乘法在解决实际问题中的应用摘 要最小二乘法是从拟合方面入手，多用于参数估计系统检测等多个地方。 然而，最小二乘法通常由于其抽象而无法准确理解。 在本文中，讨论了最小二乘法的基本原理及其各种拟合方法，这其 中 有 ： 一 元 线 性的 最 小 二 乘 法 拟 合，多 元的 线 性 拟 合， 多项 式的拟 合， 非 线 性的拟 合 和 可 转 化 成为 线 性 拟 合 的 非 线 性 拟 合。关键词：数据拟合；数学工具；分析应用；误差项；层次分析法AbstractThe least squares method is used to estimate or identify the regression model from the perspective of error fitting. It is widely used in many fields such as parameter estimation, system identification and forecasting and forecasting. However, the least squares method is usually not easily understood due to its abstraction. In this paper, the basic principle of least squares method and its various fitting methods are discussed. There are one linear linear least squares fitting, multiple linear fitting, polynomial fitting, nonlinear fitting and Can be transformed into linear fitting of linear fitting, and the application of least squares method in practice is shown by examples. On this basis, the design principle of several least squares procedures is given.Keywords: Least square method; Weighted least square method; Linear fitting; Curve fitting ;Application example1引言最小二乘法第一次出现的时间是1805年，天文学家勒让德是出书的人，而且附录里边是计算彗星的轨道的新方法，并且它作为计算方法，它也处于应用数学的初级阶段。现如今，最小二乘法的理论研究变得很成熟了，慢慢分为多种专业方向。而且最小二乘法所应用的地方非常多，这就是为什么要研究最小二乘法的原因。1.1研究意义与现状：最小二乘法最早是在十九世纪初创立的，是最重要的统计方法。他延伸出了许多知识，例如：加权最小二乘法，一元线性拟合等等。所以研究最小二乘法是有必要的。朱赛普皮亚齐发现了被命名为“谷神星”的小行星，这个科学家进行了长达40多天的观察研究，但是因为这颗小行星运转到了太阳的背面，皮亚齐找不到它的位置了。然后有非常多的科学家来找寻这颗小行星，结果没有一个人能根据计算找到，最后海因里希奥尔伯斯利用高斯的方法找到了。经过二百多年的发展，最小二乘法在科学的实验中还有工程技术里面得到了非常广泛的应用，随着现代电子计算机的应用和发展，这种方法就显得非常强大。利用最小二乘法所得到的观测值在各领域的应用还不完善，观测的精确度从始至终都是极限值，假如超过了这个极限的值，那么就会引起失效，或者数学模型的表达和测量仪器的分辨力都失效。超过这个精度极限，反复观察的结果将不会相互重合。例如，如果我们用眼睛去看和用米尺去测量工作台的长度，那么极限的精确度可能就是毫米了。如果我们把结果记录到最接近0的0.1，那么它们就会不一致。我们想要的精度通常超过我们观察到的精度极限值。在这种情况下，我们无法知道我们观察到的物理量的真实数值。 我们只能估计真实数值是多少。我们希望这个估值是独一无二的（即使用一种标准方法来确定估值，当给出相同的观察值时，这种方法得到的是相同的估值），我们想知道估值的优度怎么样。处理不一致数据的科学方法称为统计学，我们除了用最小二乘法让不符合的值的平方之和最小这个方法，还可以用别的方法来确定唯一的估计值。1.2最小二乘法的定义：定义1.1(残差)：。要使尽可能的小，我们比较常见的方法有：（1）有，偏差最大绝对值最小，（2）有，偏差绝对值之和最小，（3）有，偏差平方和最小，则称（3）为最小二乘法原则。1.3主要性质和定理y与变量之间的关系式为:。其中个待定参数是 ,记， 是测量值, 是由已经求解得到的和实验点集而得到的函数值。用最小二乘法转换过的方程组叫做正规方程组，其中方程式数等于待定参数的数目。我们可以通过正规方程组得到。1.4最小二乘法的优点和缺点优点：最小二乘法可以有效处理大量数据，提高运算的效率，将混乱的数据你合成一条直线来反映出数据的趋势。缺点：在使用过程中应需注意下面几个问题：在解决实际问题中一定要非常谨慎的选择拟合关系，我们一定要借助现有的知识以及经验，选择最合适的拟合关系。2运用2.1 曲线性拟合2.1.1一元线性拟合假设变量与之间是有线性关系的,就是：.现在已知个实验点 ,求解两个未知的参数.方法一 从最小二乘法原理得到,参数应该使得取得极小值.根据极小值的求解方法,和必须满足,解得,即(1)其中,线性的相关系数,该式中,方法二 把代入中得矛盾方程组(2)令,则（2）式可写成,则有,所以.称为结构矩阵,称为数据矩阵, 称为常数矩阵. 称为信息矩阵,为了量化实验数据与线性关系的一致程度，我们可以使用相关系数进行测量。 它被定义为.时，越接近1，之间的线性关系就很好。为正数，直线的斜率就是正的，就叫做正相关;对于是负数时，直线的斜率就是负的，就叫做负相关;当接近0时，测量的数学点分散就称作为非线性。称之为最小值的相关系数和测量次数，如图所示：3 1.000 9 0.798 15 0.6414 0.990 10 0.765 16 0.6235 0.959 11 0.735 17 0.6066 0.917 12 0.708 18 0.5907 0.874 13 0.684 19 0.5758 0.834 14 0.661 20 0.561应该先求出的值，再来进行一元线性的拟合,最后与相比较,如果,那么和则具有线性的关系,就可以求回归直线；否则则不行。2.1.2多元线性拟合个变量与有线性关系，,假如第个是,对应的是，偏差平方和是：为了让得到极小的值,那么正规方程组为:,即,.将实验数据转化为上述形式的方程里,我们可以得到未知参数.2.1.3指数函数拟合此时的拟合函数具有以下形式：（是未确定的系数）。式子的两端取自然对数有令则（*）式化成线性形式为则可以求出。从而有。所以2.1.4 非线性最小二乘法拟合把非线性关系代入偏差平方和表达式中，然后展开成泰勒级数，忽略高次项，化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果。计算步骤:(1) 假设我们需要求得的参数的真值是,然后另外取一个初值,它的差值就是,那么.(2) 将函数在处展开成为泰勒级数。由于初始值和真值应该非常接近,所以可以省略高阶项的泰勒展开式,以获得一阶近似展开式:,式中(3) 令,那么展开式可以写成:,这是线性关系式的特殊形式。(4)将拟合的多元线性最小二乘法的正规方程应用于上述式子以获得其正规方程组2：令,那么上式成为:。(5)利用高斯消元法或其他方法来求解出正规方程，我们可以得出结论就是,然后求解出,该式是一个近似式, 也是近似的值。将第一次获得的值分配给作为新的初始值，重复该过程，并获得新的值，并且获得新的初始值直到得到的精度足够准确为止。2.1.5 可化为线性拟合的非线性拟合对于实际的曲线拟合问题，我们通常根据观察值绘制笛卡尔坐标平面上的散点图，看看哪一类曲线类型与散点图近似。下表列出了几种经过适当转换为线性拟合求解的拟合方程和变换关系：曲线拟合方程 变换关系 变换后线性拟合方程图3-1显示了几种常见的数据拟合。 图，数据接近于直线，适合使用线拟合；图接近抛物线的数据分布，适合使用拟合;图数据分布的特点是曲线开始上升迅速上升然后逐渐的减速，适合使用或；图数据分布的特点是曲线开始迅速下降，然后逐渐减速，适合使用或或其他函数拟合。2.2 加权最小二乘法2.2.1加权最小二乘法定义该方法适用的拟合方法是在实验测量值不等精度的情况下，误差因素消除程度的不同，结果会趋向于准确。令拟合函数为,当值取时的实测值为,取，加权偏差平方之和：,是个实验点的权重因子.选取合适的权重因子可以获得高精度的拟合参数22。2.2.2加权最小二乘法原理根据实际需要，经常对于更高的精确度或更重要的数据，应给予更大的权利。对于给定的一组测试数据，需要在中，查找一个函数使是中的任一函数是正数，称作为权，大小反映的地位强弱，显然：求可归结为求多元函数的极小点同理可求。但其中：特例：如果选用的拟合曲线为则，相应的方法方程组为=。2.3一元线性拟合实例例如：铜导体在温度（）下的电阻如表6-1所示，求解电阻R与温度T之间的近似函数关系。表4-1i 0 1 2 3 4 5 6() 19.1 25.0 30.1 36.0 40.0 45.1 50.076.30 77.80 79.25 80.80 82.35 83.90 85.10解：画出散点图，数据接近一条直线，让n=1，拟合函数就为列表如下表4-2i0 19.1 76.30 364.81 1457.3301 25.0 77.80 625.00 1945.0002 30.1 79.25 906.01 2385.4253 36.0 80.80 1296.00 2908.8004 40.0 82.35 1600.00 3294.0005 45.1 83.90 2034.01 3783.8906 50.0 85.10 2500.00 4255.000245.3 565.5 9325.83 20029.445正规方程组为解方程组得故得R与T的拟合直线为例如，当R = 0时T = -242.5，就是预测温度T = -224.5的时候，铜线没有电阻。2.4用最小二乘法分析国民经济的增长趋势2.4.1.问题背景通过GDP的发展我们可以大致分析近几年我国的经济发展趋势，估计国内的经济发展趋势以及 GDP 的增长速率。2.4.2大致数据大致下面是我国的近十年的 GDP 数据：表中单位：亿元2012 2011 2010 2009 2008 2007 2006 2005 2004 200378，894.0 78，579.0 78，388.0 77，510.0 77，046.0 76，531.0 76，315.0 76，120.0 75，290.0 74，911.02.4.3问题求解横轴代表年份纵轴代表 GDP，单位：亿元拟合曲线如下：我们可以得到方程：y = 450.36x 827147作为问题的回归大约为 450.36 亿元。2.5武器装备批量生产成本费用研究引用了武器系统的实际生产相关数据7。 见表1。生产序号 材料1的耗费 材料2的耗费 生产工时 总成本1 1435 426 421 19752 1295 339 289 16153 1162 277 248 14214 1212 301 237 14625 1233 300 236 15406 1111 310 239 13667 1072 289 209 12908 1020 301 220 12889 995 268 188 119310 1001 264 167 1212从表1可以看出，材料1，材料2的消耗或生产时间都随着批量增加而减少和趋向于稳定，并且它们在数量之间呈现负的指数关系。我们以材料1为例，运用批量生产公式拟合，将非线性问题转化成为线性问题。将变量设置为生产序列号，变量设为相应的材料消耗。 可以通过函数变换得到回归方程，并对材料1消耗曲线方程的参数和显着性检验。这里使用 检验，分别记作 、，在给定显著性水平的情况下，通过了变量的显著性检验6。同样地，我们将材料2的耗费和生产时间做了类似的处理，就得到了表2科目 回归公式 下次预测材料1耗费 89.3% 370.80 -25.7889 998材料2耗费 72.7% 184.32 -14.6048 264生产工时 90.7% 179.59 -28.0087 178用OLS方法和WLS方法来分别求解。预测模型有：加权最小二乘法：一般最小二乘法：是材料1的耗费，是材料2的耗费，是生产工时，是总成本。比较二者拟合结果所得到的差异如表3所示：OLS OLS OLS WLS WLS WLS拟合值 绝对误差 相对误差/% 拟合值 绝对误差 相对误差/%1959.8 -15.2 -0.77 1976.2 1.2 0.061639.9 24.9 1.54 1599.2 -15.8 -0.9781420 -1 -0.07 1421 0 01482.7 20.7 1.42 1455.5 -6.5 -0.4451502.2 -37.8 -2.46 1594.8 54.8 3.561309.6 -56.4 4.12 1344.3 -21.7 -1.591390.5 100.5 7.79 1277.5 -12.5 -0.971276.3 -11.7 0.91 1298 10 0.781197.4 4.4 0.37 1191.4 -1.6 -0.131183.5 -28.5 -2.35 1252.2 40.2 3.32从表3可以看出，跟实际的值更接近并且得到的结果更加精确的是WLS方法它的最大误差是356，然而OLS方法的最大误差为779，所以WLS方法的拟合性更好。与此同时，可知1170为下一次的总成本预测值，跟这个实际值更加接近，然而OLS 方法预测结果为11734，所以WLS方法的外推性也比OLS要更好。图1更清晰的表明了这一点。总 结从我拿到论文题目开始，我就开始准备完成论文的前期工作了，直到现在，我的论文已经基本完成。刚开始拿到论文题目的时候，完全没有一丁点儿的头绪，不知道该从何下手。关于最小二乘法的资料实在太多，又写不出来大纲，完全不知道该怎么办，也不知道该查哪方面关于最小二乘法的资料。大部分人都有这样的问题，所以齐成辉老师给我们开了一个小会，来指导每个人的论文该如何去写，我们每一个人该从哪方面下手，查哪方面的资料，还将学姐学长的终稿论文给我们让我们研究，我这才慢慢理清我应该怎么写论文，通过查看相关文献以及资料，构建一个大致的框架，也就是大纲，然后慢慢补添东西，最后完成了论文。在完成论文的这一段时间里，我深刻的意识到只要你付出了就会得到回报，学到了很多知识，尽管还研究的不是那么透彻，但是让我受益匪浅。十二月的中旬，我拿到了我的论文题目，最小二乘法与高等代数相关联，最小二乘法的核心就是曲线拟合，所以我翻阅了大量的关于最小二乘法曲线拟合方面相关资料，首先明白了曲线拟合是什么东西，才能和最小二乘法相关联。从一月份查资料开始，我先是去了学校图书馆，在知网上下了大量的论文参考资料，通过整理资料查阅资料，我对我的论文有了一个更深刻的理解，了解到最小二乘法的广泛应用，虽然没有在本文中研究，但是也学习到了很多。本文先是介绍了最小二乘法的研究现状以及意义，其次开题是从最小二乘法的定义以及基本原理入手的，分别介绍加权最小二乘法和最小二乘法的拟合问题，最后通过几个例子说明实践中应用最小二乘法的方法。在实际应用中，利用拟合曲线研究了在物理关系中铜丝和导线之间的关系的应用，又从经济问题中，研究了国民经济的增长趋势，最后基于加权最小二乘法研究了武器装备批量生产成本费用。通过研究这些让我对最小二乘法有了更深刻的认识，尽管研究的不是非常透彻，但是对我以后的学习也非常的有帮助，虽然写论文的过程中遇见了很多困难，但是一一克服之后非常开心，非常有成就感。最小二乘法相对来说比较古老，有非常多的人研究它，最令人着迷的是在大量的混乱的数据中找到一定的规律，并拟合成一条反映总体趋势的曲线，这是一个非常有效的数据处理方法，虽然存在着数据量大容易出错的弊端，但是随着现代电子技术的发展，它更展现出它强大的生命力以及实效性。参考文献1北京大学数学系，高等代数M,北京：高等教育出版社，2003:178-2982钱吉林,刘丁酉. 高等代数解题精粹M.北京:中央民族大学出版社，20053苏育才,姜翠波,张跃辉. 矩阵理论M. 北京：科学出版版社,2006:162- 165.4王品超.高等代数新方法（下）M.徐州：中国矿业大学出版社.20035李桂荣.高等代数的方法研究M.香港亚太经济出版社，20016Farkas L,Farkas.线性代数引论M,北京：人民教育出版社，1981:1017张侃. 刘宝平. 丛琳.基于加权最小二乘法的武器装备批量生产成本费用研究D. 中国舰船研究- 2009,8刘丁酉. 矩阵的分析M.武汉：武汉大学出版社,2003:50-51.9张德丰.MATLAB数值计算方法.北京:机械工业出版社,2010.10肖悠南.现代数值计算方法.北京:北京大学出版社,2010.11李庆扬,王能超,易大义.数值分析(第4版)M.北京:清华大学出版社,2001.12宋文臣.True Basic语言程序设计M.北京:电子工业出版社,1994.13赵新那.数值分析在分析化学中的应用M.武汉:中南工业大学出版社,1987.14徐成贤,陈志平,李乃成.近代优化方法M.北京:科学出版社,2002.15(美)里德.数值分析与科学计算.北京:清华大学出版社,2008.16（美）约翰逊.数学分析与科学计算.北京:科学出版社,2012.17毕超. 房地产业对陕西省经济的效应分析D. 西安建筑科技大学, 2008.18张碧霞. 数学实验课程教学改革的探讨J. 宁德师专学报(自然科学版), 2003(1):67-69.19毕海囡. 无线传感器网络数据融合技术研究D. 哈尔滨工程大学, 2013.20赵明达. 轮胎均匀性参数测量方法的研究D. 青岛科技大学, 2009.21杨泽勇. 电子万能材料试验机测控系统的研究D. 北方工业大学, 2005.22司少玲.关永. 三角函数曲线数据拟合最佳次数的确定J. 计算机工程与设计, 2006(24):56-58.
展开阅读全文