《最小二乘法》PPT课件.ppt

第5章 线性参数的最小二乘法处理,最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们说来，应用最小二乘法来解决一些实际问题，仍是目前必不可少的手段。,第一节 最小二乘法原理,最小二乘法的发展已经历了200多年的历史，它最早起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用。特别是近代矩阵理论与电子计算机相结合。使最小二乘法不断地发展而久盛不衰。 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。,一、问题背景,在测量的实验数据处理中，经常需要根据两个量的一批观测数据(xi，yi)，i=1，2，n求出这两个变量Y与X之间所满足的一个函数关系式Yf(X)。 若变量间的函数形式根据理论分析或以往的经验已经确定好了，而其中有一些参数是未知的，则可通过观测的数据来确定这些参数； 若变量间的具体函数形式尚未确定，则需要通过观测数据来确定函数形式及其中的参数。,一、问题背景,在多数估计和曲线拟合的问题中，不论是参数估计还是曲线拟合，都要求确定某些(或一个)未知量，使得所确定的未知量能最好地适应所测得的一组观测值，即对观测值提供一个好的拟合。 解决这类问题最常用的方法就是最小二乘法。 在一些情况下，即使函数值不是随机变量，最小二乘法也可使用。,设X和Y两个物理量之间的函数关系为 假定此函数关系f已知，但其中a1，a2，ak等参数还未求出，现对于X和Y有一批观测数据： xi，yi ，i1，2，,n，要利用这批数据在一定法则之下作出这些参数a1，a2，ak的估计。,假设诸观测值相互独立且服从正态分布。在等精度观测的情况下，即认为各误差服从相同的正态分布N(0， y)。 现在的问题是一个参数估计问题：需要给出a1，a2，ak的估计值 ， ， 。 解决这类问题最常用的方法就是最小二乘法。在一些情况下，即使函数值不是随机变量，最小二乘法也可使用。,一般根据测量的实际情况，可假设变量X的测量没有误差(或与Y的误差相比很小，可略去)，而变量Y的测量有误差，故关于Y的观测值yi可以写成 这里y0i表示xi对于的Y的变量真值，i表示相应的测量误差。,二、最小二乘法准则与正规方程,在参数估计问题中，最小二乘法的法则是： 所选取的参数估计值 ， ， 应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，ak)之差的平方和为最小。 用式子表示时，记残差i为,最小二乘法就是要求,=最小,在这个条件下，利用数学中求极值的方法可以求出参数 ， ， 。这样求出的参数叫参数的最小二乘估计。,正规方程,根据数学分析中求函数极值的条件：,=最小,共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值 (j1，2，k)。,不等精度情况下的最小二乘法,以上是等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不同的方差i2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘法可改为： 选取的参数估值应使诸观测值yi与其估计值 之差的加权平方和为最小。用式子表示就是要使,=最小,其中，wi为各观测值yi的权。wi2i2，i1，2，n。这里2为任选的正常数，它表示单位权方差。,不等精度情况下的最小二乘法正规方程,同样地，根据数学分析中求函数极值的条件：,共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值 (j1，2，k)。,最小二乘法的几何意义,从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi，yi)之间找出这样一条估计曲线，使各观测点到该曲线的距离的平方和为最小。,Y,X,三、最小二乘法与最大似然法的关系,如果假定各观测值是相互独立且服从正态分布，期望值是(xi；a1，a2，ak)，方差是i2, 则观测值的似然函数为,最大似然法要求上式取极大值，这就相当于要求指数项中的,=最小,这就说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。,观测值不服从正态分布时的最小二乘估计,实质上，按最小二乘条件给出最终结果能充分地利用误差的抵偿作用，可以有效地减小随机误差的影响，因而所得结果具有最可信赖性。 假若观测值不服从正态分布，则最小二乘估计并不是最大似然估计。但应该指出，在有些问题中观测值虽然不服从正态分布，但当样本容量很大时，似然函数也趋近于正态分布，因此，这时使用最小二乘法和最大似然法实质也是一致的。,不服从正态分布时最小二乘法的统计学性质,若观测值是服从正态分布的，这时最小二乘法和最大似然法实际上是一回事。但观测值不服从正态分布或其分布未知时，这时用最小二乘法显得缺乏理论的验证。但应该指出，作为一种公理来使用，最小二乘法仍然是可以接受的，而且可以证明，所得到的估计仍然具有一些很好的统计性质，这些性质是：,(1)解是无偏的，即,(2)解是观测值的线性组合，且有最小方差。这称为高斯马尔可夫定理; (3) 加权的残差平方和的期望值是,当21，即取wi1/i2，这时称,为2 量。期望值为nk。,第二节 线性参数的最小二乘法,一般情况下，最小二乘法可以用于线性参数的处理，也可用于非线性参数的处理。由于测量的实际问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的形式。 因此，线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容。,一、线性参数的测量方程一般形式,线性参数的测量方程一般形式为,（5-7）,相应的估计量为,（5-8）,误差方程,其误差方程为,（5-9）,二、线性参数的误差方程式的矩阵形式,设有列向量,和nt阶矩阵(nt),则线性参数的误差方程式(59)可表示为,即,（5-10）,等精度测量最小二乘原理的矩阵形式,即,或,（5-11）,（5-12）,残余误差平方和最小这一条件的矩阵形式为,不等精度测量最小二乘原理的矩阵形式,最小二乘原理的矩阵形式为,或,（5-14）,（5-13）,式中的P为nn阶权矩阵。,线性参数的不等精度测量还可以转化为等精度的形式，从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。,三、线性参数最小二乘法的正规方程,为了获得更可取的结果，测量次数n总要多于未知参数的数目t，即所得误差方程式的数目总是要多于未知数的数目。因而直接用一般解代数方程的方法是无法求解这些未知参数的。 最小二乘法则可以将误差方程转化为有确定解的代数方程组(其方程式数目正好等于未知数的个数)，从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程(或称为法方程)。,1线性参数的最小二乘法处理的基本程序,线性参数的最小二乘法处理程序可归结为： （1）根据具体问题列出误差方程式； （2）按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程； （3）求解正规方程，得到待求的估计量； （4）给出精度估计。 对于非线性参数，可先将其线性化，然后按上述线性参数的最小二乘法处理程序去处理。,建立正规方程是待求参数最小二乘法处理的基本环节。,2等精度测量的线性参数最小二乘法处理的正规方程,线性参数的误差方程式为,最小二乘法处理的正规方程为,（5-19）,这是一个t元线性方程组当其系数行列式不为零时，有唯一确定的解，由此可解得欲求的估计量,线性参数正规方程的矩阵形式,正规方程(519)组，还可表示成如下形式,表示成矩阵形式为,线性参数正规方程的矩阵形式,（5-21）,又因,有,即,（5-22）,若令,则正规方程又可写成,（5-22）,（5-23）,若矩阵C是满秩的，则有,的数学期望,因,式中Y、X为列向量(n 1阶矩阵和tl阶矩阵),可见,是X的无偏估计。,其中矩阵元素Y1，Y2，Yn为直接量的真值，而Xl，X2，Xn为待求量的真值。,例51,在不同温度下，测定铜棒的长度如下表，试估计0时的铜棒长度y0和铜的线膨胀系数。,解： （1）列出误差方程,式中, li在温度ti下铜棒长度的测得值； 铜的线膨胀系数。,令y0a，y0=b为两个待估计参量，则误差方程可写为,(2) 列出正规方程,为计算方便，将数据列表如下：,将表中计算出的相应系数值代人上面的正规方程得,（3）求出待求估计量,求解正规方程解得待求估计量,即,按矩阵形式解算,由正规方程，有,则,所以,（4）给出实验结果,铜棒长度yt随温度t的线性变化规律为,3不等精度测量的线性参数最小二乘法处理的正规方程,不等精度测量时线性参数的误差方程仍如上述式(59)一样，但在进行最小二乘法处理时，要取加权残余误差平方和为最小，即,用矩阵表示的正规方程与等精度测量情况类似，可表示为,（5-27）,即,上述正规方程又可写成,（5-28）,该方程的解，即参数的最小二乘法处理为,（5-29）,令,则有,（5-30）,例52,某测量过程有误差方程式及相应的标准差如下：,试求x1，x2的最小二乘法处理正规方程的解。,解： （1）首先确定各式的权,（2）用表格计算给出正规方程常数项和系数,（3）给出正规方程,（4）求解正规方程组,解得最小二乘法处理结果为,四、最小二乘原理与算术平均值原理的关系,为了确定一个量X的估计量x，对它进行n次直接测量，得到n个数据 l1，l2，ln，相应的权分别为p1，p2，pn，则测量的误差方程为,(5-35),其最小二乘法处理的正规方程为,(5-36),由误差方程知al，因而有,可得最小二乘法处理的结果,(5-37),这正是不等精度测量时加权算术平均值原理所给出的结果。,对于等精度测量有,则由最小二乘法所确定的估计量为,此式与等精度测量时算术平均值原理给出的结果相同。,由此可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看做是最小二乘法原理的特例。,第三节 精度估计,对测量数据最小二乘法处理的最终结果，不仅要给出待求量的最可信赖的估计量，而且还要确定其可信赖程度，即应给出所得估计量的精度。,一、测量数据的精度估计,为了确定最小二乘估计量X1，X2，Xt的精度，首先需要给出直接测量所得测量数据的精度。测量数据的精度也以标准差来表示。因为无法求得的真值，因而只能依据有限次的测量结果给出的估计值 ，所谓给出精度估计，实际上是求出估计值 。,（一）等精度测量数据的精度估计,设对包含t个未知量的n个线性参数方程组（57）进行n次独立的等精度测量，获得了n个测量数据l1，l2，ln。其相应的测量误差分别为1，2，n，它们是互不相关的随机误差。因为一般情况下真误差1，2，n是未知的，只能由残余误差l，2，n给出的估计量。,前面已证明,是自由度为（nt）的2变量。,根据2变量的性质，有,（5-39）,取,（5-40）,可以证明它是2的无偏估计量,因为,习惯上，式5-40的这个估计量也写成2，即,（5-41）,因而测量数据的标准差的估计量为,（5-43）,例53,试求例51中铜棒长度的测量精度。,已知残余误差方程为,将ti，li，值代人上式，可得残余误差为,（二）不等精度测量数据的精度估计,不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差的无偏估计为,（5-44）,通常习惯写成,（5-45）,测量数据的单位权标准差为,（5-46）,二、最小二乘估计量的精度估计,最小二乘法所确定的估计量X1，X2，Xt的精度取决于测量数据的精度和线性方程组所给出的函数关系。对给定的线性方程组，若已知测量数据l1，l2，ln的精度，就可求得最小二乘估计量的精度。,下面首先讨论等精度测量时最小二乘估计量的精度估计。,设有正规方程,现要给出由此方程所确定的估计量xl，x2，xt的精度。为此，利用不定乘数法求出xl，x2，xt的表达式，然后再找出估计量xl，x2，xt的精度与测量数据l1，l2，ln精度的关系，即可得到估计量精度估计的表达式。,设d11，dl2，dlt；d2l，d22，d2t：； dtl，dt2，dtt分别为下列各方程组的解：,则各估计量xl，x2，xt的方差为,（5-52）,相应的标准差为,（5-53）,式中，为测量数据的标准差。,不等精度测量的情况与此类似。,矩阵形式的结果表达,利用矩阵的形式可以更方便地获得上述结果。 设有协方差矩阵(nn阶矩阵),式中,等精度独立测量,若l1，l2，ln为等精度独立测量的结果，即 且相关系数ij = 0，即Dlij = 0,协方差矩阵,于是估计量的协方差为,式中各元素即为上述的不定乘数，可由矩阵(ATA)求逆而得，或由式(551)求得。,各估计量xl，x2，xt的方差为,不等精度测量,同样，也可得不等精度测量的协方差矩阵,式中 单位权标准差。,矩阵,式中各元素即为不定乘数，可由(ATPA)求逆得到，也可由式(554)求得。,例54 试求例51中铜棒长度和线膨胀系数估计量的精度,已知正规方程为,测量数据li的标准差为,解：,根据所给正规方程的系数，可列出求解不定乘数方程组,（1）列出求解不定乘数方程组，并求解,分别解得,（2）计算估计量a、b的标准差,可得估计量a、b的标准差为,因,（3）求出y0、的标准差,故有,第四节 组合测量的最小二乘法处理,所谓组合测量，是指直接或间接测量一组被测量的不同组合值，从它们相互组合所依赖的若干函数关系中，确定出各被测量的最佳估计值。 在精密测试工作中，组合测量占有十分重要的地位。例如，作为标准量的多面棱体、度盘、砝码、电容器以及其它标准器的检定等，为了减小随机误差的影响，提高测量精度，可采用组合测量的方法。 通常组合测量数据是用最小二乘法进行处理，它是最小二乘法在精密测试中的一种重要的应用。,组合测量应用,为简单起见，现以检定三段划线间距为例，说明组合测量的数据处理方法。 如图51所示，要求检定刻线A、B、C、D间的距离x1、x2、x3。,（1）测量方案及测量数据,测量数据,组合测量的方案,（2）误差方程,根据测量方案列出误差方程,误差方程的矩阵形式,（3）写出误差方程的相关矩阵,（4）求解估计量x1、x2、x3的最佳估计值,由式（5-24）得,式中,所以,最后解得,（5）计算各次的测量误差值,1 = 0.013mm 2 = 0.002mm 3 = 0.007mm 4 = 0.005mm 5 = 0.015mm 6 = 0.008mm,将最佳估计值,代入误差方程,得,（6）计算各次测得数据的标准差,=0.000536mm3,因为是等精度测量，测得数据l1，l2l3，l4，l5，l6的标准差相同，为,（6）求出估计量x1、x2、x3的标准差,因,故有,例2,测量平面三角形的三个角，得 A48510； B602524； C70427。 假设各测量值权分别为1，2，3，求A、B、C的最佳估计值。,解： 本例有一个约束条件,这类约束条件容易消去，将C180AB代入即可。 另外，在计算中应注意将角度、分、秒值化度。,（1）列出不等权的测量方程组并计算,有关计算值列表如下,（2）写出不等权的正规方程组，并求解,正规方程组,解得,（3）计算测量精度标准差,（4）计算不定乘数,不定乘数方程组 4d113 d121 3d115 d120 4d213 d220 3d215 d221,解得,（5）计算最佳估计值标准差,（6）给出结果,即,本章重要概念小结,1. 最小二程原理,2.线性参数的正规方程 解 是X的无偏估计,证明了最小二乘法原理与算术平均值原理是一致的,在一些情况下，即使函数值不是随机变量，最小二乘法也可使用。,说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。,为2 量,期望值为nk。,一个很好的统计量,本章重要概念小结,3. 测量数据的精度估计,是2的无偏估计量,4. 各估计量xl，x2，xt的精度,本章作业,5-1 5-2 5-3 5-6,问题？ Any Question?,