第六章数据拟合方法课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章 数据拟合方法,数据拟合的最小二乘法,Bezier,曲线,第六章 数据拟合方法数据拟合的最小二乘法,1,第六章 数据拟合方法数据拟合的最小二乘法第六章 数据拟合,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:,纤维强度随拉伸倍数增加而增加。,6.1,数据拟合的最小二乘法,一、曲线拟合的数学描述与问题求解,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的2,2,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的2,24,个点大致分布在一条直线附近。,故可认为强度,y,与拉伸倍数,x,的主要关系应为线性关系：,必须找到一种度量标准来衡量什么曲线最接近所有数据点。,24个点大致分布在一条直线附近。故可认为强度y与拉伸倍数x的,3,24个点大致分布在一条直线附近。故可认为强度y与拉伸倍数x的,x,x,1,x,2,x,m,f,(,x,),y,1,y,2,y,m,1,、数据拟合问题,研究内容：从一大堆看上去杂乱无章的数据中找出规律性来，即设法构造一条曲线（拟合曲线）反映所给数据点总的趋势，以消除其局部波动。这种要求曲线尽可能逼近给定数据的过程称“拟合”。,给定一组值：,求函数,使得,最小。,x x1 x2,4,x x1 x2,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类等。,（1）若,(,x,),为一元函数，则函数曲线为平面图形，称,曲线拟合,。,（2）,(,x,),为拟合函数，上式最小为拟合条件（即要求拟合曲线与各数据点在,y,方向的误差平方和最小）。,（3）函数类的选取：,说明：,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类,5,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类,残差向量的各分量平方和记为：,2,、最小二乘法：,以残差平方和最小问题的解来确定拟合函数的方法。,令,在回归分析中称为残差,(,i,=1,2,m,),残差向量：,残差向量的各分量平方和记为：2、最小二乘法：以残差平方和最小,6,残差向量的各分量平方和记为：2、最小二乘法：以残差平方和最小,由多元函数求极值的必要条件，有,可得,即,由多元函数求极值的必要条件，有可得即,7,由多元函数求极值的必要条件，有可得即由多元函数求极值的必要条,上式为由,n,+1个方程组成的方程组，称,正规方程组,。,由,得,即,上式为由n+1个方程组成的方程组，称正规方程组。由得即,8,上式为由n+1个方程组成的方程组，称正规方程组。由得即上式为,引入记号,则由内积的概念可知,显然内积满足交换律,正规方程组便可化为,引入记号则由内积的概念可知显然内积满足交换律正规方程组便可化,9,引入记号则由内积的概念可知显然内积满足交换律正规方程组便可化,将其表示成矩阵形式：,其系数矩阵为对称阵。,所以正规方程组的系数矩阵非奇异,即,根据Crame法则,正规方程组有唯一解，称其为最小二乘解。,将其表示成矩阵形式：其系数矩阵为对称阵。所以正规方程组的系数,10,将其表示成矩阵形式：其系数矩阵为对称阵。所以正规方程组的系数,作为一种简单的情况，常使用多项式函数,P,n,(,x,),作为(,x,i,y,i,)(,i,=1,2,m,),的拟合函数。,基函数之间的内积为：,拟合函数,(,x,)=,P,n,(,x,),的基函数为：,作为一种简单的情况，常使用多项式函数Pn(x)作为(xi,y,11,作为一种简单的情况，常使用多项式函数Pn(x)作为(xi,y,即正规方程组为,即正规方程组为,12,即正规方程组为即正规方程组为12,例.,回到本节开始的实例,，从散点图可以看出，,纤维强度和拉伸倍数之间近似线性关系，故可选取线性函数,为拟合函数建立正规方程组，其基函数为,根据内积公式，可得,正规方程组为,例.回到本节开始的实例，从散点图可以看出，纤维强度和拉伸,13,例.回到本节开始的实例，从散点图可以看出，纤维强度和拉伸,解得,残差平方和：,拟合曲线与散点,的关系如右图:,即为所求的最小二乘解。,故,解得残差平方和：拟合曲线与散点即为所求的最小二乘解。故,14,解得残差平方和：拟合曲线与散点即为所求的最小二乘解。故解得残,若,m,n,+1,，则此方程组称,超定方程组,（方程个数未知数个数）,二、超定方程组的最小二乘解,将拟合函数以向量表示：,令,（,i,=1,2,m,）,可得,若mn+1，则此方程组称超定方程组（方程个数未知数个数）,15,若mn+1，则此方程组称超定方程组（方程个数未知数个数）,考虑正规方程组,（,k,=0,1,n,）,（1）未知数,a,j,的系数,为超定方程组中系数阵第,k,列与第,j,列对应积之和（即内积(,k,j,),）；,（2）右端向量,为系数阵第,k,列与,m,个函数对应积之和。,可知：,考虑正规方程组（k=0,1,n）（1）未知数aj的系数为超,16,考虑正规方程组（k=0,1,n）（1）未知数aj的系数为超,故正规方程组矩阵形式为：,若有唯一解，称其为超定方程组的,最小二乘解,。,注：,最小二乘解并不能满足超定方程组中每个方程，但要求尽可能接近给定数据，即允许每个等式可以稍有偏差（即,残差,）。,求一般超定方程组,Ax,=,b,的主要过程：,（1）求出系数矩阵,A,的转置矩阵,A,T,；,（2）计算矩阵,D,=,A,T,A,和向量,f,=,A,T,b,；,（3）求解正规方程组,Dx,=,f,。,故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的最小二,17,故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的最小二,x,1,2,3,4,y,4 10 18 26,例1,用多项式拟合函数：,解：,设,得,即,x 1 23,18,x 1 23,记系数矩阵为,，则,故正规方程组为,解得,记系数矩阵为，则故正规方程组为解得,19,记系数矩阵为，则故正规方程组为解得记系数矩阵为，则故正规,注：,具体用几次多项式拟合，可据实际情况而定。可先画草图，将已知点描上去，看与什么函数相近，就以什么函数拟合。,拟合曲线：,注：具体用几次多项式拟合，可据实际情况而定。可先画草图，将已,20,注：具体用几次多项式拟合，可据实际情况而定。可先画草图，将已,Bezier曲线,：由一组多边形折线的各顶点,P,0,P,1,P,m,定义。只有第一点和最后一点在曲线上，其余点用以定义曲线的阶次与倒数，多边折线的第一段与最后一段表示出曲线在起点和终点处的切线方向。,6.2,Bezier,曲线,Bezier曲线：由一组多边形折线的各顶点P0,21,Bezier曲线：由一组多边形折线的各顶点P0,若给定控制多边形顶点,P,0,P,1,P,m,坐标(,x,0,y,0,),(,x,m,y,m,)，则相应的,Bezier多项式,定义为：,Bezier,曲线的数学表达式：,其中,若给定控制多边形顶点P0,P1,Pm坐标(x0,22,若给定控制多边形顶点P0,P1,Pm坐标(x0,（1）,一次Bezier曲线,（,m,=1）：,通过平面上两点,P,0,P,1,的直线段。,若记,(,k,=0,1,m,),则有,矢量表示,下面给出,m,=1,2,3,时，Bezier曲线数学表达式：,（1）一次Bezier曲线（m=1）：通过平面上两点P0,23,（1）一次Bezier曲线（m=1）：通过平面上两点P0,（2）二次Bezier曲线（,m,=2,）：通过平面上三点P,0,P,1,P,2,的抛物线。,若记,则m次Bezier多项式可表示为,（3）三次Bezier曲线（,m,=3,）：通过平面上四点P,0,P,1,P,2,P,3,的三次曲线。,（2）二次Bezier曲线（m=2）：通过平面上三点P0,24,（2）二次Bezier曲线（m=2）：通过平面上三点P0,Bezier,多项式性质：,（1）,（2）,（3）,Bezier多项式性质：（1）（2）（3）,25,Bezier多项式性质：（1）（2）（3）Bezier多项式,P63,习题四：1，2，3，4，5,本章作业,P63本章作业,26,P63本章作业P63本章作业26,第六章 数据拟合方法,数据拟合的最小二乘法,Bezier,曲线,第六章 数据拟合方法数据拟合的最小二乘法,27,第六章 数据拟合方法数据拟合的最小二乘法第六章 数据拟合,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:,纤维强度随拉伸倍数增加而增加。,6.1,数据拟合的最小二乘法,一、曲线拟合的数学描述与问题求解,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的2,28,例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的2,24,个点大致分布在一条直线附近。,故可认为强度,y,与拉伸倍数,x,的主要关系应为线性关系：,必须找到一种度量标准来衡量什么曲线最接近所有数据点。,24个点大致分布在一条直线附近。故可认为强度y与拉伸倍数x的,29,24个点大致分布在一条直线附近。故可认为强度y与拉伸倍数x的,x,x,1,x,2,x,m,f,(,x,),y,1,y,2,y,m,1,、数据拟合问题,研究内容：从一大堆看上去杂乱无章的数据中找出规律性来，即设法构造一条曲线（拟合曲线）反映所给数据点总的趋势，以消除其局部波动。这种要求曲线尽可能逼近给定数据的过程称“拟合”。,给定一组值：,求函数,使得,最小。,x x1 x2,30,x x1 x2,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类等。,（1）若,(,x,),为一元函数，则函数曲线为平面图形，称,曲线拟合,。,（2）,(,x,),为拟合函数，上式最小为拟合条件（即要求拟合曲线与各数据点在,y,方向的误差平方和最小）。,（3）函数类的选取：,说明：,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类,31,据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类,残差向量的各分量平方和记为：,2,、最小二乘法：,以残差平方和最小问题的解来确定拟合函数的方法。,令,在回归分析中称为残差,(,i,=1,2,m,),残差向量：,残差向量的各分量平方和记为：2、最小二乘法：以残差平方和最小,32,残差向量的各分量平方和记为：2、最小二乘法：以残差平方和最小,由多元函数求极值的必要条件，有,可得,即,由多元函数求极值的必要条件，有可得即,33,由多元函数求极值的必要条件，有可得即由多元函数求极值的必要条,上式为由,n,+1个方程组成的方程组，称,正规方程组,。,由,得,即,上式为由n+1个方程组成的方程组，称正规方程组。由得即,34,上式为由n+1个方程组成的方程组，称正规方程组。由得即上式为,引入记号,则由内积的概念可知,显然内积满足交换律,正规方程组便可化为,引入记号则由内积的概念可知显然内积满足交换律正规方程组便可化,35,引入记号则由内积的概念可知显然内积满足交换律正规方程组便可化,将其表示成矩阵形式：,其系数矩阵为对称阵。,所以正规方程组的系数矩阵非奇异,即,根据Crame法则,正规方程组有唯一解，称其为最小二乘解。,将其表示成矩阵形式：其系数矩阵为对称阵。所以正规方程组的系数,36,将其表示成矩阵形式：其系数矩阵为对称阵。所以正规方程组的系数,作为一种简单的情况，常使用多项式函数,P,n,(,x,),作为(,x,i,y,i,)(,i,=1,2,m,),的拟合函数。,基函数之间的内积为：,拟合函数,(,x,)=,P,n,(,x,),的基函数为：,作为一种简单的情况，常使用多项式函数Pn(x)作为(xi,y,37,作为一种简单的情况，常使用多项式函数Pn(x)作为(xi,y,即正规方程组为,即正规方程组为,38,即正规方程组为即正规方程组为38,例.,回到本节开始的实例,，从散点图可以看出，,纤维强度和拉伸倍数之间近似线性关系，故可选取线性函数,为拟合函数建立正规方程组，其基函数为,根据内积公式，可得,正规方程组为,例.回到本节开始的实例，从散点图可以看出，纤维强度和拉伸,39,例.回到本节开始的实例，从散点图可以看出，纤维强度和拉伸,解得,残差平方和：,拟合曲线与散点,的关系如右图:,即为所求的最小二乘解。,故,解得残差平方和：拟合曲线与散点即为所求的最小二乘解。故,40,解得残差平方和：拟合曲线与散点即为所求的最小二乘解。故解得残,若,m,n,+1,，则此方程组称,超定方程组,（方程个数未知数个数）,二、超定方程组的最小二乘解,将拟合函数以向量表示：,令,（,i,=1,2,m,）,可得,若mn+1，则此方程组称超定方程组（方程个数未知数个数）,41,若mn+1，则此方程组称超定方程组（方程个数未知数个数）,考虑正规方程组,（,k,=0,1,n,）,（1）未知数,a,j,的系数,为超定方程组中系数阵第,k,列与第,j,列对应积之和（即内积(,k,j,),）；,（2）右端向量,为系数阵第,k,列与,m,个函数对应积之和。,可知：,考虑正规方程组（k=0,1,n）（1）未知数aj的系数为超,42,考虑正规方程组（k=0,1,n）（1）未知数aj的系数为超,故正规方程组矩阵形式为：,若有唯一解，称其为超定方程组的,最小二乘解,。,注：,最小二乘解并不能满足超定方程组中每个方程，但要求尽可能接近给定数据，即允许每个等式可以稍有偏差（即,残差,）。,求一般超定方程组,Ax,=,b,的主要过程：,（1）求出系数矩阵,A,的转置矩阵,A,T,；,（2）计算矩阵,D,=,A,T,A,和向量,f,=,A,T,b,；,（3）求解正规方程组,Dx,=,f,。,故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的最小二,43,故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的最小二,x,1,2,3,4,y,4 10 18 26,例1,用多项式拟合函数：,解：,设,得,即,x 1 23,44,x 1 23,记系数矩阵为,，则,故正规方程组为,解得,记系数矩阵为，则故正规方程组为解得,45,记系数矩阵为，则故正规方程组为解得记系数矩阵为，则故正规,注：,具体用几次多项式拟合，可据实际情况而定。可先画草图，将已知点描上去，看与什么函数相近，就以什么函数拟合。,拟合曲线：,注：具体用几次多项式拟合，可据实际情况而定。可先画草图，将已,46,注：具体用几次多项式拟合，可据实际情况而定。可先画草图，将已,Bezier曲线,：由一组多边形折线的各顶点,P,0,P,1,P,m,定义。只有第一点和最后一点在曲线上，其余点用以定义曲线的阶次与倒数，多边折线的第一段与最后一段表示出曲线在起点和终点处的切线方向。,6.2,Bezier,曲线,Bezier曲线：由一组多边形折线的各顶点P0,47,Bezier曲线：由一组多边形折线的各顶点P0,若给定控制多边形顶点,P,0,P,1,P,m,坐标(,x,0,y,0,),(,x,m,y,m,)，则相应的,Bezier多项式,定义为：,Bezier,曲线的数学表达式：,其中,若给定控制多边形顶点P0,P1,Pm坐标(x0,48,若给定控制多边形顶点P0,P1,Pm坐标(x0,（1）,一次Bezier曲线,（,m,=1）：,通过平面上两点,P,0,P,1,的直线段。,若记,(,k,=0,1,m,),则有,矢量表示,下面给出,m,=1,2,3,时，Bezier曲线数学表达式：,（1）一次Bezier曲线（m=1）：通过平面上两点P0,49,（1）一次Bezier曲线（m=1）：通过平面上两点P0,（2）二次Bezier曲线（,m,=2,）：通过平面上三点P,0,P,1,P,2,的抛物线。,若记,则m次Bezier多项式可表示为,（3）三次Bezier曲线（,m,=3,）：通过平面上四点P,0,P,1,P,2,P,3,的三次曲线。,（2）二次Bezier曲线（m=2）：通过平面上三点P0,50,（2）二次Bezier曲线（m=2）：通过平面上三点P0,Bezier,多项式性质：,（1）,（2）,（3）,Bezier多项式性质：（1）（2）（3）,51,Bezier多项式性质：（1）（2）（3）Bezier多项式,P63,习题四：1，2，3，4，5,本章作业,P63本章作业,52,P63本章作业P63本章作业52,