曲线拟合的最小二乘法.ppt

第三章 函数逼近,赋范空间 内积空间 正交多项式的性质 常用正交多项式 最佳平方逼近问题 曲线拟合的最小二乘法,2020年8月5日星期三,YFN,2,6 曲线拟合的最小二乘法,背景： 离散数据的特点 数据不准确 数据多,甚至是是大量的 数据采样一般基本上反映函数的基本性态 离散数据建模方法 插值法：经过离散点，高次插值不可靠，分段插值不够光滑 曲线拟合：曲线符合离散点分布的基本轮廓，或符合某理论规律，不要求曲线精确通过每一离散点。,2020年8月5日星期三,YFN,3,6.1 曲线拟合的过程,造型：通过作图分析或直接依据物理规律选取合适的曲线类型，即拟合模型：,待定参数数目n通常远小于节点数目m.,线性拟合模型：,非线性拟合模型：,2020年8月5日星期三,YFN,4,（拟合过程续）,选择最好的曲线 依据某种标准选择一条“最好”的简单曲线作为离散数据 的连续模型。 标准：拟合残差向量r的某种范数最小. 残差向量 r=(r0,r1,rm)T=r(c0,c1,cn) 第j个节点的残差 范数：正数j是第j个采样点处的权。 切比雪夫意义下的曲线拟合 最小二乘意义下的曲线拟合,2020年8月5日星期三,YFN,5,（拟合过程续）,总结 切比雪夫意义下的曲线拟合模型 最小二乘意义下的曲线拟合模型 确定函数类的一种方法：多项式（简单，Weierstrass Th. Page 89，可行，不是最有效的),2020年8月5日星期三,YFN,6,6.2 最小二乘法拟合模型的求解,问题的矩阵形式表述 法方程组 平方误差 法方程组系数矩阵（Gram矩阵）的表示 矛盾方程以及加号逆 举例 基于离散正交多项式的最小二乘拟合,2020年8月5日星期三,YFN,7,最小二乘问题的矩阵形式表述,2020年8月5日星期三,YFN,8,（矩阵表述续）,最小二乘问题等价于,2020年8月5日星期三,YFN,9,（矩阵表述续）,离散Gram矩阵,最小二乘问题等价于,2020年8月5日星期三,YFN,10,定理3.6 如果离散Gram矩阵是实正定对称矩阵, 则向量 使得二次函数I(C)取最小值的充分必要条件是向量 是线性方程组 GnC=Y 的解向量.,Remark 1 当Gn是实对称正定矩阵时,det(Gn)0 ,定理中的线性方程组的解向量是存在惟一的, 此时最小二乘曲线拟合问题有惟一的解函数. 称定理中的方程组为线性空间上最小二乘问题的法方程组.,法方程组,2020年8月5日星期三,YFN,11,2020年8月5日星期三,YFN,12,误差估计表示,2020年8月5日星期三,YFN,13,离散Gram矩阵的进一步讨论,行向量,2020年8月5日星期三,YFN,14,（离散Gram矩阵续）,类似地有：,2020年8月5日星期三,YFN,15,（离散Gram矩阵续）,离散Gram矩阵是半正定矩阵：设是任意非零列向量, 对角矩阵W对角元素为正,当矩阵 A列满秩 (列线性无关)时离散Gram矩阵正定: 对任意非零列向量有A是非零列向量, 进而得到,此时定理3.6的条件得到满足. 不严格地说, 由于矩阵的行数远远大于列数, 矩阵一般都是列满秩的.,2020年8月5日星期三,YFN,16,矛盾方程组以及加号逆,法方程组有表达形式：,该式可以看作是给(超定)线性方程组,的两端左乘矩阵ATW得到。,2020年8月5日星期三,YFN,17,（矛盾方程组以及加号逆续）,超定线性方程组可理解为在线性空间上求过节点 的插值函数所列出的线性方程组。由于插值条件的个数 m1远大于待定参数的个数没n1, 故一般说来该线性方程组是一个矛盾方程组, 无解。 法方程组的解又可以看作是上述矛盾方程在最小二乘意义下的最优解。,最小二乘,2020年8月5日星期三,YFN,18,（矛盾方程与广义逆续）,当取权矩阵W为单位矩阵时, 法方程组简化为 。进而当A列满秩时，ATA是实对称正定矩阵，矛盾方程组在最小二乘意义下的最优解可表示 。,在矩阵论中称 是列满秩矩阵A的广义逆, 记为 。进而 是矛盾方程组在最小二乘意义下的最优解。,2020年8月5日星期三,YFN,19,例题,确定公式 中的参数, 使之与如下数据拟合。,解 公式关于参数非线性, 变形公式为如下线性模型：,并有如下函数值表:,2020年8月5日星期三,YFN,20,最小二乘曲线拟合的法方程组为 , 即,解方程组得 = 0.503375, = 0.976071, = -1.966900,进而有参数 = 1.98659 = 1.93905, = -3.907422 。,最小二乘平方误差为,关于f的误差,2020年8月5日星期三,YFN,22,拟合效果示意图,2020年8月5日星期三,YFN,23,用关于点集的正交函数系作最小二乘曲线拟合,背景： 最小二乘曲线拟合问题的解函数是通过求解法方程组得到的； 选定的基函数产生的法方程组系数矩阵可能是病态的, 即系数矩阵或右端项的微小扰动可能导致解函数有很大的误差。 为避免求解病态法方程组, 希望选择一类特殊的基函数, 使法方程组系数矩阵是对角阵。,2020年8月5日星期三,YFN,24,关于离散内积正交的定义,定义：如果定义于区间 上的函数族 关于点集 以及一组权值 所定义的离散内积满足关系,则称函数族 是关于点集 以及权值 的正交函数族。,2020年8月5日星期三,YFN,25,基于正交基的最小二乘曲线拟合,当函数族 是线性空间 的一组正交基时, 定义于该空间上的最小二乘曲线拟合问题的法方程组系数矩阵为对角阵,拟合曲线为：,2020年8月5日星期三,YFN,26,正交基构造,当有限维线性空间 为不超过 次的多项式时, 关于点集 及权值 的首项系数为1正交多项式递推公式,施密特正交化方法,2020年8月5日星期三,YFN,27,（正交基构造续）,