向量到子空间距离最小二乘法课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,7 向量到子空间的距离,最小二乘法,主要内容,向量到子空间的距离,目录 下页 返回 结束,最小二乘法,1,7 向量到子空间的距离最小二乘法主要内容向量到子空间的,(三角不等式),首页 上页 下页 返回 结束,一、,向量到子空间的距离,在解析几何中,两个点,和,间的距离等于向,量,-,的长度.在欧氏空间中我们同样可引入,2,(三角不等式)首页 上页 下页 返回 结束,在中学所学几何中知道一个点到一个平面(或一条直线)上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量的距离也是以“垂线最短”.,设子空间,W,它由向量,1,2,k,所生成,即,W,=,L,(,1,2,k,).,说一个向量,垂直于子空间,W,就是指向量,垂直于,W,中任何一个向量.,首页 上页 下页 返回 结束,容易验证,垂直于,W,的充分必要条件是,垂直于每个,i,(,i,=1,2,k,).,3,在中学所学几何中知道一个点到一个平面(或一条,设,是给定的一向量,是,W,中的向量,且满,足,-,垂直于,W,.,要证明,到,W,中各向量的距离,以垂线最短,就是要证明,对,W,中任一向量,有,|,-,|,|,-,|.,画出下面的示意图：,首页 上页 下页 返回 结束,4,设 是给定的一向量,是 W 中的向量,且满足,证,-,=(,-,)+(,-,).,因,W,是子空间,W,W,则,-,W,.,故,-,垂直于,-,.,由勾股定理,有,故,首页 上页 下页 返回 结束,5,证 -=(-)+(,二、最小二乘法,上述几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题.先看下面的例子.,例,已知某种材料在生产过程中的废品率,y,与某种化学成分,x,有关.下列表中记载了某工厂生产中,y,与相应的,x,的几次数值：,y,(,)1.00 0.9 0.9 0.81 0.60 0.56 0.35,x,(,)3.6 3.7 3.8 3.9 4.0 4.1 4.2,1.引例,首页 上页 下页 返回 结束,6,二、最小二乘法 上述几何事实可以用来解决一些实际问题.,解 把表中数值画出图来看,发现它的变化趋势近于一条直线.,我们想找出,y,对,x,的一个近似公式.,首页 上页 下页 返回 结束,7,解 把表中数值画出图来看,发现它的变化,因此我们决定选取,x,的一次式,ax,+,b,来表达.当然最好能选到适当的,a,b,使得下面的等式,3.6,a,+,b,-,1.00=0,3.7,a,+,b,-,0.9=0,3.8,a,+,b,-,0.9=0,3.9,a,+,b,-,0.81=0,4.0,a,+,b,-,0.60=0,4.1,a,+,b,-,0.56=0,4.2,a,+,b,-,0.35=0,都成立.,实际上是不可能的.,任何,a,b,代入上面,首页 上页 下页 返回 结束,8,因此我们决定选取 x 的一次式 ax+b,各式都会发生些误差.,于是想找,a,b,使得上面各,式的误差的平方和最小，即找,a,b,使,最小.,这里讨论的是误差的平方即二乘方，故称为,最小二乘法,.,现在转向一般的最小二乘法问题.,首页 上页 下页 返回 结束,9,各式都会发生些误差.于是想找 a,b 使得上面各式的误差,最小二乘法问题,线性方程组,可能无解.,即任何一组数,x,1,x,2,x,s,都可能使,不等于零.,2.最小二乘法,首页 上页 下页 返回 结束,10,最小二乘法问题 线性方程组可能无解.即任何一组数 x1,我们设法找,x,1,0,x,2,0,x,s,0,使(1)最小,这样的,x,1,0,x,2,0,x,s,0,称为方程组的,最小二乘解,.,这种问题就叫做,最小二乘法问题,.,下面我们利用欧氏空间的概念来表达最小二乘法,并给出最小二乘解所满足的条件.令,3.最小二乘法的代数表示,首页 上页 下页 返回 结束,11,我们设法找 x10,x20,(2),用距离的概念,(1)式,就是,最小二乘法就是找,x,1,0,x,2,0,x,s,0,使,Y,与,B,的距离最短.,但从(2)知道向量,Y,就是,首页 上页 下页 返回 结束,12,(2)用距离的概念,(1)式就是最小二乘法就是找x10,记,A,的各列向量分别为,1,2,s,.,由它们生,成的子空间为,L,(,1,2,s,).,Y,就是,L,(,1,2,s,)中的向量.,于是,最小二乘法问题可叙述成:,找,X,使(1)最小，就是在,L,(,1,2,s,)中找一向量,Y,，使得,B,到它的距离比到子空间,L,(,1,2,s,)中其他向量的距离都短.,首页 上页 下页 返回 结束,13,记 A 的各列向量分别为 1,2,s,4.最小二乘解的求法,应用前面所讲的结论，设,Y,=,AX,=,x,1,1,+,x,2,2,+,x,s,s,是所要求的向量，则,C,=,B,-,Y,=,B,-,AX,必须垂直于子空间,L,(,1,2,s,).,为此只须,而且必须,(,C,1,)=(,C,2,)=(,C,s,)=0.,由矩阵乘法规则,上述一串等式可以写成:,首页 上页 下页 返回 结束,14,4.最小二乘解的求法应用前面所讲的结论，设Y=AX,首页 上页 下页 返回 结束,15,首页 上页 下页 返回 结束 15,现在回到前面的例子，易知,首页 上页 下页 返回 结束,16,现在回到前面的例子，易知首页 上页 下页 返回,最小二乘解,a,b,所满足的方程是,即为,解得,a,=,-,1.05,b,=4.81(取三位有效数字,).,首页 上页 返回 结束,17,最小二乘解 a,b 所满足的方程是即为解得a=-1.,