奇异值分解及应用课件

单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版标题样式,编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,奇异值分解及应用,奇异值分解及应用,定理,：设,则存在,使得,右式称为矩阵,A,的,等价标准型,酉等价,：设,若存在,m,阶酉矩阵,U,和,n,阶酉矩阵,V,，使得,则称,A,与,B,酉等价,。,矩阵的奇异值分解,就是矩阵在,酉等价,下的一种,标准型,。,第一节 奇异值分解,定理：设则存在使得右式称为矩阵A的等价标准型酉等价：设若存在,引理,1,证明 设,是,A,H,A,的特征值，,x,是相应的特征向量，则,A,H,Ax= x,由于,A,H,A,为,Hermite,矩阵，故,是实数。又,同理可证,AA,H,的特征值也是非负实数。,引理1 证明 设是AHA的特征值，x是相应的特征向量，则,证明 设,x,是方程组,A,H,Ax=0,的非,0,解,，,引理,2,则由,得,证明 设x是方程组AHAx=0的非0解，引理2 则由得,对于,Hermite,矩阵,A,H,A,，,AA,H,，,设,A,H,A,，,AA,H,有,r,个非,0,特征值，分别记为,即：,A,H,A,与,AA,H,非,0,特征值相同，并且非零特征值的个数为,对于Hermite 矩阵AHA， AAH，设即： AHA与A,奇异值的定义,说明：A的正奇异值个数等于 ，并且A与A,H,有相同的奇异值。,奇异值的定义说明：A的正奇异值个数等于,定理 酉等价,的矩阵有,相同的奇异值,由,定理 酉等价的矩阵有相同的奇异值由,奇异值分解定理,设,A,是秩为,的,则存在,阶酉矩阵,矩阵,与,阶酉矩阵,使得,其中,为矩阵,A,的全部奇异值,.,奇异值分解定理 设A是秩为的则存在 阶酉矩阵矩阵,与,证明,设矩阵 的特征值为,则存在n阶酉矩阵 ，使得,将,分块为,其中,，,分别是,的前,r,列与后,列,.,证明 设矩阵 的特征值为则存在n阶酉矩阵,并改写式为,则有,由的第一式可得,由的第二式可得,令,，则,，即,的,r,个列是两两正交的,单位向量,.,记,并改写式为则有由的第一式可得由的第二式可得令,因此可将,扩充成,标准正交基,，记,增添的向量为,，并构造矩阵,则,是,m,阶正交矩阵,且有,于是可得,因此可将 扩,称上式为矩阵,A,的奇异值分解,.,称上式为矩阵A的奇异值分解.,推论,在矩阵,A,的,奇异值分解,A,=,UDV,H,中，,U,的列向量为,AA,H,的特征向量，,V,的列向量为,A,H,A,的特征向量,.,推论 在矩阵A的奇异值分解A=UDVH中，U的列向量为AA,1,求矩阵,A,H,A,的酉相似对角矩阵及酉相似矩阵,V,;,5,构造奇异值分解,4,扩充,U,1,为酉矩阵,U=(,U,1,U,2,),3,令,2,记,奇异值分解方法,1,利用矩阵,A,H,A,求解,1求矩阵AHA的酉相似对角矩阵及酉相似矩阵V;5 构造奇,例,1,、求矩阵,的奇异值分解,可求得 的特征值为,对应的特征向量依次为,于是可得：,令,其中,计算：,例1、求矩阵的奇异值分解可求得 的特征值为对应的,构造：,则,的奇异值分解为,构造：则的奇异值分解为,奇异值分解方法,2-,利用矩阵,AA,H,求解,1,先求矩阵,AA,H,的酉相似对角矩阵及酉相似矩阵,U,;,4,扩充,V,1,为酉矩阵,V=(,V,1,V,2,),5,构造奇异值分解,2,记,3,令,奇异值分解方法2-利用矩阵AAH求解1先求矩阵AAH的酉,例 求矩阵,A,的奇异值分解,利用矩阵,AA,H,求解,例 求矩阵A的奇异值分解利用矩阵AAH求解,奇异值分解及应用课件,奇异值分解及应用课件,第二节 奇异值分解的性质与应用,1.,奇异值分解可以降维,A,表示,个,维向量，可以通过奇异值分解表示成,个 维向量,.,若,A,的秩,远远小于,和,则通过奇异值分解可以降低,A,的维数,.,可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求,.,第二节 奇异值分解的性质与应用1.奇异值分解可以降维,2.,奇异值对矩阵的扰动不敏感,特征值对矩阵的扰动敏感,.,在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵,A,、,B,的按从大到小排列的奇异值 和,有,2. 奇异值对矩阵的扰动不敏感 特征值对矩阵的扰动敏感,3.,奇异值的比例不变性,即 的奇异值是,A,的奇异值的 倍,.,4.,奇异值的旋转不变性,.,即若,P,是正交阵，,PA,的奇异值与,A,的奇异值相同,.,奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用,.,3. 奇异值的比例不变性,即 的奇异值是A的奇异值的,5.,容易得到,矩阵,A,的秩为,的一个最佳逼近矩阵,.,A,是矩阵,的加权和，其中权系数按递减排列：,5. 容易得到矩阵A的秩为,假设推荐系统中有用户集合有,6,个用户，即,U=u1,u2,u3,u4,u5,u6，,项目（物品）集合有,7,个项目，即,V=v1,v2,v3,v4,v5,v6,v7，,用户对项目的评分结合为,R，,用户对项目的评分范围是,0, 5,，如图所示。,推荐系统,假设推荐系统中有用户集合有6个用户，即U=u1,u2,u3,推荐系统的目标就是预测出符号“？”对应位置的分值。推荐系统基于这样一个假设：用户对项目的打分越高，表明用户越喜欢。因此，预测出用户对未评分项目的评分后，根据分值大小排序，把分值高的项目推荐给用户。,推荐系统的目标就是预测出符号“？”对应位置的分值。推荐系统基,矩阵分解目标就是把用户,-,项目评分矩阵,R,分解成用户因子矩阵和项目因子矩阵乘的形式，即,R=UV，,这里,R,是,nm， n =6， m =7，U,是,nk，V,是,km,，如图所示。,矩阵分解目标就是把用户-项目评分矩阵R分解成用户因子矩阵和,感谢聆听！,感谢聆听！,