矩阵论矩阵分解汇总

*,*,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,矩阵的分解汇总,目录,三角分解,(LU,分解,),Cholesky,分解,满秩分解,矩阵的,QR,分解,矩阵的奇异值分解,矩阵的谱分解,三角分解,(LU,分解,),矩阵的三角分解主要是用来解方程组,Ax=b.,如果,A=LU,其中,L,为下三角，,U,为上三角，则方程组,Ax,b,等价于,Ly=,b,Ux,=y.,若下三角矩阵,L,是单位下三角矩阵，称,A,LU,为,Doolittle,分解；,若上三角矩阵,U,是单位上三角矩阵，称,A=LU,为,Crout,分解,矩阵分解,A=LDU,，其中，,L,为单位下三角矩阵，,U,为单位上三角矩阵。,Cholesky,分解,A,是实的对称正定矩阵（或者复,Hermite,正定矩阵），,则存在唯一的下三角阵,G,，使得,A=GG,T,其中，,G,的对角元全正。这种分解称为矩阵,A,的,Cholesky,分解。,满秩分解,在求矩阵的满秩分解的过程中，要求矩阵的逆，这比较麻烦,我们将介绍矩阵的,Hermit,标准形，用它来求矩阵的满秩分解比较方便。,矩阵的,Hermite,标准形,矩阵的,QR,分解,矩阵,QR,分解在求解最小二乘问题、特征值问题等方面具有很重要的运用。,QR,分解也叫正交三角分解。,本节我们介绍三种求,QR,分解的方法,Schmidt,正交化方法、,Householder,变换法、,Givens,变换法。,矩阵的正交三角分解（,QR,分解）,Householder,变换求,QR,分解,我们先介绍,Householder,变换的性质,如何利用,Householder,变换求矩阵的,QR,分解,Householder,变换,Givens,变换与正交三角分解,Schmidt,正交化方法求,QR,分解,Schur,分解与正规矩阵,Schur,定理：设数,A,为,n,阶方阵 ，则存在正交矩阵（酉矩阵）,Q,，使,我们已经知道，对称矩阵可以正交相似对角化,由,Schur,定理，对于一般矩阵，正交相似变换后能化成上三角矩阵,对于什么样的矩阵，能够正交相似于一个对角矩阵了？,正规矩阵,n,阶方阵,A,，若满足,AA,H,=A,H,A,，则,A,为正规矩阵。（实矩阵：,A,H,=A,T,，）,显然，实对称矩阵、实反对称矩阵、正交矩阵均为正规矩阵；,复,Hermite,矩阵、反,Hermite,矩阵、酉矩阵均为正规矩阵。,定理：,n,阶方阵,A,，正交（酉）相似于对角阵的充要条件是：,A,为正规阵。,证明,由,Schur,引理：存在正交（酉）矩阵,U,使得,充分性,:,已知,A,为正规阵，即,A,H,A=AA,H,，,必要性：已知存在正交（酉）矩阵,U,使,说明：（,1,）不能酉对角化的矩阵仍有可能采用其它可逆变换将其对角化，例如,A,不是正规矩阵,A,具有两个不同的特征值,1,，,3,，所以可以相似变换对角化。但不能正交相似对角化。,（,2,）实正规矩阵一般不能通过正交相似变换对角化。（若特征值全为实数，则可正交相似对角化）,特征值为,1,2i,1-2i,A,是实正规矩阵，但不可能正交对角化，但可以酉相似对角化,（,3,）实对称矩阵可以通过正交相似变换对角化。,（,4,）实对称矩阵，复,Hermite,矩阵的特征值都是实的。,实对称矩阵的谱分解和,Hermite,矩阵的谱分解最常用。,矩阵的奇异值分解,奇异值分解在最佳逼近、最优化、广义逆、特征值问题的计算等方面具有广泛的应用。,矩阵的奇异值分解（,Singular Value Decomposition,）也叫矩阵的,SVD,分解,只有方阵才有特征值的概念，对于长方形阵，我们引入奇异值的概念。,(2),的证明是后面一个引理的直接推论。,矩阵的奇异值分解定理,对称矩阵的特征值与奇异值有什么关系？,反对称矩阵的特征值与奇异值有什么关系？,正交矩阵的特征值与奇异值有什么关系？,正规矩阵的特征值与奇异值有什么关系？,一般方阵的特征值与奇异值有什么关系？,矩阵谱分解,主要内容：,一、单纯形矩阵的谱分解,二、,正规矩阵与酉对角化,三、正规矩阵的谱分解,左特征向量,给定,n,阶矩阵,A,，,是,A,的,特征值。由于,A,T,与,A,有,相同的特征值，设,Y,是,A,T,的属于,的特征向量，则,称,Y,T,是,A,的属于,的,左特征向量,，,也称,A,的属于,的特征向量为右特征向量,.,两端取转置得：,一、单纯形矩阵的谱分解,设,A,是,n,阶单纯矩阵，,1,2, ,n,是,A,的,n,个不同特征值，,x,1,x,2, ,x,n,是,A,的,n,个线性无关的,特征向量，,P=(,x,1,x,2, ,x,n,),则,:,这表明,A,T,也与对角矩阵相似，故,A,T,也是单纯矩阵,其中,性质,:,单纯矩阵不同特征值的左右特征向量是正交的,以矩阵特征值的代数重复度都为,1,为例加以证明,:,设,y,1,y,2, ,y,n,是,A,T,的,n,个线性无关的,特征向量,.,则,(,y,1,y,2, ,y,n,) = (,P,T,),-1,= (,P,-1,),T,从而,即：,对于单纯矩阵,A,（,矩阵特征值的代数重复度都为,1,）,，,-,矩阵,A,的谱分解,即,单纯矩阵,A,分解成,n,个矩阵,A,i,之和的,形式，其系数组合是,A,的,谱,（所有相异的特征值）。,由,则,对于 有下面的性质：,（,2,）,例,1,求矩阵,A,的谱分解,由,得,设,A,的,左,特征向量为,则,因为 满足,可解得,从而,单纯矩阵,A,的谱分解定理,设单纯矩阵 的谱为 ，,则存在唯一的,其代数重数分为,使,2,设,n,阶单纯矩阵特征值的代数重复度不全为,1,谱分解定理的证明,设,对于特征值,i,，,x,1,i,x,2,i,x,mi,i,是,A,的相应的,m,i,个线性无关的右,特征向量， 是,A,的相应的,m,i,个线性无关的左,特征向量,记,从而,再由,可得,则,同时,例,2,：求单纯矩阵,的谱,分解,由,矩阵,A,的特征多项式,得,A,的特征值,及,相应的线性无关的特征向量,为,设 对应的左特征向量为,则由,得,同理得：,则,从而,1,、正规矩阵定义：,下列类型的矩阵都是正规矩阵：,实对称矩阵,A,T,=,A,;,反实对称矩阵,A,T,=-,A,;,正交矩阵,A,T,=,A,-,1,;,酉矩阵,A,H,=,A,-,1;,Hermite,矩阵,A,H,=,A,;,反,Hermite,矩阵,A,H,=-,A,;,对角矩阵,设,满足,二、,正规矩阵与酉对角化,2,、酉相似,3,、,Schur,定理,（,1,）任意复方阵酉相似于一个上三角矩阵。即,Schur,定理,（,2,）任意实方阵正交相似于一个上三角矩阵。即,引理 正规上三角矩阵是对角矩阵,证明 设,n,阶矩阵,A,是,正规上三角矩阵，则,比较等式两边，可得,定理 ，则,A,酉相似于一个对角矩阵的充分必要条件是,A,为正规矩阵，即,证明 必要性,充分性,由,schur,定理知，,A,酉相似于一个上三角矩阵,T,，,正规矩阵的性质：,1,、正规矩阵有,n,个线性无关的特征向量；,2,、正规矩阵属于不同特征值的特征向量是正交的；,3,、与正规矩阵酉相似的矩阵都是正规矩阵。,解 显然,A,满足,求得对应的线性无关特征向量,例,3,判断,A,是否为正规矩阵，如果是，将其酉对角化,即,A,是,Hermite,矩阵，从而是正规阵,由,得,A,的特征值,即酉变换矩阵为,则,经过验证它们两两正交。,因此，只需将它们单位化得：,实际上，对于正规矩阵来说，属于不同特征值的特征向量相互正交。,三、正规矩阵的谱分解,设 的谱为 ，,则,A,为正规矩阵的充要条件是存在唯一的,其代数重数分为,一组,正交投影矩阵,使,例,5,、求正规矩阵,的谱,分解,由,矩阵,A,的特征多项式,得,A,的特征值,相应的线性无关的特征向量为,对于,相应的特征向量为,对于,将,x,1,x,2,x,3,标准正交化得：,将,x,4,标准化,记,则,练习,: P94 15, 16, 18,