第十一章特征值与特征向量

第十一章特征值与特征向第十一章特征值与特征向量量代数特征值问题 工程实践中有多种振动问题，如桥梁或建筑物的振动，机械机件、飞机机翼的振动，及一些稳定性分析和相关分析可转化为求矩阵特征值与特征向量的问题。矩阵矩阵A=(aij)nn的特征值是的特征值是A的特征多项式的特征多项式 p()=|I-A|的的n个零点个零点华南师范大学数学科学学院 谢骊玲用单位矩阵 I 来重写上述方程，可以得到Ax=Ix，从而进一步可以写成线性方程组的标准形式(A-I)x=0，这是关于向量 x 的齐次线性方程组。该齐次方程组因为存在非平凡解x0，所以有det(A-I)=0矩阵的特征值问题华南师范大学数学科学学院 谢骊玲行列式det(A-I)=0可写成如下形式：将行列式展开得到一个n阶多项式（特征多项式特征多项式）：华南师范大学数学科学学院 谢骊玲特征值的计算方法n当维数n很小时，手工计算特征值和对应的特征向量的方法：求特征多项式的系数求特征多项式的根即特征值求齐次线性方程组(A-I)V=0的非零解即特征向量n当维数n稍大一些，行列式展开本身就很不容易，另外高次代数方程的求解也很困难。因此，矩阵特征值的求解，主要是数值解法，如幂方法、雅可比方法和QR算法华南师范大学数学科学学院 谢骊玲特征值的一些有关结论n定理 设为ARnn的特征值且Ax=x，其中x0，则 c为cA的特征值（c为常数c0）-p为A-pI的特征值，即(A-pI)x=(-p)x(Th11.19)k为Ak的特征值，即Ak x=k x设A为非奇异阵，那么0且1/为A-1的特征值，即(Th11.20)且上述各矩阵对应的特征向量全都为x华南师范大学数学科学学院 谢骊玲特征值的重复度n定义：特征多项式p()=det(A-I)可以分解为如下形式其中mj是特征值j的重复度重复度。所有特征值的重复度之和为n，即有：华南师范大学数学科学学院 谢骊玲特征值的存在性定理（1）n定理11.4 (a)对矩阵A的每个唯一的特征值至少有一个与该特征值相应的特征向量V (b)如果矩阵A的特征值的重复度为r，则A至多有r个与该特征值相应的线性无关的特征向量V1,V2,Vr华南师范大学数学科学学院 谢骊玲定理11.4的应用n将重复度r1的特征值代入下列方程：(A-I)V=0 采用高斯消去法就可以得到高斯归约形（上梯形），包含有n个变量，n-k个方程，其中1kr。因此可供选择的自由变量有k个，通过一定方式选择自由变量，可以得到与对应的k个线性无关的解向量V1,V2,Vk华南师范大学数学科学学院 谢骊玲特征值的存在性定理（2）n定理11.5 设A是一个方阵，1,2,k是A的互不相同的特征值，对应的特征向量分别是V1,V2,Vk，则V1,V2,Vk是一组线性无关的向量集合。n定理11.6 如果nn矩阵A的特征值是互不相同的，则存在n个线性无关的特征向量Vj，其中j=1,2,n。华南师范大学数学科学学院 谢骊玲左特征向量n在式AV=V中，由于V右乘矩阵A，因此被称为相应于特征值的右特征向量右特征向量n如果有YA=Y，则相应地称Y为矩阵A的特征值的左特征向量左特征向量n一般地，矩阵A相应于特征值的左特征值Y与右特征值V是不同的，但如果是一个实对称矩称矩阵，即A=A，则(AV)=VA=VA，(V)=V。所以当当A是实对称矩阵时，左是实对称矩阵时，左右特征向量相同右特征向量相同华南师范大学数学科学学院 谢骊玲特征向量归一化n矩阵A的相应于特征值的特征向量V乘以一个常量c仍然是特征值的特征向量A(cV)=c(AV)=c(V)=(cV)n为得到唯一的形式，可使用向量范数将特征向量归一化U=V/|V|p 则向量U的p-范数为1华南师范大学数学科学学院 谢骊玲对角化对角矩阵D的特征值容易求得令Ej=0 0.0 1 0.0T是标准基向量，其中第j个分量为1，其它的都是0，从而有DEj=0 0.0 j 0.0T=jEj这表明矩阵D的特征对是j和Ej，其中，j=1,2,.,n华南师范大学数学科学学院 谢骊玲n如果有一种简单的方法可将矩阵A转换为对角阵，则可以直接得到它的特征值n定义11.5 设有nn矩阵A和B，如果存在一个非奇异矩阵K，使得B=K-1AK，则称矩阵A和B相似相似n定理11.7 如果A和B是相似矩阵，和V是矩阵A的特征对，那么也是矩阵B的特征值，设非奇异矩阵K使得K-1AK=B，则Y=K-1 V是矩阵B的对应于特征值的特征向量n一个nn矩阵A，如果它和一个对角矩阵相似，则称它是可对角化可对角化的华南师范大学数学科学学院 谢骊玲对角化定理n定理11.8 矩阵A和一个对角矩阵D相似，当且仅当当且仅当它有n个线性无关的特征向量。如果A和D相似，则有V-1AV=D=diag(1,2,.,n)V=V1 V2 .Vn 其中n个特征对是j和Vj，j=1,2,.,n.具有n个不同特征值的矩阵A是可对角化的例11.3华南师范大学数学科学学院 谢骊玲对称性的优势n对于实对称矩阵，它一定有n个实特征向量，对于重复度为mj的特征值，它有mj个线性无关的特征向量，因此每一个实对称矩阵都是可对角化的n但实非对称矩阵可具有复数特征值和特征向量华南师范大学数学科学学院 谢骊玲正交性和正交向量n定义11.6 设有一组向量V1,V2,.,Vn，如果VjVk=0,jk,则称这组向量是正交正交的。n定义11.7 设V1,V2,.,Vn是一组正交向量，如果它们都是单位范数的，即VjVk=0,jk,VjVj=1,j=1,2,.,n,则称这组向量是标准正标准正交交的n定理11.11 一组标准正交向量是线性无关的华南师范大学数学科学学院 谢骊玲实对称矩阵的对角化n定义11.8 设有一个nn矩阵A，如果AT是A的逆，即ATA=I，则称A为正交矩阵正交矩阵，它等价于A-1=AT，也就是说，A是正交的，当且仅当矩阵A的列（和行）形成一组标准正交向量。n定理11.12 如果A是一个实对称矩阵，则存在一个正交矩阵K，使得KTAK=K-1AK=D,其中D是以A的特征值为对角线的对角阵。华南师范大学数学科学学院 谢骊玲对称矩阵的性质n推论11.1 如果A是一个nn实对称矩阵，则A的n个线性无关的特征向量可形成一组正交向量n推论11.2 实对称矩阵的特征值都是实数n定理11.13 对称矩阵不同的特征值对应的特征向量是正交的n定理11.14 对称矩阵A是正定的，当且仅当A的所有特征值都是正的华南师范大学数学科学学院 谢骊玲特征值范围的估计n如果能够给出矩阵A的特征值大小的一个范围，在许多情况下是很有用的n定义11.9 设|X|是向量范数，则对应的自然矩阵自然矩阵范数范数（natural matrix norm）为矩阵的自然范数也称矩阵的算子范数，与向量范数一样，是矩阵的一个非负函数，满足范数的几个性质如正定性、齐次性和三角不等式等华南师范大学数学科学学院 谢骊玲常用的几种矩阵范数Frobenius范数范数（行范数）1范数（列范数）2范数华南师范大学数学科学学院 谢骊玲特征值范围的估计（续1）n定理11.15 如果是矩阵A的任意特征值，则对所有自然矩阵范数|A|，有|A|n矩阵的谱半径定义：若1,2,k是矩阵A的全部特征值，则A的谱半径谱半径为(A)=max|1|,|2|,|k|A|n定理11.17（谱半径定理）设A是一个对称阵，则A的谱半径(A)=|A|2华南师范大学数学科学学院 谢骊玲格尔施戈林（Gerschgorin）圆盘定理n定理11.16 设A是一个nn矩阵，其中Cj表示位于复平面z=x+iy上，以ajj为圆心，以 为半径的圆盘，即Cj包含所有满足条件Cj=z:|z-ajj|rj的复数z=x+iy。如果 ，则A的所有特征值包含在集合S中。进一步可得，以上k个圆盘的并如果与其余的n-k个圆盘不交叉，则它们一定包含k个特征值（包括重复的特征根）。华南师范大学数学科学学院 谢骊玲圆盘定理的应用n例：估计下面矩阵的特征值范围A的3个圆盘为C1C2C3华南师范大学数学科学学院 谢骊玲求矩阵特征值的方法n当矩阵的规模为n=2,3时，可按行列式展开的办法手工求p()=0的根n当n较大时，如果按展开行列式的办法，首先求出p()的系数，再求p()的根，工作量就非常大n对中等规模的对称矩阵，可用雅可比方法n对大规模的对称矩阵（n为几百以上），可先用Householder方法得到三角阵形式，再用QR算法n对拥有主特征值的矩阵，可用幂法得到主特征值华南师范大学数学科学学院 谢骊玲11.2 幂方法n 求矩阵的按模最大的特征值与相应的特征向量。它是通过迭代产生向量序列，由此计算特征值和特征向量。n 定义11.10 如果1是矩阵A的特征值，并且其绝对值比A的任何其它特征值的绝对值大，则称1为主特为主特征值征值(dominant eigenvalue)。相应于主特征值1的特征向量V1称为主特征向量主特征向量(dominant eigenvector)。n 定义11.11 如果特征向量V中绝对值最大的分量为1，则称其是归一化归一化的(normalized)。华南师范大学数学科学学院 谢骊玲幂法的作用华南师范大学数学科学学院 谢骊玲幂法的基本原理n给定初始向量X0=1 1.1T用如下递推公式生成向量序列Xk:其中，ck+1是Yk绝对值最大的分量。序列Xk和ck将分别收敛到V1和1，即如果X0是一个特征向量且X0 V，则必须选择其它初始向量华南师范大学数学科学学院 谢骊玲如果选择适当的X0，则通过如下递推公式可生成序列Xk和ck幂法定理n定理11.18 设nn矩阵A有n个不同的特征值其中这两个序列分别收敛到特征向量V1和特征值1即华南师范大学数学科学学院 谢骊玲收敛速度nXk中Vj的系数按比例(j/1)k趋于零，且Xk收敛到V1的速度由项(2/1)k决定，所以收敛速度是线性线性的n埃特金2方法可加速常数序列ck的收敛，也可加速向量序列Xk的收敛速度华南师范大学数学科学学院 谢骊玲移位反幂法原理n定理11.21 设和V是A的特征对。如果，则1/(-)，V是矩阵(A-I I)-1的特征对n迭代过程：其中这两个序列分别收敛到矩阵(A-I I)-1的主特征对华南师范大学数学科学学院 谢骊玲移位反幂法n定理11.22 设nn矩阵A有n个不同的特征值1,2,n。考虑特征值j，可选择常量，使得1=1/(j-)是(A-I)-1的主特征值。而且，如果选择适当的X0，则可通过下列递推公式得到序列 和ck：其中这两个序列分别收敛到矩阵(A-I I)-1的主特征对1和Vj。最后，通过下面的计算得到矩阵A的对应特征值华南师范大学数学科学学院 谢骊玲雅可比方法nJacobi(雅可比雅可比)方法方法就是通过一系列特殊的正交相似变换矩阵把矩阵A转化为一个对角阵，从而求得矩阵A的所有所有特征对n算法可靠，且迭代结果的各分量精度一致精度一致n由定理11.12，可知对一个nn的实对称矩阵A，必存在一个正交矩阵K，使得 KTAK=K-1AK=D=diag(1,2,.,n),其中1,2,.,n 是A的n个特征值，而K的第j列向量是与j相应的矩阵A的特征向量n但这样的正交矩阵必须用一个无限迭代无限迭代过程求得，即必须通过一系列的正交相似变换K1,K2,.,Kj,.把矩阵A转化为一个对角阵：华南师范大学数学科学学院 谢骊玲Givens平面旋转变换n用记号R(p,q)表示如下形式的nn矩阵：第p行第q行第p列第q列XRn，设有线性变换Y=RX，则变换效果可表示如下：华南师范大学数学科学学院 谢骊玲n 这相当于在n维空间中，以角度沿xpxq平面旋转。通过选择适当的角度，可使得在映象中yp=0或yq=0。n 容易验证，逆变换X=R-1Y表示以角度-沿xpxq平面旋转。所以R是一个正交矩阵，即R-1=RT或RTR=IGivens平面旋转变换（续1）华南师范大学数学科学学院 谢骊玲正交变换n设A是实对称矩阵，且有特征对和Xn设矩阵R是正交矩阵，且D定义为D=RTARn上式两边都右乘RT X，得DRTX=RTARRTX=RTAX=RTX=RT Xn记Y=RT X，即有DY=Y，这说明D与A有相同的特征值，且对应的特征向量有关系Y=RT Xn由DT=(RTAR)T=RTATR=RTAR=D，可知D对称n所以A到D的正交变换没改变对称性和特征值，而特征向量的关系则为Y=RT X华南师范大学数学科学学院 谢骊玲雅可比变换序列n设有实对称矩阵A，则构造正交矩阵序列R1,R2,.,Rn，使序列Dj如下：D0=A,Dj=Rj Dj-1 Rj,j=1,2,.满足n实际计算时，当非对角元素接近零时，构造过程停止，则得到DnDn构造过程产生了Dn=RnRn-1R1AR1R2Rn-1Rnn如果定义R=R1R2Rn-1Rn，则有R-1AR=Dn，即ARRD=Rdiag(1,2,.,n)n若R的列向量用X1 X2 .Xn表示，则R=X1 X2 .XnnAR=AX1 AX2 .AXnRD=1X1 2X2 .nXn nD和R即为所求的A的全部特征值和特征向量华南师范大学数学科学学院 谢骊玲 雅可比迭代步骤n雅可比迭代的每一步要使两个非对角元素dpq和dqp为零n由正交变换D1=R1AR1，如果A是实对称的，则D1也是实对称的，它只改变了A的第p、q行和列n每次按 在矩阵A的上三角部分搜索绝对值最大的非对角元素apq，再由正交变换使apq和aqp化为零n这样的化零过程，一直进行到DnD，即当所有非对角元素很接近于0时迭代停止。所以可把迭代终止判断准则定为：华南师范大学数学科学学院 谢骊玲雅可比方法的缺点n每一次变换产生两个值为零的非对角元素，但接下来的迭代使得它们又变成非零，因此需要许多次迭代才能使得非对角元素足够接近零n选择另一种方法，可在一次迭代中产生多个值为零的非对角元素，而且在接下来的迭代中使它们保持为零华南师范大学数学科学学院 谢骊玲初等反射变换n定理11.23（Householder反射反射）如果X和Y是具有相同范数的向量，则存在一个正交矩阵P，满足Y=PX，其中P=I-2WWT，且由于P既是正交的，又是对称的，所以它满足P-1=P华南师范大学数学科学学院 谢骊玲第k个Householder变换矩阵n推论11.3 设A是nn矩阵，且X是任意向量。如果k是一个整数，满足1kn-2，则可构造向量Wk和矩阵Pk=I-2WkWk，满足华南师范大学数学科学学院 谢骊玲Householder变换n设A是nn矩阵。则最多要做(n-2)次PAP形式的Householder变换n由于效率原因，变换PAP不用矩阵形式进行计算，用一些向量操作更有效n定理11.24（一次Householder变换的计算）如果P是Householder矩阵，则变换PAP计算过程如下：令V=AW且计算c=WV和Q=V-cW，则可得到PAP=A-2WQ-2QW华南师范大学数学科学学院 谢骊玲三角形式归约n设A是nn矩阵，令A0=A，构造Householder矩阵序列P1,P2,.,Pn-1，满足Ak=PkAk-1Pk，k=1,2,.,n-2.Ak在列1,2,.,k中的子对角线下的元素为零。这个处理过程称为Householder法法n如果A是一般实矩阵，则经过Householder过程得到上海森伯格（上海森伯格（Hessenberg）矩阵）矩阵n如果A是实对称矩阵，则经过Householder过程得到对称三对角矩阵对称三对角矩阵华南师范大学数学科学学院 谢骊玲上海森伯格阵对称三对角阵华南师范大学数学科学学院 谢骊玲QR算法nQR方法可求解一个上海森伯格阵或对称三对角矩阵的所有特征值nQR方法收敛快，算法稳定n对一般矩阵或对称矩阵的nn矩阵A，首先用Householder方法将A化为上海森伯格阵或对称三对角阵B，然后再用QR方法计算B的全部特征值华南师范大学数学科学学院 谢骊玲QR算法描述n设A是实对称矩阵。对A进行QR分解，得A=QR，其中Q为正交阵，R为上三角阵，则有QA=QQR=R.于是可得到一新矩阵A2=RQ=QAQn一般过程：构造正交矩阵Qk和上三角矩阵Uk，使得Ak=QkUk，然后定义Ak+1=UkQk=QkAkQknQR算法就是利用矩阵的QR分解，按上述递推法则构造矩阵Ak的过程。只要A为非奇异矩阵，且它的全部特征值满足|1|2|.|n|0，则由QR算法就完全确定Ak，且Ak收敛于对角阵D=diag(1,2,.,n)华南师范大学数学科学学院 谢骊玲加速移位的QR算法n即使是维数较小的矩阵，QR法的收敛速度还是较慢n通过移位技术可加速QR法的收敛速度n如果j是矩阵A的特征值，则j-si是矩阵B=A-siI的特征值n在每一步，根据矩阵A右下角的4个元素可得到正确的移位si，再对A-siI进行QR分解并按逆序计算矩阵乘积华南师范大学数学科学学院 谢骊玲移位QR算法n设A=A1Rnn，对A1-s1I进行QR分解，得A1-s1I=Q1U1，从而可形成矩阵A2=U1Q1n求得Ak后，将Ak-skI进行QR分解，得Ak-skI=QkUk,k=1,2,.直到矩阵Ak+1=UkQk的最后一个次对角元素en-1在容许误差下等于0n第一个特征值1=s1+s2+.+skn将最后一行和最后一列分离，矩阵降阶，继续使用上述步骤求矩阵A的其他特征值，直至矩阵的阶降到2华南师范大学数学科学学院 谢骊玲