第五章矩阵分析改

第五章矩阵分析本章将介绍矩阵微积分的一些内容.包括向量与矩阵序列的收敛性、矩阵的三种导数和矩阵微分与积分的概念，简要介绍向量与矩阵范数的有关知识.5.1向量与矩阵的范数从计算数学的角度看，在研究计算方法的收敛性和稳定性问题时，范数起到了十分重要的作用.一、向量的范数定义1设是数域上维（数组）向量全体的集合，是定义在上的一个实值函数，如果该函数关系还满足如下条件：1）非负性 对中任何向量，恒有，并且仅当时，才有=0；2）齐次性 对中任意向量及中任意常数，有3）三角不等式 对任意，有，则称此函数（有时为强调函数关系而表示为）为上的一种向量范数.例1对中向量，定义，则为上的一种向量范数表示复数的模.证首先，1）非负性当时，；当时，；2）齐次性对任意及，有；3）三角不等式 对任意复向量，有（由Cauchy-不等式）因此 所以 确为上的一种向量范数例2 对或上向量定义 ， ，则及都是或上的向量范数，分别称为1-范数和范数.证 仅对后者进行证明.1）非负性 当时，又显然有；2）齐次性 对任意向量及复数，3）三角不等式 对任意向量 =.综上可知确为向量范数.上两例中的是常用的三种向量范数.一般地，对于任何不小于1的正数，向量的函数也构成向量范数，称为向量的范数.注（1）当时，（2）当时，为2-范数，它是酉空间范数；当为实数时，为欧氏空间范数；由范数的存在，可知向量的范数有无穷多种，而且，向量的范数并不仅限于范数.在验证向量的范数定义中，三角不等式的过程中常涉及到两个著名的不等式，即：1、Hlder不等式设正实数满足则对任意的有2、Minkowski不等式 对任意实数,及有（）.例3设为维向量，则各种范数值差距很大.但是，各种范数之间却存在着内在的制约关系，称为范数的等价性.定理1 设为有限维线性空间的任意两种向量范数（它们不限于范数），则存在正的常数,使对一切向量，恒有 (1)证 如果范数和都与一固定范数譬如2-范数满足式（1）的关系，则这两种范数之间也存在式（1）的关系，这是因为若存在正常数和，使成立，则显然有令，则得式（1），因此只要对证明或（1）成立即可.设是维的，它的一个基是，于是中的任意向量可表示为从而，可视为n个变量的函数，记为，易证是连续函数，事实上，若令,则.由于 是常数，因此与充分接近时，就与充分接近，所以是连续函数.所以在有界闭集上，函数可达到最大值及最小值.因此在中，不能全为零，所以.记向量，则其坐标分量满足，因此，.从而有 .但故 .即 .二、矩阵的范数定义2 设是数域F上所有矩阵的集合，是定义在上的一个实值函数，如果该函数关系还满足如下条件：对中任意矩阵、及中任意常数总有1）非负性 并且仅当时，才有；2）齐次性 ；3）三角不等式 ；则称是上的一种矩阵范数.例4对（或）上的矩阵定义，则都是（或）上的矩阵范数.实用中涉及较多的是方阵的范数，即的情形.定义3 设是数域，是上的方阵范数.如果对任意的，总有，则说方阵范数具有乘法相容性.注意：在某些教科书上，往往把乘法相容性直接纳入方阵范数的定义中作为第4个条件，在读书时，只要注意到各自定义的内涵就可以了.例5 对上的矩阵定义，则是一种矩阵范数，并且具备乘法相容性.证非负性与齐次性显然成立，另两条证明如下：三角不等式 ；乘法相容性 ，证得为矩阵范数且具有乘法相容性.并不是所有的方阵范数都具有乘法相容性.例如对于上的方阵范数就不具备相容性条件.此时 .取 ，则有 ，而 . 定义4 如果阶矩阵的范数与维向量的范数，使对任意阶矩阵及任意维向量均有，则称矩阵范数与向量范数是相容的.定理2 设是某种向量范数，对阶矩阵定义 （2）则为方阵范数，称为由向量范数导出的矩阵范数，而且它具有乘法相容性并且与向量范数相容.证 首先可证，由（2）式定义的函数关系满足与向量范数的相容性.对于任意阶矩阵及维向量，当时，有，即 （3）而当时，于是总有（3）式成立.容易验证满足范数定义中的非负性、齐次性及三角不等式三个条件，因而是一种方阵范数.并且，对任意阶矩阵，利用（2）式和（3）式可得.即说矩阵范数具备乘法相容性.一般地，把由向量范数导出的矩阵范数记作.下面看常用的三种矩阵范数：例6 证明：对n阶复矩阵，有1），称为A的列和范数.2），称为A的行和范数.证1）设.若A按列分块为则.任意维向量，有于是，对任意非零向量有.以下证明存在非零向量使.事实上，设是第个分量为1而其余分量全为0的向量，则,且,即 .2）的证明与1）相仿，留给读者去完成.例7证明对阶复矩阵，有，这里是的奇异值，称此范数为的谱范数.证设的全部特征根为不妨设.于是.因为为矩阵，故有酉矩阵，使得.如设则是相应于特征根的单位特征向量，即有.对任意满足的复向量 ，有令，则，说明亦为单位向量.若设,则于是 .即有 .由的任意性，便得 特别取，则有，即.这说明在单位球面上可取到最大值，从而证明了各种矩阵范数之间也具有范数的等价性定理3设是任意两种矩阵范数则有正实数使对一切矩阵恒有5.2向量与矩阵序列的收敛性在这一节里，我们将把数列极限的概念，扩展到向量序列与矩阵序列上去.可数多个向量（矩阵）按顺序成一列，就成为一个向量（矩阵）序列，例如，是一个维向量序列，记为，诸的相应分量则形成数列.定义5 设有向量序列.如果对，数列均收敛且有，则说向量序列收敛.如记，则称为向量序列的极限，记为，或简记为.如果向量序列不收敛，则称为发散.类似于数列的收敛性质，读者不难证明向量序列的收敛性具有如下性质.设是中两个向量序列，是复常数，如果，则定理4 对向量序列，的充分必要条件是，其中是任意一种向量范数.证明1）先对向量范数证明定理成立.有 ，； ；.2）由向量范数等价性，对任一种向量范数，有正实数，使.令取极限即知.于是定理对任一种向量范数都成立.根据上述定义，向量序列有极限的根本之处在于各分量形成的数列都有极限.由于中矩阵可以看作一个维向量，其收敛性可以和中的向量一样考虑.因此，我们可以用矩阵各个元素序列的同时收敛来规定矩阵序列的收敛性.定义6 设有矩阵序列，如果对任何，均有则说矩阵序列收敛，如令，又称为的极限.记为或.矩阵序列不收敛时称为发散.讨论矩阵序列极限的性质，以下设所涉及的矩阵为阶矩阵：1) 若，为数列且，则.特别，当为常数时，.2) 若，则.3) 若，则.4) 若且诸及均可逆，则收敛，并且.容易证明性质1)-3)成立，对性质4)注意到行列式值定义的和式无非是中元素的乘法与加法之组合，再由 即可知用表示中元素的代数余子式，用表示中（）元素的代数余子式，便有.进而 .这里是的伴随矩阵，是的伴随矩阵.又，所以.定理5 对于矩阵序列，的充分必要条件是对任何一种矩阵范数,有定理5的证明与定理4类似，由于矩阵范数的等价性，只需证明对矩阵范数定理成立，其方法也与定理4的证明一致，这里从略.以下主要介绍范数在特征值估计方面的应用.定义7 设,为的个特征值，称为的谱半径.有了谱半径的概念，可以对矩阵范数作如下的初步估计.定理6 设,则对上的任一矩阵范数，皆有 证 设是的特征值，为的属于特征值的特征向量，故，所以.另设是上与矩阵范数相容的向量范数，由，应有 而,于是有同除，有 .故 ,于是 .定理7 设，的充分必要条件是.证 对,由定理3.5.1知，存在阶的逆矩阵使得,其中,则 .因此.而 其中因为对任一多项式当时，.而.由定理6和定理7即得如下结果.定理8设,如果存在上的一种相容矩阵范数使，则5.3 矩阵的导数本节讨论三种导数：矩阵对变量的导数、函数对矩阵的导数、矩阵对矩阵的导数一、函数矩阵对变量的导数如果矩阵中诸元素都是某实变量的函数，则称这种矩阵为函数矩阵.它的一般形式是，其中都是实变量的函数.定义8 设函数矩阵，如果对一切正整数，均有则说当时函数矩阵有极限,叫做的极限,记为.该定义的实质是：如果的所有各元素在处都有极限，则说在处有极限.若的所有各元素在处连续，即则称A在处连续，且记为.如果在某区间上处处连续，则说在上连续.容易验证下列等式是成立的：设，则（1）；（2）；（3）.定义9 对于函数矩阵，如果所有元素在某点处或在某区间上均可导，则称在处或在某区间上可导.导数或导函数记为，简记为.并规定,其中表示对的一阶导数.矩阵对变量的导数运算具有如下一些性质：1 若函数矩阵都可导，则它们的和亦可导，并且.2 若可导，是的可导函数，则可导，且，特别地，当为常数时，有.3 若可导，则可导，并且4 若，可导且二者可乘，则亦可导，且.推论 若可导，为数字矩阵，则,.5 若为可逆的可导函数矩阵，则亦可导，且.证因为所以.于是函数矩阵的导数本身也是一个函数矩阵，它可以再进行术导运算，下面我们给出函数矩阵对纯量的高阶导数：例1 设为阶可导函数矩阵，求的一、二阶导数.解 注意一般 .例2设,其中均为的可导函数，为阶实对称矩阵，求二次型对的导数.解 .又为数字矩阵， =0，又为的函数.而有.所以 .二、函数对矩阵的导数定义1 设为多元实变量矩阵，是以中诸元素为变量的多元函数，并且偏导数都存在，则定义函数对矩阵的导数为特别，当为向量时，函数对之导数为例3 设,求解 .例4 设，则三、矩阵对矩阵的导数定义11 设矩阵中每一个元素都是矩阵中各元素的函数，当对中各元素都可导时，则称矩阵对矩阵可导，且规定对的导数为,其中，是一个矩阵.例5 设，求解 .这里元素都是1，其余元素都是0的矩阵.例6 设，,其中.如果都存在，则对可导且例7设,求.解.以下我们考虑向量对向量的导数设 ，其中如果都存在，则对可导，且 （1）在一些书上，往往对行向量和列向量不加区别，而规定任何一个维向量对另一个维向量的导数都以上面（1）式最后的矩阵形式来表达，这主要是为了应用的方便例8 设数量函数的所有二阶偏导数都存在，记 求梯度，及海森Hessian矩阵解 .当的所有二阶偏导数都连续时，Hessian矩阵为阶对称矩阵.5.4 矩阵的微分与积分定义12当函数矩阵可导时，其微分，其中. （1）矩阵的微分实质上就是各个元素分别微分，因此，相应于每一个导数运算性质都可以得到一个关于微分的相应性质，例如（为常数）为可微函数）都是正确的如果矩阵中每个元素都是以矩阵中诸元素为变量的多元函数，则称矩阵是矩阵的函数，记为.此时矩阵作为一个多元函数矩阵，它的全微分仍可按（1）式定义，只不过其中元素应该换成全微分，即，这里分别是矩阵的行数和列数.定义13 若函数矩阵的所有各元素 都在上可积，则称在 上可积,且.函数矩阵的定积分有如下简单性质:（1） （2）函数矩阵的不定积分也有类似的情况.例8 设，求及.解 .因为若以表示中各元素，则有.所以有 .