高等代数初步(研究生用)

多变量分析中常用的矩阵代数一、矩阵及其主要相关概念（一）矩阵（matrix）：一群数排列成m行（row,横行）n列（column,纵列）所得到的数表。如： 矩阵用大写黑体字母表示为：A，或i为行序数，j为列序数。 一行一列的矩阵等同于一个数，即A=（a）=a（二）方阵（square matrix）：行数与列数相等的矩阵。如B为3阶方阵。 （三）方阵之迹（trace）:方阵自左上至右下的主对角线各元素之和。记作trA。如上例方阵B之迹为58.（四）转置矩阵（transpose）:将矩阵A的第i行，变为第i列，所得到的新矩阵，叫做矩阵A的转置矩阵，记作如上例，方阵B之转置矩阵为： （五）对称矩阵（symmetric matrix）：如果在对称矩阵中，为节省起见，对称矩阵主对角线上方一侧的元素可略去不写。（六）三角矩阵（triangular matrix）：主对角线一侧元素皆为零的矩阵。其中，主对角线左下方有非零元素的三角矩阵，叫下三角矩阵；主对角线右上方有非零元素的三角矩阵，叫上三角矩阵。为节省起见，三角矩阵中主对角线一侧的皆为零的元素可略去不写，但要写一个“零”字，以与对称矩阵相区别。（七）对角线矩阵或对角矩阵（diagonal matrix）:除主对角线元素外，其余元素皆为零的矩阵。主对角线元素指。对角线矩阵可以简写如下：（八）单位矩阵或单元矩阵（identity matrix）:主对角线各元素皆为1的对角线矩阵。可以记作单元矩阵与任何矩阵A相乘，不论左乘，还是右乘（如果可乘的话），其积为矩阵A。(九) 零矩阵（zero matrix）:零矩阵可以表示为（十）满秩（full rank）矩阵与缺秩（deficient rank）矩阵有矩阵A为缺秩矩阵。 （十二）系数矩阵与增广矩阵 设有方程组Ax=b (其中A为系数矩阵，x为未知数列向量，b为常数列向量)，则 A为系数矩阵，为增广矩阵。 则（十三）正交矩阵 二、向量及其有关概念 （一）向量（vector）：只有一行或一列的矩阵，叫向量。 向量以小写黑体英文字母表示。行向量各元素间有逗号隔开。（二）行向量与列向量 m1矩阵，叫m维列向量；1n矩阵，叫n维行向量。 为了节约篇幅，列向量通常写作行向量的转置。 （三）单元向量（unit vector） 元素都是1的向量，叫单元向量。用黑体数字1表示，右下可加数字表示维数。注意不应与单元矩阵I相混淆。 （四）零向量（zero vector） 元素都是0的向量，叫零向量。用黑体数字0表示. 三、矩阵之间的关系 （一）转置矩阵（transpose） （二）负矩阵 （三）逆矩阵（反矩阵，inverse matrix） 如果有A的逆矩阵是惟一的。只有非特异矩阵（满秩矩阵才有逆矩阵）。例如 (四)同型矩阵如两个矩阵A和B具有相同的行数和相同的列数，则A、B为同型矩阵。（五）矩阵相等A、B为同型矩阵，且两个零矩阵、两个单元矩阵不一定相等，因为他们可能不同型。 （六）伴随矩阵（adjoint matrix）设有n阶矩阵A，将A的每一个元素替换为其对应的代数余子式，然后再转置，所得到的矩阵，叫原矩阵的伴随矩阵。A的伴随矩阵记作adjA或A*. 四、行列式及其有关概念和计算 (一)行列式（determinant）行列式实际是一系列的几个数连乘积的和的一种记录式。通常用D表示。n阶矩阵（方阵）A，则A的行列式记作detA或（二）行列式与矩阵1,行列式是一个数值，矩阵是含有若干行与列的一个数表；2.行列式的行数与列数相等，矩阵的行数与列数可不相等；3.矩阵与行列式的几何意义：矩阵中各列表示各向量在空间上的关系，行列式表示各列向量构成的平行多面体的体积。（三）行列式的子式、余子式、代数余子式1.行列式的子式：由行列式的部分行、列相交处的元素组成的行列式，叫原行列式的子式。由K行K列相交处的元素组成的子式，叫K阶子式。矩阵也有对应的子式。例如一个34阶矩阵4.余子式：在n阶行列式中，划去所在行与列的元素，剩余元素按原序组成的一个n-1阶行列式，叫的余子式，5.代数余子式：在余子式前乘以代数余子式。例如（四）行列式之展开法 1.二阶、三阶行列式可用对角线法展开 练习： 2.四阶行列式求法：子式展开法（也适于二阶、三阶行列式） 可以按任一行或任一列展开行列式。即就某一行（或某一列），以该行每一元素乘以该元素的代数余子式，相加即得行列式的值。注意代数余子式由余子式加正负号得到。正负号在各行个列是正负间隔排列的。 例1：对“1”之例2,用子式展开法计算。 练习：计算行列式的值 （五）行列式性质1.若n阶行列式有一行（或）一列元素全为零，则行列式为零；2.行列互换，行列式值不变。即行列式转置后，行列式的值不变。即3.对换行列式任意两行（或任意两列），则行列式变号。4.行列式如果有两行相同，则此行列式为零。5.用数k乘行列式，等于任一行（或任一列）的各元素都乘以数k。反过来，某行各元素的公因式可提出行列式符号前。6.行列式如果有两行成比例，则此行列式为零。7.上三角行列式、下三角行列式、对角线行列式皆等于其对角线上各元素的乘积。9.行列式某行的K倍加到另一行，则行列式的值不变。 (六)解方程的克来姆法则如果n元n个方程的线性方程组的系数行列式D0,则此方程组有惟一解： 五、矩阵的运算（一）矩阵加法与减法1.加减法法则：矩阵加减法是使两矩阵对应元素相加减。只有同型矩阵或维数相同的两个行（列）向量才能相加。2.矩阵加法的性质（1）加法交换律：A+B=B+A（2）加法结合律：A+（B+C）=(A+B)+C（3）(二)矩阵乘法1.乘法法则（1）两矩阵相乘：左边矩阵的第i行的各元素，乘以右边矩阵的第j列的各对应元素，将其积相加，所得的和就是积的第i行第j列的元素。矩阵乘法是有条件的，只有当左边矩阵的列数与右边矩阵的行数相等时，乘法才有可能。例1： （2）数乘矩阵：数k与矩阵A相乘，就是k与矩阵A的每个元素都相乘。 2.矩阵乘法性质 （1）结合律 （AB）C=A(BC) （kl）A=k(lA)=l(kA) k(AB)=(kA)B=A(kB) （2）分配律 左分配律 A（B+C）=AB+AC 右分配律（B+C）A=BA+CA 自然有（A+B）（C+D）=AC+BC+AD+BD 数与矩阵分配律k(A+B)=kA+kB, (k+l)A=kA+lA（3）矩阵乘法不满足交换律虽然一般地说ABBA，但AB的迹等于BA的迹。（4）两个非零矩阵的乘积可为零矩阵（7）乘法矩阵不满足消去律若AB=AC,不一定有B=C.3.关于A、B可交换当AB=BA时，称A、B可交换（1）单位矩阵与任一同阶矩阵（显然是方阵，否则交换后不可乘）可交换；即（2）零矩阵与任一同阶矩阵A可交换；（3）矩阵与其逆矩阵可交换；六、向量的运算向量运算规则如同矩阵运算。向量的线性运算具有类似矩阵运算的8条性质（见林升旭118）七、向量的内积和外积设有向量当左因子为行向量时，右因子为列向量时，乘积为一个数，称作与的内积，或数量积，记作（，）；当左因子为列向量，右因子为行向量时，乘积为一个方阵，称作与的外积。一个向量与自身的内积等于其长度的平方。八、转置的性质 6.九、逆矩阵的计算与性质（一）逆矩阵的求法1. 22矩阵A的逆矩阵求法：只需使左上右下的元素换位；右上左下的元素反号（这样做实际是求出矩阵A的伴随矩阵），再除以；例1：设有矩阵2.对角线矩阵的逆矩阵的求法：将对角线上的各非零元素改为其倒数；如果对角线上有0元素，则此矩阵不可逆（因其对应的行列式为0）。3.伴随矩阵法有n阶方阵A，当4.利用初等变换的方法求逆将可逆方阵A与同阶单位矩阵并列，运用初等变换将A化为单位矩阵时，每步采用相同初等变换的单位矩阵就变为A的逆矩阵（林P99）（二）逆矩阵的性质十、矩阵的初等变换及其性质、作用（一）矩阵初等变换1.初等行变换（1）交换矩阵的第i、j两行位置，记作；（2）用一个非零数k乘第i行的所有元素，记作；（3）将第j行所有元素的k倍，加到第i行对应元素上去，记作。2.初等列变换与上类似，分别记作。（二）矩阵初等变换的性质1.不改变矩阵的秩；2.对增广矩阵作初等变换不改变方程组的解；（三）矩阵初等变换的作用1.解线性方程组；2.求矩阵的秩：利用矩阵初等变换可得到阶梯形矩阵，阶梯形矩阵的非零行的行数，即是矩阵的秩；继续对阶梯形矩阵实行初等变换可得到原矩阵的标准形，标准形左上角单元矩阵的阶数即是原矩阵的秩。3.求矩阵的逆矩阵。十一、阶梯矩阵和标准型 （一）阶梯矩阵的性质形如X=的矩阵叫阶梯矩阵。说明：皆为非零元素，它们是所在行第一个非零元素；角标相邻的处于相邻行，但不一定处于相邻的列；故它们不一定是对角线元素，不能写作的形式。阶梯矩阵的特征是 （1）若有零行，则处于矩阵的下方；（2）非零行的第一个非零元素的左边的零的个数随行标递增（不一定是依次增加1）。下面是3个阶梯矩阵的例子。（二）标准型任意矩阵A都如一个形如 的矩阵等价，这个矩阵称为矩阵A的等价标准型（标准形）。其中十二、矩阵的秩（一）秩的定义矩阵A中不为零的子式的最高阶数，叫矩阵A的秩，记作r(A)。对定义的说明：若A至少有一个r阶子式不为零，而所有的r+1阶子式全为零时，有r(A)=r.0矩阵的秩规定为0(二)满秩矩阵与缺秩矩阵（见前）(三)秩的性质1.对于任意mn矩阵A，有0r(A)min(m,n)2.当且仅当A是零矩阵时，r(A)=03.对n阶方阵A，7.n阶方阵可逆的充要条件是A为满秩矩阵。十三、用初等变换解方程（一）方程组的初等变换用克来姆法则解线性方程组有许多限制，故对于一般n元m个方程的线性方程组，通常用高斯消元法求解。高斯法求解实际是加减消元法，其实质是对线性方程进行初等变换，把原方程组化为三角方程组，再用回代法解出适合于方程组的未知数的值。包括消元过程与回代过程两步。方程组的初等变换包括：1.互换两个方程的位置；2.用一个非零数乘某一方程的两边；3.用数k乘一个方程并将其加到另一个方程上。可以证明，经过初等变换，方程组的解不变。（二）一个实例例：设有方程 增广矩阵为：十四、通过方程初等变换的途径讨论线性方程组的解（一）一般线性方程组（n元m个线性方程组成的方程组）的解的讨论如上所述。（二）齐次线性方程组的解的讨论现有齐次线性方程组小结：对于齐次线性方程组：1.齐次线性方程组必有解。因为恒有r(A)=r(B).2.根据r与n的大小关系，方程组的解有两种情况：（1）若r(A)=rn,方程组有无数组解，其中必有非零解；这些解中包含(n-r)个自由未知量。而这些自由未知量可以任意指定，当然可以指定为非零数。（2）若r(A)=r=n,则方程组仅有一组零解。 （三）n元n个方程组成的齐次线性方程组的解的讨论 这类方程组是上述齐次线性方程组的特例，其特点是：一次方程；无常数项；方程个数等于未知数的个数。如下：n元n个方程组成的齐次线性方程解的判定定理：这类方程必有解，因为它是齐次线性方程。定理：n元n个方程组成的齐次线性方程组有非零解的充要条件是其系数行列式为零。即。因为此时必有r(A)=rn；只有当时，才有r(A)=r=n.十五、特征值和特征向量1.特征值(eigenvalue)也叫特征根（characteristic root）。对于n阶方阵A，若存在数和非零n维向量k,使得式子Ak= k成立，(如k、换为矩阵K、时，则为AK=K)则为矩阵A的特征根，k为矩阵对应于特征根的特征向量(eigenvector) 。在主成分分析中n个特征根分别是n个主成分各自所解释的观测变量的方差。特征向量k则是表达主成分的观测变量线性组合中的权系数。以下是一个实例： 2.求n阶方阵A的特征值和特征向量为使必须使（移项）变形为 这是一个关于k(k是n维非零向量)的齐次线性方程组，由n个方程组成，即这是一个n元n个方程组成的线性方程组。要使这一方程组有非零解，必须使其系数行列式为零。即这是一个关于的n次方程,叫做A的特征方程，解此方程得到的n个根，将此n个值分别代入得到对应于每个特征值的特征向量。另 叫A的特征多项式。 例：求矩阵A的特征值与特征向量解特征方程的得：可以用初等变换方法解此方程，也可求方程组系数矩阵的伴随矩阵的方法， 可记作：十六、二次型及其导数（一）二次型齐次的多元二次多项式称为二次型，如当 上式可以写作：（二）表示一个二次型设为n维行向量，A为n阶对称方阵，即，则 表示的是二次型，是一个多项式。（三）二次型的导数二次型的导数等于2Ak十七、向量的正规化、正交化（一）向量的长度向量的几何表示是坐标系中一条有向线段。二维向量 的几何表示是坐标系中以原点为起点，以点（3,4）为终点的一条有向线段。此向量的长度为 ；三维向量(二)向量正规化使长度不为1的向量b变为长度为1的向量，叫做使向量正规化。正规化后的向量记作。向量正规化不改变向量的方向，但改变向量的长度。正规化的公式为（三）向量正交化1.向量正交的含义两个向量，若内积为零，自称它们为两个成正交的向量。如果3.向量的正交化两个向量如果不成正交，我们可以将其正交化（orthogonalized）。正交化的实质是求一个向量在与另一个向量垂直的向量上的射影所构成的新向量。向量正规化是对一个向量而言的；向量的正交化是就两个向量的关系而言的。4.向量正交化的方法5.将正规化为特征值将正规化为特征值，实际就是要使向量的长度变为。做法是：先使正规化为1，此时变为。然后再将其正规化为。此时 变为。这可用下面公式实现： 当作为出发点的矩阵是方差协方差矩阵时，公式为 多变量分析中常用的矩阵代数心理学院 刘华山17