矩阵论第2章内积空间综述课件

设设S S1 1,S,S2 2 是线性空间是线性空间V V 的两个子空间，如果交空的两个子空间，如果交空间间=0=0，则称和空间为直和，记做，则称和空间为直和，记做三、子空间的直和三、子空间的直和 定定理理:设设S S1 1 ,S,S2 2是是线线性性空空间间V V的的两两个个子子空空间间，则则下下列列命命题等价题等价可唯一表示成可唯一表示成的任意元的任意元 （2 2）和空间）和空间为直和；为直和；（1 1）和空间）和空间（3 3）若）若 是是S S1 1的基，的基，是是S S2 2的基，的基，则则 是是的基。的基。自学自学P11定理定理1.3.5命题命题 设设S S是是n n维线性空间维线性空间V V 的一个子空间，则存在子空的一个子空间，则存在子空间间T,T,使得使得并称并称T T是是S S的补空间。的补空间。证明：证明：设设x x1 1,x,x2 2,x ,x k k是是S S的一组基，则它可扩充为的一组基，则它可扩充为V V的一组基的一组基x x1 1,x,x2 2,x ,x k k，x x k+1k+1，,x,x n n,令令则则从而从而练习练习P23：5,6第四节第四节 线性映射线性映射主要内容：主要内容：一、一、线性映射线性映射二、线性映射的矩阵表示二、线性映射的矩阵表示三、线性映射的运算（自学）三、线性映射的运算（自学）四、不变子空间（自学）四、不变子空间（自学）一、线性映射（变换）的定义及性质一、线性映射（变换）的定义及性质则称则称T T是从是从V V到到W W的一个线性映射或线性算子。的一个线性映射或线性算子。设设V,WV,W是数域是数域F F上的两个线性空间，上的两个线性空间，T T是从是从V V到到W W的一个的一个变换（或映射），如果对于变换（或映射），如果对于当当 V=WV=W时时,T,T也称为也称为V V上的一个线性变换。上的一个线性变换。例例1 1 恒等变换恒等变换例例2 0-2 0-变换变换线性变换举例：线性变换举例：例例3 3 求导运算是多项式空间求导运算是多项式空间C C n n x x 上的线性变换。上的线性变换。例例4 4 定定义义在在闭闭区区间间a,ba,b上上的的所所有有连连续续函函数数的的集集合合Ca,bCa,b是是一一个线性空间，则个线性空间，则Ca,bCa,b的积分运算是线性变换。的积分运算是线性变换。线性映射（变换）线性映射（变换）有以下性质：有以下性质：（3 3）T T将将V V中的线性相关向量组映射为中的线性相关向量组映射为W W中的线性相中的线性相关向量组，但把线性无关向量组不一定映射为关向量组，但把线性无关向量组不一定映射为W W中的中的线性无关向量组；线性无关向量组；（4 4）设）设 则则并且并且线性变换的值域与核线性变换的值域与核设设T T是是n n维线性空间维线性空间V V的一个线性变换，定义的一个线性变换，定义T T的值域的值域R(T)R(T)与核与核N(T)N(T)分别为分别为设设A A是是n n阶矩阵，阶矩阵，A A的值域的值域R(A)R(A)与核与核N(A)N(A)分别为分别为-T-T的全体像组成的集合的全体像组成的集合-零向量原像组成的集合零向量原像组成的集合实例实例求导运算求导运算T T在多项式空间在多项式空间p pn n x x 上的值空间上的值空间R(T)R(T)与与核空间核空间N(T)N(T)分别为分别为R(T)=L1,x,x2,x n-1 N(T)=1（1 1）T T的值域的值域R(T)R(T)与核与核N(T)N(T)都是都是V V的子空间；的子空间；（3 3）dim(R(T)+dim(N(T)=n.dim(R(T)+dim(N(T)=n.则则定理：设定理：设T T是是n n维线性空间维线性空间V V的一个线性变换，的一个线性变换，是是n n维线性空间维线性空间V V的基的基，分别称为象子空间，核子空间；分别称为象子空间，核子空间；象子空间的维数象子空间的维数dim R(T)dim R(T)称为称为T T的秩，核子空的秩，核子空间的维数称为间的维数称为T T的零度（或亏）的零度（或亏）设设T T是是n n维线性空间维线性空间V V的一个线性变换，的一个线性变换，是是n n维线性空间维线性空间V V的基，的基，称称A A为为T T在基在基 下的矩阵。下的矩阵。二、线性变换的矩阵表示二、线性变换的矩阵表示（2 2）给定）给定n n维线性空间维线性空间V V的基后，的基后，V V上的线性变换上的线性变换与与n n阶矩阵之间存在一一对应关系。阶矩阵之间存在一一对应关系。基向量的象可以被基线性表出，即基向量的象可以被基线性表出，即说明说明（1 1）矩阵矩阵A A的第的第i i列恰是列恰是 的坐标；的坐标；（4 4）设）设n n维线性空间维线性空间V V的一个线性变换的一个线性变换T T在基在基下的矩阵为下的矩阵为且向量且向量在该基下的坐标在该基下的坐标为为则则在该基下的坐标为在该基下的坐标为是是n n维线性空间维线性空间V V的基，的基，（3 3）设）设T T1 1，T T2 2是是n n维线性空间维线性空间V V的两个线性变换，的两个线性变换，T T1 1，T T2 2在该基在该基下的下的矩阵为矩阵为则则T T1 1+T+T2 2，kTkT1 1,T,T1 1T T2 2，T T-1-1在该基下在该基下矩阵分别为矩阵分别为（5 5）设）设 是纯量多项式，是纯量多项式，T T为为V V中的线性变换，且对中的线性变换，且对V V的基的基 有有 则则V V的线性变换的线性变换f(T)f(T)在该基下的矩阵为：在该基下的矩阵为：其中其中f(A)f(A)称为矩阵称为矩阵A A的多项式。的多项式。例例1 1、试确定在多项式空间、试确定在多项式空间P Pn n x x 上的求导运算上的求导运算T T分别在下列两组基下的表示矩阵分别在下列两组基下的表示矩阵说明：同一线性变换在不同基下的表示矩阵一般说明：同一线性变换在不同基下的表示矩阵一般是不同的，它们之间的关系是相似矩阵是不同的，它们之间的关系是相似矩阵.-P18定理定理1.4.7。例例2、在、在R3中线性变换中线性变换T将基将基 变为基变为基其中其中（1）求）求T在基在基 下的表示矩阵；下的表示矩阵；（2）求向量）求向量 及及在基在基 下的坐标下的坐标解（解（1）依题意）依题意则则（2）设）设则则练习练习P23：7,8第二章 内积空间主要内容主要内容一、欧氏空间与酉空间一、欧氏空间与酉空间二、内积空间的度量二、内积空间的度量三、三、正交变换正交变换四、正交子空间与正交投影四、正交子空间与正交投影五、最小二乘问题五、最小二乘问题第一节第一节 欧氏空间与酉空间欧氏空间与酉空间在线性空间中，向量之间仅有加法与数乘两种代数运算，在线性空间中，向量之间仅有加法与数乘两种代数运算，而无向量长度、向量夹角等度量概念。向量内积正是适应而无向量长度、向量夹角等度量概念。向量内积正是适应这种要求而引入的。内积空间是这种要求而引入的。内积空间是3 3维向量空间的自然推广，维向量空间的自然推广，故称实内积空间为欧氏空间，称复内积空间为酉空间。故称实内积空间为欧氏空间，称复内积空间为酉空间。定义定义 在实线性空间在实线性空间V V中，若任意两个向量中，若任意两个向量 按某种法则有实数与之对应，记作按某种法则有实数与之对应，记作并满足公理，并满足公理，(2)(2)(3)(3)(4)(4)时等式成立时等式成立当且仅当当且仅当则称实数则称实数 为向量为向量 的内积，的内积，定义了内积的实线性空间叫做欧氏空间。定义了内积的实线性空间叫做欧氏空间。一、欧氏空间一、欧氏空间例例1 1 在向量空间在向量空间R Rn n，设设可以验证可以验证 满足内积的定义，满足内积的定义，称之为称之为R Rn n中的标准中的标准内积。内积。例例2 2 在向量空间在向量空间R Rn n，设设定义定义定义定义可以验证可以验证 也是也是R Rn n中的中的内积。内积。说明说明（1）同一线性空间可定义不同的内积，从而形成同一线性空间可定义不同的内积，从而形成不同的欧氏空间不同的欧氏空间。（2）不论如何定义内积，不会改变线性空间的维数不论如何定义内积，不会改变线性空间的维数。例例4 4在在实实线线性性空空间间中中，对对于于任任意意两两个个n n阶阶矩矩阵阵A A，B B，定定义义例例3 3 在实线性空间在实线性空间Ca,bCa,b中，对于任意两个连续函数，中，对于任意两个连续函数，定义定义利用定积分的性质，可以验证利用定积分的性质，可以验证 是内积，是内积，Ca,bCa,b是欧氏空间，但其维数无限。是欧氏空间，但其维数无限。则则 是内积，向量空间是内积，向量空间 是欧氏空间。是欧氏空间。内积的性质内积的性质 对于欧氏空间的向量对于欧氏空间的向量 设设为为n n维欧氏空间维欧氏空间V V的基，令的基，令矩矩阵阵A A也也常常常常称称为为度度量量矩矩阵阵（或或GramGram矩矩阵阵），因因为为许许多多与向量度量有关的量可以用与向量度量有关的量可以用A A来描述。来描述。二、度量矩阵及性质度量矩阵及性质则则（1 1）矩阵）矩阵A A为实对称正定矩阵；为实对称正定矩阵；定理定理1 1：设：设A A为为n n维欧氏空间维欧氏空间V V的基的基 的度量矩阵，则的度量矩阵，则定理定理2 2：设：设 与与 为为n n维欧氏空间维欧氏空间V V的基，它们的基，它们矩阵，则矩阵，则的度量矩阵为的度量矩阵为A A和和B B，C C是是 到到 的过渡的过渡即即同一同一欧氏欧氏空间不同基的度量矩阵是相合矩阵。空间不同基的度量矩阵是相合矩阵。即即抽象的向量的内积可通过他们在基下的坐标及度量矩阵抽象的向量的内积可通过他们在基下的坐标及度量矩阵的双线性函数来计算。的双线性函数来计算。（证明详见（证明详见P26-27）例例5 设欧氏空间设欧氏空间 中的内积为中的内积为（1 1）求基）求基1 1，x,xx,x2 2的度量矩阵；的度量矩阵；（2 2）求）求 与与 的内积。的内积。解：设基解：设基1 1，x,xx,x2 2的度量矩阵为的度量矩阵为则则（2 2）求）求 与与 的内积。的内积。方法一：利用定义，直接计算方法一：利用定义，直接计算方法二：利用基的度量矩阵及向量在基下的坐标可求两方法二：利用基的度量矩阵及向量在基下的坐标可求两个向量的内积。个向量的内积。在基在基1 1，x,xx,x2 2的坐标分别为的坐标分别为则则三、酉空间三、酉空间 定义定义 在复线性空间在复线性空间V V中，若任意两个向量中，若任意两个向量 按某种法则有按某种法则有复数复数与之对应，记作与之对应，记作并满足公理，并满足公理，(2)(2)(4)(4)时等式成立时等式成立当且仅当当且仅当则称则称复数复数 为向量为向量 的内积。的内积。定义了内积的复线性空间叫做酉空间。定义了内积的复线性空间叫做酉空间。对于酉空间的向量对于酉空间的向量 酉空间内积的性质酉空间内积的性质例例7 7 在向量空间在向量空间C Cn n，设设 定义定义则则C Cn n成为成为酉空间酉空间。说明：说明：在有些教材上酉空间的定义与本教材有所不同，主要是定义在有些教材上酉空间的定义与本教材有所不同，主要是定义中的（中的（3 3），可采用：），可采用：这样，在例（这样，在例（7 7）中的内积为：）中的内积为：(3)(3)则则（1 1）矩阵）矩阵A A为为Hermite、正定矩阵；正定矩阵；定理定理3 3：设：设A A为为n n维酉空间维酉空间V V的基的基 的度量矩阵，则的度量矩阵，则定理定理4 4：设：设 与与 为为n n维酉空间维酉空间V V的基，它们的基，它们矩阵，则矩阵，则的度量矩阵为的度量矩阵为A A和和B B，C C是是 到到 的过渡的过渡即即同一酉空间不同基的度量矩阵是同一酉空间不同基的度量矩阵是复相合矩阵复相合矩阵。练习练习P38 1;2;3第二节第二节 内积空间的度量内积空间的度量主要内容：主要内容：一、一、向量长度及性质向量长度及性质二、向量的正交性二、向量的正交性三、标准正交基与与施密特正交化方法三、标准正交基与与施密特正交化方法定义向量长度（模或范数）为定义向量长度（模或范数）为当当 时，时，称为单位向量称为单位向量称称 为为 的规范化单位向量的规范化单位向量一、向量长度及性质向量长度及性质设设V V是酉（欧氏）空间，是酉（欧氏）空间，定义定义 的距离为的距离为1 1、向量长度的定义：、向量长度的定义：2 2、向量长度的性质、向量长度的性质时等式成立；时等式成立；当且仅当当且仅当因此因此ChauchyChauchy不等式成立。不等式成立。引理（引理（ChauchyChauchy不等式）不等式）设设V V是酉（欧氏）空间，是酉（欧氏）空间，证明证明:由于对任意数由于对任意数t t，成立成立即即利用一元二次不等式的性质得利用一元二次不等式的性质得即即即两个向量线性相关时成立即两个向量线性相关时成立 向量的长度满足向量的长度满足(在欧氏空间中证明在欧氏空间中证明)说明说明：等号仅当：等号仅当 这就是著名的这就是著名的SchwarzSchwarz不等式。不等式。结合不同的欧氏空间，可得结合不同的欧氏空间，可得ChauchyChauchy不等式的具体实例，如不等式的具体实例，如（1 1）（2 2）两端开平方即得：两端开平方即得：设设 是内积空间的任意两个向量，则是内积空间的任意两个向量，则证明证明由内积的由内积的性质及性质及ChauchyChauchy不等式得不等式得(在欧氏空间中）在欧氏空间中）推论推论1 1（三角不等式）（三角不等式）正正因因为为ChauchyChauchy不不等等式式成成立立，因因此此可可定定义义两两个个向向量量的夹角的夹角 若若则称向量则称向量 是正交向量。是正交向量。设设 是是欧氏空间欧氏空间的任意两个非的任意两个非0 0向量，定义向量，定义 的夹角为的夹角为二、向量的正交性二、向量的正交性1 1、向量、向量的的夹角夹角若若则称向量则称向量 是正交向量。是正交向量。设设 是是酉空间酉空间的任意两个非的任意两个非0 0向量，定义向量，定义 的的夹角为夹角为（2 2）酉（欧氏空间）中的勾股定理：）酉（欧氏空间）中的勾股定理：故故证明证明 由于由于 是正交的，即是正交的，即设设 是欧氏空间的任意两个正交向量，则有是欧氏空间的任意两个正交向量，则有说明说明（1）零向量与任意向量都正交；零向量与任意向量都正交；成立成立例例3 3 欧氏空间欧氏空间 的三角函数组是正交的的三角函数组是正交的事实上，可以验证对于上述不同的三角函数事实上，可以验证对于上述不同的三角函数则称则称 是正交向量组。是正交向量组。酉空间中非零向量组酉空间中非零向量组如果两两正交，如果两两正交，说明说明：勾股定理可以推广到正交向量组上去，即：勾股定理可以推广到正交向量组上去，即：若若 是正交向量组，则有是正交向量组，则有2 2、正交向量组、正交向量组定理定理故故 两两正交的非零向量组线性无关。两两正交的非零向量组线性无关。证明证明设设是两两正交的非零向量组是两两正交的非零向量组是一组数，使是一组数，使线性无关线性无关 从而从而则则又又说明说明：在：在n n维内积空间中，两两正交的非零向量不能超过维内积空间中，两两正交的非零向量不能超过n n个个.用用 与上式两端做内积得：与上式两端做内积得：例例1 1在在R R4 4中中求与求与 都正交的单位向量都正交的单位向量解：设所求向量为解：设所求向量为则则即即此方程组的此方程组的基础解系基础解系为为单位化得为所求的向量单位化得为所求的向量三、标准正交基与与施密特正交化方法三、标准正交基与与施密特正交化方法 称称为标准正交基。为标准正交基。在在n n维内积空间中维内积空间中 ，若基，若基 满足满足 例例 R R3 3 的标准正交基的标准正交基1 1、标准正交基及性质、标准正交基及性质则有：则有：性质：设性质：设为为n n维酉（欧氏空间）的标准正交基，维酉（欧氏空间）的标准正交基，向量向量设设对于任意对于任意（3 3）若）若也是也是V V的标准正交基，的标准正交基，C C是是 到到的过渡矩阵，则的过渡矩阵，则容易证明容易证明：一组基为标准正交基的充分必要条件是它的度量：一组基为标准正交基的充分必要条件是它的度量矩阵为单位矩阵。矩阵为单位矩阵。见见P31定理定理2.3.2例例2 2 求求在基在基下的坐标下的坐标.解解 设设在基底下坐标为在基底下坐标为 2 2、施密特正交化方法、施密特正交化方法 则则 是正交向量组是正交向量组并且与并且与 等价。等价。设设是内积空间是内积空间V V中的一个线性无关向量组。令中的一个线性无关向量组。令例例3 3解解 先正交化先正交化把把 的基化成标准正交基的基化成标准正交基单位化得一组标准正交基单位化得一组标准正交基 自学自学P30例例2.2.2练习练习P39 5;7定义定义1 1 定理定理 A A是正交矩阵（酉矩阵）的充要条件是是正交矩阵（酉矩阵）的充要条件是A A的列的列(行行)向量组为正交单位向量组向量组为正交单位向量组 设设A A是是n n阶方阵阶方阵,称称A A是正交矩阵（酉矩阵）是正交矩阵（酉矩阵）.若若第三节第三节 酉（正交）变换酉（正交）变换仅证明列向量组为正交单位向量组仅证明列向量组为正交单位向量组 设设则则正交矩阵（酉矩阵）的性质正交矩阵（酉矩阵）的性质（2 2）设设A A是正交矩阵（酉矩阵），则是正交矩阵（酉矩阵），则（3 3）正交矩阵（酉矩阵）的逆、乘积仍是正交矩阵（酉矩阵）。）正交矩阵（酉矩阵）的逆、乘积仍是正交矩阵（酉矩阵）。（1 1）定理定理2 2设设A A是欧氏空间的一个线性变换，则下面几个命题是欧氏空间的一个线性变换，则下面几个命题等价：等价：(1)(1)T T 是正交变换；是正交变换；(2)(2)T T 保持向量的长度不变，即对于任意的保持向量的长度不变，即对于任意的 V V,|T T|=|=|;|;(3)(3)如果如果 1 1,2 2,m m是是V V的标准正交基的标准正交基,则则T T 1 1,T T 2 2,T T m m也是也是V V的标准正交基；的标准正交基；(4)(4)T T在任一组标准正交基下的矩阵是正交矩阵在任一组标准正交基下的矩阵是正交矩阵.定义定义2 2欧氏空间欧氏空间V V 的线性变换的线性变换T T 称为正交变换，称为正交变换，若对任意若对任意,V V,均有均有(T T,T T )=()=(,)自学：自学：P31P31定理定理2.3.42.3.4例例1 在 里,把每一向量逆时针旋转一个角的的一个正交变换.线性变换是 例例2 对于每一向量,令关于x0y面的镜面反射 与它对应.是 的一个正交变换.R(i,jR(i,j)是正交矩阵，通常称为是正交矩阵，通常称为GivensGivens矩阵，矩阵，在讨论矩阵分解时有重要应用。在讨论矩阵分解时有重要应用。一般地，一般地，n n维欧氏空间在平面维欧氏空间在平面旋转角度为旋转角度为 的变换的变换T T在自然基下的变化矩阵为在自然基下的变化矩阵为定义定义 设设 是一个单位向量，令是一个单位向量，令则称则称H H是一个是一个HouseholderHouseholder矩阵或矩阵或HouseholderHouseholder变换。变换。性质性质 设设H H是一个是一个HouseholderHouseholder矩阵，则矩阵，则HouseholderHouseholder变换是酉变换。变换是酉变换。（1 1）H H是是HermiteHermite矩阵，矩阵，；（2 2）H H是酉矩阵，是酉矩阵，；（3 3）H H是对合矩阵，是对合矩阵，；（4 4）H H是是自逆矩阵自逆矩阵（5 5）diagdiag(I I,H H )也是一个也是一个HouseholderHouseholder矩阵矩阵;（6 6）若）若 则则detdet H H=-1=-1。定义定义2：是欧氏空间是欧氏空间V中的两个子空间，中的两个子空间，如果对如果对恒有恒有则称子空间则称子空间为正交的为正交的,记作记作对给定向量对给定向量定义定义1：则称向量与子空间则称向量与子空间 正交，记作正交，记作两两正交的子空间的和必是直和两两正交的子空间的和必是直和第四节第四节 正交投影正交投影例例1 1 设设则则分析：根据子空间正交的定义，即证：分析：根据子空间正交的定义，即证：证明证明（1 1）则存在则存在使使则则因此因此即即在（在（1 1）中以）中以A AH H代替代替A A即得（即得（2 2）。）。定义定义3：设：设W是是欧氏空间欧氏空间V的子空间，记的子空间，记 定理1 设W是欧氏空间V的一个有限维子空间，那么因而V的每一个向量可以唯一写成这里设令证明证明 当W=0W=0时，定理显然成立，这时 设由于 W的维数有限，因而可以取到W的一个规范正交基那么而由于是W的基，所以与W正交，这就证明了即剩下来只要证明这个和是直和。这是剩下来只要证明这个和是直和。这是显然的显然的，那么从而定理被证明。因为如果定义定义4：设：设W是是欧氏空间欧氏空间V的有限维非平凡子空间，的有限维非平凡子空间，为为V到到W的正交投影变换。的正交投影变换。可以证明，正交投影变换是线性变换。可以证明，正交投影变换是线性变换。证明证明 由于由于 所以定理定理2 2 设W是欧氏空间V 的一个有限维子空间，是V 的任意向量，是 在W 上的正交投影，那么对于W 中任意向量，都有 由勾股定理由勾股定理定理：设定理：设P P是是n n阶方阵，则阶方阵，则P P是正交投影矩阵的充分必要条件是是正交投影矩阵的充分必要条件是P P是幂等的是幂等的HermiteHermite矩阵，即矩阵，即P P2 2=P,P=P,PH H=P=P正交投影矩阵的求法：正交投影矩阵的求法：设设为为W W 的基，的基，令令则则特别地，当特别地，当S的基为标准正交基时，即的基为标准正交基时，即从而从而（详见（详见P35）正交投影矩阵正交投影矩阵中正交投影变换在自然基下的表示矩阵中正交投影变换在自然基下的表示矩阵称为正交投影矩阵称为正交投影矩阵.解解将将x1,x2正交化、单位化得正交化、单位化得例例2 2 设设x x1 1=(0,1,1)=(0,1,1)T T，x x2 2=(1,2,0)=(1,2,0)T T,W=L(x,W=L(x1 1,x,x2 2)，求从，求从R R3 3到到W W的正交投影矩阵的正交投影矩阵P P，并求并求y=(1,2,3)y=(1,2,3)T T在在W W上的投影。上的投影。练习练习P39 9;10第五节第五节 最小二乘问题最小二乘问题1 1、问题的提出、问题的提出实系数线性方程组实系数线性方程组（1）即任意即任意 都可能使都可能使 （2）不等于零不等于零可能无解，可能无解，设法找实数组设法找实数组 使使（2）最小最小,这样的这样的 为方程组为方程组（1）的的最小二乘解最小二乘解，此问题叫此问题叫最小二乘法问题最小二乘法问题.2 2、最小二乘法的表示、最小二乘法的表示设设（3）用距离的概念，（用距离的概念，（2）就是就是 由由（3）,设则设则中其它向量的距离都短中其它向量的距离都短.中向量中向量 使使 到它的距离到它的距离 比到比到 等价于找子空间等价于找子空间要找要找使（使（2）最小，）最小，设设这等价于这等价于 这样（这样（4）等价于）等价于必有必有或或这就是最小二乘解所满足的代数方程这就是最小二乘解所满足的代数方程.由定理由定理2.4.3可知可知即即（4）例 试求下列已知数据点之最小平方拋物线 解 令最小平方拋物线方程式为y=a+bx+cx2，将已知点依序代入上式，可得(1,7),(2,2),(3,1),(4,3)求最小平方解，其系数矩阵A及常数向量y分为计算可得 最小平方解y=15.25 10.05x+1.75x2最小平方拋物线为因此，a=15.25,b=-10.05,c=1.75xyo(3,1)(4,3)(2,2)(1,7)