《多元相关续》PPT课件

第十五讲第十五讲 多元相关（续）多元相关（续）一、主成分分析一、主成分分析二、因子分析二、因子分析三、典型相关分析三、典型相关分析二、二、因子分析因子分析因子分析法是用尽可能少的不可观测的所谓因子分析法是用尽可能少的不可观测的所谓的的“公共因子公共因子”的线性函数与特定因子之和来描的线性函数与特定因子之和来描述原来观测的每一分量。其目的是尽可能合理述原来观测的每一分量。其目的是尽可能合理地解释存在于原始变量之间的相关性，且简化地解释存在于原始变量之间的相关性，且简化变量的维数与结构。变量的维数与结构。（一）因子模型（一）因子模型模型模型 pmpmpppmmmmyayayaxyayayaxyayayax 2211222221212112121111称为称为因子模型因子模型，其中假设，其中假设1.是可观测的向量，且均是可观测的向量，且均TpxxxX),(21 值值,0)(XE协方差阵协方差阵 等于其相关等于其相关)(ijvV 矩阵矩阵).(ijrR 2.)(),(21pmyyyYTm 是不可观测的向是不可观测的向量，其均值量，其均值,0)(YE协方差阵是协方差阵是.mI3.Tp),(21 与与 相互独立，且相互独立，且Y,0)(E的协方差阵为对角矩阵的协方差阵为对角矩阵.00221 p 用矩阵可将因子模型表示为用矩阵可将因子模型表示为 AYX pmppmmaaaaaaaaaA212222111211其中其中 满足前面的三个假设条件，满足前面的三个假设条件，是是,YXAmp 矩阵，即矩阵，即模型中模型中 叫做公共因子，它们是在各叫做公共因子，它们是在各myyy,21个原变量的表达式中都共同出现的因子，是相个原变量的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。互独立的不可观测的理论变量。p ,21叫做特殊因子，是原单一变量叫做特殊因子，是原单一变量(各分量各分量)所特有因子，各特殊因子之间以及特所特有因子，各特殊因子之间以及特殊因子与公共因子之间都是相互独立的。殊因子与公共因子之间都是相互独立的。矩阵矩阵 的元素的元素 叫做因子载荷，当叫做因子载荷，当 的绝的绝Aijaija对值大时对值大时()表明表明 与与 的相依程度大，或的相依程度大，或1|ijaixjy说公共因子说公共因子 对于对于 的载荷量大，因此称的载荷量大，因此称 为为jyixija公共因子载荷量，公共因子载荷量，简称简称因子载荷因子载荷，而矩阵，而矩阵 称称A为为因子载荷矩阵因子载荷矩阵。所谓因子分析，就是如何从一组资料出发，所谓因子分析，就是如何从一组资料出发，分析出公共因子与特殊因子来，并求出相应的分析出公共因子与特殊因子来，并求出相应的（二）因子载荷矩阵的统计意义（二）因子载荷矩阵的统计意义载荷矩阵，最后解释各个公共因子的含义。载荷矩阵，最后解释各个公共因子的含义。1.因子载荷因子载荷 的统计意义的统计意义ija因为因为ijjiayxCov),(且且,0)()(jiyExE,1)()(jiyDxD因此因此 既是既是 与与 协方差，协方差，ijaixjy又是它们的相关系数，即就是说又是它们的相关系数，即就是说imiiaaa,21是用来度量是用来度量 可用可用 线性组合表示的线性组合表示的ixmyyy,21程度，这样称因子载荷程度，这样称因子载荷 叫做叫做权权，表示，表示 与与ijaixjy的的依赖程度依赖程度。2.变量共同度的统计意义变量共同度的统计意义称因子载荷矩阵称因子载荷矩阵 中各行的平方和中各行的平方和Apiahmjiji,2,1,122 为变量为变量 的的共同度共同度。由于。由于ix212)(1imjijiaxD 即即1)(22 iiihxD 上式表明变量上式表明变量 的方差有两部分组成：其一是的方差有两部分组成：其一是ix,2ih它是全部公共因子对于变量它是全部公共因子对于变量 的总方差所的总方差所ix作出的贡献；其二是作出的贡献；其二是,2i 它是变量它是变量 的特殊因的特殊因ix子所产生的方差，仅与变量子所产生的方差，仅与变量 的本身变化有关，的本身变化有关，ix而与公共因子无关，常称为剩余方差。而与公共因子无关，常称为剩余方差。3.公共因子公共因子 的方差贡献统计意义的方差贡献统计意义iy将载荷矩阵将载荷矩阵 的各列元素平方和的各列元素平方和Amjagpiijj,2,1,122 称为公共因子称为公共因子 对对 的贡献。的贡献。iyX（二）因子载荷矩阵得求法（二）因子载荷矩阵得求法三、三、典型相关分析典型相关分析典型相关分析是一种研究两个随机向量的典型相关分析是一种研究两个随机向量的相关关系的统计方法。类似于主成分分析，它相关关系的统计方法。类似于主成分分析，它是将两个随机向量的相关变为两个新随机变量是将两个随机向量的相关变为两个新随机变量之间的相关来进行讨论，同时又尽可能保留原之间的相关来进行讨论，同时又尽可能保留原变量的信息，即就是分别对两个随机向量构造变量的信息，即就是分别对两个随机向量构造其分量的线性组合，并使两个线性组合所形成其分量的线性组合，并使两个线性组合所形成为为典型相关典型相关，形成的两个新变量为，形成的两个新变量为典型变量典型变量。进而还可以在原两个随机向量中找出第二对线进而还可以在原两个随机向量中找出第二对线性组合，使其与第一对线性组合不相关，而第性组合，使其与第一对线性组合不相关，而第二对变量间又具有最大相关性。如此继续进行二对变量间又具有最大相关性。如此继续进行下去直到两个随机向量间的相关性被提取完毕下去直到两个随机向量间的相关性被提取完毕为止。为止。两个随机变量具有最大的相关性，称这种相关两个随机变量具有最大的相关性，称这种相关（一）典型相关和典型变量（一）典型相关和典型变量假设有两个随机向量假设有两个随机向量,),(21TnyyyY,0)(VZD且且,0)(ZE令令TmxxxX),(21,YXZ并将并将 改写成分块改写成分块V矩阵矩阵 22211211VVVVV其中其中,),(),(21122211VVYDVXDVT 12V是是X与与 之间的协方差阵。之间的协方差阵。Y显然，当显然，当 时，有时，有 成立。成立。0 V0,02211 VV令令mmTxaxaxaXa 22111 nnTybybybYb 22111 其中其中 与与 是两个待定的常向量，它们的选取原是两个待定的常向量，它们的选取原ab则是在则是在 与与 已知的条件下，使得已知的条件下，使得 与与 的相的相YX,V1 1 关系数达到最大。关系数达到最大。由于由于bVaDDDDCovT12111111)()(1)()(),(11 不妨假设不妨假设,1)()(11 DD因此所讨论的问题因此所讨论的问题就转化为在约束就转化为在约束1)(111 aVaDT 1)(221 bVbDT 和和下求下求 与与 ，使得目标函数，使得目标函数bVaT1211 ab达到最大。达到最大。定理定理在满足约束条件在满足约束条件1)(111 aVaDT 1)(221 bVbDT 和和下，使得相关系数下，使得相关系数bVaT1211 达到最大的达到最大的 与与 是齐次线性方程组是齐次线性方程组ab022211211 baVVVV 的非零解，其中的非零解，其中 是矩阵是矩阵)0(2 211121122122111 VVVVV(或矩阵或矩阵 )的最大特征根。的最大特征根。212212111212122 VVVVV设已求出矩阵设已求出矩阵的特征根为的特征根为,022221 k 由定理可知，第一对典型相关变量为由定理可知，第一对典型相关变量为mmTxaxaxaXa121211111 nnTybybybYb121211111 其中其中 与与 满足满足1a1b,11111 aVaT,11221 bVbT且且0112212112111 baVVVV 212212111212122 VVVVV)(rank212212111212122 VVVVVk此时，此时，与与 的相关系数为的相关系数为1 1 重复以上过程可得第重复以上过程可得第 对典型相关变量对典型相关变量imimiiTiixaxaxaXa 2211 niniiTiiybybybYb 2211 与与 满足满足iaib,111 iTiaVa,122 iTibVb且且,022211211 iiiibaVVVV ki,2,1.111 .,2,1,kiiii 同样地有同样地有.,2,1,0,kjijiCovjjii 即各对典型变量间是不相关的。即各对典型变量间是不相关的。总结以上，可得求典型变量的过程如下：总结以上，可得求典型变量的过程如下：1.求矩阵求矩阵 的特征值，记为的特征值，记为212212111212122 VVVVV.022221 k 对应的单位特征向量为对应的单位特征向量为.,21k 3.第第 对典型相关变量为对典型相关变量为imimiiTiixaxaxaXa 2211 niniiTiiybybybYb 2211 2.令令 iiiiiiiVVVaVVbVa 21221211112111212211ki,2,1 ki,2,1（二）典型相关系数和典型相关变量的估计（二）典型相关系数和典型相关变量的估计在实际问题中，总体的均值在实际问题中，总体的均值 和和 协方差阵协方差阵 V往往未知，应由往往未知，应由 与与 的样本的样本XYnnYXYXYX,2211这时总体均值和协方差阵的估计分别为这时总体均值和协方差阵的估计分别为 niiniiYnXnYX1111 niTiiiiYXYXYXYXnSSSSS1222112111 niTiiniTiiniTiiniTiiYYYYnXXYYnYYXXnXXXXn1111)(1)(1)(1)(1若若 的秩为的秩为 ，非零特征根记为，非零特征根记为212212111212122 SSSSSk,022221 k 对应的单位特征向量为对应的单位特征向量为,21k 取取 iiiiiiiSSSaSSbSa 11212212111121112122ki,2,1 则第则第 对样本典型变量为对样本典型变量为imimiiTiixaxaxaXa2211 niniiTiiybybybYb2211 ki,2,1 第第 对样本典型变量的相关系数为对样本典型变量的相关系数为i.i 注注：无论总体的均值和协方差阵是已知或未知，：无论总体的均值和协方差阵是已知或未知，若若 分量的量纲不同或取值差异很大，分量的量纲不同或取值差异很大，YX,可考虑可考虑 标准化变量，再重复前面的方标准化变量，再重复前面的方YX,法可求出标准化变量的典型变量，不再赘法可求出标准化变量的典型变量，不再赘述。述。找到了找到了 与与 的典型变量后，进一步的工作的典型变量后，进一步的工作XY就是分析典型变量的实际意义，这只能结合具就是分析典型变量的实际意义，这只能结合具体的实际例子才能给出合理的解释。体的实际例子才能给出合理的解释。例例对对 个个16岁的男孩进行体格检查，将岁的男孩进行体格检查，将166 n身高身高 和坐高和坐高 作为第一组变量，将体重作为第一组变量，将体重 和和1x2x1y胸围胸围 作为第二组变量，记作为第二组变量，记2y,),(,),(2121TTyyYxxX 已知其样本协方差阵为已知其样本协方差阵为 07.1539.1745.3269.457.1081.838.691.1667.1176.2622211211SSSSS试对试对 与与 进行样本典型相关分析。进行样本典型相关分析。XY解解经计算可求得矩阵经计算可求得矩阵212212111212122 SSSSS特征根为特征根为221)6673.0(4453.0 222)1312.0(0172.0 再求对应的单位特征向量再求对应的单位特征向量 ，由，由,2083.00862.01 a,1130.02296.01 b21 和和12122 Sai可得可得21112083.00862.0 xxXaT 21111130.02296.0yyYbT 于是可得第一对样本典型变量为于是可得第一对样本典型变量为对应的样本的典型相关系数为对应的样本的典型相关系数为,6673.01 这表这表明身高与坐高之和同体重与胸围之差有较大的明身高与坐高之和同体重与胸围之差有较大的依赖关系。依赖关系。