主成分分析法原理及应用

一、概述在处理信息时， 当两个变量之间有一定相关关系时， 可以解释为这两个变量反映此课题的信息有一定的重叠， 例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提， 将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分） 有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍， 而是原有变量重组后的结果 ，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标 （主成分）之间互不相关 ，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、基本原理主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多的具有一定相关性的指标 X1， X2， ， XP（比如 p 个指标），重新组合成一组较少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量 Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠） 。设 F1 表示原变量的第一个线性组合所形成的主成分指标，即 F1 a11X1 a21X 2 . a p1 X p , 由数学知识可知， 每一个主成分所提取的信息量可用其方差来度量， 其方差 Var(F1) 越大，表示 F1 包含的信息越多 。常常希望第一主成分 F1 所含的信息量最大， 因此在所有的线性组合中选取的 F1 应该是 X1，X2， ，XP的所有线性组合中方差最大的，故称 F1 为第一主成分。如果第一主成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有效地反映原信息， F1 已有的信息就不需要再出现在F2 中，即 F2 与 F1 要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以 F2 是与 F1 不相关的 X1，X2， ， XP的所有线性组合中方差最大的，故称 F2 为第二主成分，依此类推构造出的 F1、F2、 、Fm为原变量指标 X1、X2 XP第一、第二、 、第 m个主成分。F1a11 X1a12 X 2.a1 p X pF2a21X1a22 X 2.a2 p X p.Fmam1X1am2 X 2.amp X p根据以上分析得知：(1) Fi与 Fj 互不相关，即 Cov(Fi ，Fj) = 0, 并有 Var(Fi)=ai ai ，其中为 X 的协方差阵(2)F1是 X1，X2， ， Xp 的一切线性组合（系数满足上述要求）中方差最大的 , , 即 Fm是与 F1，F2， ， Fm 1 都不相关的 X1，X2， ， XP的所有线性组合中方差最大者。F1，F2， ，Fm（m p）为构造的新变量指标，即原变量指标的第一、第二、 、第 m个主成分。由以上分析可见，主成分分析法的主要任务有两点：（ 1）确定各主成分 Fi （i=1 ，2， ， m）关于原变量 Xj （j=1 ，2 ， ， p ）的表达式，即系数 aij （ i=1 ， 2， ， m； j=1 ，2 ， ， p）。从数学上可以证明，原变量 协方差矩阵的特征根是主成分的方差，所以前m 个较大特征根就代表前 m 个较大的主成分方差值；原变量协方差矩阵前 m 个较大的特征值i （这样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分Fi表达式的系数 ai ，为了加以限制，系数ai 启用的是i 对应的单位化的特征向量，即有 ai ai = 1 。（ 2）计算主成分载荷， 主成分载荷是反映主成分 Fi与原变量 Xj 之间的相互关联程度：( ,xi)(, 1,2,L, ;1,2,L, )P Zkk aki ip km三、主成分分析法的计算步骤主成分分析的具体步骤如下：（ 1）计算协方差矩阵计算样品数据的协方差矩阵：=(s ij )pp，其中1ni ， j=1 ，2， ， psij( xki xi )( xkj x j )n1 k 1（ 2）求出的特征值i 及相应的正交化单位特征向量ai的前 m个较大的特征值1 2m0,就是前 m个主成分对应的方差，i对应的单位特征向量 ai 就是主成分 Fi 的关于原变量的系数，则原变量的第 i个主成分 Fi 为：Fi = ai X主成分的方差（信息）贡献率用来反映信息量的大小，i 为：i /miii1（ 3）选择主成分最终要选择几个主成分，即 F1,F2, ,Fm 中 m的确定是通过方差（信息）累计贡献率 G(m)来确定mpG (m)i/ki1k 1当累积贡献率大于 85%时，就认为能足够反映原来变量的信息了，对应的 m 就是抽取的前 m个主成分。（ 4）计算主成分载荷主成分载荷是反映主成分Fi 与原变量 Xj 之间的相互关联程度， 原来变量Xj （j=1 ，2 ， ， p ）在诸主成分 Fi （i=1 ，2， ， m）上的荷载 lij（ i=1 ，2， ， m； j=1 ，2 ， ， p）。：l (Zi ,X j )i aij (i1,2, L , m; j1,2, L , p)在 SPSS软件中主成分分析后的分析结果中， “成分矩阵 ”反应的就是主成分载荷矩阵。（ 5）计算主成分得分计算样品在 m个主成分上的得分：Fia1i X1a2i X 2.api X pi = 1，2， ， m实际应用时，指标的量纲往往不同， 所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法， 常用方法是将原始数据标准化， 即做如下数据变换：xij*xijx j1,2,., n; j 1,2,., pisj1n21nxj )2其中： x jxij ， sjn(xijn i11 i 1根据数学公式知道， 任何随机变量对其作标准化变换后， 其协方差与其相关系数是一回事， 即标准化后的变量协方差矩阵就是其相关系数矩阵。 另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵 。 也就是说， 在标准化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：计算相关系数矩阵求出相关系数矩阵的特征值i 及相应的正交化单位特征向量ai选择主成分计算主成分得分总结：原指标相关系数矩阵相应的特征值i为主成分方差的贡献，方差的p贡献率为ii /i，i 越大，说明相应的主成分反映综合信息的能力越强，i1可根据i的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分上的载荷） ai 就是相应特征值i 所对应的单位特征向量。