主成分分析和因子分析实例课件

主成分与因子分析实例主成分与因子分析实例主成分与因子分析实例主成分分析和因子分析u介绍两种把变量维数降低以便于描述、理解 和 分 析 的 方 法：主 成 分 分 析（principal component analysis）和因子分析（factor analysis）。u在引进主成分分析之前，先看下面的例子。主成分分析和因子分析介绍两种把变量维数降低以便于描述、理解和成绩数据u100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。成绩数据100个学生的数学、物理、化学、语文、历史、英语的成从本例可能提出的问题u目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？u这一两个综合变量包含有多少原来的信息呢？u能不能利用找到的综合变量来对学生排序呢？u这一类数据所涉及的问题可以推广到对企业、对学校进行分析、排序、判别和分类等问题。从本例可能提出的问题目前的问题是，能不能把这个数据的6个变量主成分分析u例中的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。u先假定只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；如果这些数据形成一个椭圆形状的点阵（这在变量的二维正态的假定下是可能的）主成分分析例中的数据点是六维的；也就是说，每个观测值是6维空主成分分析u那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。主成分分析那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数主成分分析u当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。u但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。u如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。u椭圆（球）的长短轴相差得越大降维也越有道理。主成分分析当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描主成分分析u对对于于多多维维变变量量的的情情况况和和二二维维类类似似，也也有有高高维的椭球，只不过无法直观地看见罢了。维的椭球，只不过无法直观地看见罢了。u首首先先把把高高维维椭椭球球的的主主轴轴找找出出来来，再再用用代代表表大大多多数数数数据据信信息息的的最最长长的的几几个个轴轴作作为为新新变变量；这样，主成分分析就基本完成了。量；这样，主成分分析就基本完成了。u注注意意，和和二二维维情情况况类类似似，高高维维椭椭球球的的主主轴轴也也是是互互相相垂垂直直的的。这这些些互互相相正正交交的的新新变变量量是是原原先先变变量量的的线线性性组组合合，叫叫做做主主成成分分(principal component)principal component)。主成分分析对于多维变量的情况和二维类似，也有高维的椭球，只不主成分分析u正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分。u选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。主成分分析正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有u对于我们的数据，对于我们的数据，SPSSSPSS输出为：输出为：u这里的这里的Initial EigenvaluesInitial Eigenvalues就是这就是这里的六个主轴长度，又称特征值（数里的六个主轴长度，又称特征值（数据相关阵的特征值）。据相关阵的特征值）。对于我们的数据，SPSS输出为：这里的Initial Eig主成分分析的一般模型主成分分析的一般模型主成分分析的一般模型主成分分析主成分分析u其中其中 有以下原则来确定：有以下原则来确定：u这时称：这时称：Y Y1 1是第一主成分是第一主成分 Y Y2 2是第二主成分是第二主成分 主成分分析其中 有以下原则来确定：这时称：Y1主成分的含义主成分的含义u由由原原始始数数据据的的协协方方差差阵阵或或相相关关系系数数据据阵阵，可计算出矩阵的特征根：可计算出矩阵的特征根：主成分的含义由原始数据的协方差阵或相关系数据阵，可计算出矩阵主成分的含义主成分的含义u但但是是，spssspss软软件件中中没没有有直直接接给给出出主主成成分分系系数数，而而是是给给出出的的因因子子载载荷荷，我我们们可可将将因因子子载载荷荷系系数数除除以以相相应应的的 ，即即可可得得到到主主成分系数。成分系数。主成分的含义但是，spss软件中没有直接给出主成分系数，而是由Component1的系数除以 ，得到：Y1=-0.417x1-0.349x2-0.349x3+0.462x4+0.427x5+0.433x6 Y2=0.183x1+0.275x2+0.265x3+0.158x4+0.225x5+0.220 x6 这些系数表示主成分和相应的原先变量的相关系数。这些系数表示主成分和相应的原先变量的相关系数。相相关关系系数数(绝绝对对值值）越越大大，主主成成分分对对该该变变量量的的代代表表性性也也越大。越大。由Component2的系数除以 ，得到：由Component1的系数除以 ，得到：Y1=主成分分析主成分分析u为什么为什么spssspss中只取了两个主成分呢？中只取了两个主成分呢？主成分分析为什么spss中只取了两个主成分呢？头头两两个个成成分分特特征征值值对对应应的的方方差差累累积积占占了了总总方方差差的的81.142%81.142%，称称为为累累计计方方差差贡贡献献率率为为81.142%81.142%。后后面面的特征值的贡献越来越少。的特征值的贡献越来越少。一一般般我我们们取取累累计计方方差差贡贡献献率率达达到到85%85%左左右右的的前前k k个个主主成成分分就就可可以以了了，因因为为它它们们已已经经代代表表了了绝绝大大部部分分的信息的信息 。SpssSpss中中选选取取主主成成分分的的方方法法有有两两个个：一一是是根根据据特特征征根根11来来选选取取；另另一一种种是是用用户户直直接接规规定定主主成成分分的的个数来选取。个数来选取。头两个成分特征值对应的方差累积占了总方差的81.142%，称特征值的贡献还可以从特征值的贡献还可以从SPSSSPSS的所谓碎石图看出的所谓碎石图看出特征值的贡献还可以从SPSS的所谓碎石图看出可以把第一和第二主成分的点画出一个二维图以直可以把第一和第二主成分的点画出一个二维图以直 观地显示它们如何解释原来的变量的。观地显示它们如何解释原来的变量的。该图该图左面三个点是数学、物理、化学三科左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外语三科。右边三个点是语文、历史、外语三科。可以把第一和第二主成分的点画出一个二维图以直 该图左面三个点因子分析因子分析u因子分析是主成分分析的推广和发展。因子分析是主成分分析的推广和发展。u为什么要进行因子分析？为什么要进行因子分析？u由主成分分析的模型可知：由主成分分析的模型可知：因子分析因子分析是主成分分析的推广和发展。因子分析因子分析u我我们们如如果果想想知知道道每每个个变变量量与与公公共共因因子子的的关关系系，则就要进行因子分析了。因子分析模型为：则就要进行因子分析了。因子分析模型为：因子分析我们如果想知道每个变量与公共因子的关系，则就要进行因因子载荷因子载荷u 称为因子载荷（实际上是权数）。称为因子载荷（实际上是权数）。u因因子子载载荷荷的的统统计计意意义义：就就是是第第i i个个变变量量与与第第j j个个公公共共因因子子的的相相关关系系数数，即即表表示示变变量量x xi i依依赖赖于于F Fj j的的份量（比重），心理学家将它称为载荷。份量（比重），心理学家将它称为载荷。因子载荷 称为因子载荷（实际上是权数）。主成分分析和因子分析实例课件公因子方差表公因子方差表u提提取取出出来来的的公公因因子子对对每每个个变变量量的的解解释释程程度度到底有多大呢？可从公因子方差表得知：到底有多大呢？可从公因子方差表得知：（0.744+0.736+0.718+0.890+0.870+0.8800.744+0.736+0.718+0.890+0.870+0.880）/6=0.8113/6=0.8113公因子方差表提取出来的公因子对每个变量的解释程度到底有多大呢因子旋转因子旋转u为为了了对对公公因因子子F F能能够够更更好好的的解解释释，可可通通过过因因子旋转的方法得到一个好解释的公因子。子旋转的方法得到一个好解释的公因子。u所所谓谓对对公公因因子子更更好好解解释释，就就是是使使每每个个变变量量仅仅在在一一个个公公因因子子上上有有较较大大的的载载荷荷，而而在在其其余的公因子上的载荷比较小。余的公因子上的载荷比较小。u这这种种变变换换因因子子载载荷荷的的方方法法称称为为因因子子轴轴的的旋旋转转。因因子子旋旋转转的的方方法法很很多多，常常用用的的为为方方差差最大正交旋转。最大正交旋转。因子旋转为了对公因子F能够更好的解释，可通过因子旋转的方法得这里，这里，第一个因子主要和语文、历史、英语科有很强的正第一个因子主要和语文、历史、英语科有很强的正相关；相关；而第二个因子主要和数学、物理、化学三科有很强而第二个因子主要和数学、物理、化学三科有很强的正相关的正相关。因此可以给第一个因子起名为。因此可以给第一个因子起名为“文科因子文科因子”，而给第二个因子起名为而给第二个因子起名为“理科因子理科因子”。从这个例子可以看。从这个例子可以看出，因子分析的结果比主成分分析解释性更强出，因子分析的结果比主成分分析解释性更强。这里，第一个因子主要和语文、历史、英语科有很强的正相关；而第这些系数所形成的散点图（在这些系数所形成的散点图（在SPSSSPSS中也称载荷图），中也称载荷图），可以直观看出每个因子代表了一类学科可以直观看出每个因子代表了一类学科 。这些系数所形成的散点图（在SPSS中也称载荷图），可以直观看因子得分因子得分u在在分分析析中中，人人们们往往往往更更愿愿意意用用公公共共因因子子反反映映原原始始变变量量，这这样样更更有有利利于于描描述述研研究究对对象象的的特特征征。因因而而往往往往将将公公共共因因子子表表示示为为变变量量（或或样样品品）的的线性组合，即：线性组合，即：u称称上上式式为为因因子子得得分分函函数数，用用它它可可计计算算每每个个样样品的公因子得分。估计因子得分的方法很多。品的公因子得分。估计因子得分的方法很多。因子得分在分析中，人们往往更愿意用公共因子反映原始变量，这样可以根据输出，计算出每个学生的第一个可以根据输出，计算出每个学生的第一个因子和第二个因子的大小，即算出因子和第二个因子的大小，即算出每个学每个学生生的因子得分的因子得分f f1 1和和f f2 2。可以根据输出，计算出每个学生的第一个因子和第二个因子的大小，人们可以根据这两个函数分别计算出每个学生人们可以根据这两个函数分别计算出每个学生的两套因子得分，对学生分别按照文科和理科的两套因子得分，对学生分别按照文科和理科排序。排序。也可以也可以每个因子的方差贡献率为权数每个因子的方差贡献率为权数，进行加权综合，计算出每个学生的总得分，以进行加权综合，计算出每个学生的总得分，以此排队。此排队。人们可以根据这两个函数分别计算出每个学生的两套因子得分，对学主成分和因子分析的一些注意事项u可以看出，因子分析和主成分分析都依赖于原始变量，也只能反映原始变量的信息。所以原始变量的选择很重要。u另外，如果原始变量都本质上独立，那么降维就可能失败，这是因为很难把很多独立变量用少数综合的变量概括。数据越相关，降维效果就越好。主成分和因子分析的一些注意事项可以看出，因子分析和主成分分析主成分和因子分析的一些注意事项u在得到分析的结果时，并不一定会都得到如我们例子那样清楚的结果。这与问题的性质，选取的原始变量以及数据的质量等都有关系 u在用因子得分进行排序时要特别小心，特别是对于敏感问题。由于原始变量不同，因子的选取不同，排序可以很不一样。主成分和因子分析的一些注意事项在得到分析的结果时，并不一定会SpssSpss实现实现uSpssSpss选项选项:AnalyzeAnalyzeData ReductionData ReductionFactor Factor u用用ExtractionExtraction，选选择择提提取取公公因因子子的的方方法法（如如果果是是主成分分析，则选主成分分析，则选Principal ComponentsPrincipal Components），），u用用RotationRotation，选选择择因因子子旋旋转转方方法法（如如果果是是主主成成分分分析就选分析就选NoneNone），），u用用 ScoresScores计计 算算 因因 子子 得得 分分，再再 选选 择择 Save Save as as variablesvariables（因因子子得得分分就就会会作作为为变变量量存存在在数数据据中中的的附附 加加 列列 上上）和和 计计 算算 因因 子子 得得 分分 的的 方方 法法（比比 如如RegressionRegression）；要要 想想 输输 出出 Component Component Score Score Coefficient Coefficient MatrixMatrix表表，就就 要要 选选 择择 Display Display factor score coefficient matrixfactor score coefficient matrix；Spss实现Spss选项:AnalyzeData Redu