主成分分析及matlab实现.ppt

主成分分析,主成分分析的基本原理主成分分析的计算步骤主成分分析方法应用实例,在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？,问题的提出：,事实上，这种想法是可以实现的，主成分分析方法就是综合处理这种问题的一种强有力的工具。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。,例如，某人要做一件上衣要测量很多尺寸，如身长、袖长、胸围、腰围、肩宽、肩厚等十几项指标，但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多？而是从多种指标中综合成几个少数的综合指标，做为分类的型号，利用主成分分析将十几项指标综合成3项指标，一项是反映长度的指标，一项是反映胖瘦的指标，一项是反映特体的指标。,一、主成分分析的基本原理,假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵,（1.1）,当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。,定义：记x1，x2，xP为原变量指标，z1，z2，zm（mp）为新变量指标,(1.2),系数lij的确定原则：zi与zj（ij；i，j=1，2，m）相互无关；,z1是x1，x2，xP的一切线性组合中方差最大者，z2是与z1不相关的x1，x2，xP的所有线性组合中方差最大者;zm是与z1，z2，zm1都不相关的x1，x2，xP，的所有线性组合中方差最大者。则新变量指标z1，z2，zm分别称为原变量指标x1，x2，xP的第1，第2，第m主成分。,从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2，p）在诸主成分zi（i=1，2，m）上的荷载lij（i=1，2，m；j=1，2，p）。从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。,二、主成分分析的计算步骤,设有n个样品，每个样品观测p个指标，将原始数据写成矩阵,1将原始数据标准化。这里不妨设上边矩阵已标准化了。,2建立变量的相关系数阵：,3求R的特征根,及相应的单位特征向量：,4写出主成分,计算主成分贡献率及累计贡献率贡献率,累计贡献率,一般取累计贡献率达85%95%的特征值所对应的第1、第2、第m（mp）个主成分。,三、实例演示,例对全国30个省市自治区经济发展基本情况的八项指标作主成分分析，原始数据如下：,第一步将原始数据标准化。,第二步建立指标之间的相关系数阵R如下,第三步求R的特征值和特征向量。,从上表看，前3个特征值累计贡献率已达89564，说明前3个主成分基本包含了全部指标具有的信息，我们取前3个特征值，并计算出相应的特征向量：,因而前三个主成分为：,第一主成分：,第二主成分：,第三主成分：,在第一主成分的表达式中第一、二、三项指标的系数较大，这三个指标起主要作用，我们可以把第一王成分看成是由国内生产总值、固定资产投资和居民消费水平所该划的反映经济发展状况的综合指标；,在第二主成分中，第四、五、六、七项指标的影响大，且第六、七项指标的影响尤其大，可将之看成是反映物价指数、职工工资和货物周转量的综合指标；,在第三主成分中，第八项指数影响最大，远超过其它指标的影响，可单独看成是工业总产值的影响。,四.主成分分析的应用,1.主成分分析用于系统评估利用主成分F1，Fp做线性组合，并以每个主成分Fi的方差贡献率作为权数构造一个综合评价函数：也称y为评估指数，依据对每个系统计算出的y值大小进行排序比较或分类划级。,例1.城市环境生态化是城市发展的必然趁势，表现为社会、经济、环境与生态全方位的现代化水平，一个符合生态规律的生态城市应该是结构合理、功能高效和关系协调的城市生态系统。所谓结构合理是指适度的人口密度，合理的土地利用，良好的环境质量，充足的绿地系统，完善的基础设施，有效的自然保护；功能高效是指资源的优化配置、物力的经济投入、人力的充分发挥、物流的畅通有序、信息流的快捷；关系协调是指人和自然协调、社会关系协调、城乡协调、资源利用和更新协调。一个城市要实现生态城市的发展目标，关键是在市场经济的体制下逐步改善城市的生态环境质量，防止生态环境质量恶化，因此，对城市的生态环境水平调查评价很有必要。,我们对江苏省十个城市的生态环境状况进行了调查，得到生态环境指标的指数值，见表1。现对生态环境水平分析和评价。,利用Matlab中的princomp命令实现。具体程序如下X=0.78830.73910.81110.65870.65430.82590.84860.68340.84950.78460.76330.72870.76290.85520.75640.74550.78000.94900.89180.89540.47450.51260.88100.89030.82880.78500.80320.88620.39870.39700.82460.76030.68880.89770.79260.78560.65090.89020.67990.98770.87910.87360.81830.94460.92020.92630.91850.95050.86200.88730.95380.92570.92850.94340.91540.88710.93570.87600.95790.97410.87850.85420.85370.90270.87290.84850.84730.90440.88660.90350.63050.61870.63130.74150.63980.61420.57340.89800.61860.73820.89280.78310.56080.84190.84640.76160.82340.63840.96040.8514;,这样，前三个主成分为第一主成分贡献率为43.12，第二主成分贡献率为29.34，第三主成分贡献率为11.97，前三个主成分累计贡献率达84.24。如果按80以上的信息量选取新因子，则可以选取前三个新因子。第一新因子z1包含的信息量最大为43.12，它的主要代表变量为X8(城市文明)、X7(生产效率)、X4(城市绿化)，其权重系数分别为0.4815、0.4236、0.4048，反映了这三个变量与生态环境水平密切相关，第二新因子Z2,包含的信息量次之为29.34，它的主要代表变量为X3(地理结构)、X6(资源配置)、X9(可持续性)，其权重系数分别为0.5299、0.5273、0.4589，第三新因子Z3包含的信息量为11.97，代表总量为X9(可持续性)、X5(物质还原)，权重系数分别为0.5933、0.5664。这些代表变量反映了各自对该新因子作用的大小，它们是生态环境系统中最重要的影响因素。根据前三个主成分得分，用其贡献率加权，即得十个城市各自的总得分根据总得分排序，结果见表1。,2.主成分回归考察进口总额Y与三个自变量：国内总产值x1,存储量x2，总消费量x3之间的关系，现收集数据如下，试用主成分回归分析方法求进口总额与总产值、存储量和总消费量的定量关系式.,分析：本题目可先尝试一般的线性回归模型，但拟合的效果一般，故可尝试主成分回归分析方法解：首先对各个变量数据进行标准化处理，其次，建立指标之间的相关系数阵并求出相关阵的特征值分别为：前2个主成分的累计贡献率在99%以上，故取2个主成分（表示xi的标准化变量）：由主成分回归得到的标准化回归方程为用原变量表示的回归方程,