主成分分析方法课件

主成分分析方法 主成分分析的基本原理 主成分分析的计算步骤 主成分分析方法应用实例 主成分分析方法 主成分分析的基本原理 1 主成分分析 （Principal Components Analysis)是由Hotelling于1933年首先提出的，它是利用降维的思想，把多指标转化 为少数几个综合指标的多元统计分析 方法。从数学角度来看，这是一种降维处理 技术。2主成分分析的目的与功能 n在多变量分析中，分析者所面临的最大难题是解决众多变量之间的关系问题。进行数据降维可以用尽可能少的新指标取代原来较多的指标变量，并能包含原来指标变量所包含的大部分信息。n解决多元回归分析中的多重共线性问题。n综合评价中，人们总是尽可能多地选取评价指标，而这些评价指标之间往往相互重叠，信息冗余是不可避免的。主成分分析则可以把这众多指标所蕴含的信息压缩到少数几个主成分指标，然后给出这几个主成分指标的权重，综合到一个评价指标中。主成分分析的目的与功能 在多变量分析中，分析者所面临的最大难3主成分的主要功能 n数据降维（Dimension Reduction）n变量筛选（Variables Screening）主成分的主要功能 数据降维（Dimension Reduct4一、数据处理 采集m维随机向量x=(x1,x2,xm)T的n个样品xi=(xi1,xi2,xim)T,i=1,2,n,nm,构造样本阵X x1T x11 x12 x1m x2T x21 x22 x2m X=xnT xn1 xn2 xnm 一、数据处理51.对样本阵X中的元进行如下变换 x ij,对正指标 Y ij=-x ij,对逆指标 得 Y=Y ij np 主成分分析方法课件62 2 对Y中元进行如下标准化变换 其中得标准化矩阵Z:Z=z1T z11 z12 z1m z2T =z21 z22 z2m znT zn1 zn2 znm2 对Y中元进行如下标准化变换 其中得标准化矩阵Z:Z=7一、主成分分析的基本原理 n假定有n个样本，每个样本共有m个变量，构成一个nm阶的数据矩阵(标准化后的数据)（3.5.1）一、主成分分析的基本原理 假定有n个样本，每个样本共有m个变8n 当m较大时，在m维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。当m较大时，在m维空间中考察问题比较麻烦。为了克服这一困难9定义：记x1，x2，xm为原变量指标，F1，F2，Fp（pm）为新变量指标(3.5.2)n系数eij的确定原则：Fi与Fj（ij；i，j=1，2，p）相互无关；定义：记x1，x2，xm为原变量指标，F1，F2，F10 F1是x1，x2，xm的一切线性组合中方差最大者，F2是与F1不相关的x1，x2，xm的所有线性组合中方差最大者；Fp是与F1，F2，Fp1都不相关的x1，x2，xm，的所有线性组合中方差最大者。则新变量指标F1，F2，Fp分别称为原变量指标x1，x2，xm的第一，第二，第p主成分。主成分分析方法课件11 从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2，m）在诸主成分Fi（i=1，2，p）上的权重 eij（i=1，2，p；j=1，2，m）。从数学上容易知道，从数学上可以证明，它们分别是的相关系数矩阵的p个较大的特征值所对应的单位化特征向量。从以上的分析可以看出，主成分分析的实12二、计算步骤（一）计算相关系数矩阵一）计算相关系数矩阵 rij（i，j=1，2，m）为原变量xi与xj的相关系数，rij=rji，其计算公式为：（3.5.3）（3.5.4）二、计算步骤（一）计算相关系数矩阵（3.5.3）（3.513 （二）计算特征值与特征向量：（二）计算特征值与特征向量：解特征方程，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列 ；分别求出对应于特征值的特征向量 ，要求=1，即，其中表示向量 的第j个分量。（二）计算特征值与特征向量：分别求出对应于14 计算主成分贡献率及累计贡献率 贡献率:累计贡献率:一般取累计贡献率达8595%的特征值所对应的第一、第二、第p（pm）个主成分。计算主成分贡献率及累计贡献率累计贡献率:15（三）确定主成分其中为第i个特征值所对应的特征向量2.计算主成分载荷计算主成分载荷1.主成分表达式主成分表达式：表示主成分与对应变量的相关系数表示主成分与对应变量的相关系数（三）确定主成分其中为第i个特征值所对应的特征向量2.计算主16（四）排序问题：（四）排序问题：2.综合得分：选取综合评价函数为综合得分：选取综合评价函数为1.主成分得分主成分得分（四）排序问题：2.综合得分：选取综合评价函数为1.主成分得17三、主成分分析实例1 下表是10名初中男学生的身高（cm），胸围（cm），体重（kg）的数据，试进行主成分分析。身高身高x1胸胸围x2体重体重x3149.569.538.5162.577.055.5162.778.550.8162.287.565.5156.574.549.0156.174.545.5172.076.551.0173.281.559.5159.574.543.5157.779.053.5三、主成分分析实例1 下表是10名初中男学生的身高（cm18Matlab程序n%cwfac.mnfunction result=cwfac(vector);nfprintf(相关系数矩阵:n)nstd=corrcoef(vector)%计算相关系数矩阵nfprintf(特征向量(vec)及特征值(val)：n)nvec,val=eig(std)%求特征值(val)及特征向量(vec)nnewval=diag(val);ny,i=sort(newval);%对特征根进行排序，y为排序结果，i为索引nfprintf(特征根排序：n)nfor z=1:length(y)n newy(z)=y(length(y)+1-z);nendnfprintf(%gn,newy)nrate=y/sum(y);nfprintf(n贡献率：n)nnewrate=newy/sum(newy)Matlab程序%cwfac.m19Matlab程序nsumrate=0;nnewi=;nfor k=length(y):-1:1n sumrate=sumrate+rate(k);n newi(length(y)+1-k)=i(k);n if sumrate0.85 break;n end nend%记下累积贡献率大85%的特征值的序号放入newi中nfprintf(主成分数：%gnn,length(newi);nfprintf(主成分载荷：n)nfor p=1:length(newi)n for q=1:length(y)n result(q,p)=sqrt(newval(newi(p)*vec(q,newi(p);n endnend%计算载荷ndisp(result)Matlab程序sumrate=0;20主成分分析实例主成分分析实例 2n表1是某市工业部门13个行业的8项重要经济指标的数据，这8项经济指标分别是：X1：年末固定资产净值，单位：万元；X2：职工人数据，单位：人；X3：工业总产值，单位：万元；X4：全员劳动生产率，单位：元/人年；X5：百元固定资产原值实现产值，单位：元；X6：资金利税率，单位：%；X7：标准燃料消费量，单位：吨；X8：能源利用效果，单位：万元/吨。主成分分析实例 2表1是某市工业部门13个行业的8项重要经济21利用Matlab求解n相关系数矩阵为n特征值为 2.42 0.53 0.045n对应的特征向量为n 0.4983 0.8638 -0.0747n 0.6063 -0.4088 -0.6822n 0.6198 -0.2947 0.7274利用Matlab求解相关系数矩阵为特征值为 2.42 22贡献率为 0.8069 0.1781 0.0150 前两个的累计贡献率为98.5%选取两个主成分 贡献率为 0.8069 0.1781 0.01523是反映学生身材魁梧与否的综合指标是反映学生体形特征的综合指标。是反映学生身材魁梧与否的综合指标24表1是某市工业部门13个行业的8项重要经济指标的数据，这8项经济指标分别是：X1：年末固定资产净值，单位：万元；X2：职工人数据，单位：人；X3：工业总产值，单位：万元；X4：全员劳动生产率，单位：元/人年；X5：百元固定资产原值实现产值，单位：元；X6：资金利税率，单位：%；X7：标准燃料消费量，单位：吨；X8：能源利用效果，单位：万元/吨。表1是某市工业部门13个行业的8项重要经济指标的数据，这8项25表表1 某市工业部门某市工业部门13个行业个行业8项指标项指标表1 某市工业部门13个行业8项指标26 我们要考虑的是：如何从这些经济指标出发，对八个指标进行适当的缩减，便于我们对某市经济状态做定性分析？我们要考虑的是：如何从这些经济指标出发，对八个指标进行270.002442000000000.032184000000000.086598000000000.30408000000000.64212000000000.93022000000002.8974000000003.1049-0.245-0.75762-0.065854-0.184220.0453030.104190.295990.47665-0.527110.51841-0.0484510.30545-0.174430.162980.277890.472810.780540.174040.0990480.0174750.058670.156260.377950.42385-0.220130.249430.28786-0.539410.51609-0.00854430.45141-0.21289-0.030623-0.232970.582290.4499-0.199420.321130.33094-0.388460.042355-0.056436-0.713570.316840.279260.145140.40274-0.35243-0.04116-0.0528420.193590.41820.758170.14046-0.377410.214830.0032996-0.0671110.122170.32220.071855-0.891160.272740.0550340.002442000000000.03218400000028表表2 特征根和累计贡献率特征根和累计贡献率表2 特征根和累计贡献率29表表3 特征向量特征向量表3 特征向量30主成分分析方法课件31载荷 成份123年末固定资产净值.840.504.100职工人数.833.473.157工业总产值.747.643.151全员劳动生产率-.375.768-.008百元固定资产原值实现产值-.684.563.310资金利税率-.621.686.140标准燃料消费量.379-.642.135能源利用效果.097.464-.860载荷 成份123年末固定资产净值.840.504.100职工32表表4 各行业主成分得分及排序各行业主成分得分及排序表4 各行业主成分得分及排序33从上表可以看出，机器行业在该地区的综合评价排在第一，原始数据也反映出机器行业存在明显的规模优势，另外从前两个主成分得分上看，该行业也排在第一位，同样存在效益优势；而排在最后三位的分别是皮革行业、电力行业和煤炭行业。从上表可以看出，机器行业在该地区的综合评价排在第一，原始数据34