主成分分析完整版课件

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主成分分析,Principal component analysis,主成分分析Principal component analy,主成分分析的基本思想,主成分的计算,主成分分析的应用,主成分分析的基本思想,主成分分析的基本思想,主成分分析就是把原有的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标,大部分,的信息（,85%,以上,），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着,降维,和,简化数据结构,的作用。,1,基本思想,主成分分析的基本思想1 基本思想,主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。,在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。,主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，,对高维变量空间进行降维处理。,很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。,主成分分析是把各变量之间互相关联的复杂,基于相关系数矩阵,/,协方差矩阵做主成分分析？,选择几个主成分？,如何解释主成分所包含的实际意义？,在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。,要讨论的问题是：,基于相关系数矩阵/协方差矩阵做主成分分析？在力求数据信,2,数学模型与几何解释,假设我们所讨论的实际问题中，有,p,个指标，我们把这,p,个指标看作,p,个随机变量，记为,X,1,，,X,2,，,，,X,p,，主成分分析就是要把这,p,个指标的问题，转变为讨论,m,个新的指标,F,1,，,F,2,，,，,F,m,(mp,），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。,其中,2 数学模型与几何解释 假设我们所讨论的,这种由讨论,多个指标,降为,少数几个,综合指标的过程在数学上就叫做,降维,。主成分分析通常的做法是，,寻求原指标的线性组合,F,i,。,满足如下的条件：,主成分之间相互独立，即无重叠的信息。即,主成分的方差依次递减，重要性依次递减，即,每个主成分的系数平方和为,1,。即,这种由讨论多个指标降为少数几个综合指标的过程在数,主成分分析的几何解释,旋转坐标轴,旋转变换的目的是为了使得,n,个样本点在,F1,轴方向上的离散程度最大，即,F1,的方差最大，变量,F1,代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量,F2,也损失不多的信息。,F1,与,F2,除起了浓缩作用外，还具有不相关性。,F1,称为第一主成分，,F2,称为第二主成分。,主成分的计算,先讨论二维情形,求第一主成分,F,1,和,F,2,。,我们已经把主成分,F1,和,F2,的坐标原点放在平均值 所在处，从而使得,F1,和,F2,成为中心化的变量，即,F1,和,F2,的样本均值都为零。,主成分的计算先讨论二维情形求第一主成分F1和F2。,因此,F,1,可以表示为,关键,是，寻找合适的单位向量 ，使,F,1,的方差最大。,问题的答案,是：,X,的协方差矩阵,S,的最大特征根 所对应的单位特征向量即为 。并且 就是,F,1,的方差。,因此F1可以表示为关键是，寻找合适的单位向量,同样，,F,2,可以表示为,寻找合适的单位向量 ，使,F,2,与,F,1,独立，且使,F,2,的方差（除,F,1,之外）最大。,问题的答案,是：,X,的协方差矩阵,S,的第二大特征根 所对应的单位特征向量即为 。并且 就是,F,2,的方差。,同样，F2可以表示为寻找合适的单位向量,其中，,a,ij,称为因子载荷量,因子载荷量：主成分与变量间的相关系数，,即：因子载荷量的大小和它前面的正负号直接反映了,主成分与相应变量之间关系的密切程度和方向。从而可以说明各主成分的意义,其中，aij称为因子载荷量因子载荷量：主成分与变量间的相关系,求解主成分的步骤：,1.,求样本均值 和样本协方差矩阵,S;,2.,求,S,的特征根,求解特征方程 ，其中,I,是单位矩阵，解得,2,个特征根,3.,求特征根所对应的单位特征向量,4.,写出主成分的表达式,求解主成分的步骤：1.求样本均值,身高,x,1,(cm),胸围,x,2,(cm),体重,x,3,(kg),149.5,162.5,162.7,162.2,156.5,156.1,172.0,173.2,159.5,157.7,69.5,77.0,78.5,87.5,74.5,74.5,76.5,81.5,74.5,79.0,38.5,55.5,50.8,65.5,49.0,45.5,51.0,59.5,43.5,53.5,例,1,下表是,10,位学生的身高,、胸围,、体重,的数据。,对此进行主成分分析。,身高x1(cm)胸围x2(cm)体重x3(kg)149.56,1.,求样本均值和样本协方差矩阵,2.,求解协方差矩阵的特征方程,3.,解得三个特征值,和对应的单位特征向量：,1.求样本均值和样本协方差矩阵 2.求,4.,由此我们可以写出三个主成分的表达式：,5.,主成分的含义,F,1,表示学生身材大小。,F,2,反映学生的体形特征,4.由此我们可以写出三个主成分的表达式：5.主成分,三个主成分的方差贡献率分别为：,前两个主成分的累积方差贡献率为：,三个主成分的方差贡献率分别为：前两个主成分的累积方差贡献率为,在一般情况下，设有,n,个样品，每个样品观测,p,个指 标，将原始数据排成如下矩阵：,多指标 求解主成分的步骤：,在一般情况下，设有n个样品，每个样品观测p个指 标，将原始,求样本均值,和样本协方差矩阵,S;,2.,求解特征方程,=0,其中,I,是单位矩阵,解得,p,个特征根,3.,求,所对应的单位特征向量,解得,4.,写出主成分的表达式,求样本均值和样本协方差矩阵S;2.求解特征方程=0,其中I,根据,累积贡献率,的大小取前面,m,个,(,mp,),主成分,选取原则,：,且,主成分个数的选取原则,根据累积贡献率的大小取前面m 个(mp)主成分主成分个数的,例 设 的协方差矩阵为,作主成分分析。,解：如果从 出发作主成分分析，易求得其特征值和相应的正交单位化特征向量为,的两个主成分分别为,第一主成分的贡献率为,例 设 的协方差矩阵为解：如果从,R,型分析,为消除,量纲,影响，在计算之前先将原始数据,标准化,。标准化变量的,S=R,，所以用,标准化变量,进行主成分分析相当于从原变量的,相关矩阵,R,出发进行主成分分析。统计学上称这种分析法为,R,型分析,，由协方差矩阵出发的主成分分析为,S,型分析,。,S,型分析和,R,型分析的结果是不同的。在一般情况下，若各变量的量纲不同，通常采用,R,型分析,。,R,型分析的概念,R 型分析为消除量纲影响，在计算之前先将原始数据标准化。标准,这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得的主成分一般情况是不相同的。实际表明，这种差异有时很大。,我们认为，如果各指标之间的数量级相差悬殊，特别是各指标有不同的物理量纲的话，较为合理的做法是使用,R,代替,。,对于研究经济问题所涉及的变量单位大都不统一，采用,R,代替,后，可以看作是用标准化的数据做分析，这样使得主成分有现实经济意义，不仅便于剖析实际问题，又可以避免突出数值大的变量。,这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得,主成分分析的步骤,1.,将原始数据标准化；,2.,根据标准化变量求出协方差矩阵（标准化后协方差矩阵与相关矩阵完全一样）；,3.,求出相关矩阵的特征值，计算累计贡献率，及其对应的特征向量；,4.,确定主成分，进一步分析。,对于,X=(X,1,X,2,X,p,),设,则标准化变量为,主成分分析的步骤 1.将原始数据标准化；对于X=(X1,X2,企业的经济效益分析,某市对下属,10,个企业作经济效益分析，根据经济统计原理，用取得的生产成果与各项成本的消耗作对比，来衡量每个企业的经济效益，也就是用下述五个指标来对每个企业进行分析。,Z,1,：固定资产的产值率,Z,2,：净产值劳动生产率,Z,3,：万元产值的流动资金占用率,Z,4,：万元产值利润率,Z,5,：万元资金的利润率,企业的经济效益分析,1,、数据标准化,2,、求相关矩阵,R,3,、计算,R,的特征值及累积贡献率，并计算相应的特征向量,经过计算取,2,个主成分，信息的可靠程度超过,85%,1、数据标准化经过计算取2个主成分，信息的可靠程度超过85%,4,、分析意义,第,j,个企业的第一主成分值为,各企业的第一主成分值如下表,0.77,-1.8,-1.16,0.105,-0.84,-1.205,3.83,0.96,0.33,-0.9931,1.,第 一主成分,F,1,的意义,在,F,1,的表达式中，只有第三个指标,Z,3,（万元产值流动资金占用率）的系数为负值（,-0.45,），而,Z,5,的系数最大，,Z,5,与,Z,3,是刻画企业经营水平高低的。当,Z,3,取值较小，,Z,5,取值较大时，,F,1,就较大。于是,F,1,在此突出地反映了一个企业经营水平的高低。,由计算结果可见，企业,7,的经营水平最高，企业,2,的经营水平最低。,4、分析意义第 j个企业的第一主成分值为各企业的第一主成分值,2.,第二主成分,F,2,的意义,第,j,个企业的第二主成分值为,各企业的第二主成分值如下表,-2.07,0.0927,-2.1803,-0.7077,0.4047,-0.1223,-0.4340,1.9602,1.777,1.3257,F,2,除了第一系数为正之外，其他约为负值，其中,Z,4,系数绝对值最大。,Z,1,的意义是投资水平，,Z,4,的意义是销售水平。如果投资大，销售水平低，自然,F,2,的值会增大。所以,F,2,的值较小时，反映企业的投资与收益比值较小。由此看来，企业,8,，,9,，,10,的,F,2,值趋大，应属于不景气范围。企业,7,的投资虽最大，但盈利水平居高，因此,F,2,值较小。企业,1,，,3,的,F,2,值最小，反映这两个企业投资额与销售额之比最小，因此是经济效益好的企业。由于,上述分析应该有,90%,以上的可信度。,2.第二主成分F2的意义第 j个企业的第二主成分值为各企业的,