《主成分分析杨》PPT课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,主成分分析,Principal Component Analysis,什么是主成分分析,主成分分析是一种把,多个指标综合为少数几个指标,的统计方法。,主成分分析的功能,简化数据，或者叫降维。,揭示变量之间的关系。,进行统计解释。,主成分分析的应用例子,一项十分著名的工作是美国的统计学家斯通,(stone),在,1947,年关于国民经济的研究。他曾利用美国,1929,一,1938,年各年的数据，得到了,17,个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。,主成分分析的应用例子,在进行主成分分析后，竟以,97.4,的精度，用三新变量就取代了原,17,个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入,F1,、,总收入变化率,F2,和经济发展或衰退的趋势,F3,。,更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入,I,、,总收入变化率 以及时间,t,因素做相关分析，得到下表：,F1,F2,F3,I,t,F1,1,F2,0,1,F3,0,0,1,I,0.995,-0.041,0.057,l,-0.056,0.948,-0.124,-0.102,l,t,-0.369,-0.282,-0.836,-0.414,-0.112,1,1,总体主成分,假设我们所讨论的实际问题中，有,p,个指标，我们把这,p,个指标看作,p,个随机变量，记为,X,1,，,X,2,，,，,X,p,，,它们组成一个随机向量，记为：,向量的协方差矩阵,一般向量的协方差矩阵,设 是一个随机向量，若 和 的协方差 存在，则 的协方差矩阵为：,总体主成分的定义,考虑这,P,个随机变量的特殊的线性组合：,总体主成分的定义,令,总体主成分的定义,将这个线性组合表示为：,且 为协方差矩阵 的第 个特征根 对应的单位正交特征向量，称 为 的第,个（总体）,主成分,。,总体主成分的定义,所谓单位正交特征向量是指,总体主成分的性质,（,1,）主成分之间不相关。可计算,（,2,）达到最大的单位向量。且可计算,总体主成分的性质,（,3,）主成分组成的随机向量记为：,则,其中,即,A,为特征向量组成的矩阵,且为正交阵：,还有，的协方差阵为对角矩阵：,总体主成分的性质,（）系统总方差不变，即,这样，存在,m(mp),使,即原始变量提供的总信息（总方差）可用前,m,个主成分所提供的信息来近似。,主成分的贡献,率,在,误差容许的范围内，可挑选合适的,m(mp),，,用个,m,主成分代替,p,个原始变量，就会达到降维的目的。,我们称 为主成分 的,贡献率,。,称 为主成分 的,累积贡献率,。,注：通常取使累积贡献率达到,75%,以上的,m,个主成分就可以了。,总体主成分的性质,主成分与原始变量的相关系数：,称 为因子载荷量，全部因子载荷量组成一个方阵叫,因子载荷矩阵,。,总体主成分的性质,（,5,）因子载荷矩阵各行之平方和：,（,6,）因子载荷矩阵各列之加权平方和：,另一种贡献率,前,m,个主成分对某原始变量 的贡献率：,注：两种贡献率不同。,主成分的两个例子,例,1,设随机向量的协方差矩阵为：,试求主成分。,主成分的两个例子,例,2,设随机向量的协方差矩阵为：,试求主成分及贡献率。,2,标准化变量的主成分,原始变量的计量单位改变之后，可能导致主成分发生变化，因此有必要标准化：将 标准化为,计算公式为,标准化变量的主成分,标准化的随机向量,的协方差矩阵与原始随即向量,的相关矩阵相等：,所以，可由相关阵出发求出 的主成分。,标准化变量主成分的性质,（,1,）系统的总信息量为：,（,2,）相关系数为：,标准化后的因子载荷矩阵为,:,标准化后的因子载荷矩阵,标准化变量主成分的例子,例,3,设 的协方差矩阵 和相关矩阵 分别为：,对比其主成分。,3,样本主成分,在实际问题中,总体随机变量的协方差矩阵和相关矩阵都是未知的,需要抽样估计,这样就得到了样本主成分。,假设对,的第一次观测得到,第二次观测得到,一般地，第,t,次观测得到,各次观测值也叫样品。,样本数据矩阵,共有个数据，用一个,样本数据矩阵,表示：,样本主成分,由此可以计算样本均值，样本协方差矩阵，样本相关矩阵等。可以利用样本相关矩阵求得标准化变量的样本主成分，作为主体主成分的一个估计。,假定已经得到了样本主成分：,注：这里假设变量和观测数据已标准化。,样本主成分得分矩阵,将,每一次观测数据代入上式右端，得到个数据：,可组成样本主成分得分矩阵：,各次观测值样本主成分得分,还,可由主成分与原始变量的关系,得到：详细写出来：,各次观测值的样本主成分得分,将样本数据矩阵的各行分别代入上式，得各次观测值（也叫样品）的样本主成分得分，如,为第一次观测值的的分值，等等。,注：贡献率与累计贡献率的概念类似。,主成分的应用,将指标变量分类；,对样品排序和分类；,3,做主成分回归；,4,在,DEA,中减少指标个数；,5,进行系统综合评价。,1,对指标变量分类,若 和 的相关系数 ，则可以把这两个变量分为一类。,其中 是第,k,个主成分在变量 上的因子载荷量。,2,对样品分类,样品是,P,维空间的点，的距离近似为零，则可分为一类。,做主成分回归,用主成分代替原始变量，以消除多重共线性。,4,在,DEA,中减少指标个数,用主成分代替输入输出指标以提高,DMU,的相对效率的可区分度。,5,系统综合评价方法,加权法。利用公式下述公式计算：,其中 为累计贡献率。,当第一主成分的各系数符号相同时，利用 计算。,与专家评估相结合，把专家收集的信息拿来对主成分评估法进行修正。,