主成分分析和典型相关分析课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,引言,变量太多会增加计算的复杂性,变量太多给分析问题和解释问题带来困难,变量提供的信息在一定程度上会有所重叠,用为数较少的互不相关的新变量来反映原变量所提供的绝大部分信息，降维的思想来处理高维数据。,第,1,页,/,共,126,页,4.1,主成分分析,主要目的：,对原变量加以“改造”，在不致损失原变量太多信息的条件下尽可能地降低变量的维数，即用较少的“新变量”代替原来的各变量。,第,2,页,/,共,126,页,第,3,页,/,共,126,页,4.1.2,总体主成分,设 为某实际问题所涉及的 个随机变量。记 ，其协方差矩阵为,它是一个 阶非负定矩阵。设 为 个常数向量，考虑如下线性组合：,第,4,页,/,共,126,页,总体主成分,易知有,我们希望用 代替原来 个变量 ，这就要求 尽可能地反映原来 个变量的信息。这里用方差来度量。即要求 达到最大。,对任意常数 ，若取 ，则 。,第,5,页,/,共,126,页,总体主成分,因此，必须对 加以限制，否则 无界。最方便的限制是要求 具有单位长度，即我们在约束条件 之下，求 使 达到最大，由此 所确定的随机变量 称为 的,第一主成分,。,第,6,页,/,共,126,页,总体主成分,如果第一主成分 还不足以反映原变量的信息，进一步求 。,为了使 和 反映原变量的信息不相重叠，要求二者不相关，在约束条件,求 使 达到最大。,第二主成分,：,依次类推,第,7,页,/,共,126,页,总体主成分,一般地，在约束条件 及,下，求 使 达到最大，由此 所确定的,称为 的第 个主成分。,第,8,页,/,共,126,页,总体主成分的求法,设 是 的协方差矩阵， 的特征值及相应的正交单位化特征向量分别为 及 ，则 的第 个主成分为,其中 。易见：,事实上，令 ，则 为一正交矩阵，且,第,9,页,/,共,126,页,总体主成分的求法,设 为,X,的第一主成分，其中 。令,则,并且当 时，等号成立。这时,第,10,页,/,共,126,页,总体主成分的求法,在约束条件 下，当 时， 达到最大，且,设 为,X,的第二主成分，则有,即有 且,第,11,页,/,共,126,页,总体主成分的求法,令,则有,从而,并且当 ，即 时， 。由此知，当 时，满足 ， 且使,达到最大。,依此类推,.,第,12,页,/,共,126,页,总体主成分的求法,以上结果告诉我们，,求,X,的各主成分，等价于求它的协方差矩阵的各特征值及相应的正交单位化特征向量。,按特征值由大到小所对应的正交单位化特征向量为组合系数的 的线性组合分别为,X,的第一、第二、直至第,p,个主成分，而各主成分的方差等于相应的特征值。,第,13,页,/,共,126,页,总体主成分的性质,主成分的协方差矩阵及总方差,记 为主成分向量，则 ，其中,，,Y,的协方差矩阵为,由此得主成分的总方差为,第,14,页,/,共,126,页,总体主成分的性质,主成分分析是把,p,个原始变量 的总方差分解成,p,个不相关变量 的方差之和。,第 个主成分 的贡献率：,描述了第,k,个主成分提取的信息占总信息的份额。,第,15,页,/,共,126,页,总体主成分的性质,前 个主成分的累计贡献率：,表明前,m,个主成分综合提供信息的能力。,实际应用中，通常选取,mp,，使前,m,个主成分的累计贡献率达到较高的比例（如,80%,到,90%,）。这样用前,m,个主成分代替原始变量不但是变量维数降低，而且也不致于损失原始变量中的太多信息。,第,16,页,/,共,126,页,总体主成分的性质,主成分 与变量 的相关系数,由于 ，故 ，从而,由此可得 与 的相关系数为,它给出了主成分 与原始变量 的关联性的度量。,第,17,页,/,共,126,页,各主成分与原始变量间的相关系数,原,变,量,主,成,分,第,18,页,/,共,126,页,实际应用中，一般只对前,m,个主成分感兴趣，因此只关心 与,的相关系数，即表中前,m,行的各个值。,第,19,页,/,共,126,页,例,4.1,设随机变量 的协方差矩阵为,求 的各主成分。,解,易求得 的特征值及相应的正交单位化特征向量分别为,第,20,页,/,共,126,页,例,4.1,因此 的主成分为,如果我们只取第一主成分，则贡献率为,若取前两个主成分，则累计贡献率为,第,21,页,/,共,126,页,例,4.1,进一步可求得前两个主成分与各原始变量的相关系数,同理，可求得,即 与 ， 高度相关而与 不相关； 与 以概率,1,呈完全线性关系。,第,22,页,/,共,126,页,标准化变量的主成分,在实际问题中，不同的变量往往有不同的量纲，由于不同的量纲会引起各变量取值的分散程度差异较大，这时总体方差则主要受方差较大的变量的控制。若用 求主成分，则优先照顾了方差大的变量，有时会造成很不合理的结果。为了消除由于量纲的不同带来的影响，常采用变量标准化的方法，即令,其中 。,第,23,页,/,共,126,页,标准化变量的主成分,这时， 的协方差矩阵便是,的相关矩阵 ，其中,利用 的相关矩阵 作主成分分析，可以得到如下结论：,第,24,页,/,共,126,页,标准化变量的主成分,设 为标准化的随机向量，其协方差矩阵（即 的相关矩阵）为 ，则 的第 个主成分为,并且,其中 为 的特征值， 为相应于特征值 的正交单位化特征向量 。这时，第 个主成分的贡献率为 ，前 个主成分的累计贡献率为 ， 与 的相关系数为,第,25,页,/,共,126,页,例,4.2,设 的协方差矩阵为,相应的相关矩阵为,分别从 和 出发，作主成分分析。,第,26,页,/,共,126,页,例,4.2,解,如果从 出发作主成分分析，易求得其特征值和相应的正交单位化特征向量为,的两个主成分分别为,第一主成分的贡献率为,第,27,页,/,共,126,页,例,4.2,与 ， 的相关系数分别是,我们可以看到，由于 的方差很大，它完全控制了提取信息量占,99.2,的第一主成分（ 在 中的系数为,0.999,），淹没了变量 的作用。,如果从 出发求主成分，可求得其特征值和相应的正交单位化特征向量为,第,28,页,/,共,126,页,例,4.2,的两个主成分分别为,此时，第一个主成分的贡献率有所下降，为,注：当涉及的各变量的变化范围差异较大时，从 出发求主成分比较合理。,第,29,页,/,共,126,页,4.1.3,样本主成分,设,为取自 的一个容量为 的简单随机样本，则样本协方差矩阵及样本相关矩阵分别为,其中,第,30,页,/,共,126,页,样本主成分,设 是样本协方差矩阵，其特征值为,相应的正交单位化特征向量,这里 ，则第 个样本主成分为,其中 为,X,的任一观测值。当依次代入,X,的,n,个观测值 时，便得到第,i,个样本主成分 的,n,个观测值 ，我们称为第,i,个主成分的,得分,。,第,31,页,/,共,126,页,样本主成分,第 个样本主成分的贡献率为 ，,前 个样本主成分的累计贡献率为 。,第,32,页,/,共,126,页,样本主成分,同样，为了消除量纲的影响，我们可以对样本进行标准化，即令,则标准化数据的样本协方差矩阵即为原数据的样本相关矩阵 。由 出发所求得的样本主成分称为标准化样本主成分。只要求出 的特征值及相应的正交单位化特征向量，类似上述结果可求得标准化样本主成分。这时标准化样本总方差为 。,第,33,页,/,共,126,页,样本主成分,实际应用中，将样本 代入各主成分,中，可得到各样本主成分的观测值,原变量,主成分,1,2,序号,第,34,页,/,共,126,页,样本主成分,实际应用中，选取前,m,（,m,简单相关系数,一个随机变量,Y,与一组随机变量,X1, X2, Xp,;,-,多重相关,(,复相关系数,),一组随机变量,Y1,，,Y2,，,，,Yq,与另一组随机变量,X1,，,X2,，,，,Xp;,-,典型相关系数,第,70,页,/,共,126,页,CCA,典型相关是简单相关、多重相关的推广；或者说简单相关系数、复相关系数是典型相关系数的特例。,着眼于识别和量化两组随机变量之间的相关性，是两个随机变量之间的相关性在两组变量之下的推广。,第,71,页,/,共,126,页,简单相关系数描述两组变量的相关关系的缺点,只是孤立考虑单个,X,与单个,Y,间的相关，没有考虑,X,、,Y,变量组内部各变量间的相关。,两组间有许多简单相关系数，使问题显得复杂，难以从整体描述。（复相关系数也如此）,第,72,页,/,共,126,页,典型相关分析的思想,采用主成分思想寻找第,i,对,典型,(,相关,),变量,（,U,i,，,V,i,）：,第,73,页,/,共,126,页,典型相关分析的思想,X,1,Y,1,Y,2,Y,3,Y,4,X,2,X,3,X,4,X,5,U,1,U,2,U,3,U,4,V,1,V,2,V,3,V,4,将两组变量间的相关性凝结为少数几对典型变量间的相关性，通过对相关性较大的少数几对典型变量的研究来了解原来的两组变量相关性。,第,74,页,/,共,126,页,4.2.2,总体的典型变量与典型相关,总体的典型变量的定义,第,75,页,/,共,126,页,第一对典型变量,第,76,页,/,共,126,页,第二对典型变量,第,77,页,/,共,126,页,一般情况,第,78,页,/,共,126,页,求法,总体典型相关变量与典型相关系数的求法,第,79,页,/,共,126,页,第,80,页,/,共,126,页,第,81,页,/,共,126,页,第,82,页,/,共,126,页,从标准化变量出发,第,83,页,/,共,126,页,第,84,页,/,共,126,页,备注,第,85,页,/,共,126,页,例,4.7,第,86,页,/,共,126,页,例,4.7,第,87,页,/,共,126,页,4.2.3,样本的典型变量与典型相关,第,88,页,/,共,126,页,4.2.3,样本典型变量,第,89,页,/,共,126,页,第,90,页,/,共,126,页,同样可以求标准化样本的样本典型变量与样本典型相关系数。这等价于从观测数据的样本相关系数,R,出发作典型相关分析。,在实际应用中，通常从,R,出发进行典型相关分析，选择样本典型相关系数较大的少数几对典型变量，以反映原来两组变量间的相关性。,第,91,页,/,共,126,页,4.2.4,典型相关系数的显著性检验,第,92,页,/,共,126,页,第,93,页,/,共,126,页,检验统计量,第,94,页,/,共,126,页,第,95,页,/,共,126,页,第,96,页,/,共,126,页,例,4.8,第,97,页,/,共,126,页,例,4.8,第,98,页,/,共,126,页,例,4.8,第,99,页,/,共,126,页,例,4.8,第,100,页,/,共,126,页,PROC CANCORR,过程,PROC CANCORR,选项,;,VAR,变量名称串,;,WITH,变量名称串,;,RUN;,第,101,页,/,共,126,页,VAR,语句,列出要进行典型相关分析的第一组变量，变量必须是数值型的。,WITH,语句,列举第二组变量，变量必须是数值型的。,第,102,页,/,共,126,页,应用举例,例,1.,现有某地区春播面积（,X1,）、化肥施用量（,X2,） 、水稻抽穗花期降水量（,X3,） 、肥猪头数（,Y1,） 、春粮产量（,Y2,）的观测数据。试分析投入因素,X,和产出因素,Y,之间的关系。,第,103,页,/,共,126,页,第,104,页,/,共,126,页,第,105,页,/,共,126,页,第,106,页,/,共,126,页,第,107,页,/,共,126,页,第,108,页,/,共,126,页,第,109,页,/,共,126,页,第,110,页,/,共,126,页,第,111,页,/,共,126,页,第,113,页,/,共,126,页,第,114,页,/,共,126,页,专业结论,第,115,页,/,共,126,页,应用举例,例,2.,对,172,个儿童测试,8,项感情指标得到相关矩阵，,X1,为合群性，,X2,为忧郁性，,X3,为温柔性，,X4,为友谊，,X5,为惊讶，,X6,为憎恶，,X7,为焦虑，,X8,为恐惧。,第一组（,X1,，,X2,，,X3,，,X4,）；,第二组（,X5,，,X6,，,X7,，,X8,），,对这两组变量进行典型相关分析。,第,116,页,/,共,126,页,第,117,页,/,共,126,页,第,118,页,/,共,126,页,典型相关系数与显著性检验,第,119,页,/,共,126,页,典型变量的系数矩阵,第,120,页,/,共,126,页,标准化指标,第,121,页,/,共,126,页,第,122,页,/,共,126,页,典型结构矩阵,第,123,页,/,共,126,页,第,124,页,/,共,126,页,备注,对典型变量的合理解释同样需要具体问题的实际背景和相关的专业知识。,一般说来，典型变量的意义主要由那些系数绝对值较大的变量来决定。,第,125,页,/,共,126,页,作业,P137.,练习,4.4,P140.,练习,4.8,第,126,页,/,共,126,页,