多元统计相关分析

多元统计分析,典型相关分析,及应用,研究多个变量与多个变量之间的相关性,典型相关分析,典型相关分析基本理论,典型相关分析求解方法,典型相关系数的,假设检验,典型相关分析在,SPSS,中的运用,统计思想和基本理论,典型相关分析,( Canonical Correlation,Analysis),是研究两组变量之间相关关系的一种多元计方法。它能够揭示出两组变之间的内在联系。也是一种运用于多元统计中的降维技术。,其目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。,统计思想和基本理论,典型相关分析,最早由,1936,年霍特林,Hotelling,在,生物统计,上发表的论文,两组变量之间的关系,提出， 其计算方法后经过多年的应用日趋完善。,哈罗德,霍特林（,HaroldHotelling,18951973,）：统计学界、经济学界、数学界公认大师,典型相关分析相关实例,典型相关分析的应用十分广泛。,例如,X,1,X,2,X,p,Y,1,Y,2,Y,q,1,小伙子追求姑娘的指标要求,外貌， 身高， 学历。,姑娘向往的小伙子的指标,工作，家庭，人品。,2,创新投入,人员，研究开发经费，设施。,创新产出,专利，论文，产品。,3,长子头的,长度， 宽度,次子头的,长度，宽度,4,身体形态,年龄，体重，,胸围,健康状况,脉搏，血压,5,人口出生,多孩率，计划生育率,教育生活水平,初中毕业率，收入水平，生活水平,典型相关分析相关实例,再如,考察一些,与财政政策有关的指标,-,如财政支出总额的增长率，财政赤字增长率，税率降低,和,与经济发展的一系列指标,如国内,GDP,增长率，就业增长率，物价上涨率等，来研究扩张性财政政策实施后对宏观经济发展的影响,.,典型相关分析求解方法,一元统计分析,:,用相关系数来衡量,两个,随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。,Q,：,遇到比较两组变量的相关性问题，怎么办？,多元统计分析,:,运用典型相关分析研究,两组,变量,x1,x2,xp,与,y1, y2,yq,之间的线性关系， 将每一组变量作为一个整体进行分析。,两组变量间的相关关系。,典型相关分析求解方法,典型相关分析通常可采取两种方法：,方法,1,讨论第一组每个变量和第二组每个变量的相互关系，得到,pq,个相关系数，再用这些相关系数反应两组变量的关系。,BUT,。,在两组变量较多时，方法繁琐也不容易抓到问题实际。,简单相关系数的局限性,只是孤立考虑单个,X,与单个,Y,间的相关，没有考虑,X,、,Y,变量组内部各变量间的相关。,两组间有许多简单相关系数（例,每组,30,个变量），使问题显得复杂，难以从整体描述。,难以抓到重点,-,用来描述两个变量的之间的线性相关性。,典型相关分析求解方法,方法,2,在每组变量中选择若干个由代表性的综合指标，这些指标是原始变量的线性组合，代表了原始变量的大部分信息， 且两组综合指标的相关程度最大。 （类似于主成分分析法）,新产生的综合指标成为典型相关变量,Canonical Variable,，通过少数的几个综合变量来反应两组变量的相关性质。,方法,2,更为简洁直接,典型相关分析的中心思想。,典型相关分析的基本思想,首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。,然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此继续下去，直到两组变量之间的相关性被提取完毕为此。,被选出的线性组合配对称为,典型变量,，它们的相关系数称为,典型相关系数,。,典型相关系数度量了这两组变量之间联系的强度。,典型相关分析的基本思想,一般情况，设,为两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量,U,i,、,V,i,，使得每一个综合变量是原变量的线性组合，即,典型相关分析的基本思想,与,典型相关分析的基本思想,典型相关分析的基本思想,第一步：估计组合系数使得对应的典型变量和相关系数达到最大。最大的相关系数为第一典型相关系数，且称有最大相关系数的这对典型变量为典型相关变量。,第二步：再次估计组合相关系数，找出第二大的典型相关系数，称为第二典型相关西湖，称有第二大相关系数的这对典型变量为第二典型相关变量。,设两组的变量个数为,p, q,，,pq,那么寻求典型变量的过程可一直重复， 直到得到,P,对典型变量。,典型相关分析的基本思想,当有少数几对或者一对典型变量能够反映原数据的主要信息， 那么两个变量组的相关程度的分析就可以转化为对少数几对，或者对一对典型变量的相关分析， 这就是典型相关分析的基本目的。,典型相关分析与主成分分析,典型相关分析在某些方面与主成分分析类似，但并不完全相同。,二者均是通过构造原变量的适当线性组合提取不同信息，,主成分分析,着眼于考虑变量的,“,分散性,”,信息，考虑的是一组变量内部各个变量直接的相关关系。,而,典型相关分析,则立足于识别和量化二组变量的统计相关性，是两个随机变量之间的相关性在两组变量之下的推广。,典型相关分析求解方法,例,1985,年中国,28,省市城市男生,(19,22,岁,),的调查数据。记,形态指标,身高,(cm),、坐高、体重,(kg),、胸围,、,肩宽,、,盆骨宽分别为,X,1,，,X,2,，,，,X,6,；,机能指标,脉搏,(,次,/,分,),、收缩压,(mmHg),、舒张压,(,变音,),、舒张压,(,消音,),、肺活量,(ml),分别为,Y,1,，,Y,2,，,，,Y,5,。现欲研究这两组变量之间的相关性。,简单相关系数矩阵,Corr,（,X,）,R,11,Corr,（,X,）,R,11,Corr,（,X,）,R,11,Corr,（,Y,）,R,22,典型相关系数和典型变量的求法,在约束条件：,下，求,a,1,和,b,1,，使,uv,达到最大。令,23,根据数学分析中条件极值的求法，引入,Lagrange,乘数，求极值问题，则可以转化为求,的极大值，其中,和,是,Lagrange,乘数。,将上面的,3,式分别左乘 和,由（,3,）式的第二式，得,代入（,3,）式的第一式，得,的特征根是 ，相应的特征向量为,由（,3,）式的第一式，得,代入（,3,）式的第二式，得,的特征根是 ，相应的特征向量为,结论： 既是,M,1,又是,M,2,的特征根， 和 是相应于,M,1,和,M,2,的特征向量。,至此，典型相关分析转化为求,M,1,和,M,2,特征根和特征向量的问题。,第一对典型变量提取了原始变量,X,与,Y,之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典型相关系数。,在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：,在约束条件,：,求使,达到最大的 和,。,例, Text book p 277,典型相关系数的,假设检验,全部总体典型相关系数均为,0,部分总体典型相关系数为,0,30,例 家庭特征与家庭消费之间的关系,为了了解家庭的特征与其消费模式之间的关系。调查了,70,个家庭的下面两组变量：,分析两组变量之间的关系。,31,X1,X2,y1,y2,y3,X1,1.00,0.80,0.26,0.67,0.34,X2,0.80,1.00,0.33,0.59,0.34,y1,0.26,0.33,1.00,0.37,0.21,y2,0.67,0.59,0.37,1.00,0.35,y3,0.34,0.34,0.21,0.35,1.00,变量间的相关系数矩阵,典型相关分析,典型相,关系数,调整典型,相关系数,近似方差,典型相关系数的平方,1,0.687948,0.687848,0.005268,0.473272,2,0.186865,0.186638,0.009651,0.034919,X,组典型变量的系数,U1,U2,X1(,就餐）,0.7689,-1.4787,X2,（电影）,0.2721,1.6443,Y,组典型变量的系数,V1,V2,Y1,（年龄）,0.0491,1.0003,Y2,（收入）,0.8975,-0.5837,Y3,（文化）,0.1900,0.2956,典型变量的结构（相关系数）,U1,U2,X1,0.9866,-0.1632,X2,0.8872,0.4614,V1,V2,Y1,0.4211,0.8464,Y2,0.9822,-0.1101,Y3,0.5145,0.3013,典型变量的结构（相关系数）,V1,V2,X1,0.6787,-0.0305,X2,0.6104,0.0862,U1,U2,Y1,0.2897,0.1582,Y2,0.6757,-0.0206,Y3,0.3539,0.0563,36,两个反映消费的指标与第一对典型变量中,u,1,的相关系数分别为,0.9866,和,0.8872,，可以看出,u,1,可以作为消费特性的指标，第一对典型变量中,v,1,与,Y,2,之间的相关系数为,0.9822,，可见典型变量,v,1,主要代表了了家庭收入，,u,1,和,v,1,的相关系数为,0.6879,，这就说明家庭的消费与一个家庭的收入之间其关系是很密切的；,第二对典型变量中,u,2,与,x,2,的相关系数为,0.4614,，可以看出,u,2,可以作为文化消费特性的指标，第二对典型变量中,v,2,与,Y,1,和,Y,3,之间的分别相关系数为,0.8464,和,0.3013,，可见典型变量,v,2,主要代表了家庭成员的年龄特征和教育程度，,u,2,和,v,2,的相关系数为,0.1869,，说明文化消费与年龄和受教育程度之间的相关性。,38,4,、各组原始变量被典型变量所解释的方差,X,组原始变量被,u,i,解释的方差比例,X,组原始变量被,v,i,解释的方差比例,y,组原始变量被,u,i,解释的方差比例,y,组原始变量被,v,i,解释的方差比例,被典型变量解释的,X,组原始变量的方差,被本组的典型变量解释,被对方,Y,组典型变量解释,比例,累计比例,典型相关系数平方,比例,累计比例,1,0.8803,0.8803,0.4733,0.4166,0.4166,2,0.1197,1.0000,0.0349,0.0042,0.4208,被典型变量解释的,Y,组原始变量的方差,被本组的典型变量解释,被对方,X,组典型变量解释,比例,累计比例,典型相关系数平方,比例,累计比例,1,0.4689,0.4689,0.4733,0.2219,0.2219,2,0.2731,0.7420,0.0349,0.0095,0.2315,典型相关分析在,SPSS,中的运用,（一）操作步骤,在,SPSS,中没有提供典型相关分析的专门菜单项，要想利用,SPSS,实现典型相关分析，必须在语句窗口中调用,SPSS,的,Canonical correlation.sps,宏。,具体方法如下：,1.,按,FileNewSyntax,的顺序新建一个语句窗口。在语句窗口中输入下面的语句：,INCLUDE,(,路径）,/Canonical correlation.sps.,CANCORR SET1=x1 x2 x3 x4 /,SET2=y1 y2 y3 / .,典型相关分析在,SPSS,中的运用,2.,点击语句窗口,Run,菜单中的,All,子菜单项，运行典型相关宏命令，得出结果。,典型相关分析求解方法,典型相关分析在,SPSS,中的运用,（二）主要运行结果解释,1. Correlations for Set-1,、,Correlations for Set-2,、,Correlations Between Set-1 and Set-2,（分别给出,两组变量内部以及两组变量之间的相关系数矩阵）,2. Canonical Correlations,（给出典型相关系数）,3. Test that remaining correlations are zero,（给出典,型相关的显著性检验）,4. Raw Canonical Coefficients,（分别给出两组典型变量的未标准化系数）,5. Standardized Canonical Coefficients,（分别给出两组典型变量的标准化系数）,7. Redundancy Analysis,（分别给出两组典型变量的冗余分析）,6. Canonical Loadings for Set-1 , 2 (,分别给出两组数据中的典型载荷包括交叉载荷，典型载荷是衡量原始变量与典型变量的相关程度的指标。,典型相关分析在,SPSS,中的运用,例,2,， 第,277,页,SPSS,算法,C.R.Rao,（,1952,）关于典型相关的经典例子进行分析，列举了,25,个家庭的成年长子和次子的头长和头宽。利用典型相关分析法分析长子和次子头型的相关性。,典型相关分析求解方法,典型相关分析在,SPSS,中的运用,典型相关分析求解方法,典型相关分析在,SPSS,中的运用,典型相关分析求解方法,典型相关分析在,SPSS,中的运用,SPSS,操作步骤,1.,按,FileNewSyntax,的顺序新建一个语句窗口。在语句窗口中输入下面的语句：,INCLUDE Canonical correlation.sps.,CANCORR SET1=x1 x2 /,SET2=y1 y2 / .,2.,点击语句窗口,Run,菜单中的,All,子菜单项，运行典型相关宏命令，得出结果。,典型相关分析求解方法,典型相关分析在,SPSS,中的运用,主要运行结果解释,1.,典型相关系数和典型相关的显著性检验,从下表可以看出，两队典型变量中，第一对的典型相关系数达到,0.788,，属于强相关，而第二对典型变量的相关则比较弱。在之后的显著性检验的结果在,0.05,的显著性水平下，只有第一对典型相关是显著的。,典型相关分析求解方法,典型相关分析求解方法,典型相关分析求解方法,典型相关分析求解方法,典型相关分析求解方法,冗余分析,以原变量与典型变量间相关为基础。通过计算,X,、,Y,变量组由自己的典型变量解释与由对方的典型变量解释的方差百分比与累计百分比，反映由典型变量预测原变量的程度。,在我们的例子中，长子的头型变量被自身的第一,典型变量解释了,86.7%,，次子的头型变量被自身的第一典型变量解释了,91.8%,。,