多元变量典型相关分析的分类最小二乘配方扩展和分析

多元变量典型相关分析的分类：最小二乘配方、扩展和分析摘要典型相关分析（CCA是一种寻找两个多维变量之间相关性的著名 的技术。它是一项把两组变量化到一个低维空间中并且使他们之间的相关性最大 的工作。CCA!常在两组变量分别的是来源于数据和类标签上申请监督降维。众 所周知,CCA可以制定作为在二进制类案件中的一个最小二乘问题。然而,扩展到更一般的变量尚不清楚。在本文中，我们表明，在倾向于保持高维数据的温和条 件,CCA在多元变量的情况下可以制定作为一个最小二乘问题。在此基础上等价 关系,高效的算法求解最小二乘问题可以应用于非常大的数据集规模CCA可题。此外,我们提出几个CCAT展,包括基于1规范正规化的稀疏CCA方程式。我们进 一步扩展最小二乘方程式为偏最小二乘法。此外 ,我们表明,投影,让一群CCA变 量是独立的，正则化在另组多维变量，提供新的见解的影响CCA勺正规化。我们 使用基准数据集进行了实验。实验数据集确认建立了等价关系。结果也证明了 CCAT展的有效性和效率的提议。关键字一一典型相关分析、最小二乘法、多元变量学习，偏最小二乘法、正规化。1引言典型相关分析（CCA）1是一个众所周知的寻找两套多维变量之间的相关性 的技术。它使用两个视图相同的组对象和项目到一个与他们最相关的低维空间中 去。CCA已经成功应用在各种应用中2、3。一个流行的使用CCA是监督式学 习,它其中一个观点是来源于数据并且其他的观点来源于类标签。在这种背景， 数据可以用标签信息定向的被投影到一个低维空间。这样的一个方程式在对多元 变量进行降维的情况下是非常的吸引人的。多元线性回归（多元）即最小平方和成本函数是一种专门研究回归问题的技术。它还可以被应用于通过定义一个合适的类指标矩阵的分类问题5,6。多元的解决方案基于最小二乘法通过求解一个线性方程组来获得。一个数量的算法包括共轭梯度算法,可以应用到它有效地解决7。此外,最小二乘方程式可以很 容易使用正则化技术进行扩展。例如,1规范可以被纳入正规化最小二乘方程式 来控制模型复杂性和提高稀疏8。稀疏常常会导致容易解释和良好的泛化能力。 它已经被成功地应用在几个算法中，包括主成分分析9和支持向量机10。与最小二乘法相比，CCA涉及广义特征值问题,它解决时，计算更加费时 11。此外,它是具有挑战性的，因为它获得稀疏CCA时涉及到一个困难稀疏的广 义特征值问题。凸松弛的稀疏 CCA勺研究12放在,确切的稀疏的CCA配方一直 放松在几个步骤上。另一方面，最小二乘法和CCA已经建立在文学上建立起一个 有趣的联系。特别是,CCA被证明是相当于Fisher线性判别分析（LDA）的二进制 类问题13。与此同时,众所周知,在这种情况下LDA相当于最小二乘法5,6。因此,CCA可以作为一个对于二进制类问题制定最小二乘问题。在实践中，多元变量问题非常普遍。因此研究它们在更一般的变量中的关系更具诱惑。在本文中，我们研究CCA和最小二乘在多元变量问题之间的关系。我们表明， 在倾向于保持高维数据的温和条件下,CCA可以作为一个通过制定构造一个特殊 类指标矩阵的最小二乘问题。在此等价关系的基础上，我们提出几个CCA扩展，包括使用1规范正规化的稀疏CCA我们表明,最小二乘方程式及其扩展的 CCA 可以有效地解决。例如，相当于2规范的最小二乘配方和正规化的扩展可以通过 计算迭代共轭梯度算法LSQF进行处理14,这种算法可以处理非常大规模的问 题。我们通过建立OPLS和CCA之间的等价关系使最小二乘方程式扩展到正交最 小二乘(OPLS)和偏最小二乘法(PLS)。此外，我们分析正则化在CCAh的效果。特 别是,我们表明,CCA投影,让一群变量是独立的正规化另组多维变量，阐明正规 化在CCA上的影响。此外，它能显示出我们的分析可以扩展到内核诱导功能空间。 提供更多细节的补充文件，可以发现在计算机协会数字图书馆在 http:/doi 。 ieeecomputersociety.org/10.1109/TPAMI.2010.160 。注释：训练样本的数量，数据维数，数量的标签分别用n、d、k。R表 示第i个观察。并且% R表示编码对应的标签信息。让 X J%,，xj R 是数据矩阵，丫二M,，yR 是类标签矩阵。我们假设所有的 *爲和 yi二是集中的,niyi=0A F弗罗贝尼乌斯的规范表示矩阵A I是3#单位矩阵和e是一个单位向量2背景和相关工作在本节中，我们回顾CCA最小二乘法，和一些相关的工作2.1 典型相关分析在CCA两种不同造型的同一组对象，给出了一个投影计算了每个表示这样 的,他们是最大的维度降低空间相关。正式，CCA计算两个投影向量 叫 R和这样的相关系数W；XYTWy(1).(w；XXTWx)(w；YYTWy)是最大化 因为是叫和Wy不变的缩放，CCA可以相等的变换为max w； XYT Wy(2)Wx，Wystw；XX TWx = 1,w；YYTwy = 1.以下，我 们假设YYT是满秩的。这表明Wx以下问题的最优解来获得:max wT XY T (YYT 尸 YX T wxWxs.t w：XXTwx=1两种方法在(2)和(3)中试图找到所对应的特征向量与特征值的顶部以下广 义特征值问题：XYT(YYT)YXTwx 二 XXTwx(4)5#特征值 与特征向量wx是相对应的。它也表明，多个投影向量在某些正规化约束由顶部的特征向量的广义特征值问题 2在正规化CCA(rCCA),两个正则化条件xI和yI，并且，x 01 y 0被添加在 来防止过度拟合，避免奇点XXT和YYT的2, 15。具体来说，解决了以下商 资归农广义特征值问题：XXT(YYTy|)YXTWx = (XXT xl)Wx飞、(5)2.2最小二乘法的回归和分类在回归，我们就有了一种训练集人花和，其中R是观察数据，R是 相应的目标。我们假设两把观察结果和目标集中。结果，拦截在回归可以被消除。在这种情况下，最小二乘方法可以用于计算投影矩阵W通过最小化以下平方和 成本功能：2 二 wTx-t：(6)nmin f (W) =E |wTxi W其中T二和，tR no众所周知，最优投影矩阵给出了,6Wls =(XXt) XTt其中(XXj代表雅可比矩阵XXT的伪伪逆。最小二乘公式也可应用于分类问题。在一般的多级情况下，我们是给定一个 n样品组成的数据集xiy為，其中Rd，% H2，乙表示第i类标号的样本，k2。应用最小二乘的多类配方情况下,1 k的二进制编码方案通常是把向量 值类代码应用于每个数据点5。解决方案取决于选择类指标矩阵。几类指标矩 阵的提出在文献6。2.3 相关工作最小二乘法的内在关系和其他几个模型在过去已经建立。特别是，它是一个 经典的效果，最小二乘问题是等价的LDA对二进制类问题 。最近，这种等价关 系是延伸到通过定义一个特定的类指标矩阵的多类案件16。CCA已被证明是相当于LDA对多类问题13。因此,CCA相当于最小二乘法在多类案件。我们显示 在接下来的部分，在温和条件下，可作为制定CCA最小二乘问题的更一般的设置， 即，多元变量问题当一个用来源于标签的CCA的视图。3 CCA和最小二乘对于Multilabel之间的关系分类在本节中,我们的相关关系和最小二乘法的 CCAmultilabel案例，由于空间 限制,所有的证据是提供在补充文件，可以在计算机协会数字图书馆中找到http:/doi.ieeecomputersociety.org/10.1109/TPAMI.2010.160首先为我们的推导定义四个矩阵：1TTH Y (YY ) 2Rnk(8)Cxx =XXTRd d(9)CHH 二 xhhtxtRd d(10)CdD - Cxx - Chh Rd d(11)1T 2注意，我们假设nk并且rank(Y)=k为多元变量的问题。这样(YY)就很明 确了。遵循上面的定义,解决CCA可以表达为特征值所对应的特征向量与矩阵CxxChh的顶部。3.1 基本矩阵属性在本节中，我们研究的基本性质的矩阵参与下面的讨论。以下定义在(8)中的H,我们有:引理3.1让H被定义为在(8)，并且让yi復集中的,这样,7#我们有:(1) H已经正规化的列,hth =Ik#8 HTe=0。#鉴于H Rnk与列正交，存在DRn(n使得H,D1. Rnn是正交矩阵，简而言之In Jh , D 1H , D T =HH T DDT于是就出现了 CDD =Cxx CHH =XDD的结果，让奇异值分解计算 X且XVT rUilkdiagC r,0)Vi,V2 T =Ui rViT其中r二rank(X),U,V是正交矩阵，、Rdn,Ui Rdr,U2 Rd(dM RnM 2Rr r很明显 U2位于零空间XT中，简而言之XTU2 =0(12)9#3.2通过特征分解计算CCA回想一下，解决CCA由矩阵cxxChh的顶部特征向量.我们下一个展示如何计算这些特征向量。定义了矩阵 A Rr k且(13)让奇异值分解A，使A二Pi心，其中P RrrQ Rkk是正交的一 R *是 对角线的。这样AAtA、APT(14)矩阵CXXCHH的特征分解总结了下面的定理： 定理3.1矩阵Cxxchh有k个非零特征值。具体来说,CCA的解决办法是由与矩阵CXXCHH最顶端的特征值(：k)相对应的特征向量组成的，可以得到：WccA 二 (15)其中P在包含第一列的P o3.3和最小二乘法等价的CCA考虑类指标矩阵T定义如下:T 1tT =(YY 厂 Y 二 H(16)它遵循从(7),解决最小二乘问题给定T(17)Wls =(XXT) XH 二 U1aQT从(15)和(17)中可以很明显的看出之间(CCA)和最小二乘法的区别在于A和qT 我们下一个显示所有的对角元素 a A的在温和的条件下，即rank(X) = n -1，rank(YHk .注意,第一个条件是相当于要求原始数据点是线性独立前定心，倾向于保持高维数据。出示之前主要结果总结在定理3.2下面,我们有以下引理：引理3.2我们假设ran k(CXX) s = ra nk(CHH) ran k(CDD)A对于一些非负整数S 有0那么对于矩阵V A八 八A =diag(a1,a2 ,ar R r， 我们有1= 二af af_s1- af af1=0其中 f 二 rank(，a)。定理3.2假设rank(X)二n-1,rank(Y)二k为多元变量问题，这样我们有rank(Cxx) =n -1,rankg ) =k,rank(CDD)=n-k-1，因此 S在引理 3.2 中的定义 相当于零，并且有1 二 ar = akak 彳=ar = 00这就意味着v A的所有的对角元素是单位的0既然ranA)二k , CXXCHH包含k个非零特征值。如果我们令密=k，贝U有(18)Wls和Wdca唯一的区别在于正交矩阵在QT和Wls 。在实践中,我们可以使用Wdca和Wls两个项目的原始数据到一个低维空间在 分类之前。对于分类器基于欧几里得距离,正交变换qt不会影响分类性能，任何 正交转换欧几里得距离是不变的。一些著名的算法满足这个属性包括 k最近邻(k 最近邻）算法6基于欧氏距离和线性支持向量机（SVM）17。在下面,相当于最小 二乘CCA配方被称为“ IS-CCA。”4. 扩展最小二乘的CCA基于等价关系建立在上一节中,古典CCA配方可以扩展使用正则化技术,它常用于控制的复杂性和提高模型的泛化性能。类似于岭回归6,我们得到2规范正则化最小二乘CCA配方（称为“LS-CCA2）,从而减少以下目标函数通过使用目标矩阵T （16）:k n2L2（W*=2：任（x：Wj Tj）2+舛Wj|2）j y其中Wg wj 0是正则化参数。众所周知，稀疏通常可以通过惩罚1规范变量的8得到。它已经被引入最小 二乘配方，由此产生的模型被称为套索8。基于等价关系的建立（CCA）和最小二 乘法,我们推导出1规范正则化最小二乘CCA配方（称为“ LS-CCA1 ）,从而减少 以下目标函数：k nL.W,耐=送（送（xTwTij）X|w1）。LS-CCA1使用最先进的算法18、19可以有效地解决。此外，整个解决方案的 路径用最小角回归算法20计算所有值。5. 高效实现的CCA回想一下，我们处理问题的广义特征值在 来解决CCA虽然，在我们的理 推导，等价特征值问题是代替。大规模的广义特征值问题是已知的比常规的特征 值问题11、21来的更难。有两个选项转换中的问题（4）成一个标准的特征值 问题21:1）因素XXT和2）使用标准的兰索斯算法矩阵（XXjXHH TXT使用XXT内积。在对于高维问题与一个小正则化这种情况下，第二个选择都有它自己的奇异矩阵的问题。因此，在本文中，我们XXT因素和解决对称特征值问题使 用兰索斯算法。相当于导致一个有效的最小二乘制定实施。 该算法的伪代码，给出了算法1复杂的第一步是O（nk2）。在第二步中，我们解决最小二乘问题的k。在我们的实 现中,我们使用LSQR算法在14,这是一个实现了共轭梯度式法求解稀疏最小二 乘问题。注意,原始矩阵 X Rd n很稀少在应用在程序中,如文本文档建模。然而, 在中心,X不再是稀疏的。为了保持X稀疏的，向量x是由一个额外的组件作为增强xT = 1, xT。这个新组件充当对最小二乘法的拦截。扩展X来标示 人R(d 1) k,min WT X -T二 _ rg申)琢修订后的最小二乘问题表示为w IIF，其中W R 。对于一个新的数据点xRd，它的投影给出了WT1; x算法1。高效的实现通过LSQR CCA输入：X，丫1计算矩阵诊H二YT(YYT)P断基于奇异值分解的丫。用LSQF在T =Ht上回归X。对于一个密集的数据矩阵，计算成本参与每个迭代的是0(3n 5d 2dn) 14。因为最小二乘问题解决了 k次,总体成本是0(NK(3n 5d 2d n),其中N是迭代的总数。当矩阵X是稀疏的，成本明显降低。假设非零元素的数量在 X中是z。总成本减少到O(NK(3n - 5d - 2z)。总之，总 时间复杂度为解决最小二乘配方通过 LSQF是 0(nk2 NK(3n - 5d - 2z)当是X稀 疏的。6. 扩展最小二乘的配方回想一下,CCA寻求一对线性变换，一个用于每一组变量，这样数据最相关 转换空间。相比之下,偏最小二乘法(PLS)发现方向最大协方差。协方差和相关性 是两种不同的统计措施为如何共变的量化的变量。CCA和PLS已被证明是有密切 联系22。在23和24, 一个统一的框架，请和CCA勺开发，并正交(CCA)和偏最 小二乘法(OPLS)25的一个变体，可视为特殊情况的统一框架，通过选择不同的 正则化参数值。然而，0PLS和CCA内在的等价关系尚未研究过。在本节中，我们 证明了 0PLS和CCA等价关系，从而扩展最小二乘0PLSE方。以下优化问题被认 为是在0PLS:max tr(WTXYTYXTW)W (20)stWT XX TW =1给出了最优W以下的特征向量的广义特征值问题：13XHpisH；XTw 二 XXTw(21)矩阵H pis被定义为Hpis 二丫丁.二 Rn k(22)#回想一下,在CCA矩阵A二V/H定义在(13)中和奇异值分解给出了A = pv aQT。同样的，我们定义Apls二V/Hpb，允许细微的Ap|s奇异分解值为在范围的空间VHpisApis = Ppis 迟 plsQ；is 其中 Ppis E R吠任 pis E RX,Q；is E R哄我们有下面的结果：引理6.1让A二V/H定义在(13)中，Api厂H恥 R这样R(A) = Re)，其中r(a)和R(Apis)是A和ap|s的列空间。此外,存在一种像这样Ppis = pk R的正交矩阵R，pk由p的第k列组成。本节的主要结果总结了以下定理：定理6.1让Wpis是最优解的优化问题(20)和让WCca是最佳CCA变换定义在(18)。然后,Wpis讥caR为正交矩阵Ro它遵循从定理6.1,0PLS可以很容易为一个等价的最小二乘问题的新配方使 用相同的类指标矩阵定义在(16)o7. 分析正则化在CCA在本节中，我们调查在CCA正规化的影响。最小二乘 CCA制定建立在本文 假设没有正则化应用。然而，正则化通常用于控制复杂性的学习模式，它已应 用于各种机器学习算法。使用正则化在CCA自然统计解释15,26 o在实践 中,正则化通常在CCA中执行两种多维变量，因为它一般认为的解决方案是依 赖于CCA正规化两变量。从前面部分后的推导，我们表明投影,让一群CCA 变量是独立的正规化另组多维变量，提供新的影响CCA正规化的见解。7.1正规化在丫在CCA中对丫使用正则化导致下列广义特征值问题：XYT(YYTyQYXTwyXXjw(23)y 0是正则化参数。广义特征值问题在(23)可以表示为:XHrHTxTw (XXT)wn ：k矩阵HR为正规化CCA的定义是：1(25)Hr 二YT（YYT主要结果概括如下定理：定理7.1让WCCA是矩阵组成的主要特征向量的广义特征值问题在（24）的非零特征值对应。然后，WCCA 沁C为正交矩阵R。它很容易检查在在（8）中H的和在（25）中的Hr的范围的空间一致。证明遵循相同的参数在引理6.1和定理6.1。定理7.1表明CCA配方被认为是可以制定作为一个最小二乘问题相当于当Y正则化。注意，丫可以是任意矩阵（不一定是类标签矩阵）。一个重要的结果从等 价关系的投影为一个视图是独立的 CCA的正规化的其他视图。一个类似的结果 能够获取内核CCA。7.2正规化在X对Y自正则化不影响投影的X,我们接下来考虑正则化在 X分开。由此产生 的广义特征值问题在CCA可以制定如下：（XHHTXT）w二（XXT xl）w（26）x 0是参数X正则化。同样，我们可以推导出正交矩阵（XXTxQhXHHTxT）, 结果总结了以下引理：引理7.1定义矩阵B Rr k为1B=（E 12+扎xl）E MHH（2刀B V bQb为他的奇异分解，PB RrR,QBRrR是正交的R k是对角 线的。然后,与矩阵（XXxl）（XHHTxT）的特征值最高所对应的特征向量给出 了(28)pb由FB的第一列（汀ank（B）组成。它可以观察到,B的空间范围与A不是同于一个；因此,CCA和最小二乘的等 价关系被认为是不持有当正则化在 X。然而,OPLS CCA的等价关系仍然持有当 正则化在X是应用。主要结果总结在定理 7.2以下（证明遵循类似的参数在引理6.1):1定理7.2 Bpis十1 J） J M Hp.，让b和Bpb少量的奇异分解值为B 二PBb(Qb)tBpls = Ppls Ipls (Qpls )PB,PpBs Rrk,rB 二rank(B) = rank(Bpls)。然后，这个B和Bpls范围的空间一致。此BB B外,还存在一个像P二PplsR这样的正交矩阵RB，RrB rB。因此,CCA和OPLS是等价的任何x 0.回想一下,制定可归纳为CCA广义特征值问题如（5）,这就需要计算矩阵的逆 YYtRkk。计算逆可能计算量大，当维数k的数据丫是很大的。这种情况在基于 内容的图像检索27,两个视图对应的文本和图像数据，都是高维度。一个重要的 结果,建立了 OPLS和CCA的等价关系是逆的大型矩阵可以有效避免计算投影 一个视图。8. 实验我们在实验中使用三种类型的数据。基因表达模式图像datal描述果蝇的基因表达谱28。每个图像标注一个变量数量的文本术语（标签）从受控词汇表。 我们应用伽柏过滤器中提取一个 384维的特征向量从每个图像。我们用五个 数据集和不同数量的术语（类标签）。我们也评估拟议的方法在现场数据集29, 这是常用的作为一个基准数据集对多元变量的学习。研究提出了最小二乘的可伸缩性配方，一个文本文档数据集与高维度从雅虎！使用30。这些数据集的 统计归纳如表1 0表1汇总统计的数据集Data SetntotdkGene Image 186338410Gene Image 2104138415Gene Image 3113838420Gene Image 412223842Gene Image 5134938430Scene24072946Yahoo、Arts&Hum 日 nitiES37122314626表2比较不同的CCA配方 意思是中华民国方面得分Data setnCCALS-CCArCCAls-cca2LS-CCA!Gene 13680,5420,5420.6170.6190.722Gene 23620.5340.5340.6020.6030.707Gene 3372053805380.6090.6100.714Gene 436905400.5400.6030.6050.704Gene 53540,54805480.6060.6080.709Scene19807100,7100.8640,9000.900Vahoo200005210.5210.7990*8010.784所有的数据集，报告10个随机数据的分区训练集和测试集生成和平均性能 。 对于高维文本文档的数据集，我们遵循特征选择方法研究31文本文档和提取不 同数量的术语（特性）调查性能的算法。与算法5进行比较,包括在（5）中CCA和正 规化的版本（指示为商资归农）,提出了最小二乘CCA配方（指示为Is CCA）及其2 规范和1规范正规化的版本（指示为LS-CCA2和LS-CCA1分别）。所有的方法都 是用于项目数据到一个低维空间中线性支持向量机进行分类为每个不同的标签。 接受者操作特性（ROC得分计算为每个不同的标签，在标签和平均性能报告所有 剥片。8.2 等价关系的评估和性能比较我们首先对（CCA）和最小二乘法的等价关系进行评估。我们观察到,当数据维数d远远大于样本大小n,在定理3.2的条件往往持有。它遵循从定理3.2, rank(Cxx)等于rank(CHH) rank(CDD)A所有对角元素是单位的,这是符 合观测的实验。在表2中,我们报告的平均分数超过所有的标签和中华民国为每个数据集都 剥片。主要的观察包括：1)CCA和Is CCA达到同样的性能,所有的数据集,这是符 合我们的理论结果,2)正规化CCAT展包括商资归农丄S-CCA2,LS-CCA1执行更好 的比他们的同行CCA和Is CCA没有正规化,3)LS-CCA2比得上在所有的数据集商 资归农,而LS-CCA1达到最好的性能对于所有基因图像数据集。这些观察结果证 明用正则化最小二乘扩展技术的有效性使。8.3 敏感性研究在这个实验中,我们调查Is CCA勺性能相比CCA当在定理3.2的条件中并不 持有,这种情况存在许多真实世界的应用程序中。 具体来说,我们使用一个基因数 据集基因图像2维数固定在d=384和k= 15的标签,而训练集的大小变化从100 年到900年与步长约100。不同的线性算法的性能作为训练集规模的增加呈现在图a1。我们可以发现，总体而言,所有算法的性能增加的培训规模增加。当n是很小，条件在定理3.2成立,因此CCA和 ls CCA是等价的，它们达到同样的性能。当n进一步增加,CCA 和ls CCA实现不同的变动率指标数，虽然在我们的实验差异分数总是非常小的。 类似于上次的实验，我们可以从图观察到，正则化方法能够比CCA和 ls-CCA,LS-CCA2与rCCA更好地执行。这个数据集稀疏配方LS-CCA1执行的最好。实验的灵敏度也表现在现场数据集。结果总结在图b1,可以类似的观察。(b)8.4可扩展性研究在这个实验中，我们研究相比最小二乘原CCA配方的可伸缩性配方。因为正 规化算法是首选在实践中，我们比较正规化CCA配方(rCCA)和2规范正规化最小乘配方(LS-CCA2)。最小二乘问题是解决LSQR算法14图a2一个显示了计算时间的两个配方的高维文本文档数据集雅虎Arts&Humanities作为数据维数随着训练集的大小固定为 1000。它可以观察到两 种算法随着数据维数不断增加，计算时间不断增加。然而 ，计算时间的最小二乘 配方(LS-CCA2)是大大低于原来的配方(rCCA)。事实上丄S-CCA2所有测试数据 维数计算时间小于5秒。我们也评估两个配方的可伸缩性方面的训练样本大小。图b2阴谋计算时间的两个公式在文本文件数据集当训练样本大小随数据维数固 定为2000,可以类似的观察。训练集的大小由于高计算成本的原始特征值问题是 没有进一步增加。从图2,我们得出了最小二乘配方是比原来 CCA配方更加可伸 缩。4(1LS-CCA2rCCA501I0OI0O 05 0 52 11(-SU0U制 一eampLS-CCA rCCA2000 3000 4000 5000 6000 7000 800Q 9000Uiinensionalityism2000250()Size cf Training Scl20但)(b)8.5正则化分析在这个实验中，我们研究的影响为CCA正规化。此外，我们比较OPLS和 CCA在不同正则化参数值下得性能。具体来说，我们随机选择700样本数据集进 行训练的场景，不同的正则化参数值从1e- 6到1e4首先,我们考虑只在X正规化。CCA的性能和OPLS现场数据设置为变量 - 总结了图3。我们可以观察到从图，在所有的x值,(CCA)和OPLS的性能是相同 的。这证实了 CCA和OPLS的等价关系定理7.2成立。我们还观察到 OPLS和 CCA的性能可以提高，通过使用一个适当的显著正则化参数，证明了利用正则化在X。接下来，我们考虑正则化只在丫。CCA和OPLS的性能的不同值 厶总结了图3 b。我们可以观察到CCA的表现依然是y变化,验证正则化在y不影响其性能。 另外，我们观察到两种方法的性能在所有的情况下是相同的 ，这是符合我们的理论 分析。(a)(b)9. 总结在本文中，我们在温和条件下为CCA建立一个等价的最小二乘配方，倾向于保 持高维数据。在本文中基于等价关系建立，我们提出几个CCA扩展包括稀疏 CCA。一个高效的算法扩展CCA配方非常大的数据集。我们进一步扩展的 等价关系正交偏最小二乘法。此外，我们表明，投影一视图CCA独立的正规化 的其他视图。我们进行了多元变量数据集的集合的实验。我们的实验表明，最小二乘法CCA配方和原始CCA配方的性能非常接近甚至当条件是违反 的。版权声明这项研究是由美国国家科学基金会组织 (NSF)iis - 0612069,- 0812551,iisiis - 0953662,NIH,hm1582 R01-HG002516 NGA - 08 - 1 - 0016。参考文献：1 H. Hotelling,“Relations between Two Sets of Variables, Biometrika,vol. 28,pp. 312-377, 1936.2 D. Hardoon, S. Szedmak, and J. Shawe-Taylor, “Canonical Correlation Analysis: An Overview with Application to Learning Methods, ” Neural Computatio n, vol. 16, no. 12, 2004.3 J.-P. Vert and M. Kan ehisa, “ Graph-Drive n Feature Extract ion from Microarray Data Using Diffusion Kernels and Kernel CCA, ” Proc. Ann.Conf. Neural In formation Processi ng Systems, vol. 15, pp. 1425-1432, 2003.4 S. Yu, K. Yu, V. Tresp, and H.-P. Kriegel, “Multi-Output Regularized Feature Projection” IEEE Trans. Knowledge and Data Eng., vol. 18, no. 12, pp. 1600-1613, Dec. 2006.5 C. Bishop, Pattern Recognition and Machine Learning. Springer, 2006.6 T. Hastie, R. Tibshira ni, and J. Friedma n. The Eleme nts of Statistical Lear ning:Data Mining, Inferen ce, and Predicti on. Sprin ger, 2001.7 G. Golub and C.V Loa n, Matrix Computati ons. Joh ns Hopk ins Press, 1996.8 R. Tibshirani, “Regression Shrinkage and Selection via the Lass”， J. RoyalStatistical Soc.: Series B, vol. 58, no. 1, pp. 267-288, 1996.9 A. d Aspremont, L. Ghaoui, M. Jordan, and GLanckriet, “A Direct Formulation for Sparse PCA Using Semidefinite Programming” Proc. Ann.Conf. Neural In formation Processi ng Systems, vol. 16, pp. 41-48, 2004.10 J. Zhu, S. Rosset, T. Hastie, and R. Tibshira ni,“1-Norm Support Vector Mach in es ” Proc. Ann. Conf. Neural In formatio n Process ing Systems, vol.15,pp. 49-56, 2003.11 D. Watk ins, Fun dame ntals of Matrix Computatio ns. Joh n Wiley & Sons, In c.,1991.12 B. Sriperumbudur, D. Torres, and GLanckriet, “Sparse Eigen Methods byD.C. Programmi ng,” Proc. I nt I Co nf. Machi ne Learni ng, pp. 831-838, 2007.13 T. Hastie, A. Buja, and R. Tibshira ni, “ Pen alized Discrim inantAn alysis,”Ann als of Statistics, vol. 23, pp. 73-102, 1995.14 C. Paige and M. Sau nders, “ LSQR: An Algorithm for Sparse Lin ear Equations and Sparse Least Squares, ACM Trans. Math. Software, vol. 8, no. 1, pp. 43-71, 1982.15 F. Bach and M. Jordan, “ Kernel Independent Component Analysis”J. Machi ne Learni ng Research, vol. 3, pp. 1-48, 2003.16 J. Ye, “Least Squares Lin ear Discrim inant An alysis” Proc. In t I Conf. Mach ine Learni ng, pp. 1087-1094, 2007.17 B. Scho lkopf and A.J. Smola, Learning with Kernels: Support Vector Mach in es,Regularizati on, Optimizati on, and Beyond. MIT Press, 2002.18 J. Liu, S. Ji, and J. Ye, SLEP: Sparse Learni ng with Efficie nt Projectio ns. Ariz onaState Un iv.,23