成分分析与核函数

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,模式识别 成分分析与核函数,第八章 成分分析与核函数,8.0 问题的提出,降低特征维数,:Dimension Reduction,提高泛化能力,：减少模型的参数数量；,减少计算量,：,主要方法,：,主成分分析,(PCA),:Principle Component Analysis,判别分析,(FDA),：,Fisher,Discriminant,Analysis,独立成分分析,(ICA),:Independent Component Analysis,人脸识别举例,8.1 主成分分析,（PCA，Principal Component Analysis）,PCA,：是一种最常用的线性成分分析方法；,PCA的主要思想,：寻找到数据的主轴方向，由主轴构成一个新的坐标系（维数可以比原维数低），然后数据由原坐标系向新的坐标系投影。,PCA的其它名称,：离散K-L变换，Hotelling变换；,PCA的思想,v,1,v,2,e,1,e,2,PCA的思想,v,1,v,2,e,1,e,2,PCA算法,利用训练样本集合计算样本的均值,m,和协方差矩阵,S,；,计算,S,的特征值，并由大到小排序；,选择前,d,个特征值对应的特征矢量作成一个变换矩阵,E=e,1,e,2,e,d,；,训练和识别时，每一个输入的,d,维特征矢量,x,可以转换为,d,维的新特征矢量,y,：,y=,E,t,(x-m,),。,PCA的讨论,正交性,：由于S是实对称阵，因此特征矢量是正交的；,不相关性,：将数据向新的坐标轴投影之后，特征之间是不相关的；,特征值,：描述了变换后各维特征的重要性，特征值为0的各维特征为冗余特征，可以去掉。,例8.1,有两类问题的训练样本：,将特征由2维压缩为1维。,x,1,x,2,e,1,e,2,特征人脸,e,1,e,2,e,3,e,4,e,5,e,6,e,7,e,8,PCA重构,原图像 d=1 5 10 20 50 100 200,8.2 多重判别分析,（MDA,Multiple Discriminant Analysis）,x,1,x,2,e,1,e,2,MDA与PCA,PCA,将所有的样本作为一个整体对待，寻找一个,均方误差最小,意义下的最优线性映射，而没有考虑样本的类别属性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息；,MDA,则是在,可分性最大,意义下的最优线性映射，充分保留了样本的类别可分性信息；,MDA还被称为：FDA(Fisher Discriminant Analysis)或LDA(Linear Discriminant Analysis)。,Fisher 线性判别准则,样本x在w方向上的投影,：,类内散布矩阵,：,类间散布矩阵,：,Fisher线性判别准则,：,w,FDA算法,利用训练样本集合计算类内散度矩阵,S,w,和类间散度矩阵,S,B,；,计算,S,w,-1,S,B,的特征值；,选择非,0,的,c-1,个特征值对应的特征矢量作成一个变换矩阵,W=w,1,w,2,w,c-1,；,训练和识别时，每一个输入的,d,维特征矢量,x,可以转换为,c-1,维的新特征矢量,y,：,y=,W,t,x,。,3类问题FDA,FDA的讨论,非正交,：经FDA变换后，新的坐标系不是一个正交坐标系；,特征维数,：新的坐标维数最多为c-1，c为类别数；,解的存在性,：只有当样本数足够多时，才能够保证类内散度矩阵,S,w,为非奇异矩阵（存在逆阵），而样本数少时,S,w,可能是奇异矩阵。,8.3 成分分析的其它问题,独立成分分析,(,ICA,Independent Component Analysis)：PCA去除掉的是特征之间的相关性，但不相关不等于相互独立，独立是更强的要求。ICA试图使特征之间相互独立。,多维尺度变换,(MDS,Multidimensional Scaling),典型相关分析,(CCA,Canonical Correlation Analysis,),偏最小二乘,(,PLS,Partial Least Square),线性PCA的神经网络实现,8.4 核函数及其应用,空间的非线性映射,建立一个R,2,R,3,的非线性映射,计算,R,3,中2个矢量的内积：,定义核函数：，则：,输入空间,特征空间,核函数,启示,：特征空间中两个矢量之间的内积可以通过定义输入空间中的核函数直接计算得到。,实现方法,：不必定义非线性映射,而直接在输入空间中定义核函数,K,来完成非线性映射。,应用条件,：,定义的核函数,K,能够,对应于特征空间中的内积；,识别方法中不需要计算特征空间中的矢量本身，而只须计算特征空间中两个矢量的内积。,Hibert-Schmidt理论,作为核函数应满足如下条件：,是 下的对称函数，对任意 ，且,有：,成立，则 可以作为核函数。,此条件也称为,Mercer条件,。,常用的核函数,Gaussian RBF,：,Polynomial,：,Sigmoidal,：,Inv.Multiquardric,：,核函数应用于线性分类器（SVM的非线性版本）,SVM的求解，最后归结为如下目标函数的优化：,可以引入非线性映射,，则,目标函数,变为：,而,权矢量,为：,判别函数,：,支持矢量机的实现,核函数应用于PCA（KPCA）,训练样本集合 。,定义核函数 ；,计算 维矩阵K，其元素：,然后计算矩阵K的特征值 和特征向量 ，保留其中的非0的特征值；,特征空间中的第i个主轴基向量为：,输入特征矢量x在特征空间中第i个轴上的投影：,非线性PCA的神经网络实现,