线性判别分析LDA

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,线性判别分析（,LDA,）,介绍,线性判别分析,(LinearDiscriminantAnalysis,LDA),，,也叫做,Fisher,线性判别,(FisherLinearDiscriminant,FLD),，,是模式识别的经典算法，,1936,年由,Ronald Fisher,首次提出，并在,1996,年由,Belhumeur,引入模式识别和人工智能领域。,基本思想,线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果。投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。,因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。,LDA,LDA,与,PCA(,主成分分析,),都是常用的降维技术。,PCA,主要是从特征的协方差角度，去找到比较好的投影方式。,LDA,更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更大，同一类别的数据点更紧凑。,下面给出一个例子，说明,LDA,的目标：,可以看到两个类别，一个绿色类别，一个红色类别。左图是两个类别的原始数据，现在要求将数据从二维降维到一维。直接投影到,x1,轴或者,x2,轴，不同类别之间 会有重复，导致分类效果下降。右图映射到的直线就是用,LDA,方法计算得到的，可以看到，红色类别和绿色类别在映射之后之间的距离是最大的，而且每个类别内 部点的离散程度是最小的（或者说聚集程度是最大的）。,LDA,要说明白,LDA,，首先得弄明白线性分类器,(,Linear Classifier,),：因为,LDA,是一种线性分类器。对于,K-,分类的一个分类问题，,会有,K,个线性函数：,当满足条件：对于所有的,j,，都有,Yk Yj,的时候，我们就说,x,属于类别,k,。对于每一个分类，都有一个公式去算一个分值，,在所有的公式得到的分值中，找一个最大的，就是所属的分类,。,权向量（,weight vector,）,法向量（,normal vector,）,阈值（,threshold,）,偏置（,bias,）,LDA,上式实际上就是一种投影，是将一个高维的点投影到一条高维的直线上，,LDA,最求的目标是，给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开，当,k=2,即二分类问题的时候，如下图所示：,红色的方形的点为,0,类的原始点、蓝色的方形点为,1,类的原始点，经过原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了，这个数据只是随便画的，如果在高维的情况下，看起来会更好一点。下面我来推导一下二分类,LDA,问题的公式：,LDA,假设用来区分二分类的直线（投影函数,),为：,LDA,分类的一个目标是使得不同类别之间的距离越远越好，同,一类别之中的距离越近越好，所以我们需要定义几个关键的值,:,LDA,类别,i,的原始中心点,(,均值,),为：（,Di,表示属于类别,i,的点,):,类别,i,投影后的中心点为：,衡量类别,i,投影后，类别点之间的分散程度（方差）为：,最终我们可以得到一个下面的公式，表示,LDA,投影到,w,后的目标优化函数：,LDA,我们,分类的目标,是，使得类别内的点距离越近越好（集中），类别间的点越远越好。,LDA,分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化,J(w),就可以求出最优的,w,LDA,我们定义一个投影前的各类别分散程度的矩阵，这个矩阵看起来有一点麻烦，其实意思是，如果某一个分类的输入点集,Di,里面的点距离这个分类的中心店,mi,越近，则,Si,里面元素的值就越小，如果分类的点都紧紧地围绕着,mi,，则,Si,里面的元素值越更接近,0.,带入,Si,，,将,J(w),分母化为：,LDA,同样的将,J(w),分子化为：,这样目标优化函数可以化成下面的形式：,推导过程忽略了，最后推导结果如下：,LDA,对于,N(N2),分类的问题，就可以直接写出以下的结论：,这同样是一个求特征值的问题，求出的第,i,大的特征向量，即为对应的,Wi,。,LDA,在人脸识别中的应用,主要应用方法,K-L,变换,奇异值分解,基于主成分分析,Fisher,线性判别方法,主要应用方法,K-L,变换,为了得到彩色人脸图像的主分量特征灰度图像,可以采用,Ohta3,等人提,出的最优基来模拟,K-L,变换方法,从而得到新的包含了彩色图像的绝大多,数特征信息的主分量特征图像,.,主要应用方法,奇异值分解,(singular value decomposition,简称,SVD),是一种有效的代数特征提取方法,.,由于奇异值特征在描述图像时是稳定的,且具有转置不变性、旋转不变性、位移不变性、镜像变换不变性等重要,性质,因此奇异值特征可以作为图像的一种有效的代数特征描述。,主要应用方法,基于主成分分析,(principal component analysis,简称,PCA),该方法将人脸图像按行,(,列,),展开所形成的一个高维向量看作是一种随机,向量,因此可以采用,K-L,变换获得其正交,K-L,基底,.,对应于其中较大特征值,的基底具有与人脸相似的形状,故称其为特征脸,.,利用相对较小的,Eigenface,集描述人脸,这样每幅人脸图像就对应于一个维数较低的权向,量,因此,人脸识别可以在降维后的空间上进行,.,然而,该方法的缺点是,得,到的特征在一般情况下是最佳描述特征,(the most expressive,features,简称,MEFs),而不是最佳分类特征,(the most discriminating,features,简称,MDFs).,主要应用方法,Fisher,线性判别方法,(Fisher linear discriminant analysis,简称,FLD),使投影后的模式样本的类间散布矩阵最大而类内散布矩阵最小,也就是说,投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性,.Fisher,线性判别分析提取的特征,向量集强调的是不同人脸的差异而不是照明条件、人脸表情和方向的变,化,.,因而,采用,FLD,方法对光照条件、人脸姿态等的变化不太敏感,从而有,助于提高识别效果。然而,由于在正常情况下人脸识别问题总是一个小样,本问题,故其类内散布矩阵总为奇异阵而使此方法的求解变得很困难,.,人脸识别系统结构,谢 谢！,