使用特征脸进行人脸识别

使用特征脸进行人脸识别Matthew A. Turk and Alex P. PentlandVision and Modeling Group,The Media, LaboratoryMassachusetts Institute of Technology摘要我们当前的方法来检测和识别人脸和描述工作、实时人脸识别系统的跟踪 ,并承认的 人相比,那些特点的认识。我们的方法对人脸识别作为一个二维的认识问题,利用面临的事 实,因此通常正直可描述由一个小的二维特征提出自己的观点。面对图像投射到特征空间 （“空间”）,最好的编码的变化已知脸孔图像。面部的空间被定义为“特征脸”。而成立的特征;他们未必符合孤立的特征,例如眼睛、耳朵、鼻子。这个框架提供学习 的能力,在无人监督的方式下确认人的身份。1 导论开发一种计算模型的人脸识别是相当困难的.,因为面对复杂、多维的,有意义的视觉 刺激。他们是一个天然的类的对象,站在正弦光栅,形成鲜明对比的是,“块”,世界和其他 人工刺激人体和计算机视觉应用于研究1。因此大多数早期的视觉功能,为我们构建具体 型号的视网膜或指纹活动。人脸识别是一种非常高的水平任务计算方法目前仅仅能建议广 大限制对相应的神经活动我们因此集中研究开发一种早期, 目前的模式识别能力并不依赖于有充分的threw-dimensional 模型或详细的几何形状。我们的目标是建立一个计算模型的人脸识别 速度快、合理简便、准确约束的环境中,如办公室或家庭。虽然人脸识别是一种高水平的视觉问题,有相当多的结构的任务。我们利用一些这样 的结构方案,提出了识别的基础上,信息理论的方法。寻找最相关的信息进行编码在一群面 临这将最好的区别,你们也要怎样相爱。这个方法转化成一个小的脸孔图像的特征图像 , 称为“特征脸”,即是主成分的初期培训的脸孔图像。识别进行了新的图像投射到子空间 跨越了特征脸（“空间”）,然后将其地位进行了比较,脸的空间位置已知的个体。自动学习和后来的认识新面孔是实际在这个框架内。不同条件下的识别了合理的训练 一定数量的特点,对“查看”正 45 度角度、剖面视图）。这个方法具有其他人脸识别方案 在其速度和简单、学习能力、小或逐渐改变人脸图像。11 背景和相关的迟钝“很多的工作在计算机识别的脸已经集中检测个人特征,如眼、鼻、口,头部轮廓,定 义一个脸型的位置、大小、和之间的关系，这些特征。从Bledsoe的“2,3 Kanade的 早期系统、自动化或semi-automated策略的人脸识别和分类模型基础上，脸标准化距离特 征点之间的比率。最近这个一般方法已经持续改善工作的Yu订le近期文献4等。这种方法也证明很难向视图,往往是很脆弱的。在研究人类策略的人脸识别,另外,表 明个体特征及其直接关系的代表组成不足为成人,性能的人脸识别5。这种方法虽然仍是 最受欢迎的人脸识别在计算机视觉文学。联结方法试图捕捉到人脸识别,或类似完全构型性质的任务Fleming和Cottrell 6, 建筑在先前的工作，Lahtio Kohonen7中，利用非线性部队训练网络通过繁殖,脸孔图像 进行分类。ST0NHAM的WISARD系统8已被应用一些成功，都面临影像二进制的身份和表 达。大多数的联结系统处理的面孔对待导正之输入影像中作为一种普遍的二维模式,并能 使不明确的使用性能的构型一张脸。只有非常简单的系统进行了探讨,还不清楚他们将规 模较大的问题最近的工作由伯特等使用“智能感应”的方法基于多分辨率模板匹配9。这一策略 使用专用的电脑而且建造金字塔图像的快速计算多尺度,已经确认人们在实时的。面对由 手工模型从图像。2 特征脸识别先前的工作已经忽视了自动化 fa.ec 识别哪些方面的问题,仅仅是重要的脸刺激识 别、假设预定义的测量和足够的有关。这个建议对我们而言,信息理论方法的脸孔图像编 码和解码可能给洞察脸孔图像的信息内容,强调了显著的局部和全局的“特征”。这样的特 征,可以或不可以直接关系到我们直觉概念等特征的脸,眼睛,鼻子,嘴和头发在语言信息理论,我们想要的相关信息提取人脸图像编码,尽可能高效、一比一脸编码 与数据库模式编码类似。一个简单的方法来提取信息包含在一张脸,不知何故,捕捉变异收 藏的脸孔图像,独立于任何判断的特点,并运用该信息进行编码和比较个体面对图像。在数学方面,我们希望找到主成分的分布的面孔,或特征向量的协方差矩阵的脸的图 像。这些特征能被认为是一组特征之间的变化特征,一起面对图像。每个形象定位贡献或 多或少地各特征向量,以便我们可以显示特征向量作为一种诡异的脸,我们称之为一个特 征脸。这些脸如图2所示。在每一个人脸图像的训练可以准确的特征脸的线性组合。这个数字可能特征脸等于数 量的脸孔图像的训练。然而面对也可近似的使用“最好”特征脸那些有最大的特征, 并因此账户内最方差的脸孔图像。主要原因是使用更少的特征脸计算效率。最好的 M，M 特征脸跨度一一脸子空间一一维空间一一所有可能的图像。不同频率的正弦波的作为和相 位的功能分解（和傅里叶其实是特征函数线性系统），特征脸向量的基础特征脸分解。这种利用特征脸的办法是出自一个技术开发，irovich和Kirby10有效代表的面部 照片，采用主成分分析法。他们认为收藏的脸孔图像大致可重构,储存收集各面和一小、标 准的照片。它发生在美国，如果一个多面图像可以通过加权和的重建图像的特点，收集了一种有 效的方法来学习就会认人，建立从已知的脸孔图像的特点，通过比较特别的脸识别特征权 值的需要（大约）重建他们的重量与已知的个体。下列步骤总结的认识过程。1。初始化:获得培训的脸孔图像和计算，确定了特征脸的空间。2。当一个新的人脸图像时，计算出了一套基于导正之输入影像中权重和M特征脸输 入图像由投射到每个特征脸。3。确定图像是一脸（无论是已知的抑或未知的）通过检查，看看这个形象是足够接近 “脸空间.(a)（b）图1：（a）脸图像作为训练集（b） 一般的脸屮。4。如果它是一张脸,分类权重模式为任何一个已知的人还是未知的。5。（可选）。如果同样的未知的脸见过几次，计算其特点及纳入了重量模式的脸孔（即 学会认出它）。2.1特征脸计算让脸部图像l(x, y)是一个二维N由N数组的强度值，或者一个向量的维N2期。一个 典型的图像的大小由256描述了矢量256的尺寸、536、65、点设置,65岁，536子空间。 一组图片;地图的点在这个巨大的空间。图像的相似，在总体结构，是不会被随机分配在这个巨大的影像空间,从而可以被一个相对 地空间的子空间。主要思想的主要成分分析(或者是Karhunen-Loeve试验)扩张找到向量 空间分布的最佳账户内的脸孔图像的整体形象的空间。这些向量空间的定义的脸孔图像, 这段时间我们称之为“脸”的每一个向量空间的长度，描述了一个护士被N2期的形象，是 一种氮、线性组合的本来面目图像。因为这些向量所对应的协方差矩阵的本来面目，因为 the3T图像中有类似脸的出现。我们称呼他们，像“特征脸实例的特征脸如图2所示。M Tn = 1 n n二 AA T(1)图27个特征脸从图像中计算图表1,没有这些背景移除2.3用特征脸检测的面孔我们也可以利用知识的脸空间检测和定位的脸在单一的图像。这让我们认识到在场的 面孔除了任务的识别创造矢量的重量为一幅图像等效投影到低维面图像的空间。在区间之间的距离图像投 射到厚度和它之间的距离调整法导正之输入影像中,A和B,其投影涂敷于脸部的空间。在图3、影像投射在面对彻底时空间，而投影的人脸出现截然不同。这一基本理念是 用来探测的面孔出现在一个场景:在每个位置的形象，计算距离当地首先和面部的空间。 面对这种距离空间使用作为衡量“特征脸”，那么结果计算距离空间中面临的每一点的形象是一个“空间” (x, y)的图像。图4显示的图形，它的脸的图像值低(黑暗的地区)意味着存在的脸，有 一种截然不同的最低面对相应位置地图的脸的形象。不幸的是，这个距离测度的直接计算是相当昂贵。我们已经为此研制出一种简单、更 有效的计算方法，在面对图e(x, y);而在11 了。2.4面空间重写一张脸，在特定的脸在训练，应该接近于一般的脸的空间，是“face-like描述图像。 换句话说，投影距离阈值应该是在一些 B6。已知的个人形象工程接近应该相应的脸类， 即艮0e。因此有四种可能性一输入影像和它的模式向量：(1)附近的空间和附近一脸 类；附近的空间，但没有脸靠近一个已知的脸；从遥远的空间和附近一脸爪；从遥 远的空间，而不是附近一个已知的脸。图5显示这四个选项，简单的例子，两个特征脸。第一种情况，个体识别和鉴定。在第二种情形，未知的个体。最后两个案例表明，形象 不是一个人脸图像。三个典型病例出现假阳性的作为;在我们最识别系统的框架，然而，虚 假的识别能被检测出显著的距离和子空间的形象将面临影像。图3所示了一些图片和投影 到脸上的空间。图3(a)和(b)的病例1,而图3(c)说明情况。在我国现行制度计算的特征脸做的途径。大约需要350个人来运行SUN公司的工作系 统来处理128x128大小的图像。图5面对空间的简化版的结果说明了四个突出的图像面对空间在这种情况下,有两个特征脸(u和u)1 2 和三种已知的个人(q, q2和4)。3识别实验对这种方法的可行性进行评估，我们面对联盟进行实验，建立存储脸孔图像识别和定 位系统在动态环境下面临的。我们首先创建一个大型数据库的脸孔图像采集、各式各样成 像条件。使用此数据库已经进行了几次试验来评价在已知的照明、规模、变化和方向。 在第一项研究中，不同的照明效果,大小和头部方向是采用了完整的数据库的2500图像。 不同群体的十六个图像的选择与应用的训练。在每个训练有诅咒一个图像的每一个人，都 采取相同的条件下，图片尺寸，点燃头部方向。所有的图像数据库进行分类，16个个别未 知脸被拒绝。数据采集测量准确度平均的差异，培养条件的蓝绿色的条件。在这个案例中，0无限 0约96%,该系统实现了正确的分类上平均变异，85%的照明平均正确方向变化，而且平 均正确尺寸变化的64%在第二个试验相同的程序，但接受了阈值被也是多种多样。在低价值，只有图像0项 目非常密切的脸（病例1号和3号在数字）会被认可,所以将会有一些错误，但许多的图像将 拒绝为未知。在高价值的是大多数图像会保密，但会有更多的错误。调整to达到100% 准确识别了未知的利率时，19%,39%的不同照明、方向和60%的正弦波。设置任意未知的速 度,导致了正确的识别率20%的100%,分别为94%,14%。图6头部跟踪和定位系统这些实验显示增加性能的精度减少验收阈值的可调达到完美的有效识别趋于零的阈 值，但在许多成本图像被拒绝作为未知。权衡的咖啡馆和识别精度拒绝将不同的各种人脸 识别中的应用。结果表明，改变照明条件导致相对少的错误，而急剧下降和尺寸变化的表现。这并不令 人惊讶，因为在照明独自附近变化关系,但仍维持在高像素大小变化下的相关性从一个图 像是相当低的。很明显，需要一个多尺度方法，以便在某一特定的大小进行了比较。4实时识别人们不断前进。甚至当坐着，我们坐立不安并调整我们的身体姿势、眨眼，环顾四周, 等。对于一个移动的人在一个静态的环境,我们创建一个简单的运动检测与跟踪系统，如图6、定位和跟踪头部的位置。简单的时空过滤，紧随其后的是一个非线性单元的变化使图像 的强度随时间在过滤的形象使移动照亮了。图像阈值滤波后产生一个二进制运动图像，分析了“运动”，随着时间的推移，纠结的决定 如果运动是由一种人移动头部位置和确定。一些简单的规则,如“头部上方的小斑点上的 斑点（大）”、“身体必须合理地缓慢移动头部和相邻的”（头不可能在图像开）。图7显示图 象的头位置,随着头部的道路在前面的帧序列。我们已经使用了上述技术建立一个系统的实时定位和认识面孔在合理的非结构环境。 当运动检测和分析项目找一个头，首先，集中在头部，被派到人脸识别模块。测量脸部空间 的距离、形象是要么拒绝为一脸，公认的一群熟悉的面孔，或者决定一个未知的脸。在这 个系统识别的出现率两或三次。图-7 :头部的形象已经被锁定一盒子里是发送到人脸识别的过程。同样显示是路径的头部跟踪多个 先前的帧。5进一步与结论 我们正在扩展系统处理的一个范围以外的其他方面的正面全裸的观点）通过定义一个小数 目的脸学时为每个已知相应特点提出自己的观点。人因为速度的识别系统有很多机会去尝 试几秒钟内承认许多稍微不同的观点,至少有一件是容易接近的特点提出自己的观点。智能系统也应该有能力去适应。在面对议论图像空间提供一种方法去学习和后来认识新面 孔在无人监督的方式。当一个图像的空间足够靠近面（也就是说，它是类似脸），但不是被指 定为类似脸中的一个，它开始熟悉的面孔贴上“未知”电脑商店模式向量和相应的未知的 形象。如果一个集“未知”模式向量空间格局，集群的新身份不明的脸。喧闹的图像或部分面部被遮挡的应引起识别性能降低，因为这个系统实际上优雅地实行自 动联合记忆的著名描述7。这是由投射的闭塞人脸图像的图3（b）。方法的特征脸人脸识别的动机是信息理论，以领先的理念，在一个小的人脸识别的图像特 征的最佳逼近的脸孔图像,而不需要知道他们符合我们的直觉的概念和特征。部分面部虽 然它不是一种优雅解决一般目标识别问题的方法,特征脸的确提供了可行的解决办法，是 很适合的人脸识别问题。它检测迅速而且相对简单，并且在一些条件复杂的地方运行良好。参考文献1 Davies, Ellis, and Shepherd (eds)Perceiving and Remembering Faces, Academic Press, hondon. 1981.2 W. W. Bledsoe, The model method in facial recognition, Panoramic Research Inc., Palo Alto, CA, Rep. PRI:15, Aug. 19663 T. Kanade,Picture processing system by computer complex and recognition of human faces,Dept. of Information Science, Kyoto University, Nov. 1973.4 A. L. Yuille, D. S. Cohen, and P. W. Ilalli nan, Feature extraction from faces using deformable templates, Proc. CVPR, San Diegoe 入.lone 19895 S.Carey and R. Diamond, Froth piecemeal configurational representation of faces, ,Science, Vol.195, Jan. 21, 1977, 312-13.6 M. Fleming and G. Cottrcll, Categorization of faces using unsupervised feature extraction, Proc. IJC.NN-90, Vol. 2.7 T. Kohonen and P. Lehtio, Storage and pro cessing of information in distributed associative memory systems, in G. E. Hinton and J. A. Anderson, Parodlel3lodcls of AssariaRiPx llemorg; Hillsdale, NJ: Lawrence F:rlbaum Associates, 1981, pp. 105-143.8 T. Kohonham, Practical face recognition and verification with WISARD, in H. Ellis, M. Jeeves, F. Newcombe, and A. Young (eds.), A.s pects of Face Processiag. Martnus Nijhoff Publishers. Dordrecht. 1986.9 P. Burt, Smart sensing within a Pyramid Vision Machine, Proc. IEEE, Vol. 76, No. 8,Aug. 1988.10 L. Sirovich and M. Kirby, Low-dimensional procedure for the characterization of human faces, J. Optt. 5oc. Am. AA, Vol. 4, No. 3, March 1987. 519-524.11 M. Turk and A. PENTLAND, “Eigenfaces for Eecognition”, journal of Cofnitive Neuroscience, Mcrch 1991.