基于特征提取的人脸识别技术研究

硕士学位论文基于特征学习的人脸识别算法研究学科专业电路与系统学位类型科学学位专业学位研究生姓名 李茅 指导教师姓名、职称王 玲教授论文编号湖南师范大学学位评定委员会办公室二一六年六月分 类 号TP391密级学校代码10542学号201302110919基于特征学习的人脸识别算法研究Sudy on Feature Learning For Face Recognition 研 究 生 姓 名 刘海媚指导教师姓名、职称王玲教授学 科 专 业 电路与系统研 究 方 向 模式识别湖南师范大学学位评定委员会办公室 二一六年六月I基于特征学习人脸算法研究中文摘要人脸识别算法因其在实际应用中广阔的前景而收到关注，它是人工智能、模式识别、计算机视觉等相关学科交叉领域的研究热点。人脸识别的核心问题是根据提供的人脸图像用机器提取出具有判别能力的特征来鉴别个人的身份。目前人脸识别算法受制于光照变化、姿态多样、饰物遮挡、表情变化和多模态图像影响，在实际应用中算法识别率不理想。本文以局部特征提取的框架为基础，对人脸识别中的遇到的难点提出相应的解决方法。主要的研究成果有：（1）研究了局部二值模式（LBP）的原理以及基于LBP的扩展算法。综合分析LBP模式的优点和缺点，提出了类LBP识别框架，同时给类LBP模式指出了相应的改进方向。（2）局部序数模式(LIOP)提出使用邻域之间的序数关系对于纹理的描述有重要的作用。但是它只能应用在很小的邻域点上，得到的特征向量的判别能力较弱。于是我们研究了LIOP和LQP的相关原理，提出了基于局部序数描述的增强量化模式人脸特征提取算法。实验验证了该算法具有良好的识别能力，能够对表情、背景和遮挡有一定的鲁棒性。并进一步使用白化主成份分析使特征向量的分布更为紧凑，降低了特征向量的维度，提高了总体的识别性能。（3）针对异质图像的识别问题，提出了基于成对判别滤波核学习的局部特征异质图像识别方法。与传统的使用图像灰度特征直接进行异质图像的共同特征的提取不同的是，我们先将图像进行判别滤波减去不同模态带来的图像差异，接着使用增强量化模式为图像编码并提取直方图特征用于最终的人脸匹配。不像CCA方法这种没有用到样本的标签信息的无监督学习方法，成对判别分析方法充分考虑了不同模态之间图像的标签信息。最终通过实验验证了该算法取得了比现有算法更好的效果。关键词：局部二值模式；人脸识别；线性判别分析；滤波学习；异质图像识别ABSTRACTFace recognition is a important issue in real world application which involving pattern recognition ,artificial intelligence and computer vision area. The key point of face recognition is how to extract discriminative feature from face images to identify the specific person. Due to various adverse effects such as lighting, pose, accessory, expression and heterogeneous modality variations, the performance of most existing face recognition algorithms is not satisfactory in real world.in this thesis, we study on the local feature extract framework and present some strategies to improve the performance of face recognition algorithms. The main contributions of this thesis are:1.Study on local binary pattern and its varieties, and summarize a like local binary pattern feature extract framework. Besides, we list the pros and cons of ours framework, give the research direction of future works.2.Local Intensity Order Pattern(LIOP) is a highly discriminative descriptor which encodes the local ordinal information of each pixel. However, the discriminative power of LIOP is limited since it just describes the relationship among the four neighbors around the center point. Local Quantized Patterns(LQP) could enrich the discriminative power of local pattern. We incorporate LIOP and LQP , and propose enhanced Local Quantized Patterns(ELQP).the experiment result indicate the proposed algorithm has better performance than compared algorithms. with WPCA, our algorithms performance get improved.3.To deal with the heterogeneous face recognition(HFR) problem, we propose the common discriminative subspace framework which utilizes two learning filter kernels to reduce the heterogeneous datas difference of the same person and then use ELQP to extract discriminative histgram features to classify each image. unlike the traditional heterogeneous face recognition algorithm using CCA to extract features, our method can use Linear Discriminate Analysis(LDA) to utilize local the label information to enhance the algorithms performance. Experiment in HFB show our algorithm get good performance.key words: local binary pattern; face recognition; Linear Discriminate Analysis; image filter; HFR III目录中文摘要IABSTRACTIII第1章 绪论VIII1.1人脸识别的研究背景和意义VIII1.2人脸识别技术的研究历程和现状XI1.3人脸识别技术的研究内容XIII1.4人脸识别技术研究的难点XX1.5人脸识别的评判标准XXII1.6 本文的主要工作和结构安排XXIII第2章 类局部二值模式理论综述XXV2.1 LBP概述XXV2.2LBP编码的特点XXVI2.3针对LBP算法的改进XXVII2.3.1图像滤波上的改进XXVII2.3.2针对模式采样的改进XXVII2.3.3针对模式编码上的改进XXVIII2.4类局部二值模式的直方图特征提取框架XXVIII2.4.1直方图特征度量XXIX2.4.2直方图权重度量方法XXX2.4.3直方图特征的降维方法XXXI2.4.4WPCA的计算过程XXXII第3章 增强局部量化模式人脸识别算法XXXIV3.1引言XXXIV3.2 增强局部量化模式XXXV3.2.1 局部序数模式XXXV3.2.2 局部量化模式XXXVII3.2.3 增强局部量化模式XXXVIII3.3 相似度量与降维方法XXXIX3.3.1 相似度量XXXIX3.3.2 WPCA降维XL3.4 融合PP和Retina的图像预处理方法XLI3.4.1 Retina模型XLI3.4.2 PP(a pipeline of image preprocessing)预处理XLIII3.4.3 本章PP-retina预处理算法XLV3.4 实验结果与分析XLVI3.4.1 实验参数与结果XLVII3.4.2 WPCA降维结果XLVIII3.5本章总结XLIX第4章 基于局部共同特征的异质人脸识别方法L4.1异质人脸识别概述L4.2异质人脸识别研究回顾LI4.3成对判别滤波核和增强量化模式融合算法LII4.3.1判别滤波核学习LII4.3.2 成对判别判别滤波核学习LV4.3.3整体算法框架LVIII4.4实验与结果分析LIX4.5本章总结LX第5章 总结与展望LXI61第1章绪论1.1人脸识别的研究背景和意义一直以来身份鉴别相关技术都是广大研究者的热门研究对象1-5。在实际应用中正确的识别每一个对象，并赋予相应的权限，实现该对象的功能。正确的识别用户身份，防止错误的识别也就显得尤为重要。例如身份证的编号，大门的钥匙，网络帐号的密码这些就是识别身份的重要信息。目前来看身份的识别分为两种，一种是传统的身份验证方法，包括利用各种物理的实体或者虚拟的信息进行身份的授权，比如钥匙，口令，磁卡等。另一种是新型的基于生物特征的识别方法，生物特征的方法一般是指用人的某些具有明显区分能力的特征来鉴别人的身份，常用的有人脸，指纹，手指静脉血管，虹膜，语音等。与传统的识别方法相比，生物特征具有5个优势：（1）能够根据人的特征识别身份。（2）能够防止被非法用户入侵和篡改（3）不易丢失，不可转让（4）用户体验好，不需要携带特定的工具，也不易损坏。（5）不可伪造，也不可盗用，安全性能好。理想的生物识别技术具有四个特性：普遍性、唯一性、持久性和可收集性。生物特征识别技术具体来说可以分为两类，一类是利用身体特征，比如人脸、指纹、虹膜等；另一类是利用行为特征，比如手写笔迹、步态、语音语调。生物特征识别技术的研究就是我们常说的模式识别的研究。不同之处在于生物特征识别侧重于从不同的模式中鉴别对象的身份。进入21世纪以后，随着相应技术的成熟，以生物特征为代表的身份识别技术逐渐进入了普通人的日常生活，例如以人脸和指纹识别为代表的生物特征识别技术已经开始应用在金融、教育、医疗和社保等领域。我们可以展望，在各国政府的重视和推动下，在不久的将来，生物特征识别技术将越来越深入到人们的日常生活之中，给人们的生活带来便利。人脸识别技术作为生物特征的一种，相对于其他生物特征，比如指纹、虹膜、掌纹等，其具有四大优势。第一，具有非接触性。不需要用户与设备直接接触，可以远距离进行识别和认证；第二，隐蔽性强。不需要用户刻意配合，只要使用摄像头采集到人脸就可以，该优点决定了该技术适用于安防监控乃至于公安刑侦领域；第三，可交互性强，使用人脸对身份进行鉴别符合人的直觉易于接收；第四，数据采集成本低，已有的图像数据量十分巨大便于研究。人脸识别技术利用摄像头采集人脸图像信息，而指纹识别需要利用电子压力传感器采集指纹，因而在采集设备方面，人脸识别技术的采集设备简单易得且成本低廉。近几年随着模式识别、机器学习和人工智能等相关技术的发展使得人脸识别技术在实际应用中实现变得可能，同时由于人脸识别技术的上述诸多优点使得它在人们生活中的许多领域得到了推广，例如2008年的北京奥运会上中科院的人脸识别系统为奥运会期间的安保工作保驾护航。我国的已经广泛应用的第二代数字身份证的芯片保存有每个人的人脸数据，可以轻松的收集到大量的数据用于人脸识别。目前的人脸识别系统主要包含两个子类6，一类是人脸鉴别(Face Verification)，另一类是人脸认证(Face Identification)。前者是一对一的识别，需要判断待识别人是否是系统中登记的用户是否为同一个人；后者是一对多的识别，判断待识别用户是否是系统的授权用户。人脸识别技术在实际生活中的应用主要包括以下几个领域：1.考勤系统：越来越多的企业开始使用人脸考勤机对员工进行考勤。相对于之前广泛使用的指纹考勤机，人脸不容易伪造不涉及私密信息，系统部署更加方便。2.门禁和安检系统：利用人脸识别身份认证控制门的开启和关闭，可以安装在小区住宅大门、保密室、看守所等需要安全保密的场所。3.社保和金融应用：通过使用人脸识别技术防止信用卡被非法者使用以及社保支付被冒领等。使用人脸识别进行活体检验和身份识别。4.公共安全系统：利用人脸识别技术隐蔽性强的优势，在银行、机场、商场等人员聚集的公共场所对人群进行监控，用于犯罪调查和安全检查。5.相机和手机等休闲娱乐设备：在新型数码相机上搭载人脸识别功能进行自动拍照对焦，利用人脸识别对手机屏幕进行解锁。从应用的范围来看，人脸鉴别系统可以应用在身份证件的真伪鉴别。而人脸认证系统可以应用在公安刑侦等涉及到巩固安全的场合。人脸识别技术的研究最早开始于上个世纪六十年代，到了上个世纪九十年代已经成为了科研热点，至今已有大量的产品和设备具有人脸识别功能。人脸识别技术主要包含模式识别、计算机视觉和人工智能这三个主要的研究方向。人脸识别技术的身份认证主要任务是研究如何使机器能够更迅速、更准确地根据用户的人脸图像信息来判别用户的身份。人脸识别技术包含的研究内容极其广泛，属于多学科交叉领域。它与图像处理、模式识别、计算机视觉、心理学以及神经网络等十多门学科联系紧密，同时其原理与人脑工作机制和认知科学息息相关。因此，在研究人脸识别技术的同时可以促进与其相关学科技术的发展，其他学科的突破可以大大促进人脸识别技术的进步。不同于机器，人们可以快速高效的通过人脸面部图像来鉴别人的身份并理解人的情绪，但是对于机器来说却十分困难。由于在成像过程中存在着各种因素的影响从而导致同一个人的人脸面部图像随着环境的变化而发生较大的变化，因此如何建立一个稳定的自动人脸识别系统具有重要的研究意义。尽管目前商用的一些人脸识别系统其性能都宣称达到了良好的识别效果，但是在用户不主动配合以及成像条件受限的情况下，比如户外光照条件恶劣时，其识别性能会急剧下降，目前关于人脸识别研究并没有达到完美的境地，还存在许多尚未解决的难题，仍然有非常大的研究空间。1.2人脸识别技术的研究历程和现状回顾人脸识别技术的发展历程，按照时间顺序可以将其划分为4个发展阶段7-8。第一阶段是20世纪60年代生物特征识别技术处于萌芽时期9-10，研究人员在1965年设计了人脸识别系统，从而开启了以人脸识别为代表的生物特征识别技术的新时代。第二阶段是在1991年美国麻省理工大学的研究人员提出了特征脸人脸识别的理论和方法11，这标志着人脸识别技术作为一个新兴学科正式起步。第三阶段是在2001年美国“911”事件发生后，世界各国意识到人脸识别的重要意义，各国开始投入大量的资金和人员进行研发，这带动了人脸识别技术的进一步发展。第四阶段是自2008年的北京奥运会后，人脸识别技术开始应用于大型场馆的安全监控，这标志着人脸识别技术开始进入了大规模的应用实践阶段。我国在“十一五”和十二五的科技发展规划中将人脸识别技术的研究和发展列入其中。与此同时，国内一些科研机构和院校开始在人脸识别技术方面做了大量具有创新性的工作，如中国科学院自动化所、清华大学、中国科学院计算机所、香港中文大学多媒体实验室自主研发的人脸识别技术已经进入了世界先进水平行列。在第一阶段主要研究的是人脸识别所需要的面部特征。研究人员采用人脸的几何特征结构来表示人脸，比如人的眼睛、嘴巴、鼻子等等。利用这些面部五官特征，从它们之中选出稳定的配置特征点，这些稳定的特征点以距离、角度或者形状来反映。这一特征表示方法由于特征数量较少并且特征鲁棒性差的缘故，从而导致整个人脸识别系统的性能不够理想。在第二阶段主要采用代数特征的方法来表达人脸。其中最具代表性的是基于子空间的人脸表示方法，包括PCA（pricipal component analysis）算法、LDA(Linear discriminant analysis)算法12和ICA(Independent component analysis)算法13。该方法的优点是在用户配合的情况下，识别性能较为理想。在第三阶段主要是采用局部特征来表示人脸。根据人脸不同区域对识别的重要性不同，从而相对于第三阶段的全局方法，局部特征能够提供更加精细的特征表示。该阶段所用的算法在用户不配合情况下也能达到较为理想的识别效果，其中最具代表性和革命性的是芬兰的Ahonen等人提出的LBP(local binary pattern)算法14-16。人脸识别技术在第四阶段的贡献在于结合了机器学习的相关理论知识。就目前为止，人脸识别技术在商用系统中已经能较为满意地为用户提供服务，可是在视频流监控和用户所处的光照环境极其恶劣的情况下，前几个阶段的技术并不能较好地满足用户需求。这一阶段的研究重点是将机器学习结合到人脸特征分类中，人工神经网络、支持向量机SVM、Adaboost和现在最为火热的深度学习（deep learning），都给人脸识别带来了一个革命性的创举。尤其是近期出现被广大研究人员所重视的深度学习，由于其在公共人脸测试库（LFW）上达到了前所未有的识别性能，从而被各大科研机构、院校和企业作为下一步人脸识别技术的研究重点。深度学习试图模仿人脑如何利用神经网络来感知世界，它的成果很大程度上受益于近年来出现的人工神经网络和基于GPU的并行计算的发展。国内专门研究人脸技术的机构有中国科学院的生物识别与安全技术中心、清华大学的图像识别联合研究中心和中科院的智能信息处理重点实验室等，其中还有国内一些例如汉王、创合和海鑫等一些专门从事人脸识别技术产品的企业。在国际上涉及人脸识别技术研究的知名研究机构有耶鲁大学的计算机视觉中心、麻省理工大学的人工智能实验室、卡耐基梅隆大学的机器人研究所和微软研究所等。国际上每年都有相关的组织专门举办探讨有关人脸识别技术的会议，例如CVPR、ICCV、ECCV和CCPR等。此外还有一些生物特征识别的技术会议也有关于人脸识别的技术讨论，如AFGR、AVBPA、ICBA。1.3人脸识别技术的研究内容人脸识别系统主要包括人脸采集与人脸检测、人脸预处理、人脸特征提取和人脸匹配三个过程，人脸识别系统处理流程如下图1-1所示。图1-1 人脸识别整体流程图在本文中我们将人脸图片分成注册集，测试集和训练集三个集合，其中注册集表示所有已知身份的图像的集合；测试集表示待识别的图像集合；训练集表示一个身份已知的图像集合，在这个集合上进行算法参数的调整。从图1-1的人脸识别整体流程图可知，整个系统的处理过程为：首先分别对注册集图像通过人脸检测算法检测出人脸，然后通过人脸预处理算法对检测到的人脸进行处理，该步骤包括图像对齐与图像增强，并裁剪到规定尺寸，接着采用人脸特征提取算法提取每一幅人脸的特征，最后得到的特征就是整幅人脸的特征描述，所有的注册集图像都按照这个流程处理后得到的特征描述合并为一个人脸特征库。当一幅测试人脸需要比对或者识别时，采取与注册集人脸相同的步骤进行处理，得到相应的人脸特征数据与注册集人脸特征进行匹配。人脸匹配实际上就是采用恰当的距离判别方法进行测试人脸和注册人脸的相似度的计算，最后输出识别结果。依照人脸识别框图，人脸识别技术的研究内容可以分为四个方面：(a)人脸检测技术的研究人脸检测的研究8分为静态人脸检测和动态人脸检测。静态人脸检测的目的是从一幅静止的图片中检测出人脸是否，如果存在就定位人脸所在的区域位置，该项技术类似于图像兴趣区域提取；动态人脸检测的目的是从视频流中的一帧一帧图片中检测人脸，该项技术可用于人脸视频监控系统和人脸追踪。人脸检测在近几年也是研究的重点，特别是视频中的人脸检测问题。在某些情况下动态人脸检测技术可以视为静态人脸识别技术的扩展。按照研究的时间顺序，人脸检测算法可分为模板匹配算法，肤色算法，SVM算法，Adaboost算法。其中模板匹配算法不需要经过训练，但是其精度比较差，检测速度慢；肤色算法是通过统计学习的方法，估计出人脸肤色在颜色空间中的概率模型，然后将通过训练出的概率模型来估计判断某个点是否是人脸区域；SVM方法是基于机器学习的方法，它将人脸像素输入分类器，利用训练好的分类器来判断人脸区域，但是该方法需要对多个尺度的图像进行检测，因此检测速度比较慢。目前最为经典的人脸检测算法是viola在2001年提出的融合Adaboost算法和角点特征的算法17，该算法在静态人脸检测系统测试库中能达到百分之九十以上的检测率，该算法的特点是训练较慢，但是检测速度较快。Adaboost通过级联若干个弱分类器组成一个强分类器，然后利用训练好的最终强分类器来检测人脸位置，从而大大地降低了误检率。(b)人脸预处理的研究人脸预处理主要是人脸对齐和尺度归一化的研究18-20。人脸对齐在整个人脸识别中同样起着关键性作用，因为如果检测到的人脸区域没有经过人脸对齐，那么这种旋转、平移和尺寸大小不一的变化必然会影响到后续的人脸特征提取，因此近几年也有大量的相关文献研究人脸对齐算法。人脸对齐的方法主要分为两大类：一种是基于知识特征的对齐，另外一种是基于统计学习特征的对齐。基于知识特征的对齐方法使用人脸若干个面部特征点的位置变换使得人脸对齐，该方法对于姿态和表情的变化比较敏感，不具有鲁棒性，会影响到后续的人脸特征提取和识别。基于统计特征的对齐方法使用统计学习算法构建人脸模型后再对齐人脸，常用的该类算法是主动形状模型ASM和主动表观模式AAM算法21，该类算法分为模版训练阶段和模版匹配阶段。模版训练阶段通过事先标定好的训练数据进行分析，最终得到人脸的轮廓形状模型，算法的关键是模型参数的定义值，通常可以用回归或者最优目标函数训练得到模型参数值。模版匹配阶段是将图像用前面的模型参数来表示。一般说来利用人脸检测后得到的人脸关键点的位置来实现人脸预处理对齐算法，具体说来是通过人脸的眼睛坐标，然后通过双眼之间的距离大小使得人脸根据双眼位置而对齐，最终将对齐的人脸裁剪到规定尺寸大小。该方法在正面静态人脸识别中具有有着良好的性能。(c)人脸特征表示的研究 人脸特征表示的目的是将人脸原始的高维特征数据用低维数据进行描述，也成为人脸描述，提取出的低维特征能够有效地区分不同人脸。这个步骤是整个人脸识别的关键，因为无论之前的检测和预处理算法多么完美，如果没有较好的算法来描述人脸的高维特征信息，那么整个人脸识别系统的目的就无法达到。因此在这个环节上，研究人员和研究成果相对较多，近几年也一直在进行相关算法研究的突破。通常人脸特征表示算法大致可以分为两大类，一类是基于全局特征表示算法，另一类是基于局部特征表示算法。全局特征表示是指其特征向量是从一整幅人脸图像上提取得到的，通常反映了整体面部信息。与之相对的局部特征表示是指其特征向量是基于一副人脸图像中部分像素或部分区域提取得到的，通常局部特征更加注重各个局部细节。当局部特征的选取范围扩大到整幅图像，局部特征方法就和全局特征方法就可以视为全局表示了。从早期的基于几何特征方法，到近代的基于子空间分析方法、流型表示22、稀疏表示23等都属于基于全局特征表示算法。其中应用最广的是基于子空间分析方法，该方法通过线性或者非线性变换将人脸高维数据转换到一个维数较低的子空间中，使得高维空间中分布散乱的人脸图像可以使用低维子空间中的基向量来近似表示，同时低维特征在子空间分布得更加紧凑，该类方法对人脸进行了分类识别的同时也降低了人脸图像的维数也被称为特征降维方法24，主要包括以下几种算法：（1）主成分分析算法（principal component analysis,PCA）PCA算法又叫特征脸（eigenface）算法，由Turk等人提出的，利用K-L变换将人脸高维数据压缩投影到低维空间，实际上这个过程是求解原始图像特征在均方误差最小的前提下的最优投影方向。同时由于PCA的输入数据是不带标签的，因此PCA属于无监督学习方法，之所以叫做学习方法，是因为这类算法要经过训练数据得到低维空间，训练过程即学习过程。PCA将整幅图像像素数据通过K-L正交变换获取正交基，去除冗余部分，保留主分量信息，从而使得人脸高维数据大大降低。在压缩过程中，通过均方误差最小目标函数获取最优的主分量信息，从而使得投影到低维空间后的数据具有较高的可分性。另外PCA压缩数据的过程必然会损失一部分信息，考虑到图像数据的维数一般都很高（例如100X100的图像维数是10000X1的特征向量）如果训练集的样本数量过少，PCA训练得到的投影矩阵不能真实反映样本的分布情况。于是很多的研究者提出了相应的改进算法例如二维主成分分析25、张量主成分分析26。PCA方法没有用到标签信息，其人脸分类效果不是十分理想。一般都是作为高维数据降维的一种手段使用。（2）线性判别分析算法（linear discriminant analysis,LDA）LDA是另一种具有代表性的全局特征表示算法。不同于PCA，LDA的原理是将输入的带有标签的数据通过投影的方法，投影到低维空间，并且使得投影后的数据能够根据标签按照类别来区分，投影后的数据能够使得相同类别的数据分布更加紧凑，不同类别的数据分离得更开。LDA实际上是通过求解一个最优化函数，该函数定义了类间散布矩阵和类内散布矩阵，LDA就是同时满足类间散布最大与类内散布最小的投影方向。LDA投影是线性投影，如果输入的带标签数据有K个类别，那么LDA投影时就需要K个线性函数，最终得到的子空间最大维数就是K-1维。LDA作为一种监督学习方法，它也可以作为一种线性分类器。目前基于LDA算法的fisherfaces方法就是人脸识别领域的经典算法。围绕LDA算法的改进算法也很多，如正则化LDA算法27、零空间LDA算法28、二维线性判别算法（2DLDA）29等，这些算法都取得了较原始LDA算法更好的识别正确率。（3）基于核技术的子空间算法 基于核技术的子空间算法相对于PCA、LDA的线性子空间算法，它属于一种非线性变换算法。核技术的原理是利用一种非线性映射将原始空间的数据映射到高维隐性特征空间中，然后在高维隐性特征空间中对数据进行分析。PCA、LDA假设人脸特征是线性可分的，只进行简单地线性变换就可以对人脸图像进行分类，这显然不符合人脸特征的实际情况，这一点在LDA和PCA的一系列算法中人脸识别都得到了体现。因此通过核技术的应用，改进了PCA和LDA，从而得到了相应的核主元分析（KPCA）30和核判别分析（KLDA）31。核主元分析将原始特征通过满足mercer条件的核函数投影到隐性空间后再做PCA分析，同理核判别分析也是结合了核函数投影和线性判别分析来提取非线性的子空间特征学习算法。相比于PCA和LDA算法，基于核技术的子空间方法能够描述原始人脸数据的非线性关系，提取到的特征分类能力也更强，不足之处在于计算复杂度高，需要耗费大量的时间。局部特征算法是相对精细的人脸描述方法，它利用的是局部间像素与像素之间的关系或者局部图像块关系来获取某种变化信息。图像局部特征对于外界的干扰更加稳定，特征的判别能力较图像灰度特征更强。局部特征提取算法包括三大类：集合结构特征、局部统计分析表示、局部纹理表示。以下介绍其中几种具有代表性的算法：（1）局部二值模式算法(local binary pattern,LBP) LBP是由Ahonen15等人提出的一种能有效描述人脸纹理的局部纹理表示算子，通过比较中心像素和邻域像素的大小关系从而得到人脸图像的角点和边缘等局部变化特征，根据这些局部变化特征区分人脸，实验分析证明LBP对光照一定的不变性，同时对于图像旋转也有不变性，因此LBP对人脸特征描述的贡献非常之大，目前许多商用的识别系统采用的就是LBP提取人脸特征表示算法。(2)局部量化模式算法(local quantizatin pattern,LQP)LQP是由ul Hussain S33等人在2012年提出的针对LBP提取的二值向量进行快速编码的人脸识别算法， LPQ是通过了在训练集图像上离线学习一个二值向量的码本来对大邻域数下的LBP模式进行编码。实验证明在LPQ算子具有较好的描述能力。 (3）基于三维模型的图像识别方法基于三维模型的方法使用了是局部特征和全局特征表示的结合，既考虑到了人脸的整体特征又考虑到了局部细节对于区分人脸的重要作用。最早的基于模型的方法是弹性形状模型（ASM），到后来的主动形状模型（AAM）和3维刚体模型(3DMM)34。模型的方法建立在图像虚拟合成的基础之上，将原始的高维的图像特征通过建立的模型，使用几个模型参数就可以表示表示高维的图像。主要的缺陷在于建模的过程比较复杂，对图像进行拟合的过程比较耗时。基于三维模型的出现主要是因为摄像机的照片实际上是从人体的3维图像到2维空间的一个映射，而三维空间到2维空间的投影是一个不可逆的过程。基于模型的方法就是找到一个尽量能够还原原始图像的映射关系。（4）基于稀疏表示的算法基于稀疏表示(Sparse representation，SR)的人脸识别算法本质上是一种分类器设计方法32。稀疏分类器首先将训练集图像进行稀疏编码得到稀疏矩阵，然后对待测试图像使用最小重建误差准则函数来进行稀疏表示。稀疏表示处理的特征具有较低的维数以及更强的判别能力。 (5）深度学习方法深度学习是从过去的人工神经网络的研究基础上逐渐发展而来的。人工神经网络方法的灵感来自与人脑的神经元处理机制，模拟人脑通过神经元之间简单的交叉连接完成复杂的任务。人工神经网络的缺点在于训练过程过于复杂，训练时间太长，训练模型过于简单，无法对复杂函数进行建模。于是在此基础上延伸发展出了深度学习的方法。深度网络增加了人工神经网络中的隐藏层的数目，主要的深度模型有卷积神经网络、深度置信网络、卷积置信网络等。目前在人脸识别领域已经有了成功的应用，香港中文大学的孙35提出的DeepID深度模型实现了逼近人类识别率的识别结果。目前关于人脸特征表示算法的研究通常是将局部特征和全局特征相结合，这种结合方式的算法不仅提取到了人脸的局部信息，而且关注了整个人脸的全局结构，因此大多数改进算法都是采取这种方式来提高人脸的特征表达能力。 (d) 人脸匹配的研究一张人脸经过上述前面几个步骤后，得到了一个较强的特征表达数据，如何通过判别方法来比较这些数据之间的相似度并区分图像的类别是人脸判别研究的重点。该环节也是人脸识别系统的最终环节。这个环节可以视为模式识别问题，即把输入的不同人脸归为同一个人的一类，按照某种判决规则将被识别的对象进行分类，最终分类的错误率最小或者引起的损失最小。人脸匹配包含两个方面：人脸相似度的计算和人脸分类器的设计。现有的研究无一不是针对所提取到的人脸特征计算相似度再使用分类器对人脸进行分类。按照侧重方向的不同，人脸匹配算法分为基于距离度量学习的方法和基于统计学习分类器构建方法。基于距离度量的判别方法是通过比较相似度的大小而选取识别，常见的分类器有方法最近邻分类器、最小距离分类器和K近邻分类器；常见的基于统计学习的判别方法是通过统计学习的方法进行特征选择，常见的方法有支持向量机（SVM）36、稀疏分类器、贝叶斯分类器37和Adaboost分类器等。1.4人脸识别技术研究的难点在实际应用中，由于人脸识别系统存在着各种人为变化和非人为变化，因此系统并不能像人的眼睛那样快速准确的通过照片判断人的身份。虽然人脸识别研究已经有了几十年的发展，并且许多算法都能较好地解决简单背景正面人脸识别问题，但是对于现实复杂情形下的识别状况，许多算法的性能会急剧下降。因此对于人脸识别系统的现实应用，目前的人脸识别技术还存在着许多难点，主要表现在以下几个方面(1)饰品遮挡问题在识别对象不配合人脸采集的情况下，遮挡问题是一个非常严重的问题，比如视频人脸监控中，通常由于隐蔽性的关系，被识别对象会使用眼镜、帽子和口罩等物体遮挡人脸，或者由于部分图像区域有缺损的人脸进行识别。对于这类由于遮挡而无法检测到完整人脸图像的识别问题是难点之一。即便是在用户配合的情况下，如果被识别用户存在伤疤和刘海时对识别也会有影响，如何减少遮挡给识别结果带来的影响也是研究的难点。(2)姿态问题目前多数人脸识别系统的研究都要求人脸必须正对采集设备也就是说人脸照片必须是是正面图像，对于倾斜角度大的人脸和旋转角度大的人脸图像，许多人脸检测算法性能急剧下降，从而造成最终的识别率下降，如何解决因头部姿态的变化所带来的识别困难问题是人脸识别技术的难点之一。姿态引起的人脸图像差异的根源在于二维人脸图像是真实三维图像的一个投影，并且这个投影是不可逆的。基于这个点，许多研究者提出了基于人脸三维模型的识别算法。(3)光照问题 光照问题一直是人脸识别技术在努力解决的问题，人脸不均匀光照等极端光照条件下的人脸识别准确率十分低下，研究者最初对于光照问题建立光照不变锥模型，现在提出了提取人脸光照不变性特征的观点，从这些研究重点来看，如果要解决光照问题，就得从人脸识别系统的各个环节中共同努力，因此对于光照问题的研究一直以来都没能很好地得到解决。目前的商用人脸系统采取用红外光采集设备代替可见光采集设备来降低了光照的影响，尽管能解决大部分识别问题，但是由于设备的本身使用环境的限制，无法在户外光照条件下使用，如何在户外运用该系统，恐怕归根结底还是得回归到解决人脸识别的光照问题上来。(4)年龄变化问题 随着年龄的变化，人脸的外观也会随之变化，这种变化具有必然性和不可逆性。这个过程十分复杂同时收到外界环境和自身基因的影响。特别是处于成长期的青少年与处于衰老期的老年人，这种变化更为明显。在人脸识别方面，人脸年龄变化的主要研究方向主要是人脸验证，即给定一对不同年龄段人脸，能否判别出送一对人脸是否属于同一个人。人脸识别和确认算法主要通过提取人脸老化过程中比较稳定的特征进行人脸识别验证的。(5)不同模态图像识别问题不同的采集设备得到的不同分辨率和不同类型的人脸图像是不同模态的图像。近红外光下的图像与可见光下的图像的识别、超低分辨率的图像与正常的图像如何进行识别。都是现阶段尚未解决的问题。(6)大数据库下的人脸识别 随着人脸库数据规模的增大，传统的人脸识别方法大都是针对较小的数据库进行识别的，即使是某些统计学习识别算法也会因为数据量大而难以正常工作。大数据库导致前面提及的光照、姿态、遮挡问题都集中到了一起，从而导致算法性能急剧下降，因此如何研究一种人脸识别技术使得它能维持在大规模数据人脸库上的识别性能，这同样也是需要面对的难点。无论是静态的人脸识别还是动态的人脸识别，这些困难都是存在且需要解决的难题，如下图是从FERET人脸库38得到的各个状态下的人脸图像实例。图1-2 FERET人脸示例从图1-2所示的同一个人不同状态的人脸图像可以看出，理想的特征表示算法提取人脸特征信息要一方面尽可能的减少因为光照、噪声、遮挡和姿态引起的类内差异，另一方面要扩大因为不同个体间身份的差异而引起的类间差异。考虑到后续的匹配和识别，特征提取算法最好应该是一个利用了标签信息的监督算法，并且带有数据降维的功能。1.5人脸识别的评判标准人脸识别的一个重要问题是如何对算法的性能进行科学合理的评价。多数人脸识别算法都需要一个训练库调整算法参数，最后在测试库上进行算法识别。目前应用最广范的识别算法评价指标包括：1算法时间复杂度，即算法提取特征到完成识别所需要的时间；2算法空间复杂度，即算法提取的特征的维数；3算法的首选识别率（rank-1 recognize rate），即算法比对时取最相似一张图片做为识别结果的准确率；4算法错误接受率（FAR）；5错误拒绝率（FRR）。1.6 本文的主要工作和结构安排 本文的主要工作是研究人脸的特征表示问题。由于上述存在的各种人脸遮挡、姿态变化、光照、年龄老化和表情等状态变化问题，而人脸特征提取环节是关系到这些问题能否解决的核心问题，因此本文重点研究人脸特征提取的有关算法，主要研究工作如下：（1）针对局部序数模式的特征编码方式进行研究，采用k均值聚类方法得到判别能力强的特征。 由于局部序数模式在邻域点数增加后主模数量急剧增加，导致最终的特征直方图的维数也随之增加。从局部二值模式的相关研究中我们知道大的邻域点数得到的特征向量的判别能力更强。因此我们对局部序数模式扩展为增强局部序数模式，通过实验表明该方法提取到判别能力更强的直方图特征。（2）针对类局部特征提取算法框架中的图像滤波进行研究，提出一个基于数据学习的判别滤波方法。并将得到的滤波核应用于图像上进行识别。最后通过实验验证该方法得到的滤波核优于传统的人工指定的滤波核。（3）研究了近红外和可见光图像之间的跨模态识别问题，基于异质图像共同子空间方法，提出了一种融合成对判别滤波核学习与增强序数模式的异质人脸局部特征识别算法。最后通过实验验证该方法的有效性。本文根据相应的研究内容，各个章节的组织结构安排如下：第一章是绪论部分。介绍了人脸识别的研究背景与意义，介绍了人脸识别的评价体系。对人脸识别技术的系统框架作了简单介绍，介绍了人脸识别技术中存在的研究难点问题并给出了本文的主要研究工作和论文结构安排。第二章是人脸局部特征表示的理论概述。介绍了人脸特征表示的经典算法局部二值模式，并对这个算法的优缺点进行分析，并针对该算法提出了类LBP算法的特征提取框架，并依照此框架对相关的改进算法给出介绍。第三章是增强局部量化模式人脸特征表示算法。针对局部二值类特征表示方法中的模式编码部分进行改进，提出一种基于学习的主模生成方法，得到鉴别能力强的主模式。第四章是综合自适应滤波和人脸特征表示方法提出一种跨模态人脸识别算法，分析了跨模态识别存在的问题。通过实验验证了本方法的有效性。第五章是全文研究内容的概括总结，总结本文主要成果和不足之处，并对人脸识别提取算法的后续研究方向进行了展望。第2章类局部二值模式理论综述局部纹理表示算法是针对部分像素之间的关系进行建模提取特征的人脸特征提取算法，相比与直接使用灰度图像，它对于光照、噪声、表情的影响比较稳定。2.1 LBP概述LBP是一种基于灰度值比较的局部纹理结构表示方法，与灰度特征相比表示能力更强。它对于边缘、角点和平滑变化的图像区域都能良好的表示出来。对于任意图像I来说，LBP通过比较中心像素点vc和邻域像素点vc的值来对图像进行重编码，其定义如下：（2-1）其中阈值化函数，只有当x的值大于等于0时函数值为1否则函数值为0；n代表LBP编码总的邻域点数；k表示第k个邻域点；c代表中心像素点。图3-1 LBP编码示意图（a)3X3的邻域图像块；（b）图像块LBP邻域二值化图3-1给出了在3X3的矩形区域内进行LBP编码的全过程。图中的8点邻域对应的编码为155。 Ojala et al16将LBP的矩形邻域进行了扩展，使用双线性插值的方式构建圆形邻域。方便提取不同尺度的信息。此外Ojala et al还观察到8点邻域LBP的主模中发生两次二值跳变的二进制序列占所有的二进制序列的95，并且二值跳变的只有58种不同的情况。相比于256种原始主模数，大大降低了主模数量。据此提出了标准主模局部二值模式（uniform local binary pattern ，ULBP）。二值跳变的定义为二进制串中发生0到1或者1到0 的变化次数。例如二值序列“00000011”的跳变次数为1，“00011000”的跳变次数为2、“10010000”的跳变次数为3、“11001101”的跳变次数为4。ULBP的阈值化过程和LBP一样，区别在于使用二进制的跳变来编码。为了解决LBP算子对于图像旋转的编码问题, Ojala et al又引入了基于旋转不变的局部二值模式(LBPRI)和旋转不变的标准局部二值模式(LBPRIU)。以邻域点数取8为例，LBP一共有28=256种主模，其中标准主模有58种，剩余的198种主模归于一类。于是ULBP一共就是59种模式。类似的可以知道LBPRIU有10种模式。2.2LBP编码的特点LBP编码方式大致分为三步：1图像滤波，2模式采样，3模式编码。图像滤波指的是对图像进行滤波处理增强图像纹理细节。模式采样就是邻域像素点和中心像素点之间的处理方式，LBP是邻域点与中心点进行阈值化处理得到二进制串。模式编码就是如何设置主模，LBP直接将二进制转化为十进制，ULBP求二进制的二值跳变次数。虽然LBP算子计算方法简单，不涉及到复杂的运算，计算速度十分快，对于一张大小为128X128的图像进行LBP编码只需要几个微秒。因此许多的人脸识别系统都采用LBP提出特征。但是他本身存在两个缺陷：1.随着LBP的邻域点数量增加，LBP的主模数量会成指数形式增加。如果邻域点数为n，那么会产生2n种主模。一般来说LBP特征提取方式最后得到的直方图特征的维数都会与主模数量呈正相关。如果主模数一大，最终的直方图特征维数也会相应增大。2.LBP编码虽然对有一定的灰度不变性和旋转不变性，但是对与姿态变化和光照变化等外界环境依然不够鲁棒。2.3针对LBP算法的改进研究者针对LBP算子进行了一系列的改进来弥补这两个缺陷。主要的改进方向有三个：图像滤波、模式采样、模式编码。2.3.1图像滤波上的改进在不同的光照环境下得到的人脸图像存在显著的差异，为了消除这种差异需要对图片进行预处理。具体来说就是对于图像I使用滤波核w进行滤波处理，得到图像f(I)，最终对f(I)进行LBP编码。39的sobel-lbp算法使用sobel核对图像进行滤波后增强图片的细节再进行编码识别。40的MB-LBP使用3*3的均值滤波器对图像滤波后减少了噪声的影响。41的LGBPHS用5种尺度8个方向总共40组gabor滤波器对图像滤波，增强图像细节。 42提出的MBP使用单演信号理论中的Riesz核对图像滤波后再识别。43提出的gradient-lbp使用了梯度幅值和梯度相位图进行编码，梯度幅值和梯度相位图实际上就是图像经过水平方向和垂直方向高斯滤波后得到的。2.3.2针对模式采样的改进LBP方法只使用了邻域点与中心像素点的大小关系，没有利用上邻域点之间的大小关系。tan提出的局部三值模式（LTP）44，LBP邻域点和中心的点阈值只有0和1，LTP算法的阈值有-1，0，1三个。张宝昌5提出了泛化局部异或模式（LXP），LBP是对于邻域点之间的权重是相等的，LXP则是利用相邻的三个邻域点之间的关系来进行编码。Wang Z45提出了局部序数模式算法(LIOP),LIOP针对邻域点之间的大小关系进行排序，对于邻域关系的刻画优于LBP算法中只使用邻域点和中心点进行比较。2.3.3针对模式编码上的改进LBP编码的主模数与邻域点数之间存在指数关系，然而为了判别能力更强的特征有不得不使用较大的邻域点数。针对这个问题Liao S提出了主要二值模式编码算法（Dominant LBP，DLBP）46，对于所有的二值序列使用一个频次表记录其出现的频次，然后取累积频次超过80%的二进制串作为主模。这个方法相比与LBP降低了主模数量。Hussain S U提出了LQP47为了降低邻域数变大而引起的主模急剧增大问题使用了离线K均值距离建立一个码本，通过将二进制序列分成K个子类来编码主模。2.4类局部二值模式的直方图特征提取框架由于人脸图像由于姿态和表情的影响并不能做到精准对齐，采用分块提取直方图特征的方式可以有效的应对图像错误对齐问题。目前LBP特征提取的最常间识别框架为Ahonen T提出的分块直方图特征提取框架15。图3-2 分块LBP直方图特征识别流程图图3-2就是LBP分块直方图特征人脸识别的整体流程，首先对图像进行LBP编码，然后讲图像分成一定数量的子块。接着对每一个子块分别绘制直方图，最终的特征向量就是每个区域对应的直方图的融合。特征分类就是计算特征的相似度并确定图像所属的类别。Chen D使用了一个类似的框架49，指出了图像分块越大的直方图特征的判别能力越好，使用文中的提出的旋转稀疏回归投影进行降维再识别可以得到令人满意的结果。2.4.1直方图特征度量基于图像分块的直方图特征提取是一种局部建模方法，计算得到空间直方图对于表情、饰物，光照，姿态等的变化不敏感。为了对直方图特征进行相似度比较，就需要使用一定的度量标准。对于图片的直方图特征表示来说，传统的欧氏距离度量不再适合用于直方图相似度的计算。目前的方法主要有基于直方图交的方法和基于卡方距离的方法。直方图交是计算两个直方图之间的公共部分，如果公共部分越大，两者相似程度越高。直方图交计算定义为（2-2）卡方距离是计算两个统计量之间的相关性的强弱的方法。卡方距离计算公式如下。卡方距离计算得到的值越小，两个图像的相似程度就越高。（2-3）基于直方图交的度量方法在计算复杂度上优于chi-square距离，但是在精度上稍微劣于chi-square。由于直方图特征的维数较高，使用直方图交就可以到达满意的识别精度，因此本文采用直方图交来计算直方图特征的相似度。2.4.2直方图权重度量方法人脸不同的部位对于身份的辨别具有不同的重要性。例如眼睛，鼻子，嘴巴，对于鉴别一个人的身份具有重要的作用。其他的部位的重要性就稍微次要一些。不同的直方图特征对应的判别能力也就不同，换而言之就是对于不同的直方图块对应不同的权重。另外由于整体的直方图特征是由每一个区域的直方图连接起来的，为每一个区域计算权重的过程就是将区域特征融合为一个整体特征的过程，即特征的融合。上面直方图交的公式改写为（2-4）其中就是第i块直方图对应的权重值。目前关于权重的设置并没有一个很好的方案，大