第9章-人脸识别

单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,人脸识别技术,Face Recognition Technology,吴士泓,2,人脸识别的意义与感性认识,人脸识别的现状,人脸识别的过程,人脸识别的方法,人脸的关键技术,人脸识别系统的开发与试验工具,3,人脸识别的感性认识,人脸识别的意义,人体生物认证技术,人脸识别的系统,人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。,人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技术,人体生物的生物特征包括,生理特征,和,行为特征,两大类。,人体的,生理特征,主要包括人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生俱来的，是先天形成的；,而,行为特征,包括声纹、签名、步态、耳形、按键节奏、身体气味等，这些特征是由后天的生活环境和生活习惯决定的。,这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的。表1对各种生物认证技术作了一个简单的比较。,生物特征识别：,人脸,脸部热量图,指纹,手形,手部血管分布,虹膜,视网膜,签名,语音,7,基于生物特征的身份认证,生物特征=生理特征+行为特征,生理特征,(what you are?),与生俱来，如DNA、脸像、虹膜、指纹等,行为特征,(what you do?),后天习惯使然，如笔迹、步态等,8,人体生物特征的起源于传统的身份认证的问题,基于知识的身份认证,(what you know?),容易忘记,容易被盗,容易攻击,基于令牌的身份认证,(what you have?),容易丢失,容易被盗,容易伪造,知识+令牌,我们必须寻找更加可靠便捷的身份认证方法,-人体生物认证,10,常用生物特征的比较,A. Jain, L. Hong and S. Pankanti. “Biometrics: Promising Frontiers for Emerging Identification Market”， Communication ACM, 2000,生物特征,普遍性,独特性,稳定性,可采集性,性能,接受程度,防欺骗性,人脸,High,Low,Medium,High,Low,High,Low,指纹,Medium,High,High,Medium,High,Medium,High,手形,Medium,Medium,Medium,High,Medium,Medium,Medium,虹膜,High,High,High,Medium,High,Low,High,视网膜,High,High,Medium,Low,High,Low,High,签名,Low,Low,Low,High,Low,High,Low,声音,Medium,Low,Low,Medium,Low,High,Low,人脸识别的意义,Bill Gates: 以人类生物特征进行身份验证的生物识别技术，在今后数年内将成为IT产业最为重要的技术革命,12,生物特征的评估,普遍性,Universality,唯一性,Uniqueness,恒久性,Permanence,易采集性,Collectability,系统性能,Performance,(achievable identification accuracy, resource requirements, robustness),用户接受程度,User Acceptance,防欺骗能力,Resistance to Circumvention,13,各种生物特征市场份额的统计,生物认证技术市场收入的预测,14,15,人脸识别的应用,人脸识别系统在金融、证券、社保、公安、军队及其他需要安全认证的行业和部门有着广泛的应用,典型应用,罪犯调查,访问控制,人员考勤,重用门票,驾驶执照,电子商务,信用卡,准考证,身份证,北京奥运开幕式,人脸识别,门票查验现场观众,人脸,身份验证,中科院人脸识别技术成功用于奥运会开幕式,8月8日，数万名观众由国家体育场鸟巢的100多个人脸识别系统快速身份验证关口有序入场，参加2008北京奥运会的开幕式。据悉，该验证系统是由中科院自动化所研制的。,“911”事件是生物特征认证技术在全球发展的一个转折点。“911”以后生物识别技术的重要性被全球各国政府更加清楚地认识到。,传统的身份鉴别技术,面临反恐任务时所表现出来的缺陷，使得各国政府在研究与应用上对生物特征识技术开始了大规模的投资。,在美国：三个相关的法案（爱国者法案、边境签证法案、航空安全法案）都要求必须采用,生物识别技术,作为法律实施保证。总体上来说，国外生物认证技术的应用已经进入了以政府应用为主的阶段。,深圳康贝尔人脸识别系统,人脸识别门禁系统,人脸识别大型场馆准入系统,人脸识别在银行金库的应用,中国人民银行规定所有的金库安防监控系统都要有人脸识别功能,联合国的国际民用航空组织(ICAO)已对188个成员国发布了航空领域,使用生物特征认证技术,的规划，提出将在个人护照中加入生物特征(包括指纹识别、虹膜识别、面相识别)，并在进入各个国家的边境时进行个人身份的确认。目前，此规划已经在美国、欧盟、澳大利亚、日本、南韩、南非等国家和地区通过，从2004年底就开始实施了。,人脸识别技术在国外的研究现状,当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有,美国MIT的Media lab,AI lab,CMU（,卡耐基-梅隆大学,）的Human-Computer Interface Institute，Microsoft Research,英国的Department of Engineering in University of Cambridge（剑桥大学）等。,综合有关文献，目前的方法主要集中在以下几个方面：,综合有关文献，目前的方法主要集中在以下几个方面：,（1）模板匹配,（2）示例学习,（3）神经网络,（4）基于隐马尔可夫模型的方法,除此以外，,基于AdaBoost的人脸识别算法，,基于彩色信息的方法，,基于形状分析的方法，,以及多模态信息融合的方法，国外都进行了大量的研究与实验。,研究现状,国际上,对,人脸及人脸面部表情识别的研究,现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入,90,年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI,可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中,MIT,、,CMU,、,Maryland,大学、,Standford,大学、日本城蹊大学、东京大学、,ATR,研究所的贡献尤为突出,。,国内的研究工作主要是集中在三大类方法的研究：,基于几何特征的人脸正面自动识别方法,基于代数特征的人脸正面自动识别方法,基于连接机制的人脸正面自动识别方法。,人脸识别的过程,32,人脸识别的过程,登记过程,识别过程,一对一的验证过程,一对多的辨别过程,33,登记过程,34,一对一的验证过程,35,一对多的辨别过程,人脸识别系统,所谓人脸识别系统，是指不需要人为干预，能够自动获取人脸图像并且辨别出其身份的系统,一个人脸识别系统至少要包含三个部分，即数据采集子系统、人脸检测子系统和人脸识别子系统,数据采集子系统,人脸识别子系统,人脸检测子系统,人脸识别系统,识别结果：,He is !,人脸检测与人脸识别的研究内容,(1)人脸检测（Face Detection）,人脸检测（Face Detection）是指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。,(2)人脸识别,人脸识别细分为两类，一类是回答我是谁的问题，即辨认（Identification），另一类是回答这个人是我吗？即确认,（Verification）。,显然，用于Identification模式的识别系统对算法的运算速度的要求要高于,Verification,模式的识别系统。,从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。,人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。,人脸识别是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。,换句话说，人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。,应用人脸识别,人脸检测与人脸识别的评价标准,定义1：检测（Detection）指对人脸图像进行检测和定位的过程。,定义2：拒检（Detection Rejection）指不能正常检测到人脸或人脸不能定位以及人脸检测失败。,定义3：拒检率DRR（Detection Rejection Rate）指被拒检的人脸图像占统计总数的比例，用百分比表示。,定义4：比对（Matching）指以人脸特征与另一人脸特征比较的过程。,定义5：匹配相似度（Similarity）人脸特征比对的输出结果，代表参与比对的两个人脸特征的相似程度。用0到1之间的小数表示，该数字愈大表示比对的人脸特征相似程度愈大，该数字愈小表示参与比对的人脸特征相似程度愈小。,定义6：错误拒绝FR（False Rejection）指定某匹配相似度为判定阈值，在来自于同一个个体的人脸特征之间的比对，其结果（匹配相似度）小于设定阈值。即指授权人不能被正确接受的比率。,定义7：错误接受FA（FalseAcceptance）指定某匹配相似度为判定阈值，在来自于同一个个体的人脸特征之间的比对，其结果（匹配相似度）大于设定阈值。即指非授权人错误的判断为授权人的比率。,定义8：错误拒绝率（False Rejection Rate）指发生FR的比对次数占总统计比对次数的比例，用百分比表示，也叫拒真率。,定义9：错误接受率FAR（FalseAcceptance Rate）指发生FA的比对次数占总统计比对次数的比例，用百分比表示，也叫错误通过率，或认假率。,定义10：相等错误率EER（Equal Error Rate）指在某给定匹配相似度下，FAR与FRR相等时的错误率，即FAR=FRR。,定义11：登录时间（Enrollment Time）从一幅人脸图像获取后，进行人脸检测、定位和特征提取所花费的时间，此时间是数学统计平均值，用毫秒（ms）表示。,定义12：比对时间（Matching Time）比较两张人脸特征所花费的时间，此时间包含文件读写时间的数学统计平均值，用毫秒（ms）来表示。或者是将一张人脸特征与一定数量的人脸特征进行比对所花费的时间的总和，表示为毫秒/万人。,定义13：首选识别率（First Hit）匹配相似度最大的人脸是正确的人的比率。即将识别结果按照匹配相似度从大到小排列，排在第一位的人脸就是正确的被识别的人的比率。,定义14：累计识别率（Firs n Hit）正确的识别结果在前N个候选人中的比率。即将识别结果按照匹配相似度从大到小排列，在前N个结果中存在被识别的人的比率。,特征脸,（eigenface）,方法,是人脸识别的基准技术，并已成为事实上的工业标准,该方法基于主成分分析（PCA）,PCA是将分散在一组变量上的信息集中到某几个综合指标（主成分）上的数学方法，实际上起着数据降维的作用，并保证降维过程最大化保留原数据的差异,这对最大化类间差异（即不同人之间的差异）并最小化类内差异（即同一人的不同图像间的差异）很有效,用PCA将2维数据降到1维的例子，绿色点表示二维数据，PCA的目标就是找到这样一条直线，使得所有点在这条直线上的投影点之间的平均距离最大。也就是最大化地保留了原数据的差异性,特征脸方法,直接计算,C,的本征值和本征向量是困难的，可以通过对矩阵 做奇异值分解间接求出,m,值的选择：,如果将本征向量恢复成图像，这些图像很像人脸，因此称为“特征脸”,M. Turk & A. Pentland, JCN91,特征脸特征（eigenfeature）方法,利用PCA分析眼、鼻、嘴等局部特征，即特征脸特征方法,R. Brunelli & T. Poggio, TPAMI93,A. Pentland,et al., CVPR94,这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来,特征脸 vs. 特征脸特征,特征脸利用全局特征，特征脸特征利用局部特征，二者各有优势,待识别图像,特征脸识别结果,特征脸特征识别结果,A. Pentland,et al., CVPR94,特征脸 vs. 特征脸特征,(2),(1),(3),(4),难题能否自动确定：,该用哪些特征？,（眼睛？鼻子？嘴？）,特征的确切位置在哪儿？,（从哪儿到哪儿算眼睛？,）,将二者结合，可以得到更好的识别效果,同样，这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来,由于嘴部受表情影响很严重，因此未考虑嘴部特征,实验结果,X. Geng & Z.-H. Zhou, unpub04,FERET人脸数据库上的结果,(3),(2),(1),(4),(2),(1),(3),(4),待识别图像出现在算法返回的前Rank个图像中,SEME选择的特征,本征脸+本征特征所用的特征,SEME的可扩展性,SEME的训练（计算）开销很大，但只需训练一次,X. Geng & Z.-H. Zhou, unpub04,将FERET人脸数据库上选择出的本征空间集成直接用于ORL（左）和BioID（右）这两个人脸数据库的结果,人脸识别的关键问题,1.人脸面部形态（面型、眼睛、鼻子）,2.人脸识别中的视觉特征,（早期MARR理论框架3个层次计算理论、算法、实现机制；现多层次）,3人脸识别中的光照问题,4.人脸识别中的姿态问题,面部特征提取算法,几何特征提取,统计特征提取（主成分、2维主成分、线性判别分析法、独立成分分析法）,频率域特征提取（Gabol、离散余弦）,运动特征提取,代数特征提取,面部特征的模式识别算法,线性判别分析（Fisher 线性判别）,支持向量机SVM,贝叶斯网络,隐马尔可夫模型及其基本问题,人工神经网络,模糊模式识别,人脸识别系统设计与实现,人脸识别系统的总体设计,人脸识别系统的算法设计,人脸识别系统的实现,人脸识别系统的开发与试验工具,Intel 开源计算机视觉库OpenCV简介,http:/forum/,Intel 开源计算机视觉库OpenCV,OpenCV概述,目录,1 什么是OpenCV,2 重要特性,3 谁创建了它,4 新特征,5 从哪里下载 OpenCV,6 如果在安装/运行/使用 OpenCV 中遇到问题,7 OpenCV参考手册,8 中文翻译者,什么是OpenCV,OpenCV是Intel开源计算机视觉库。它由一系列 C 函数和少量 C+ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。,opencv自带的sample里面有很多识别例子，有人脸视频跟踪的，还有画图的，也有定位人脸的。,总纲：,用C/C+编写的开源计算机视觉库。,目的是为了实时应用。,独立于操作系统/硬件/图形管理器。,通用的图像/视频载入、保存和获取模块。,底层和高层的应用开发包。,OpenCV 模块：,cv 主要的OpenCV 函数。,cvaux 辅助的（实验性的）OpenCV 函数。,cxcore 数据结构与线性代数支持。,highgui 图像界面函数。,重要特性,OpenCV 拥有包括 300 多个C函数的跨平台的中、高层 API。它不依赖于其它的外部库尽管也可以使用某些外部库。,OpenCV 对非商业应用和商业应用都是免费（FREE）的。（细节参考 license）。,OpenCV 为Intel Integrated Performance Primitives (IPP) 提供了透明接口。 这意味着如果有为特定处理器优化的的 IPP 库， OpenCV 将在运行时自动加载这些库。 更多关于 IPP 的信息请参考：,http:/,从哪里下载 OpenCV,访问,http:/,。您可以直接下载exe文件的安装包（windows用户），或者您可以通过代码管理工具（比如SVN或者CVS等下载openCV最新的源代码），您甚至不需要安装任何代码管理工具，直接通过sourceforge网站上提供的打包下载源代码的办法下载，具体可以参考,Mingw编译最新版本的OpenCV代码,。,如果在使用OpenCV存在问题，在 Google (,http:/,)中输入 OpenCV 和相关问题的关键字进行搜索。也可以到本网站的论坛上面发帖来咨询。论坛地址是：,opencv中文论坛,。,如果在安装/运行/使用 OpenCV 中遇到问题,阅读,FAQ中文,在 OpenCV 邮件列表 （,http:/,）中搜索。,加入到 yahoo group 上的 OpenCV 邮件列表中（如何加入请参考 FAQs），并发送你的问题到邮件列表中。（这个邮件列表可能会迁移到,OpenCVs SourceForge site,）,参考 OpenCV 的例子代码，阅读参考手册:),OpenCV参考手册,CxCore中文参考手册,Cv中文参考手册,CvAux中文参考手册,HighGUI中文参考手册,中文翻译者,于仕琪，,中科院自动化所自由软件协会,HUNNISH，,阿须数码,