人脸识别系统课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人脸识别系统,常见的门禁系统有：密码门禁，,IC/ID,卡门禁，指纹,虹膜,掌型生物识别门禁等。,常见的门禁类型,密码技术,IC,卡技术,指纹识别技术,人脸识别技术,虹膜识别技术,门禁系统举例,二人脸识别技术综述,人脸识别，是基于人的脸部特征信息进行身份识别的一种,生物识别技术。用摄像机或摄像头采集含有人脸的图像或,视频流，并自动在图像中检测和跟踪人脸，进而对检测到,的人脸进行脸部的一系列相关技术，通常也,叫做人像识别、面部识别。,为什么选择人脸识别身份？,人世间找不两张完全一样的脸！,人脸是人类赖以区分不同人的基本途径,世间一切尽在脸上！,基因,+,成长环境,尽管双胞胎在基因层面也许区别不大，但后天的成长历程都镌刻在了他们的脸孔上！所以随着年龄的增长，他们的脸孔会更加不同。另外一个例子就是所谓的“夫妻相”，尽管基因不同，但共同的生活经历导致了其面孔的趋同。,提纲,从模式识别到人脸识别,人脸识别的背景知识,人脸识别的基本原理,人脸检测与识别的典型方法,从模式识别到人脸识别,人脸识别是模式识别的一个典型案例，它为模式识别问题研究提供了一个良好的实验平台，所以，众多模式识别的知名专家、学者都在从事人脸识别的研究！,从模式识别到人脸识别,光学摄像机,人脸检测器,特征提取器,分类器,后处理器,人物身份,人脸表面,传感器,分割器,特征提取器,后处理器,决策,客观世界模式,分类器,特征提取器,人脸,识别,系统主要包括四个组成部分，分别为：,人脸图像采集及检测、人脸图像预处理、人脸图像特征提取,以及匹配与识别。,关于传感器与预处理,传感器：客观世界模式的测量问题,人脸：数字化为,2D,图像？,3D,形状？红外温谱？,分辨率、精度、灵敏度、失真度等等,真实性？稳定性？,预处理：保证数据的纯洁度,模式识别理论基本不关心这两项内容，而在应用上，是必须作为重要内容来考虑的，否则可能根本就是不可解的问题！,关于特征表示问题,关于特征提取与分类器,理想的特征提取,过程可使得后续的分类器设计成为小菜一碟，,万能的分类器,似乎也应该使得设计者不必刻意设计特征提取过程！,没有万能的分类器！,甚至没有所谓最好的分类器，不同的分类器有不同的适用范围！,但对具体问题，可能会有最适合的特征表示方法，而不同的特征表示也需要采用不同的分类器,关于数据问题,Math is king,data is queen!,在基于统计学习的模式识别问题中，采用什么样的数据、多少数据往往决定了问题的成败，而不是采用了什么样的学习算法,目标不同：模式识别研究的是有了特定属性数据之后如何设计“对所有可能的情况”最优的分类器，而应用上却要考虑“为了解决某个特定识别问题”如何去选择数据？,只为了识别中国人，需要把外国人的数据拿来训练吗？,为了识别正楷文字，需要把行书也拿来训练吗？,但是，在理论上却有另一个问题,关于泛化能力,泛化能力,对于没有训练学习过的模式样本的识别能力,只用中国人训练的模型能否识别老外？异族人脸识别困难现象。,婴儿：“独眼龙”不是人？,在实践中，也许想办法加入更多的有代表性的训练样本更能解决问题，而不是去设计更复杂的分类器或者学习机,充分利用手头样本,小结,对,一般方法的掌握程度,对特定问题的理解程度,应用中需要更多的关注：,传感器的选择，比如什么样的摄像机？,预处理：如何去除各种干扰因素？,特征表示问题：什么是本质的类别特征？,为了解决某一应用问题，选择什么样的数据训练分类器？,共同决定了最终的成败！,人脸识别的相关背景,应用模式,典型具体应用,特点说明,应用领域,身份识别,出入境管理,过滤敏感人物（间谍、恐怖分子等）,国家安全,公共安全,嫌疑人照片比对,公安系统用于确定犯罪嫌疑人身份,敏感人物智能监控,监控敏感人物（间谍、恐怖分子等）,网上追逃,在,PDA,等移动终端上进行现场比对,会议代表身份识别,防止非法人员进入会场带来危险因素,关键场所视频监控,如银行大厅，预警可能的不安全因素,家政服务机器人,能够识别家庭成员的智能机器人,人机交互,自动系统登陆,自动识别用户身份，提供个性化界面,智能,Agent,自动识别用户身份，提供个性化界面,真实感虚拟游戏,提供真实感的人物面像，增加交互性,身份验证,护照、身份证、驾照等各类证件查验,海关、港口、机要部门等查验持证人的身份是否合法,公共安全,准考证查验,防止替考问题,教育,机要部门物理门禁,避免钥匙和密码被窃取造成失窃,公共安全,机要信息系统门禁,避免单纯的密码被窃取造成信息被窃,信息安全,面像考勤系统,方便，快捷，杜绝代考勤问题,企业应用,金融用户身份验证,避免单纯的密码被窃取造成财产损失,金融安全,电子商务身份验证,安全可靠的身份验证手段,金融安全,智能卡,安全可靠的授权,信息安全,会议代表身份验证,防止非法人员进入会场带来危险因素,公共安全,屏幕保护程序,方便快捷的允许合法用户打开屏保,人机交互,人脸识别相关研究内容,生物特征识别,人脸、指纹、虹膜、视网膜、掌纹、,人机交互,(HCI),人脸图像编码,/,压缩,表情分析，情感计算,人脸动画,face animation,人脸属性分类,种族、性别、年龄,Attractiveness,判别,生物特征识别技术,(Biometrics),与其他生物特征识别的比较,生物特征识别：未来的身份验证方法！,生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱,行为：笔迹、步态、声纹,人脸识别的优点,可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用,非接触式采集，没有侵犯性，容易接受,方便、快捷、强大的事后追踪能力,符合我们人类的识别习惯，可交互性强，无需专家评判,人脸识别的不足,不同人脸的相似性大,安全性低，识别性能受外界条件的影响非常大,From the same person?Yes?No?,没有想象的那么简单！,How many individuals in this picture?,人脸识别的基本原理及其计算模型探讨,我们的眼睛靠什么识别？,皮肤和肤色,光滑,/,粗糙，黝黑,/,白皙,动态特征,酒窝，皱纹,局部特性,黑痣，刀疤，独眼龙,人的优势：强大的背景知识！,人类视觉识别系统特性简介及其借鉴意义,人脸识别是否是一个特定的过程？,证据：“人脸识别能力缺失症（,Prosopagnosia,）”,患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。,全局特征与局部特征孰轻孰重？,全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申”,8,种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸,3D,结构和肌肉凸凹情况）,而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等,二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。,局部特征,vs,全局特征,明星漫画：夸大了独特之处,问题：,How to find these salient features automatically?,局部特征,vs,全局特征,人类视觉识别系统特性简介及其借鉴意义,面部特征对识别的重要性分析,不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征,异族人脸识别困难现象,这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力,性别和年龄阶段对于识别性能的影响,女性要比男性更难识别；年轻人比老年人更难识别,频域特性与人脸识别的关系,低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化,要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以,人类视觉识别系统特性简介及其借鉴意义,特异度对人脸识别的影响,最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住,“大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见,光照变化与人脸识别,反相照片（负片）的识别时很困难的；,下方光源人脸图像难以识别,姿态不变性,不变性？,运动人脸图像序列,提供了更多的,国内外研究现状及其分析,国内外研究现状,研究机构,国外研究机构情况,以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组,大学：,CMU,MIT,Michigan State University,UCLA,University of Manchester,，,UMD,USC,University of Surrey,评测：,FERET(94-97),FRVT(2000/2002),(X)M2VTS,FVC,国内研究机构简况,大学：清华大学,3,家，哈尔滨工业大学,上海交大，浙大研究所：计算所，自动化所等,国际研究现状,在比较良好的环境条件情况下，对,1000,人左右基本正面人脸进行识别的性能：,首选识别率：,95%,以上,等错误率：,2%,以下,在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：,首选识别率：,80%,以下,等错误率：,10%,以上,人脸识别的主要方法,典型方法,基于几何特征的识别方法,基于颜色特征的识别方法,基于模板匹配的识别方法,可变形模板方法,主动轮廓,总结,人脸识别,革命尚未成功，吾辈尚需努力！,可能在未来,10,年内有所突破！,知识储备,Math is king,data is queen!,计算机视觉、图形学知识非常重要！,Relax,测试：找找看有多少人脸？,