人脸识别系统课件

人脸识别系统 常见的门禁系统有：密码门禁，IC/ID卡门禁，指纹虹膜掌型生物识别门禁等。常见的门禁类型常见的门禁类型 密码技术IC卡技术指纹识别技术指纹识别技术人脸识别技术人脸识别技术虹膜识别技术虹膜识别技术门禁系统举例二人脸识别技术综述二人脸识别技术综述人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。为什么选择人脸识别身份？o人世间找不两张完全一样的脸！n人脸是人类赖以区分不同人的基本途径o世间一切尽在脸上！n基因+成长环境尽管双胞胎在基因层面也许区别尽管双胞胎在基因层面也许区别尽管双胞胎在基因层面也许区别尽管双胞胎在基因层面也许区别不大，但后天的成长历程都镌刻不大，但后天的成长历程都镌刻不大，但后天的成长历程都镌刻不大，但后天的成长历程都镌刻在了他们的脸孔上！所以随着年在了他们的脸孔上！所以随着年在了他们的脸孔上！所以随着年在了他们的脸孔上！所以随着年龄的增长，他们的脸孔会更加不龄的增长，他们的脸孔会更加不龄的增长，他们的脸孔会更加不龄的增长，他们的脸孔会更加不同。另外一个例子就是所谓的同。另外一个例子就是所谓的同。另外一个例子就是所谓的同。另外一个例子就是所谓的“夫妻相夫妻相夫妻相夫妻相”，尽管基因不同，但共，尽管基因不同，但共，尽管基因不同，但共，尽管基因不同，但共同的生活经历导致了其面孔的趋同的生活经历导致了其面孔的趋同的生活经历导致了其面孔的趋同的生活经历导致了其面孔的趋同。同。同。同。提纲o从模式识别到人脸识别o人脸识别的背景知识o人脸识别的基本原理o人脸检测与识别的典型方法从模式识别到人脸识别人脸识别是模式识别的一个典型案例，它为模式识人脸识别是模式识别的一个典型案例，它为模式识人脸识别是模式识别的一个典型案例，它为模式识人脸识别是模式识别的一个典型案例，它为模式识别问题研究提供了一个良好的实验平台，所以，众别问题研究提供了一个良好的实验平台，所以，众别问题研究提供了一个良好的实验平台，所以，众别问题研究提供了一个良好的实验平台，所以，众多模式识别的知名专家、学者都在从事人脸识别的多模式识别的知名专家、学者都在从事人脸识别的多模式识别的知名专家、学者都在从事人脸识别的多模式识别的知名专家、学者都在从事人脸识别的研究！研究！研究！研究！从模式识别到人脸识别光学光学摄像摄像机机人脸人脸检测检测器器特征特征提取提取器器分类分类器器后处理器后处理器人人物物身身份份人脸人脸表面表面传感传感器器分割分割器器特征特征提取提取器器后处理器后处理器决决策策客观客观世界世界模式模式分类器分类器分类器分类器特征特征特征特征提取提取提取提取器器器器人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。关于传感器与预处理o传感器：客观世界模式的测量问题n人脸：数字化为2D图像？3D形状？红外温谱？n分辨率、精度、灵敏度、失真度等等n真实性？稳定性？o预处理：保证数据的纯洁度o模式识别理论基本不关心这两项内容，而在应用上，是必须作为重要内容来考虑的，否则可能根本就是不可解的问题！关于特征表示问题o关于特征提取与分类器n理想的特征提取理想的特征提取过程可使得后续的分类器设计成为小菜一碟，万能的分类器万能的分类器似乎也应该使得设计者不必刻意设计特征提取过程！n没有万能的分类器！o甚至没有所谓最好的分类器，不同的分类器有不同的适用范围！o但对具体问题，可能会有最适合的特征表示方法，而不同的特征表示也需要采用不同的分类器关于数据问题oMath is king,data is queen!o在基于统计学习的模式识别问题中，采用什么样的数据、多少数据往往决定了问题的成败，而不是采用了什么样的学习算法n目标不同：模式识别研究的是有了特定属性数据之后如何设计“对所有可能的情况”最优的分类器，而应用上却要考虑“为了解决某个特定识别问题”如何去选择数据？o只为了识别中国人，需要把外国人的数据拿来训练吗？o为了识别正楷文字，需要把行书也拿来训练吗？o但是，在理论上却有另一个问题关于泛化能力o泛化能力n对于没有训练学习过的模式样本的识别能力o只用中国人训练的模型能否识别老外？异族人脸识别困难现象。o婴儿：“独眼龙”不是人？o在实践中，也许想办法加入更多的有代表性的训练样本更能解决问题，而不是去设计更复杂的分类器或者学习机n充分利用手头样本小结o对一般方法的掌握程度o对特定问题的理解程度o应用中需要更多的关注：n传感器的选择，比如什么样的摄像机？n预处理：如何去除各种干扰因素？n特征表示问题：什么是本质的类别特征？n为了解决某一应用问题，选择什么样的数据训练分类器？共同决定了最终的成败共同决定了最终的成败共同决定了最终的成败共同决定了最终的成败！人脸识别的相关背景应用模式典型具体应用特点说明应用领域身份识别出入境管理过滤敏感人物（间谍、恐怖分子等）国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物（间谍、恐怖分子等）网上追逃在PDA等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅，预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份，提供个性化界面智能Agent自动识别用户身份，提供个性化界面真实感虚拟游戏提供真实感的人物面像，增加交互性身份验证护照、身份证、驾照等各类证件查验海关、港口、机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便，快捷，杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互人脸识别相关研究内容o生物特征识别n人脸、指纹、虹膜、视网膜、掌纹、o人机交互(HCI)o人脸图像编码/压缩o表情分析，情感计算 o人脸动画 face animationo人脸属性分类n种族、性别、年龄oAttractiveness判别生物特征识别技术(Biometrics)与其他生物特征识别的比较o生物特征识别：未来的身份验证方法！n生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱n行为：笔迹、步态、声纹o人脸识别的优点n可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用n非接触式采集，没有侵犯性，容易接受n方便、快捷、强大的事后追踪能力n符合我们人类的识别习惯，可交互性强，无需专家评判o人脸识别的不足n不同人脸的相似性大n安全性低，识别性能受外界条件的影响非常大From the same person?Yes?No?没有想象的那么简单！oHow many individuals in this picture?人脸识别的基本原理人脸识别的基本原理及其计算模型探讨及其计算模型探讨我们的眼睛靠什么识别？o皮肤和肤色光滑/粗糙，黝黑/白皙o动态特征酒窝，皱纹o局部特性黑痣，刀疤，独眼龙人的优势：强大的背景知识！人的优势：强大的背景知识！人类视觉识别系统特性简介及其借鉴意义 o人脸识别是否是一个特定的过程？n证据：“人脸识别能力缺失症（Prosopagnosia）”患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。o全局特征与局部特征孰轻孰重？n全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申”8种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸3D结构和肌肉凸凹情况）n而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等 n二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。局部特征 vs 全局特征o明星漫画：夸大了独特之处n问题：How to find these salient features automatically?局部特征 vs 全局特征人类视觉识别系统特性简介及其借鉴意义o面部特征对识别的重要性分析 n不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征o异族人脸识别困难现象n这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力 o性别和年龄阶段对于识别性能的影响 n女性要比男性更难识别；年轻人比老年人更难识别 o频域特性与人脸识别的关系 n低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化 n要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以 人类视觉识别系统特性简介及其借鉴意义o特异度对人脸识别的影响 n最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住 n“大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见 o光照变化与人脸识别n反相照片（负片）的识别时很困难的；n下方光源人脸图像难以识别o姿态不变性n不变性？o运动人脸图像序列n提供了更多的国内外研究现状及其分析国内外研究现状研究机构o国外研究机构情况n以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组o大学：CMU,MIT,Michigan State University,UCLA,University of Manchester，UMD,USC,University of Surreyn评测：FERET(94-97),FRVT(2000/2002),(X)M2VTS,FVCo国内研究机构简况n大学：清华大学3家，哈尔滨工业大学,上海交大，浙大研究所：计算所，自动化所等国际研究现状o在比较良好的环境条件情况下，对1000人左右基本正面人脸进行识别的性能：n首选识别率：95%以上n等错误率：2%以下o在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：n首选识别率：80%以下n等错误率：10%以上人脸识别的主要方法典型方法o基于几何特征的识别方法o基于颜色特征的识别方法o基于模板匹配的识别方法o可变形模板方法o主动轮廓总结o人脸识别n革命尚未成功，吾辈尚需努力！n可能在未来10年内有所突破！o知识储备nMath is king,data is queen!n计算机视觉、图形学知识非常重要！Relaxo测试：找找看有多少人脸？