附录B人脸和表情识别

,第,*,页,第,13,讲,附录,B,人脸和表情识别,B.1,生物特征识别,B.2,人脸检测定位,B.3,脸部器官提取和跟踪,B.4,表情识别,B.5,人脸识别,章毓晋(TH-EE-IE),B.1,生物特征识别,1,、生物特征,人脸、指纹、掌纹、手形、虹膜、视网膜、步态、足迹、笔迹和签名等（还有一些借助其他技术的，如语音，染色体,DNA,等）,普遍性（人人拥有）、惟一性（人与人不 同）、稳定性（不因时间、年龄、环境的变化而变化）和采集方便性（应采集容易，设备简单，对人影响程度小）,章毓晋(TH-EE-IE),B.1,生物特征识别,2,、生物特征性能比较,章毓晋(TH-EE-IE),B.2,人脸检测定位,人脸检测定位是人脸分析中的第一步,要在输入图象中搜索人脸，并确定人脸的位置、尺寸等信息,B.2.1,人脸检测定位的基本方法,B.2.2,基于,Hausdorff,距离的人脸检测定位,章毓晋(TH-EE-IE),人脸检测定位的基本方法,利用静止图象,(1),基于特征的方法：,在图象中搜索特定的角点，边缘，肤色和纹理区域来定位人脸,(2),基于人脸知识的方法：,根据对人脸知识的了解，建立人脸特征间联系的规则，再根据这些规则来判断检测和定位的结果,(3),基于模板匹配的方法：,先对人脸建模，构建相应的模板，通过匹配来检测和定位人脸,章毓晋(TH-EE-IE),人脸检测定位的基本方法,利用静止图象,(4),基于外观的方法：,基于外观的方法也使用模板匹配的方法来检测和定位人脸，只是这里的模板（或模型）是通过训练学习而得到的,利用视频图象,(1),基于图象差的方法：,与检测运动目标的方法类似,(2),基于光流场的方法：,也与检测运动目标的方法类似,章毓晋(TH-EE-IE),Hausdorff,距离：,目标的匹配在一定意义上是点集的匹配,Hausdorff,距离的几何意义,如果点集,A,和,B,之间的,Hausdorff,距离为,d,，那么一个点集中的所有点将都落在另外一个点集中以任意一点为中心，以,d,为半径的圆中,基于,Hausdorff,距离的人脸检测方法,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,Hausdorff,距离：,如上定义的,Hausdorff,距离对噪声点或点集的外野点（,outline,）很敏感,改进的,Hausdorff,距离,用平均值代替最大值,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,1.,方差加权的,Hausdorff,距离,MHD,对点在点集中的分布不敏感,图,(a),和图,(b),的,MHD,均为,d,，但图,(a),中点的分布应比图,(b),中点的分布给出更小的,Hausdorff,距离才符合一般情况,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,1.,标准方差改进的,Hausdorff,距离,借助点集间距离的标准方差,S,(,A,B,),表示点集,A,中一点到点集,B,中最远点距离的标准差,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,1.,标准方差改进的,Hausdorff,距离,S,(,B,A,),表示点集,B,中一点到点集,A,中最远点距离的标准差,对图,(a),有,S,(,A,B,)=,S,(,B,A,)=0,，而对图,(b),有,S,(,A,B,)=,S,(,B,A,)=3,1/2,标准差加权的,Hausdorff,距离（,SDWHD,）,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,1.,标准方差改进的,Hausdorff,距离,上述改进距离不仅考虑了两个点集间的平均距离，而且通过引入点集间距离的标准差加入了点集间点的分布信息（点分布的一致性），所以对点集的刻画更为细致,参数,k,：,调节分布信息在距离计算中所占的比重,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,2,边缘加权的,Hausdorff,距离,人脸区域中不同位置的贡献不同,对,Hausdorff,距离中的各项分别进行加权,权值函数可以根据图象灰度值来确定,将灰度值（利用取阈值法）转化为二值时常丢失一些信息，不能完全忠实地反映图象上各点对人脸匹配的重要性,权值函数可以根据图象边缘信息来确定,能够更直接有效地反映人脸的结构信息,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,2,边缘加权的,Hausdorff,距离,人脸图象，边缘图象,，二值图象,权值函数正比于训练集中各图象在对应位置处边缘点出现的频率,章毓晋(TH-EE-IE),基于,Hausdorff,距离的人脸检测方法,2,边缘加权的,Hausdorff,距离,人脸检测定位方法的比较实验,相对误差指标：,d,=,max(,d,l,d,r,)/|,C,lt,C,rt,|,其中,C,lt,和,C,rt,分别为左右两个眼睛中心的真实值，而,d,l,和,d,r,分别为左右两个眼睛中心的真实值与检测值的差,HD,MHD,EFWHD,BioID,数据库,0.9788,0.4962,0.2513,CMU,数据库,0.6037,0.5157,0.1153,章毓晋(TH-EE-IE),B.3,脸部器官提取和跟踪,脸上器官对人脸识别和表情分类都很重要,眼睛几何模型及确定,眨眼过程中的眼睛轮廓跟踪,章毓晋(TH-EE-IE),眼睛几何模型及确定,典型的眼睛几何模型,可变形模型或模板,一个圆表示虹膜的轮廓,两条抛物线表示上下眼,帘的轮廓,利用,P,1,和,P,2,的信息可以帮助调整眼睛的宽度,利用,P,3,到,P,6,的信息可以帮助确定眼帘的高度以及帮助精确和鲁棒地计算眼睛参数,章毓晋(TH-EE-IE),眼睛几何模型及确定,借助,SUSAN,算子检测角点,G,为一个固定的几何阈值，可取为,3,S,max,/4,，,S,max,是,S,所能取得的最大值（等于检测模板的象素数减,1,）,章毓晋(TH-EE-IE),眼睛几何模型及确定,采用主动轮廓模型确定眼睛几何模型,能量项,N,为所检测出的角点个数,R,(,x,i,y,i,),为在第,i,个角点处的检测响应值,谷点域 峰点域 边缘点域 角点域,章毓晋(TH-EE-IE),眼睛几何模型及确定,眼睛（虹膜和眼帘）检测示例,三步法,原始图象 初始轮廓,第,1,步后 第,2,步后 第,3,步后,章毓晋(TH-EE-IE),眨眼过程中的眼睛轮廓跟踪,1.,虹膜跟踪,对虹膜的检测可帮助判定眼睛的闭合状态,对虹膜的具体检测中仅考虑其下半圆,双状态眼睛模型,如果虹膜被检测到，则认为眼睛的状态为睁开，并利用眼帘中点来跟踪眼帘的位置反之，则认为眼睛的状态为闭合，采用一条直线来描述眼睛,章毓晋(TH-EE-IE),眨眼过程中的眼睛轮廓跟踪,1.,虹膜跟踪,(1),计算第一帧图象中虹膜下半圆的平均灰度,I,0,(2),提取其后各帧中眼睛区域的轮廓，并计算虹膜检测区域内的边缘点数目,N,0,(3),在内眼角点和外眼角点之间的眼睛区域内 以虹膜下半圆为模板搜索最大边缘点数目,N,(,x,y,),，要求,N,(,x,y,)/,N,0,T,N,(4),计算,(,x,y,),处虹膜下半圆的平均灰度,I,(,x,y,),，如果有,|,I,(,x,y,),I,0,|95%,）,表情识别和步骤,章毓晋(TH-EE-IE),现代研究开始于上个世纪,70,年代,主要集中在心理学和生物学方面的分析,不同性别，不同种族的人群中有一致性,面部表情编码系统（,FACS,）,用,44,个运动单元（,AU,）的变化来描述人脸表情的变化,六种基本表情,/,情感类别,高兴、悲伤、惊奇、愤怒、厌恶、恐惧,表情识别和步骤,章毓晋(TH-EE-IE),表情识别步骤,(1),人脸检测与定位,(2),表情特征提取,(3),人脸表情分类,表情识别和步骤,章毓晋(TH-EE-IE),好的表情特征提取结果：,（,1,）,完整的表示出人脸表情的本质特征,（,2,）,去除了噪声、光照变化及其他与表情无关的干扰信息,（,3,）,数据表示形式紧凑，避免过高的维数,（,4,）,不同类别表情的特征之间有较好的区分性,三个步骤：,1,）原始特征获取,2,）特征降维和提取,3,）特征分解,表情特征提取,章毓晋(TH-EE-IE),表情特征提取的三个步骤及方法,原始特征获取,特征降维和提取,特征分解,几何特征：基准点,外貌特征：,Gabor,，,HLAC,，,LBP,混合特征：,AAM,序列特征：光流，,运动单元,PCA,，,LDA,，,ICA,，,CDA,，,MPPCA,，,排序,PCA+LDA,双线性分解，,高阶奇异值分解,表情特征提取,章毓晋(TH-EE-IE),特征降维和提取的方法,主元分析（,PCA,）法,提取了最有代表性的特征,可以有效地消除冗余，降低维数,但没有考虑不同类别数据之间的区分性,线性判别分析（,LDA,）法,通过最大化数据的类间离散度和最小化类内,离散度来选择合适的投影方向,侧重于寻找具有最大分辨力的方向,表情特征提取,章毓晋(TH-EE-IE),特征分解的方法,人脸图象包含了丰富的信息,不同的识别任务所利用的信息各不相同,人脸检测寻找的是人脸图象共有的一致性,人脸识别需要利用表示人脸个体差异的信息,表情识别需要表示各种表情之间差异的信息,把人脸表情识别中不同的因素，,如表情因素和个体因素分离开来,表情特征提取,章毓晋(TH-EE-IE),1,、,Gabor,变换,核函数,取,n,=0,1,2,，,q=,0,/6,2/6,3/6,4/6,5/6,，,则可得到由,3,6,个,Gabor,变换滤波器组用于提取表情特征,与表情图象进行卷积,基于,Gabor,变换的表情特征提取,章毓晋(TH-EE-IE),2,、,Gabor,变换系数和分级直方图相结合,Gabor,滤波器在分析局部纹理变化方面的能力非常强,直方图是一种常用的表示图象全局特性的特征,对图象进行逐级分块，并在分块后对每一个块区域内的,Gabor,系数计算其直方图分布，从而将,Gabor,系数和直方图统计的方法在每个块区域结合起来,基于,Gabor,变换的表情特征提取,章毓晋(TH-EE-IE),1,、表情分类方法,表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别,是否利用时间信息,(1),空间分析方法,(2),空时分析方法,表情分类,章毓晋(TH-EE-IE),2,、表情分类系统比较,对每一种系统列出了其采用的特征提取方法、分类方法和识别目标（,AU,或基本表情），还列出了所用数据类型（静态、序列或序列中抽取若干帧）、数据量、以及训练,/,测试比等实验的客观条件。测试结果列出识别率,表情分类（,FER,）系统在,Cohn-,Kanade,库和,JAFFE,库上得到的一些结果,表情分类,章毓晋(TH-EE-IE),3,、讨论,性能主要受到以下几个方面的限制：,(1),特征提取方法仍有不足,(2),某些表情相对易于识别,(3),大多数都针对特定条件下采集的图像或者图像序列,几个热点：,(1),将多种特征结合,(2),特征降维、提取和选择,(3),将心理学和生物学知识与机器学习的方法相结合,(4),对混和表情、表情强度的研究,表情分类,章毓晋(TH-EE-IE),B.5,人脸识别,人脸表情识别和人脸识别有着非常密切的关系,B.5.1,边缘本征矢量加权的,Hausdorff,距离,B.5.2,非特定表情人脸识别,章毓晋(TH-EE-IE),边缘本征矢量加权的,Hausdorff,距离,人脸的不同区域在人脸识别中具有不同的重要性，因此需要对不同的人脸区域给以加权,权值函数可以建立在灰度域的基础上，也可以建立在梯度域的基础上,用边缘本征矢量加权的,Hausdorff,距离（,edge,eigen,-vector weighted,Haussdorf,distance,）,章毓晋(TH-EE-IE),非特定表情人脸识别,利用高阶奇异值分