人脸特征点定位及其应用.ppt

人脸特征点定位及其应用,姓名： 沈育平 学号： PB99011073 导师： 董兰芳,二四年六月,整体介绍,主要内容： 当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型的改进方法。 介绍一个肖像画生成系统的设计及实现。 人脸特征点定位的概念,人脸特征点定位及其应用 沈育平 PB99011073,常用的几种特征点 定位算法,基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动轮廓模型） 基于Active Shape Model（ASM，主动形状模型） 基于Active Appearance Model（AAM，主动表观模型）,由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法,基于AAM (Active Appearance Model)模型 AAM模型,常用的几种特征点定位方法,由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸,调节c可以合成不同的人脸,形状,脸部纹理,轮廓变化模式矩阵,脸部纹理变化模式矩阵,精细定位,粗略定位,常用的几种特征点定位方法,AAM搜索过程,原图像,得到粗 略定位,不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值,得到 精细 定位,由计算公式 可得各特征 点的位置,对每一个比例、 位置、旋转角度 进行迭代搜索,常用的几种特征点定位方法,AAM搜索时间分析,85.1%,14.9%,有很大的改进空间,基于肤色信息的AAM改进方法,肤色模型,人脸特征点定位及其应用 沈育平 PB99011073,采用YCrCb彩色空间进行分析 Y反映的是图像的明度，故只Cr,Cb分量分析可以不受图像的亮度影响。,肤色像素在Cr-Cb空间中的分布相对很集中，可以用Gauss分布来描述,高斯分布,基于肤色信息的AAM改进方法,人脸特征点定位及其应用 沈育平 PB99011073,肤色模型 所考察的像素和肤色的相似度： 象素的矢量 与高斯分布中心的距离,基于肤色信息的AAM改进方法,人脸特征点定位及其应用 沈育平 PB99011073,计算相似度,AAM改进方法 AAM的缺陷 对彩色图像进行特征点定位时无疑忽略了色彩信息的作用，可以充分利用肤色信息，使搜索过程加速。 一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构,基于肤色信息的AAM改进方法,人脸特征点定位及其应用 沈育平 PB99011073,AAM改进方法 基于肤色模型的人眼定位方法,基于肤色信息的AAM改进方法,计算相似度,使用自动阈值分割 算法进行二值化,对二值图进行去噪音处理，就是在以每一个肤色象素为 中心的5*5邻域内统计肤色象素的个数，超过半数时中心 点保肤色,AAM改进方法 基于肤色模型的人眼定位方法,基于肤色信息的AAM改进方法,人脸特征点定位及其应用 沈育平 PB99011073,对二值图进行腐蚀 运算，去掉各区域 之间的细连线,用边缘跟踪算法 跟踪各区域的轮廓,对所有区域的轮廓 进行种子填充，得 到“掩盖图”,将二值图与“掩盖图” 求异或，即可得到 二值图中的所有孔,基于肤色信息的AAM改进方法,AAM改进方法 基于肤色模型的人眼定位方法,人脸特征点定位及其应用 沈育平 PB99011073,获取候选眼，对每个 孔进行检测若满足以 下条件则为候选眼： 1.平均亮度小于80 2.包围盒大小超过 阈值D,获取候选眼对，将候选眼两两配对 若符合下列条件，则为候选眼对： 1.两包围盒不相交 2.两包围盒中心连线斜率不超过阈值 3.两包围盒大小不超过一定范围,对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度 的相似度,AAM改进方法 改进： 确定眼睛位置后，根据五官位置分布的规律性，可以由此确定人脸的位置及方向，从而为AAM模型的搜索提供一个较好的初始位置和大小，并且可以缩小搜索窗口，从而减少AAM的搜索时间,基于肤色信息的AAM改进方法,人脸特征点定位及其应用 沈育平 PB99011073,AAM改进方法,基于肤色信息的AAM改进方法,用基于脸色信息的人眼 定位方法确定人眼,根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口,根据人眼位置确定AAM 模型的初始搜索姿态,使用AAM搜索算法， 得到特征点精确定位,人脸特征点定位及其应用 沈育平 PB99011073,基于肤色信息的AAM改进方法,性能比较,人脸特征点定位及其应用 沈育平 PB99011073,系统结构,人物肖像画自动生成系统,人脸特征点定位及其应用 沈育平 PB99011073,开发工具： Visual C+ 6.0，AAM-API,脸部器官处理过程,人物肖像画自动生成系统,人脸特征点定位及其应用 沈育平 PB99011073,头发的提取过程,人物肖像画自动生成系统,肖像画的合成及显示,人物肖像画自动生成系统,人脸特征点定位及其应用 沈育平 PB99011073,系统运行界面,系统结果,人物肖像画自动生成系统,系统存在的一些问题和待改进的地方：,系统分析总结 从系统的结果来看，对于大多数人脸图像，都可以得到相应的肖像图,人物肖像画自动生成系统,系统对头发的处理并没有考虑头发被分割成若干区域的情况。,系统没有对耳朵进行处理,头发边界的处理太过粗糙，常出现锯齿状边缘。针对这种 情况可以使用Snake模型获取头发区域的外轮廓,工作总结,毕业设计期间的主要工作,调研并总结了常用的特征点定位算法,提出了在人脸特征点定位问题上，对AAM模型 的一种基于肤色信息的改进方法,设计并实现一个完整的人物肖像自动生成系统,谢 谢！,