约束局部模型

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,浙江大学硕士学位论文答辩报告,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,约束局部模型,报告大纲,实验结果以及展望,4,绪论,1,约束局部模型,（,CLM,）,2,信息度量学习,CLM,模型,3,致谢,5,绪论,研究目标,准确自动定位出静态图像以与视频中可变形结构,的外形结构（特征点定位）；,本文主要讨论人脸特征点定位,绪论,-,研究意义,人脸识别（特别是单图人脸识别）,图像修复,图像可变形目标替换（,PS,）,三维构建,约束局部模型（,constrained local models,）,约束局部模型,通过利用,局部模型,在特征点附近搜索确定每个特征点位置，并结合,形状拟合,自动准确对图像进行校正,。,CLM,类似于,snakes,模型，不同的是目标形状是受约束的形状。,CLM,主要组成：,形状模型,（模型受约束的形状）、,局部外观模型,、,拟合优化策略,约束局部模型,形状模型,物体的形状由特征点以与特征点之间的连通性表示。,特征点选择：,1,、准确描述物体结构,2,、特征点位置明确可靠,约束局部模型,形状模型,PCA,分析,物体的形状 可以用,2n,维向量,x,表示。,PCA,分析以后，形状表示为,其中 平均形状，,P,特征向量矩阵，,b,模型参数。,PCA,分析作用：,1,、降维,2,、去噪声信息,3,、约束形状,约束局部模型,形状模型,PCA,分析,一般的，当 在范围 之内，可以约束模拟出来的形状是有效的形状，特征值,形状模型的主要模型,约束局部模型,局部外观模型,局部模型主要有两部分组成：局部外观信息提取、局部分类器。,外观提取就是准确全面而且概括性的定义每个特征点周围的特征。,局部分类器就是代价函数，评价当前特征点信息与模板信息的匹配度。,约束局部模型,局部外观信息提取,CLM,局部模型局部特征信息提取算法比较常用的有一维,patch,二维,patch,。,约束局部模型,局部分类器,一个简单分类器，曼哈顿距离,响应值越大匹配度越小。,约束局部模型,拟合优化,通过局部模型，我们获得当前形状每个特征点周围的匹配概率,有了每个特征点的响应曲面以后，便可以进行拟合获得形状参数,约束局部模型,CLM,搜索拟合算法,CLM,搜索拟合算法,输入初始的特征点位置信息。,重复：,1,、对每一特征点，利用局部检测器对特征点周围进行搜索，算出相应的响应值，获得每个特征点周围的响应曲面。,2,、根据形状模型拟合当前的形状，更新相应的模型参数以与下一步迭代的特征点位置。,直到收敛,收敛的定义是每两次迭代之间，模型的形状参数或者特征点位置变化小于一定的阈值。,信息度量学习,CLM,模型,CLM,的发展,局部模型：特征提取，主要包括,local,pattern patch,，,gabor,滤波器等。,局部分类器,有,SVM,adaboost,，,PCA,，,KPCA,等。,拟合优化：,ASM,，,COF,。,CLM,发展,PCA,局部模型,给定某个特征点局部外观特征 ，相应的,PCA,分析表示为：,代价函数为,CLM,的发展,，,可以表示为最小二乘问题,等价于,凸二次函数拟合响应曲面,的发展,的缺陷,模型有两大缺陷：多极小值模型以,与,极小值不在期望位置。,原因：局部特征信息结构有限；局部分类器只考虑正确点上的信息没有考虑附近的信息。,信息度量学习,CLM,代价函数一般式,一般的，局部模型的响应函数（代价函数）都可以表示为：,其中 表示位于图像,I,坐标 的响应值，,表示位于图像坐标处的外观特征信息（如二维,patch,）。,A,是目标矩阵，在这里称为映射矩阵。,信息度量学习,CLM,代价函数一般式,在基于协方差局部模型中，,在基于,PCA,模型的局部模型中,信息度量学习,CLM,代价函数优化目标函数,优化目标函数标准：,1,、响应曲面应该具备全局极小值点是唯一的极小值点，而且该极小值点位于特征点期望的位置上。,2,、每个特征点的优化目标函数准确地模型、约束特征点外观信息分布。,3,、优化目标函数应该兼顾不同样本之间的差异性,信息度量学习,CLM,代价函数优化目标函数,基于,PCA,局部模型统计响应曲面优化目标函数,表示,PCA,局部模型的平均响应曲面,CLM,代价函数优化目标是希望每一样本的响应曲面与平均响应曲面一样,。,其中 表示位置处 的代价函数响应值与平均响应曲面的值之间允许的误差。,在本文，表示处,PCA,局部模型该处响应曲面的标准差,信息度量学习,CLM,代价函数优化目标函数,人脸部分特征点的平均响应曲面,信息度量学习,CLM,信息度量学习,给定相似元素集合,S,以与不相似的元素集合,D,，信息度量学习问题可以表示为：,是,Bregman,矩阵散度，主要衡量两个矩阵的相似性，表示,A,属于正定矩阵,。,信息度量学习优点：在已有的映射矩阵做监督学习，保持了已有的映射矩阵的优点加上任意空间上的距离约束。,信息度量学习,CLM,代价函数的信息度量学习优化,CLM,模型的距离定义,信息度量学习,CLM,代价函数的信息度量学习优化,CLM,模型归约为信息度量学习问题,信息度量学习优化在,PCA,代价函数基础上进行监督学习，保持了,PCA,代价函数的优点，克服了,PCA,局部模型在处理局极小值点上的不足,信息度量学习,CLM,信息度量学习,CLM,方法比较,PCA,itml,代价函数,经验,明确,优化目标,无,基于,PCA,统计响应曲面,考虑周围信息,无,有,结果,好,很好,实验结果,实验方法,图库：数据库,colorferet,正脸图像，,300,张做训练样本，,400,张做测试样本。,评价标准：平均误差 以与归一化平均误差,归一化平均误差首先将所有图归一化到同一分辨率。,实验结果,结果比较,0-26,号特征点这些特征点主要是轮廓以与眉毛处的特征点，这些特征点由于受到背景头发等因素的干扰，特征点附近的外观特征样本之间差异极大十分难处理。我们的方法在处理局部外观变化大的情况下远远优于,PCA,局部模型方法。,实验结果,结果比较,平均误差（像素）,归一化平均误差（像素）,PCA,局部模型,5.42,2.37,Itml,局部模型,2.41,1.19,不管是平均误差还是归一化平均误差，,ITML,局部模型的结果都比基于,PCA,局部模型好很多。数据表明，我们的实现方法比基于,PCA,局部模型实现方法在特征点定位上精确很多。,实验结果,总结,提出代价函数一般式,利用,PCA,局部模型响应曲面提出优化目标函数,提出用信息度量学习算法进行优化,优化过程考虑周围信息克服局部极小值点,展望,-,不足与展望,研究不足,1,、数据维度高，信息冗余。,2,、数据收敛条件苛刻，收敛点不好把握。,3,、数据过度拟合（,over fitting,）。,研究展望,1,、特征提取优化。,2,、局部模型非线性优化。,致谢,感谢辛勤工作的答辩组老师,!,感谢张老师的指导；,感谢曾凡禹同学的帮助；,感谢同学、朋友的关心鼓励。,未来的路，还有待继续探索,敬请各位老师批评指正！,谢谢,36,Thank You!,不尽之处，恳请指正！,