基于稀疏模型的在线目标跟踪课件

u基于稀疏模型的在线目标跟踪u视觉跟踪算法简单综述基于稀疏模型的在线目标跟踪视觉跟踪算法简单综述目标跟踪1Xiang Xiang，“A Brief Review on Visual Tracking Methods”，Intelligent Visual Surveillance(IVS),2011 Third Chinese Conference on，1-2 Dec.2011.2 Dong Wang,Huchuan Lu,Ming-Hsuan Yang,”Online Object Tracking With Sparse Prototypes”IEEE Transaction on Image Processing，VOL.22,NO.1,Jan.2013.目标跟踪1XiangXiang，“ABriefReA Brief Review on Visual Tracking MethodsABriefReviewonVisualTrackA Brief Review on Visual Tracking Methods Hot topic：在线自适应外观模型Key techniques：分类器在线方法样本选择漂移问题Challenges：场景变化目标外观变化图像质量不高在线处理ABriefReviewonVisualTrackIMAGE REPRESENTATIONA.Typical Image Features颜色特征纹理特征形状特征B.Feature Selection Methods算法目标：使得target从background中区别出传统方法：前向选择,后向选择,分枝定界法“tracking-by-detection”IMAGEREPRESENTATIONTypicalImAPPERANCE MODELA.Typical Appearance Models 直方图或者or Parzen 估计模型模板匹配 均值漂移Constellations（星座？）of patchesMRF（马尔科夫随机场）推论稀疏表示模型APPERANCEMODELTypicalAppearaAPPERANCE MODELB.On-line Adaptation Methods如果希望外观模型紧跟着光度与几何变化，那么就需要自适应更新外观模型，因为在线自适应允许目标的表示无论在场景变化还是目标外观变化时，仍然能够每帧保持其特征。近几年来的研究对这方面都有所改善。在线外观自适应模型是一把双刃剑。APPERANCEMODELB.On-lineAdapMOTION MODELA.A.光流法（光流法（）B.B.贝叶斯叶斯过滤框架（框架（）C.C.基于基于样条模型条模型 MOTIONMODEL CONCLUSION1.在有严重遮挡和背景干扰下的序列，基于分片的表示法有更好的鲁棒性。2.在线监督方法鲁棒性不好，但是可以从错误中恢复。3.将离线分类器和在线分类器结合起来效果好。4.基于运动估计的光流法在特征点错误匹配时效果很差。在有光照变化时，鲁棒性也不好。5.粒子滤波跟踪器不能精确地跟踪目标，但是不会产生漂移现象。CONCLUSION在有严重遮挡和背景干扰下的序列，基于分Online Object Tracking With Sparse PrototypesOnlineObjectTrackingWithSpAbstractAbstract Introduction设计鲁棒在线跟踪算法的难点跟踪算法三元素鲁棒跟踪算法中建立外观模型需要考虑的因素减少跟踪漂移的相关工作本文算法的优点Introduction设计鲁棒在线跟踪算法的难点 Introduction设计鲁棒在线跟踪算法的难点（1）Intrinsic factors位姿变化形状变形（2）Extrinsic factors光照变化相机运动遮挡Introduction设计鲁棒在线跟踪算法的难点 Introduction跟踪算法三元素（1）An appearance（observation）model（2）A dynamic（motion）model（3）A search strategy本文：仅仅讨论关键因素包括遮挡和运动模糊（appearance model）Introduction跟踪算法三元素 Introduction鲁棒跟踪算法中建立表示模型需要考虑的因素（1）如何表示跟踪目标，需要考虑目标特征选取以及 描述模型算法（2）表示方法选择生成模型还是判别模型（本文选择生成模型）（3）如何进行在线学习以适应目标和背景的外观变化Introduction鲁棒跟踪算法中建立表示模型需 Introduction减少跟踪漂移的相关工作（1）Adam et al.10 propose a fragment-based tracking method using histograms.（2）Yang et al.26 apply the“bag of words”model from the category-level object recognition 27 to visual tracking.（3）In 21,Mei et al.propose a tracking algorithm by casting the problem as determining the most likely patch with a sparse representation of tem-plates.（4）Dinhet al.29 propose a complex co-training approach using generative and discriminative t rackers that deals with partial occlusion.Introduction Introduction本文算法的优点（1）跟踪目标的紧凑表示方法（2）可以处理高分辨率图像（3）能够有效地解决遮挡问题（4）仅仅使用生成模型就可以解决局部遮挡问题Introduction本文算法的优点 Related Work and ContextA.基于增量子空间学习的目标跟踪基于增量子空间学习的目标跟踪B.基于稀疏表示的目标跟踪基于稀疏表示的目标跟踪C.本文算法本文算法RelatedWorkandContext Related Work and ContextRelatedWorkandContext Related Work and ContextA.基于增量子空间学习的目标跟踪基于增量子空间学习的目标跟踪传统PCA：1）将所有的训练图像列向量化并计算均值，得到中心化矩阵2）对中心化矩阵进行SVD分解，得到特征值和特征向量。缺点：不适合在线学习RelatedWorkandContextA.基 Related Work and ContextRelatedWorkandContext Related Work and ContextRelatedWorkandContext Related Work and ContextRelatedWorkandContext Related Work and ContextRelatedWorkandContext 稀疏模型的目标跟踪A.Dynamic model1.设置目标状态参数 为了能很好地表示一个目标，首先得设定目标窗口的状态信息，表示如下：xt yt 表示目标窗口中心点坐标，st表示目标窗口投影到低维空间的比例，t表示目标窗口后一帧与前一帧的旋转角度，t表示目标窗口高度与宽度所对应的方向角，t表示目标窗口相对于x轴的角度2.仿射投影变换 对连续两帧间的目标运动模型化，进行降维3.选取样本稀疏模型的目标跟踪A.Dynamicmodel 稀疏模型的目标跟踪稀疏模型的目标跟踪 稀疏模型的目标跟踪B.Observation Model（2）计算似然函数（通过图像块的重建误差）传统方法：未考虑遮挡本文方法：加入惩罚项稀疏模型的目标跟踪B.ObservationMo 稀疏模型的目标跟踪C.观测模型的更新观测模型的更新（1）每一个琐碎模板代表一个像素点，前面的非零项系数就代表该像素点被遮挡。（2）计算非零项系数占总琐碎模板系数的百分比，设定两个阈值，tr1和tr2;（3）若tr1,则表示几乎没有遮挡，则将得到的目标作为样本放入样本包里；若tr1=tr2,则表示目标受到严重遮挡，则直接将该样本舍弃。稀疏模型的目标跟踪C.观测模型的更新 稀疏模型的目标跟踪稀疏模型的目标跟踪 ExperimentsExperiments Conclusion本文综合利用子空间模型和稀疏表示优点，在外观更新和目标跟踪中考虑局部遮挡和运动模糊问题，提出这种鲁棒跟踪算法。通过定性和定量实验验证该算法的有效性以及存在的不足。可改进或应用点 实时应用中的目标跟踪 可用于目标识别 在线正交子空间方法 多视觉线索Conclusion本文综合利用子空间模型和稀疏表示优点谢谢谢谢谢谢