基于视频的运动目标检测概述课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式g,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,可编辑,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,可编辑,*,基于视频的运动目标检测概述,黄文丽,2011.5.26,基于视频的运动目标检测概述黄文丽,内容提要,研究背景,运动目标检测方法,光流法,时间差分法,背景减除法,算法评价,内容提要研究背景,研究背景（,1,）,对序列图像的运动分析是当前计算机视觉领域的一个重要研究方向，广泛应用于：,高级人机交互,智能监控,视频会议,医疗诊断,基于内容的图像存储与检索,美国、英国等国家已经开展了大量相关的研究,当前国际上一些权威期刊如,IJCV,、,CVIU,、,PAMI,、,IVC,、,CVPR,、,AVSS,、,ECCV,、,IWVS,等均将序列图像的运动分析作为其中的主题内容。,研究背景（1）对序列图像的运动分析是当前计算机视觉领域的一个,研究背景（,2,）,序列图像的运动分析主要包括运动目标的检测、跟踪、分类及行为理解几个过程。,运动目标检测是从序列图像中将运动变化区域从背景图像中分割提取出来。,在计算机视觉、智能视频监控（银行、电力、交通、安检及军事）领域，视频图像的,运动目标检测结果，将对运动目标分类、跟踪及行为理解等后续处理产生重要影响,。运动目标的有效分割是序列图像分析的基础性工作，是当今国内外学者研究的热点问题。,低层视觉处理,中层视觉处理,高层视觉处理,研究背景（2）序列图像的运动分析主要包括运动目标的检测、跟踪,运动目标检测问题分类,按不同标准将运动目标检测方法分类：,（,1,）摄像机数目：单摄像机、多摄像机,（,2,）摄像机是否运动：摄像机静止、摄像机运动,（,3,）场景中运动目标数目：单目标、多目标,（,4,）场景中运动目标类型：刚体、非刚体,主要讨论：静止单摄像机，多运动目标检测问题。,运动目标检测问题分类按不同标准将运动目标检测方法分类：,运动目标检测方法,光流法,（,Optical flow,）,可用于摄像机运动情形，提取目标完整信息（包括运动信息），计算复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。,时间差分法,(Temporal difference),通过比较相邻,2,或,3,帧图像差异实现场景变化检测，对动态环境有较强适应性，但检测精度不高，难获得目标精确描述。,背景减除法,(Background subtraction),适用于摄像机静止情形，其关键是,背景建模,，性能与监控场景复杂情况和系统要求有关，典型算法有中值、自适应模型、高斯模型、多模态均值等。,运动目标检测方法光流法（Optical flow）,光流法,光流法主要通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检测出运动目标。,光流法的核心是求解出运动目标的光流，即速度。,简要介绍传统光流法的典型代表,Hom&Schunck,算法、,Lucas&Kanade,算法和块匹配算法。,光流法光流法主要通过对序列图像光流场的分析，计算出运动场后，,传统光流法,根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变性假设。根据这一基本假设，可以得到光流基本方程。,设,(x,，,y),点在时刻,t,的灰度为,I(x,y,t),，设光流,w=(u,，,v),在该点的水平和垂直移动分量,u(x,，,y),和,v(x,，,y):,经过,dt,后对应点为,I(x+dx,y+dy,t+dt),，当 ，灰度,I,保持不变，得到,I(x,y,t)= I(x+dx,y+dy,t+dt),。此式由,Taylor,展开，忽略二阶无穷小，整理得到基本的光流约束方程,:,(1),表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。,从不同角度对式,(1),引入不同约束条件，产生不同的光流分析方法。,Barron,等人将光流计算分为,4,种,:,微分法、频域法、块匹配法和能量法，其中,微分法与块匹配法,最为常用。下面介绍,Hom&schiinck(,简称,HS),算法与,Lucas&Kanade(,简称,LK),算法，其后介绍块匹配法。,x,y,传统光流法 根据视觉感知原理，客观物体在空间上一般是相对连续,Horn & Schunck,算法,Horn,与,Schunck,于,1981,年引入了,全局平滑性约束,，假设光流在整个图像上光滑变化，即速度的变化率为零。,结合式（,1,）和式（,2,），得光流,w=(u,v),应满足：,取值主要考虑图中的噪声情况。如果噪声较强，说明数据置信度较低，需要更多地依赖光流约束，其取值较大,;,反之其取值较小。,1 Horn, Berthold K.P.; Schunck, Brian G. Determining Optical FlowJ.1981.,（,2,）,Horn & Schunck算法 Horn与Schunck于,Lucas & Kanade,算法,(1),Lucas & Kanade,于,1981,年引入,了局部平滑性约束,，即假设在一个小空间领域上运动矢量保持恒定，使用加权最小二乘法估计光流。在一个小的空间领域上，光流估计误差定义为,:,W,表示窗口权重函数，使邻域中心区域对约束产生的影响比外围区域更大，式,(3),的解为,:,(3),Lucas & Kanade算法(1) Lucas & Ka,Lucas & Kanade,算法,(2),式中，,Lucas & Kanade算法(2),块匹配法,块匹配法并不直接使用光流基本方程，它的基本思想是假设光流,w=(u,，,v),为不同时刻的图像区域的位移量，在图像序列的顺序图像对之间实施位置对应。,块匹配距离度量的方法有两种，一是相似度量，如归一化相关系数最大化,;,二是对光强度差的平方和进行最小化。,块匹配法 块匹配法并不直接使用光流基本方程，它的基本思想是假,块匹配法,归一化相关系数,归一化相关系数,当相关系数为,1,时，表示两个块完全匹配。实际上，由于噪声及目标图像形状的变化，不同图像的对应块亮度会有变化。在 搜索区内的相关系数最大的位置就是最佳匹配，其偏离中心点,(x,y),的位移量,(u,v),即为光流。,块匹配法归一化相关系数归一化相关系数,块匹配法,光强度差平方和法,光强度差平方和法计算 搜索区域上的误差分布为：,将此误差分布转换成指数形式分布,其中,k,为正则化参数。指数响应函数在,01,之间变化。根据估计理论，利用加权最小二乘法可得到真实速度的一个估计,:,块匹配法光强度差平方和法 光强度差平方和法计算,光流法总述,基于微分的光流法，实现比较简单，计算复杂度低，缺点是在图像相邻之间偏移量大的时候误差较大，而且该方法要求图像灰度必须是可微的。,基于匹配的光流法通过特征匹配来确定偏移量，可以解决相邻帧差异较大的问题,;,但是特征匹配比较困难，运算量比较大，且块匹配法对噪声敏感。,目前，国内外学者都在寻求改进光流法的方法，主要分为两种，一是光流法自身的改进,;,二是光流法与其他方法相结合，如即,金字塔光流法、区域光流法和特征光流法,。,光流法总述 基于微分的光流法，实现比较简单，计算复杂度低，缺,时间差分法,优点：鲁棒性好，运算量小，易于软件实现,缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现象，阈值,T,缺乏自适应性，当光照变化时，检测算法难以适应环境变化,Default:T=60,时间差分法优点：鲁棒性好，运算量小，易于软件实现Defaul,背景减除法,中值模型 自适应背景模型,双背景模型 最大不相似模型,单高斯 混合高斯,改进的混合高斯 多模态均值,纹理模型,背景减除法流程图,背景减除法中值模型,中值模型,(Median Model),背景,中间值,Default:T=60,，,K=3,前提：在前,K,帧图像中，某像素点在超过一半的时间里呈现场景背景像素值。,中值模型 (Median Model)背景中间值Defa,自适应背景模型,前一帧,k-1,前一背景,当前背景,+,（,1-,）,=,为自适应参数，其取值直接影响背景的更新质量,是任意选择的适应参数,Defaut:,=0.03,，,T=60,自适应背景模型 前一帧k-1前一背景当前背景+（1-）,双背景模型,33,的邻里差分,-,其中：,Default,：,Tb=60, Tt=60,当前帧,k,短期背景,(,前一帧,k-1),长期背景,(,中值模型,),B,LT,双背景模型 33的邻里差分-其中：Default：Tb=6,最大不相似模型,*,没有常数,包含大量光噪，需要去噪和形态滤波,N,：最小灰度值,M,：最大灰度值,MD,：最大帧间差,最大不相似模型*没有常数,包含大量光噪，需要去噪和形态滤波N,单高斯模型,假设每个像素的灰,度在时间域上满足正态分布,:,简单统计差分：,Default,：,单高斯模型：,单高斯模型假设每个像素的灰简单统计差分：Default：单高,混合高斯模型,为了描述分布形式更为复杂的背景（特别是在有微小重复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、海面波涛、雨雪天气、光线反射等），有必要应用到多模态的分布形式。,Stauffer,等用多个单高斯函数来描述场景背景，并且利用在线估计来更新模型，可靠地处理了光照缓慢变化、背景混乱运动（树叶晃动）等影响。,混合高斯模型为了描述分布形式更为复杂的背景（特别是在有微小重,混合高斯模型,设用来描述每个像素点背景的高斯分布共有,K,个，分别记为 。各高斯分布分别具有不同的权值 和 优先级 ，它们总是按照优先级从高到低的次序排序。 包括模型初始化、模型匹配与参数更新、生成背景分布和检测前景四部分。,混合高斯模型设用来描述每个像素点背景的高斯分布共有 K个，分,模型初始化,第,1,帧图像初始化混合高斯模型：,当前像素的颜色值初始化均值,初始较大标准方差,=30.,给第一个高斯分布一个较大的权重,0.5,，其余的高斯分布权重为,0.5/(K-1),模型初始化第1帧图像初始化混合高斯模型：,模型匹配与参数更新,将新像素 与模型中的,K,个分布按序匹配，若 与某分布满足式 （,D1,为自定义参数），则 与该高斯分布匹配，其参数按下式更新。,式中 是自定义的学习率， 是参数学习率。不匹配的分布仅权值按 衰减。,若无分布和 匹配，则最小权值分布被替换成均值为 ，标准差为 ，权值为 的高斯分布。其余分布仅权值按 更新。,模型匹配与参数更新将新像素 与模型中的K个分布按序匹配，,THANK YOU,SUCCESS,2024/8/31,27,可编辑,THANK YOUSUCCESS2023/9/527,生成背景分布,分布按优先级 从大到小排列，,T,为背景权值部分和阈值，如果前 个分布的权值和刚大于,T,，则这些分布是背景分布，其它为前景分布。,生成背景分布 分布按优先级 从大到小排列，,检测前景,若所有背景分布与 都满足下式，则判定为前景点，否则为背景点。（,D2,为自定义参数）,检测前景 若所有背景分布与 都满足下式，则判定为前景点,混合高斯模型流程图,更新方程,：,混合高斯模型流程图更新方程：,融合了背景减除法的改进混合高斯模型,混合高斯模型使用固定的学习率 ，如果其值较小，模型的初始建立时间较长，如果其值较大，则会降低模型对视频中噪声,(,如树叶摇晃,),的抑制作用。,背景能够适应缓慢的光照变化、树叶摇动等因素引起的变化，而对于突然的光照变化适应性慢，检测结果中含有大量的阴影。,由于树叶的摇动在水面或反光物体上产生的突然反光不服从高斯分布，从而在检测结果中出现频繁的闪动。,针对这些问题，融合背景减除法对混合高斯进行改进，在初始建模时采用新的更新算法，能够快速准确地建立初始背景模型。,融合了背景减除法的改进混合高斯模型混合高斯模型使用固定的学习,融合了背景减除法的改进混合高斯模型,混合高斯模型更新方程：,融合背景减除法,:,为改进的混合高斯的检测结果,Default:T=50,，,N=200,Mi,为每个高斯分布相匹配的次数,融合了背景减除法的改进混合高斯模型混合高斯模型更新方程：融合,混合高斯及改进算法实验结果（,1,）,图,1,高速路监控视频初始建模实验结果,图,2,户外停车场监控视频初始建模实验结果,混合高斯建模，由于背景更新速率较慢，在初始建模时,(,第,120,帧以前,),，背景模型不够健全，开始时检测的结果残缺或漏检。而改进混合高斯算法在第,40,帧左右建立初始模型，快速检测出完整性好的运动目标，即该改进的方法能够快速建立初始背景模型。,混合高斯及改进算法实验结果（1）图1 高速路监控视频初始建模,混合高斯及改进算法实验结果（,2,）,改进算法有效地抑制反光物体带来的频繁闪动，并且检测出的运动目标含较少阴影。,混合高斯及改进算法实验结果（2）改进算法有效地抑制反光物体带,多模态均值,S.Apewokin,等人针对背景建模速度慢，计算和存贮量大等问题，提出了多模态均值法，利用,多个均值,描述背景，建模快，计算量小，存贮空间少，能在嵌入式系统上实时检测出含少量阴影的运动目标，但其不适应复杂背景中重复的扰动、前景与背景的转化等。,1S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6.,2S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175.,多模态均值S.Apewokin等人针对背景建模速度慢，计算和,多模态均值,运用像素 与,M,个背景比较，不断更新模型均值，每个背景 包含与之匹配的,RGB,各通道值总和 、匹配次数 、在时间轴上相邻两滑动窗口内的匹配次数 和 。其检测过程包括背景匹配与参数更新、前景检测和背景替换。,多模态均值运用像素 与M个背景比较，不断更新模型均值，每,背景匹配与参数更新,为,t-1,帧第,i,个背景,j,通道的均值 。若像素 满足 则与背景 匹配，用如下更新。,背景匹配与参数更新,前景检测与背景替换,前景检测,:,若无背景与 匹配，则当前像素判为前景。,背景替换,:,当 为前景时，计算背景在两滑动窗口内匹配次数和 。找出,M,个背景中满足 的背景构成集合,L,。,L,中的模型表明在两滑动窗口中匹配次数较少，不能很好描述背景。若,L,中有背景，则替换其中最小 的背景。若,L,为空，则替换,M,背景中最小 的背景。,前景检测与背景替换 前景检测:若无背景与 匹配，则当前像,实验结果与分析,实验结果与分析,基于纹理的背景模型,LBP,（,Local Binary Pattern,）是描述图像局部空间结构的非参数纹理算子，在纹理分类中有较高区分力，对亮度改变不敏感，计算量小等优点。初始,LBP,仅通过像素的,8,邻域得到，为描述大尺度的纹理，,Ojala,等把其定义扩展为具有不同半径的圆形邻域。,本文,LBP,算子如下式。,基于纹理的背景模型LBP（Local Binary Patt,纹理背景模型,背景模型由一组自适应的,LBP,直方图来描述， 。模型的每个直方图有个权重 ，且所有权重和为,1,。,直方图相似性度量,是直方图，,N=,纹理背景模型背景模型由一组自适应的LBP直方图来描述，,纹理模型更新与背景选取,模型更新,如果模型所有直方图相似性都低于 ，则更新权重最低的直方图模型，赋低的初始权重，如,0.01,。,如果模型中有直方图相似性大于等于 ，则匹配。选择匹配中最高相似性的直方图，更新其,bins,来适应新的数据：,权重更新：,此时 为,1,，其它为,0,。,背景选取,模型直方图按权重降序排列，并且选取前,B,个直方图作为背景直方图：,纹理模型更新与背景选取模型更新,前景检测,当前像素的直方图与当前的,B,个背景直方图比较，计算其相似度。如果至少一个背景直方图相似度高于阈值 ，这个像素为背景。否则为前景。,前景检测当前像素的直方图与当前的B个背景直方图比较，计算其相,实验结果,实验结果,背景减除法 现存问题,关键在于背景模型的建立、保持、更新。主要存在三个问题：,1,）背景模型没有充分利用图像中相邻像素点之间的相关性信息。,运动前景中具有的漏检与虚警区域，通常用形态学滤波和判断连通区域大小的方法来消除孤立的小区域及合并相邻的不连通前景区域。,2,）背景模型的更新速度不能和运动目标的运动速度很好地匹配。,如果更新速度比监控场景的变化速度慢，则容易产生虚影（计算虚影区域的光流场可以消除虚影）。相反，如果背景模型的更新速度太快，也容易出现运动目标的漏检。为改善检测效果，可使用多个具有不同更新速度的背景模型，或多摄像机从不同角度对同一场景进行监控，有效利用深度信息。,3,）复杂场景中摇动的树叶与运动阴影也被检测为运动前景。,由摇动树叶所产生的运动前景混乱问题（混合高斯背景模型与数学形态学滤波）。消除阴影对运动目标检测的干扰是非常困难的问题，特别是处理灰度序列图像中的阴影。,背景减除法 现存问题关键在于背景模型的建立、保持、更新。主要,算法评价,鲁棒性：在各种环境条件,(,光照变化、背景扰动,),下实现运动目标的完整分割。,准确性,：算法应具有较低的漏检、误检,(,虚警,),，并能够得到运动目标尽量完整的信息。,复杂性：在保证算法处理效果的前提下，算法的时空复杂度应尽可能小，以保证算法的实时性与实用性。,通用性：算法对先验信息,(,色彩、形状、运动和应用场景等,),的依赖程度应尽可能低。,算法评价鲁棒性：在各种环境条件(光照变化、背景扰动)下实现运,定量分析算法准确性,准确率,P,、查全率,R,和,Jaccard,系数,设,TP,表示正确检测的目标像素数；,FP,表示将背景像素错检为目标像素的个数，即造成虚警的误检像素数；,FN,表示将目标像素错检为背景像素的个数，即漏检像素数。,准确率,P,反映虚警率，值越大虚警率越低；查全率,R,反映目标分割的完整性，值越大完整性越高。 权衡准确率和查全率，反映算法综合性能。,定量分析算法准确性准确率P、查全率R和Jaccard系数,较流行背景减除法实验结果图,Boots WavingTrees OutDetect Boots WavingTrees OutDetect,原图,基准图像,中值模型,时间差分,链码本,混合高斯,多模态均值,较流行背景减除法实验结果图Boots Waving,较流行背景减除法实验结果客观评价,混合高斯、多模态均值：准确率,P,、查全率,R,、,Jaccard,系数,Jc,较高，检测效果较好,较流行背景减除法实验结果客观评价混合高斯、多模态均值：准确率,参考文献,1Dr Alan M.Mclvor. Background Subtraction Techniques: Proc. of Image and Vision Computing C. New Zealand:s.n., 2000.,2,裴巧娜,.,基于光流法的运动目检测与跟踪技术,D,北方工业大学，,2009.,3Berthold K.P. Horn, Brian G. Schunch. Determining Optical FlowJ. Artificial Intelligence, 1981,17:185-203.,4C. Stauffer, W. E. L. Grimson. Learning Patterns of Activity Using Real-Time Tracking: Proc IEEE Trans. on PAMIC. Washinton:IEEE Computer Society,2000,22(8):747-757.,5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, et al. Real-time foreground-background segmentation using codebook modelJ. Real-time Imaging, 2005,11(3):172-185.,6Heikkila M, Pietikainen M, Heikkila J. A texture-based method for modeling the background detecting moving objectsJ. IEEE Trans Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662.,参考文献1Dr Alan M.Mclvor. Backg,参考文献,7S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6.,8,王典,.,基于混合高斯的背景建模与阴影抑制算法研究,D.,西北工业大学, 2006.,9Chris Stauffer, W.E.L Grimson. Adaptive background mixture models for real-time trackingJ.IEEE,1999.,10S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175.,11Jian Sun, Weiwei Zhang. Background Cut. Computer Vision ECCV 2006.,12Sen-Ching S. Cheung, Chandrika Kamath. Robust techniques for background subtraction in urban traffic video: Visual Communications and Image Processing on SPIEC. Sethuraman Panchanathan,2004,5308(1):881-892.,参考文献7S. Apewokin, B. Valenti,谢谢,请大家提问,谢谢,THANK YOU,SUCCESS,2024/8/31,53,可编辑,THANK YOUSUCCESS2023/9/553,