目标检测、目标跟踪报告ppt（教育课件）

视频监控小组工作报告报告人：蒋老师报告人：蒋老师09.11.17HFUT-TI DSP United LabHFUT-TI DSP United Lab运动目标分片跟踪运动目标分片跟踪报告内容1234马尔可夫随机场分割马尔可夫随机场分割全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪5图像超分辨率重图像超分辨率重建建2HFUT-TI DSP United LabHFUT-TI DSP United Lab动态场景的运动检测动态场景的运动检测视频图像中的目标检测与跟踪，是计算机视觉的基础课题，视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。同时具有广泛的应用价值。：静态场景静态场景 目标检测相对简单，研究渐趋成熟目标检测相对简单，研究渐趋成熟 动态场景动态场景 相对复杂，成为当前研究领域的热点相对复杂，成为当前研究领域的热点静态场景帧差的一个例子静态场景帧差的一个例子3HFUT-TI DSP United LabHFUT-TI DSP United Lab4HFUT-TI DSP United LabHFUT-TI DSP United Lab解决思路要检测动态场景中的运动目标，关键在于对场景的要检测动态场景中的运动目标，关键在于对场景的运动进行估计，通过估计出的运动参数补偿其运动，运动进行估计，通过估计出的运动参数补偿其运动，最后使用帧差法得到运动目标。最后使用帧差法得到运动目标。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目标运动目标5HFUT-TI DSP United LabHFUT-TI DSP United Lab求解全局运动参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像6HFUT-TI DSP United LabHFUT-TI DSP United Lab第50帧第80帧第5帧帧差法特征匹配的方法原序列7HFUT-TI DSP United LabHFUT-TI DSP United Lab基于图像金字塔分解的全局运动估计基于图像金字塔分解的全局运动估计 采用了采用了3层金字塔进行多分辨率计算层金字塔进行多分辨率计算,而且在每层迭而且在每层迭代计算中代计算中,将基于块的外点去除算法与特征点提取将基于块的外点去除算法与特征点提取算法相结合算法相结合,这样既加快了算法的速度这样既加快了算法的速度,又提高了计又提高了计算结果的准确性。算结果的准确性。8HFUT-TI DSP United LabHFUT-TI DSP United Lab基本步骤如下基本步骤如下：用高斯图像构造法构造图像金字塔；用高斯图像构造法构造图像金字塔；对金字塔顶层图像进行全局运动估计，求得运动参数；对金字塔顶层图像进行全局运动估计，求得运动参数；将顶层金字塔求得的参数集隐射到金字塔的中间层，并对将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进行全局运动估计，求得相应的运动参数；该层进行全局运动估计，求得相应的运动参数；将金字塔中间层的参数集映射到金字塔的底层将金字塔中间层的参数集映射到金字塔的底层,对该层进行对该层进行全局运动估计，求得该层的运动参数集全局运动估计，求得该层的运动参数集,即最终求得的参数即最终求得的参数集。集。利用求得的最终参数集，对图像进行运动补偿，将运动补利用求得的最终参数集，对图像进行运动补偿，将运动补偿后的图像与前一帧图像进行差值。偿后的图像与前一帧图像进行差值。9HFUT-TI DSP United LabHFUT-TI DSP United Lab下图给出了运动补偿与直接帧差的结果比较下图给出了运动补偿与直接帧差的结果比较图图1Coastguard序列图像序列图像图图2直接帧差和运动补偿后的差值图比较直接帧差和运动补偿后的差值图比较10HFUT-TI DSP United LabHFUT-TI DSP United Lab运动目标分片跟踪运动目标分片跟踪报告内容1234马尔可夫随机场分割马尔可夫随机场分割全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪5图像超分辨率重图像超分辨率重建建11HFUT-TI DSP United LabHFUT-TI DSP United Lab目标分割的意义与现状 运动目标的准确分割，对于获取目标的特征信运动目标的准确分割，对于获取目标的特征信息非常重要，直接影响到进一步的运动目标跟踪的息非常重要，直接影响到进一步的运动目标跟踪的处理，传统的运动目标分割的算法主要有背景差分，处理，传统的运动目标分割的算法主要有背景差分，相邻帧间差分，光流场的方法，这些方法都有各自相邻帧间差分，光流场的方法，这些方法都有各自的缺点和不足，不能满足准确分割运动目标的要求。的缺点和不足，不能满足准确分割运动目标的要求。12HFUT-TI DSP United LabHFUT-TI DSP United LabOhlander等提出了一种多维直方图阈值化分割方等提出了一种多维直方图阈值化分割方法，该方法直方图阈值法不需要先验信息，计算量法，该方法直方图阈值法不需要先验信息，计算量较小较小,但缺点是单独基于颜色分割得到的区域可能但缺点是单独基于颜色分割得到的区域可能是不完整的，而且没有利用局部空间信息，分割不是不完整的，而且没有利用局部空间信息，分割不准确。准确。13HFUT-TI DSP United LabHFUT-TI DSP United Lab马尔可夫随机场分割马尔可夫随机场分割 目前基于马尔可夫随机场随机场（目前基于马尔可夫随机场随机场（MRF）运动）运动目标分割的方法在图像分割领域影响越来越大，该目标分割的方法在图像分割领域影响越来越大，该方法与传统方法和阈值法相比，由于基于方法与传统方法和阈值法相比，由于基于MRF的的运动目标分割方法同时考虑了图像颜色信息和空间运动目标分割方法同时考虑了图像颜色信息和空间关联信息，因此分割效果较好。关联信息，因此分割效果较好。14HFUT-TI DSP United LabHFUT-TI DSP United Lab 另外，另外，MRF参数参数 选取的好坏会直接影响到分选取的好坏会直接影响到分割结果，割结果，Smits等研究雷达图像分割时表明，马尔等研究雷达图像分割时表明，马尔可夫参数如果较大容易形成较长的边缘，较小容易可夫参数如果较大容易形成较长的边缘，较小容易形成微边缘，而固定的马尔可夫参数则使目标的轮形成微边缘，而固定的马尔可夫参数则使目标的轮廓模糊，对分割出的目标准确判断产生不利影响。廓模糊，对分割出的目标准确判断产生不利影响。15HFUT-TI DSP United LabHFUT-TI DSP United Lab因此，我们提出一种基于自适应权值的区域马尔可因此，我们提出一种基于自适应权值的区域马尔可夫随机场的分割方法，结合分水岭预分割算法，并夫随机场的分割方法，结合分水岭预分割算法，并利用形态滤波对分割结果进行修正，较好地解决了利用形态滤波对分割结果进行修正，较好地解决了分割不准确，目标信息丢失的问题。分割不准确，目标信息丢失的问题。16HFUT-TI DSP United LabHFUT-TI DSP United Lab基于基于MRF的运动目标分割的运动目标分割 马尔可夫随机场是把一维因果马尔可夫链扩展成二马尔可夫随机场是把一维因果马尔可夫链扩展成二维的结果，维的结果，Hammersley-Clifford定理指出了定理指出了MRF和和Gibbs分布之间的等价性，每个分布之间的等价性，每个MRF都可都可以用一个以用一个Gibbs分布来描述，这样就解决了分布来描述，这样就解决了MRF概率难求的问题。概率难求的问题。17HFUT-TI DSP United LabHFUT-TI DSP United Lab Gibbs分布可定义成如下公式：分布可定义成如下公式：()1()()U z wTwp zez wQ图像上每一点的概率分布图像上每一点的概率分布()()|)cc CU zV z xx C18HFUT-TI DSP United LabHFUT-TI DSP United Lab对于一帧对于一帧CIF图像，存在一系列的像素点图像，存在一系列的像素点，对于，对于这些点存在一标记场和事先观察场这些点存在一标记场和事先观察场，这样马尔可，这样马尔可夫随机场的运动目标分割的问题可以归结为在事先夫随机场的运动目标分割的问题可以归结为在事先观察场和其它一系列约束条件下，确定运动目标区观察场和其它一系列约束条件下，确定运动目标区域和背景区域的二值标记问题。域和背景区域的二值标记问题。19HFUT-TI DSP United LabHFUT-TI DSP United LabMRF运动目标分割结果一 （a）实验序列）实验序列1 （b）固定阈值二值化）固定阈值二值化 （c）高斯模型分割）高斯模型分割 （d）自适应值）自适应值 MRF分割分割 20HFUT-TI DSP United LabHFUT-TI DSP United LabMRF运动目标分割结果二 （a）实验序列）实验序列2 （b）固定阈值二值化）固定阈值二值化 （c）高斯模型分割）高斯模型分割 （d）自适应值）自适应值 MRF分割分割 21HFUT-TI DSP United LabHFUT-TI DSP United Lab运动目标分片跟踪运动目标分片跟踪报告内容1234马尔可夫随机场分割马尔可夫随机场分割全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪5图像超分辨率重图像超分辨率重建建22HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪为什么引入分片跟踪：在目标跟踪领域，一个重要的难题就是目标的遮在目标跟踪领域，一个重要的难题就是目标的遮挡问题，因为遮挡发生时目标可能部分或全部不可见。挡问题，因为遮挡发生时目标可能部分或全部不可见。模拟人眼跟踪目标的方式，发生遮挡时，人眼会关模拟人眼跟踪目标的方式，发生遮挡时，人眼会关注目标的可见部分来继续跟踪。受这一思想启发，我们注目标的可见部分来继续跟踪。受这一思想启发，我们将目标分成多个小片，目标被遮挡时，利用将目标分成多个小片，目标被遮挡时，利用“可见片可见片”来跟踪。来跟踪。23HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪主要思想：将目标分片，建立目标分片表现模型（模板）。在目将目标分片，建立目标分片表现模型（模板）。在目标上一帧的位置周围遍历搜索，找到与目标模板相似度最标上一帧的位置周围遍历搜索，找到与目标模板相似度最高的候选目标作为跟踪结果。高的候选目标作为跟踪结果。当前帧上一帧目标位置 候选目标位置搜索窗口目标分片24HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪 其中相似度的度量是通过各片的空间直方图匹配来实现的。其中相似度的度量是通过各片的空间直方图匹配来实现的。确定目标位置后，判断目标中各片的有效性，我们仅利用确定目标位置后，判断目标中各片的有效性，我们仅利用有效片进行下一帧的跟踪。有效片进行下一帧的跟踪。被遮挡的区域片基本丢失25HFUT-TI DSP United LabHFUT-TI DSP United Lab模板更新模板更新 由上可见这种分片方法已经可以很好的解决遮挡由上可见这种分片方法已经可以很好的解决遮挡问题。问题。但是在跟踪过程中，目标的外观模型可能发生变但是在跟踪过程中，目标的外观模型可能发生变化（例如目标转身、尺寸变化等等）。那么刚开始化（例如目标转身、尺寸变化等等）。那么刚开始为目标建立的模板就不能很好的表示目标，这将影为目标建立的模板就不能很好的表示目标，这将影响跟踪效果。响跟踪效果。26HFUT-TI DSP United LabHFUT-TI DSP United Lab目标外观变化时片匹配的情况目标外观变化时片匹配的情况外观缓慢变化时，丢失的片很少27HFUT-TI DSP United LabHFUT-TI DSP United Lab利用有效片的概念，我们为每个目标建立两种模板，利用有效片的概念，我们为每个目标建立两种模板，临时模板和参考模板。临时模板和参考模板。临时模板临时模板实时更新的模板，在无遮挡情况下跟实时更新的模板，在无遮挡情况下跟踪，可以解决目标外观缓慢变化的问题。踪，可以解决目标外观缓慢变化的问题。参考模板参考模板能够很好的表示目标的模板，用于遮能够很好的表示目标的模板，用于遮挡情况下的跟踪。挡情况下的跟踪。28HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪多组实验结果：1.可以有效的解决目标遮挡可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更新模板在目标表现模型缓慢变化的情况下，实时更新模板 3.在背景较为简单的情况下实现目标尺度的更新在背景较为简单的情况下实现目标尺度的更新29HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪遮挡下的跟踪遮挡下的跟踪30HFUT-TI DSP United LabHFUT-TI DSP United Lab分片跟踪目标表现模型的变化时的跟踪目标表现模型的变化时的跟踪31HFUT-TI DSP United LabHFUT-TI DSP United Lab目标尺度发生变化目标尺度发生变化32HFUT-TI DSP United LabHFUT-TI DSP United Lab运动目标分片跟踪运动目标分片跟踪报告内容1234马尔可夫随机场分割马尔可夫随机场分割全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪5图像超分辨率重图像超分辨率重建建33HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆检测与跟踪包括以下两方面内容：包括以下两方面内容：基于码本更新的检测与跟踪方法基于码本更新的检测与跟踪方法基于轮廓匹配的检测与跟踪方法基于轮廓匹配的检测与跟踪方法34HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆检测与跟踪概述车辆检测与跟踪概述智能交通系统：智能交通系统：(Intelligent Transport Systems,ITS)35HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆检测与跟踪概述车辆检测与跟踪概述影响车辆检测和跟踪的主要因素：影响车辆检测和跟踪的主要因素：（1）车辆自身阴影；（2）车辆间相互遮挡或车辆被背景中物体遮挡；（3）同车型车辆之间具有较大的相似性；（4）光线突变；（5）夜晚和雨、雪等恶烈天气等。主要针对（主要针对（1）、（）、（2）两种情况开展研究）两种情况开展研究 36HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆检测与跟踪概述车辆检测：改进的码本算法车辆检测：改进的码本算法解决车辆检测中的阴影问题;车辆跟踪车辆跟踪:Kalman预测的方法预测的方法解决车辆跟踪中的遮挡问题;37HFUT-TI DSP United LabHFUT-TI DSP United Lab基于改进码本的车辆检测方法基于改进码本的车辆检测方法运动检测方法：运动检测方法：帧间差分方法光流场方法背景减法 构建较为理想的背景模型背景模型 38HFUT-TI DSP United LabHFUT-TI DSP United Lab常用常用背景建模和更新算法背景建模和更新算法 混合高斯模型混合高斯模型(Mixture of Gaussians,MOG)：能处理复杂、非静止的多模态背景，但它不能适应快速的背景变化,对噪声变化比较敏感；基于内核密度估计基于内核密度估计(kernel density estimation,KDE)的非参数背景模型：的非参数背景模型：需要大量内存来存储先前的数据，需要很高的计算开销；基于基于Bayes 决策的方法：决策的方法：在场景比较复杂或前景与背景颜色比较接近时，提取的前景目标很不完整39HFUT-TI DSP United LabHFUT-TI DSP United Lab基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 Kim K ，Proceedings of IEEE International Conference on Image Processing；2004 算法是利用量化和聚类技术来构建背景模型；针对彩色监控视频,对背景中的每一个像素点进行一段时间的采样，采样值聚类成码本的形式，码本就代表了背景模型。运动检测时，对新输入的像素值与其对应码本做比较,如果能找到与其匹配的码字，则认为该像素点为背景点，否则为前景点。40HFUT-TI DSP United LabHFUT-TI DSP United Lab基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 码本方法：计算聚类均值和样本与它的距离,不涉及概率运算,运算速度较快；码本方法能处理高亮和阴影问题，而且训练时允许有前景运动目标。该算法具有较强的鲁棒性，能实现对运动目标较好的检测。41HFUT-TI DSP United LabHFUT-TI DSP United Lab基于基于码本模型的运动目标检测方法码本模型的运动目标检测方法 原码本算法对原码本算法对RGB空间的视频序列，空间的视频序列，已具有较好的检测效果，有一些不足已具有较好的检测效果，有一些不足之处：之处：视频采集设备，如网络摄像机、DV和图像采集卡等采集的视频序列大多是YUV格式的，如果要在RGB空间做运动检测，则需要进行从YUV空间到RGB空间的转换，而该转换运算为浮点型运算，运算量大；原算法在RGB空间进行阴影处理时，需要做浮点型运算，进一步加大了运算量。42HFUT-TI DSP United LabHFUT-TI DSP United Lab基于改进码本的车辆检测实现基于改进码本的车辆检测实现 对原算法进行改进，直接在YUV空间做运动检测及阴影处理，省去了大量的浮点型运算，提高了算法的效率。检测步骤：（1）初始码本的建立（2）前景运动目标检测（3）阴影和高亮问题的解决（4）目标检测过程的码本实时更新 43HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆跟踪方法的实现车辆跟踪方法的实现 基于基于Kalman 滤波的车辆跟踪滤波的车辆跟踪通过运动估计运动估计和目标匹配目标匹配两个模块实现对车辆的跟踪。利用前一帧获得的参数作为Kalman滤波的状态变量，当前帧获得的参数作为观测值，通过Kalman滤波推导获得估计值。以估计值为中心进行目标匹配，如果能匹配上则认为是当前运动目标，如果匹配不上则认为出现了遮挡，使用Kalman对其位置进行预测。44HFUT-TI DSP United LabHFUT-TI DSP United Lab算法步骤算法步骤 Step1 背景模型训练，得到表示初始背景模型的码本。Step2 输入像素点和码本做比较判断，得到可能的前景像素点，同时更新码本。Step3 去除可能前景像素点中阴影和高亮区域，得到真实的前景点，同时更新码本。Step4 去噪，连通区域分析，根据检测出的运动目标的长宽消除非车辆目标，将运动车辆分割出来。Step5 使用卡尔曼滤波器预测车辆在下一帧中的可能位置。Step6 在预测区域周围对各个车辆进行匹配跟踪。转Step2，进行下一轮跟踪。45HFUT-TI DSP United LabHFUT-TI DSP United Lab夜晚车辆检测结果夜晚车辆检测结果 46HFUT-TI DSP United LabHFUT-TI DSP United Lab普通路面检测结果普通路面检测结果（a）序列某一帧）序列某一帧 （b）混合高斯模型检测结果）混合高斯模型检测结果（c）Bayes 决策检测结果决策检测结果（d）本方法检测结果）本方法检测结果47HFUT-TI DSP United LabHFUT-TI DSP United Lab高速公路检测结果高速公路检测结果（a）序列某一帧）序列某一帧 （b）混合高斯模型检测结果）混合高斯模型检测结果（c）Bayes 决策检测结果决策检测结果（d）本方法检测结果）本方法检测结果48HFUT-TI DSP United LabHFUT-TI DSP United Lab跟踪结果跟踪结果（a）序列第）序列第168帧跟踪结果（帧跟踪结果（b）序列第）序列第182帧跟踪结果帧跟踪结果（c）目标质心在）目标质心在x方向的坐标方向的坐标（d）目标质心在）目标质心在y方向的坐标方向的坐标 49HFUT-TI DSP United LabHFUT-TI DSP United Lab跟踪结果与粒子滤波方法比较跟踪结果与粒子滤波方法比较 （a）粒子滤波第）粒子滤波第40帧帧 （b）粒子滤波第）粒子滤波第60帧帧 （c）粒子滤波第）粒子滤波第88帧帧 （d）粒子滤波第）粒子滤波第100帧帧50HFUT-TI DSP United LabHFUT-TI DSP United Lab跟踪结果与经典跟踪结果与经典CamShift方法比较方法比较 （a）CamShift第第40帧（帧（b）CamShift第第60帧帧 （c）CamShift第第88帧帧（d）CamShift第第100帧帧 51HFUT-TI DSP United LabHFUT-TI DSP United Lab跟踪结果比较跟踪结果比较 （a）本文方法第）本文方法第40帧帧 （b）本文方法第）本文方法第60帧帧 （c）本文方法第）本文方法第88帧帧 （d）本文方法第）本文方法第100帧帧 52HFUT-TI DSP United LabHFUT-TI DSP United Lab车辆检测与跟踪包括以下两方面内容：包括以下两方面内容：基于码本更新的检测与跟踪方法基于码本更新的检测与跟踪方法基于轮廓匹配的检测与跟踪方法基于轮廓匹配的检测与跟踪方法53HFUT-TI DSP United LabHFUT-TI DSP United Lab背景 传统视频检测车流量统计主要采用车辆检测和跟踪技传统视频检测车流量统计主要采用车辆检测和跟踪技术相结合的方法，算法复杂且容易受到外界干扰影响，术相结合的方法，算法复杂且容易受到外界干扰影响，本文建立若干车辆遮挡模型，利用分层轮廓匹配法将本文建立若干车辆遮挡模型，利用分层轮廓匹配法将运动目标与车辆遮挡模型进行轮廓匹配识别出遮挡车辆。运动目标与车辆遮挡模型进行轮廓匹配识别出遮挡车辆。为了提取运动目标完整外部轮廓，提出一种基于连通域的为了提取运动目标完整外部轮廓，提出一种基于连通域的两轮扫描法来标记各个运动车辆，并利用两轮扫描法来标记各个运动车辆，并利用YUV彩色空间对彩色空间对阴影进行检测和抑制，提高车流量统计精度。阴影进行检测和抑制，提高车流量统计精度。54HFUT-TI DSP United LabHFUT-TI DSP United Lab 一、基于连通域的两轮扫描法 通过背景减法得到运动区域后，各个运动目通过背景减法得到运动区域后，各个运动目标可以认为是一个独立的连通域，本文采用基于连标可以认为是一个独立的连通域，本文采用基于连通域的两轮扫描法标记这些连通域，从而实现目标通域的两轮扫描法标记这些连通域，从而实现目标分割。分割。55HFUT-TI DSP United LabHFUT-TI DSP United Lab 基于连通域的两轮扫描法一、第一轮扫描一、第一轮扫描 初步标记各个连通域。针对背景减法所得到的二值化图，初步标记各个连通域。针对背景减法所得到的二值化图，按照从上向下，从左至右的顺序扫描各像素点，判断当前按照从上向下，从左至右的顺序扫描各像素点，判断当前扫描点像素值是否为扫描点像素值是否为255,如果像素值为如果像素值为255，说明该点是，说明该点是运动像素点，接着判断该点邻近像素点是否已被标记以决运动像素点，接着判断该点邻近像素点是否已被标记以决定当前像素点标记值定当前像素点标记值，当遇到第一个已被标记的邻近像素，当遇到第一个已被标记的邻近像素点，就将该像素点的标记值作为当前扫描像素点的标记值，点，就将该像素点的标记值作为当前扫描像素点的标记值，若邻近像素点都未标记，说明该像素点可能属于一个新的若邻近像素点都未标记，说明该像素点可能属于一个新的目标块，赋予该像素点新的标记值。目标块，赋予该像素点新的标记值。56HFUT-TI DSP United LabHFUT-TI DSP United Lab基于连通域的两轮扫描法二、第二轮扫描二、第二轮扫描 第一轮扫描后可能存在同一连通域的像素点被标记成第一轮扫描后可能存在同一连通域的像素点被标记成不同目标的情况，第二轮扫描将同一连通域内不同标记值不同目标的情况，第二轮扫描将同一连通域内不同标记值的目标合并为一个目标。判断每个像素点标记值是否为的目标合并为一个目标。判断每个像素点标记值是否为0，如果为如果为0，说明当前扫描点为背景像素点，则不予处理。反，说明当前扫描点为背景像素点，则不予处理。反之进一步查询当前扫描点邻近像素点是否已被标记之进一步查询当前扫描点邻近像素点是否已被标记，按照，按照从上到下，从左至右的顺序对邻近像素点进行扫描，当遇从上到下，从左至右的顺序对邻近像素点进行扫描，当遇到第一个已被标记且标记值与当前像素点标记值不同的邻到第一个已被标记且标记值与当前像素点标记值不同的邻近像素点时，将进行合并。近像素点时，将进行合并。57HFUT-TI DSP United LabHFUT-TI DSP United Lab 基于连通域的两轮扫描法 (a)一轮扫描后一轮扫描后 (b)二轮扫描后二轮扫描后2 222222 2 2 22222 22222 2 222 222 222 22 2 2 22 2 2 22 22222258HFUT-TI DSP United LabHFUT-TI DSP United Lab对比情况（a）原始图像）原始图像 （b）分割后）分割后 （c）逐行扫描法）逐行扫描法 （d）本文扫描方法）本文扫描方法 上图是实际的目标分割结果比较。图（上图是实际的目标分割结果比较。图（a）为原始图像，图（）为原始图像，图（b）为运动检测结果，存在外部轮廓不连续的情况。逐行扫描法将该运动目为运动检测结果，存在外部轮廓不连续的情况。逐行扫描法将该运动目标分割成好几块不同的区域，如图（标分割成好几块不同的区域，如图（c）所示，而本文两轮扫描法成功）所示，而本文两轮扫描法成功将该运动目标分割成一个独立的区域，如图（将该运动目标分割成一个独立的区域，如图（d）所示。）所示。59HFUT-TI DSP United LabHFUT-TI DSP United Lab二、通过轮廓匹配来解决遮挡问题 处于遮挡状态的运动目标与未处于遮挡状态的处于遮挡状态的运动目标与未处于遮挡状态的运动目标分割得到的轮廓有很大的差异，本文分析运动目标分割得到的轮廓有很大的差异，本文分析目标的外部轮廓来判断该运动目标是否处于遮挡状目标的外部轮廓来判断该运动目标是否处于遮挡状态。先建立若干车辆遮挡模型，代表一些常见的车态。先建立若干车辆遮挡模型，代表一些常见的车辆遮挡情况，再提取运动目标的轮廓分别与各个车辆遮挡情况，再提取运动目标的轮廓分别与各个车辆遮挡模型的外部轮廓进行匹配，根据匹配值判断辆遮挡模型的外部轮廓进行匹配，根据匹配值判断该运动目标是否处于遮挡状态。该运动目标是否处于遮挡状态。60HFUT-TI DSP United LabHFUT-TI DSP United Lab遮挡模型 下图所建立的车辆遮挡模型代表了典型的相邻车道车辆下图所建立的车辆遮挡模型代表了典型的相邻车道车辆遮挡情况。遮挡情况。m1 m261HFUT-TI DSP United LabHFUT-TI DSP United Lab分层轮廓匹配方法 本文采用一种分层轮本文采用一种分层轮廓匹配方法来比较运动目廓匹配方法来比较运动目标与车辆遮挡模型的外部标与车辆遮挡模型的外部轮廓，该方法在匹配过程轮廓，该方法在匹配过程中利用轮廓的整体和局部中利用轮廓的整体和局部信息进行计算。信息进行计算。首先提取首先提取运动目标轮廓，并进行采运动目标轮廓，并进行采样并以二叉树形式存储样并以二叉树形式存储，如右图。如右图。62HFUT-TI DSP United LabHFUT-TI DSP United Lab分层轮廓匹配方法我们主要依靠该二叉树的独特分层结构逐层进行匹我们主要依靠该二叉树的独特分层结构逐层进行匹配比较，最终计算出匹配值。具体的匹配计算可以配比较，最终计算出匹配值。具体的匹配计算可以利用下面这个递归等式来表示：利用下面这个递归等式来表示：1122(,)min(,)(,)jbBA BA BA B11(|,),(|,)injmdif L aa aL bb b 63HFUT-TI DSP United LabHFUT-TI DSP United Lab试验结果 （a）遮挡模型）遮挡模型 （b）原始遮挡图像）原始遮挡图像 （c）分割处理后）分割处理后 （d）遮挡模型与运动目标匹配）遮挡模型与运动目标匹配64HFUT-TI DSP United LabHFUT-TI DSP United Lab试验结果 （a）（b）（c）（d）（e）（f）（g）表表1 上图各个车辆与车辆遮挡模型轮廓匹配结果上图各个车辆与车辆遮挡模型轮廓匹配结果65HFUT-TI DSP United LabHFUT-TI DSP United Lab三、主要算法步骤（1）首先根据背景减法，初步分割出运动目标，并对运动）首先根据背景减法，初步分割出运动目标，并对运动目标进行形态学处理，填补内部空洞，去掉一些孤立的噪目标进行形态学处理，填补内部空洞，去掉一些孤立的噪声点。声点。（2）基于）基于YUV彩色空间检测并去除出运动目标的阴影像彩色空间检测并去除出运动目标的阴影像素。由于素。由于YUV的色差分量的色差分量U、V和和HSV空间的色度以及饱空间的色度以及饱和度分量存在一定的联系，色度可以近视表示为和度分量存在一定的联系，色度可以近视表示为,而可以认而可以认为是饱和度的值，阴影像素与背景像素比较，亮度有很大为是饱和度的值，阴影像素与背景像素比较，亮度有很大的变化，饱和度线性减少，色度一般不变，利用这一性质的变化，饱和度线性减少，色度一般不变，利用这一性质检测并去除出阴影像素。检测并去除出阴影像素。66HFUT-TI DSP United LabHFUT-TI DSP United Lab 主要算法步骤（3）通过本文提出的两轮扫描法，分割各个运动目标，采）通过本文提出的两轮扫描法，分割各个运动目标，采集各个运动目标的大小，位置，矩特征，以及轮廓信息等，集各个运动目标的大小，位置，矩特征，以及轮廓信息等，并修补外部轮廓中不连续的部分，得到完整的目标轮廓，并修补外部轮廓中不连续的部分，得到完整的目标轮廓，供后续处理。供后续处理。（4）根据分层轮廓匹配方法，对每一个运动目标，提取轮）根据分层轮廓匹配方法，对每一个运动目标，提取轮廓信息与车辆遮挡模型轮廓匹配比较，如果该运动目标与廓信息与车辆遮挡模型轮廓匹配比较，如果该运动目标与某一遮挡模型的轮廓匹配值小于某一阈值，则认为是匹配某一遮挡模型的轮廓匹配值小于某一阈值，则认为是匹配的，判定该目标处于对应遮挡状态。的，判定该目标处于对应遮挡状态。67HFUT-TI DSP United LabHFUT-TI DSP United Lab主要算法步骤（5）判断车辆是否通过。本文采用类似开辟检测带的方法）判断车辆是否通过。本文采用类似开辟检测带的方法进行判断，首先设置一条检测线，横贯马路，分析位于检进行判断，首先设置一条检测线，横贯马路，分析位于检测线上的各个运动车辆，对于每一帧图像中位于检测线上测线上的各个运动车辆，对于每一帧图像中位于检测线上的所有运动车辆，我们都要查询对应位置在上一帧附近是的所有运动车辆，我们都要查询对应位置在上一帧附近是否存在运动车辆，如果存在，则它们可能是同一辆车，进否存在运动车辆，如果存在，则它们可能是同一辆车，进一步查询这两个运动车辆的大小、方差与均值（矩特征）一步查询这两个运动车辆的大小、方差与均值（矩特征）差值是否保持在一个范围内，若小于某一阈值，则认为它差值是否保持在一个范围内，若小于某一阈值，则认为它们是同一辆车，反之认为当前车辆是刚进入检测线的新车们是同一辆车，反之认为当前车辆是刚进入检测线的新车辆，进一步查询它的遮挡状态，根据遮挡情况，增加车辆辆，进一步查询它的遮挡状态，根据遮挡情况，增加车辆计数值，达到统计出车流量的目的。计数值，达到统计出车流量的目的。68HFUT-TI DSP United LabHFUT-TI DSP United Lab运动目标分片跟踪运动目标分片跟踪报告内容1234马尔可夫随机场分割马尔可夫随机场分割全局运动估计全局运动估计 车辆检测与跟踪车辆检测与跟踪5图像超分辨率重图像超分辨率重建建69HFUT-TI DSP United LabHFUT-TI DSP United Lab超分辨率重建的概念 超分辨率重建(super-resolution reconstruction)是指：从单帧或一序列低分辨率图像(LR)复原出一幅或一序列高分辨率图像(HR)，HR图像有着更高的细节信息和更好的主观质量。LR序列HR图像70HFUT-TI DSP United LabHFUT-TI DSP United Lab 图像超分辨率重建的必要性 摄像机在空间上的分辨率能力是有限的。图像分辨率受摄像机感光阵列的空间密度及其本身引入的模糊误差、运动模糊、下采样、噪声等因素，导致实际拍摄图像的质量较差、分辨率低。因此有必要提高一定的重建算法来提高图像的分辨率，改善图像质量。物体镜头感光阵列 物体成像过程：71HFUT-TI DSP United LabHFUT-TI DSP United Lab图像超分辨率重建的理论基础 傅立叶光学理论中把成像系统看成是一个低通滤波器，在成像过程中会丢失高频细节：对于一个线性空间不变成像系统，成像过程可表示为：g(x)表示像，f(x)表示物，h(x)表示点扩展函数。在截止频率之外H(u)=0，因此就把成像系统看成了一个傅立叶滤波器，对 F(u)的解进行了限制。SR技术的目的就在于恢复截至频率之外的高频信息，以使图像获得更多的细节和信息。它的理论基础是：解析延拓理论，信息叠加理论和非线性操作。y(x)=h(x)*f(x)Y(u)=H(u)F(u)F(u)=Y(u)/H(u)72HFUT-TI DSP United LabHFUT-TI DSP United Lab超分辨率重建的观察模型 给出超分辨率问题的完整的数学描述：给定p帧LR观测图像 k=1,p；每帧大小为L1L2，它们是来自同一场景，也可以看成是来自HR图像f的不同位置，f的大小为H1H2。每个 是x经任意的偏移、模糊以及下采样而形成。建立观察模型如下：kykyWarp 1M1Warp kMkWarp pMpPSF Blur 1B1PSF Blur kBkPSF Blur pBpSamplc 1DSamplc kDSamplc pD+n1nknpy1ykypxkkkkyDB M xn73HFUT-TI DSP United LabHFUT-TI DSP United Lab配准 在序列图像超分辨率重建过程中，必须从欲重建图像的前后帧图像中提取相关的信息作为本帧图像信息的补充，因此必须找到当前帧图像中各象素点在前后序列图像中所处的位置。所以图像超分辨率重建中一个关键性要素就是对序列图像中每个象素点进行图像间精确的亚象素级运动估计。为什么要进行图像配准？1st frame2nd framenot correct74HFUT-TI DSP United LabHFUT-TI DSP United Lab1st frame2nd framecorrect resultregistrated 2nd frame+75HFUT-TI DSP United LabHFUT-TI DSP United Lab为什么需要子像素的配准精度？(mx,my)(mx/2,my/2)DownsamplingDownsamplingDownsamplingDownsamplingxH(x)y76HFUT-TI DSP United LabHFUT-TI DSP United Lab超分辨率重建中图像配准常用算法 块匹配算法、光流场算法、基于互信息和互相关函数的算法、基于泰勒级数展开的算法。我们需要的算法：对图像全局运动和局部变形均有效，并且对噪声鲁棒的精确亚像素精度的配准算法。77HFUT-TI DSP United LabHFUT-TI DSP United Lab主要重建算法1)迭代后向映射(IBP)yHxyH x1()BPkkkxxHyyBPH：反向映射算子78HFUT-TI DSP United LabHFUT-TI DSP United Lab2)凸集投影(pocs)凸集是定义在希尔伯特空间H上满足一定条件的集合。min xyxzxPxCxz凸集C外的一点x到凸集投影y的定义为C上与x距离最近的点z，相应的投影算子为P。79HFUT-TI DSP United LabHFUT-TI DSP United Lab 未知的HR图像x，看成H空间中的一个元素。根据实际情况和相应理论可以定义出一些先验约束条件，这些约束条件描述成一个个凸集：,1iCH im 01i miixCC 110;0,1;kmmkxP PP x k0 x1C2C 将初始估计的高分辨率图像 通过迭代的方式逐步向这些约束凸集投影，最终会收敛于交集之中，而交集之中的元素即可接受为最终估计出的高分辨率图像。0 x80HFUT-TI DSP United LabHFUT-TI DSP United Lab3)极大后验概率(MAP)根据Bayesian估计理论，由Bayesian公式-P|P argmaxP MAPy xxxyargmaxP|P MAPxy xxargmaxP|MAPxx y81HFUT-TI DSP United LabHFUT-TI DSP United Lab 图像图像 随机场随机场(Random Field)。常见的随机场：Markov，Gauss，Gauss-Markov，Gibbs 22argmin|MAPkkxyyQx22,()1P r(|)e x p()22kkxykyyyx 21Pr()exp()xQx推导出：上述目标方程可以通过一些迭代算法求解，如最速下降法、共轭梯度法等。82HFUT-TI DSP United LabHFUT-TI DSP United Lab4)近来一些新的超分辨率重建算法 matan protter提出了一种基于非局部均值滤波演变而来的新算 法，该算法的显著特点是：不依赖于精确的运动估计（即配准），重建图像某像素点的灰度值由与其所在区域相似的多个区域像素点确定，这种相似程度被量化为权值去影响重建的结果。相关文章：“Generalizing the Nonlocal-Means to Super-Resolution Reconstruction”.“Super Resolution With Probabilistic Motion Estimation”.83HFUT-TI DSP United LabHFUT-TI DSP United Lab部分实验结果部分实验结果MSESNR 样条插值383.45114.8083 POCS234.08916.9516LR图像样条插值POCSPOCSMAP样条插值LR图像84谢谢大家！谢谢大家！谢谢大家！