基于某多特征地核跟踪算法研究论文设计

wordSJ005-1CHANGZHOU INSTITUTE OF TECHNOLOGY毕业 设 计 说 明 书题目： 基于多特征的核跟踪算法研究 二级学院： 光电工程学院 专 业：测控技术与仪器 班级： 09测二 学生： 向聪杰 学号： 09050223 指导教师： 相入喜 职称： 讲师 评阅教师：职称：2013年6月35 / 40摘要视频目标跟踪是计算机视觉领域的重要的研究方向之一，在智能视频监控、智能人机交互和军事等领域都有着广泛的应用。随着信息技术的开展，近十几年许多学者对视频目标跟踪有了深入的研究，逐渐成为一个热点问题。然而在对视频目标跟踪中有很强的挑战性。在诸多提出的视频目标跟踪算法中，许多在实际应用中遇到很多困难，很难准确地对目标进展跟踪。在跟踪过程中如何克制光照、非线性形变和背景中的噪声和干扰等问题成为了研究热点。在众多的目标跟踪算法中，基于核的目标跟踪算法因其较低的运算量与较好的性能被广泛应用于各领域，但是依然有不足之处。基于核的目标跟踪算法以Mean Shift为代表，它主要包括目标特征模型的构建、Bhattacharyya系数的计算、核的选择等几个步骤。该算法的关键在于目标特征模型的构建，只有选取很好的特征才能把目标从背景中很好地区分出来。传统的Mean Shift算法由于其只选取单视觉特征对目标进展定位，所以在一些场景中不能得到很好的地位效果，因此本文基于传统的Mean Shift算法对其进展改良，研究目标特征模型对核跟踪的影响，然后在几个视觉特征中选取多个特征进展线性融合，构建多视觉特征模型，得到一种基于多视觉特征的Mean Shift算法。通过实验证明该算法比传统的算法有更好的跟踪效果。关键词：目标跟踪 视觉特征 Mean Shift 目标模型 Bhattacharyya系数AbstractVisual tracking is an important research direction in the field of puter vision, intelligent visual surveillance, intelligent human-puter interaction, and mi-litary and other fields have a wide range of applications With the development ofinf- ormation technology in the last decade, many scholars visual tracking with indepth research, being a hot issue. However, there is a strong challenge in the visual tracking. In many of the proposed visual tracking algorithm, in many practical applications encounter many difficulties, it is difficult to accurately track the object. How to overe the light, in the nonlinear deformation and background noise and interference and other issues during tracking has bee a hot topic. Because of its low putational plexity and better performance in object tracking algorithm, kernel-based object tracking algorithm has been widely used in various fields, but thereare still inadequate.Mean Shift kernel-based object tracking algorithm as the representative, which includes object feature model Bhattacharyya coefficient calculation, the choice of nu- clear few steps. The key to this algorithm is that the object feature model nice feature to only the selected objects from the background well points out areas. Traditional M- ean Shift algorithm to locate the object due to its select only a single visual features, s- o in some scenes can not get a good position, so this article based on the traditional Mean Shift algorithm to improve the feature model of the research objectives of nucl- ear track , then in a few select multiple visual features characteristic linear fusion con- struct multi-visual features model to obtain a more visual features based on Mean Shi- ft algorithm. The experimental results show that the algorithm is better than the traditional method of tracking.Key words:Object tracking Visual features Mean Shift Object modelBhattacharyya coefficient目录第1章 绪 论1111234第2章Mean Shift理论552.2 无参密度估计理论5562.3Mean Shift理论662.3.2密度梯度估计和Mean Shift向量8第3章 根本的Mean Shift跟踪算法103.1Mean Shift算法框架简介103.2Mean Shift算法步骤10101112121315第4章 多特征的Mean Shift跟踪算法1616164.1.2 纹理特征194.2 多特征模型的构建224.3多特征Mean Shift算法流程2424第5章 总结与展望27致28参考文献29附录31第1章 绪 论感觉是人类感知外界信息的窗口和与外界交流的桥梁，它可以让人类获取外界信息然后对获取的信息进展识别并判断各种事物之间的联系，通过对事物的识别与判断，人类可以把自己的思维与外界信息建立相对应的关系。在人类对外界感知的信息中有大约百分之八十是依靠视觉来获取的，人类通过视觉获取外界信息是最主要的途径它可以为人类提供相对准确的信息，因为人类的视觉系统相对于其他感知系统是一种高清晰度的媒介。人类的视觉系统虽然能比拟准确清晰地获取各种视觉信息，但是由于人类有限的精力以与有限的视野，人类的视觉系统在很多领域都存在着局限性。为了弥补人类视觉系统的局限性，如何让计算机代替人类视觉系统获取外界信息并对信息进展处理成为了一项重要的研究课题。随着计算机技术的迅猛开展，计算机视觉为目标跟踪奠定了良好的根底。视频目标跟踪技术是计算机视觉领域的核心研究问题之一，它涉与到诸多领域，如数字图像处理、模式识别、人机交互、视频图像处理等。视频目标跟踪的研究对人类社会的开展有着不可或缺的作用，它在人类生产生活等各种领域都扮演着至关重要的角色，同时在军事领域它也有成功的应用，比如空通管制系统、海岸监视系统以与军事上各种防卫系统。目标视频目标跟踪是计算机视觉领域中的一项根底核心技术，它是许多研究机构和研究者关注的重点。它是许多高层级视频处理的根底。视频目标跟踪算法有很多，根据跟踪原理的不同可以把跟踪算法简要地分为基于比照度分析的跟踪、基于特征匹配的跟踪、基于核的跟踪以与基于运动检测的跟踪。下面为大家简要地介绍几种常用的目标跟踪算法。卡尔曼滤波跟踪算法：卡尔曼滤波算法的根本思想从本质上来讲就是一个有噪声线性动态系统状态预测的递归算法。它实现目标跟踪的过程就是一个不断预测与校正的过程。常规的卡尔曼滤波算法在应用过程中有很多局限性，它要求系统状态模型和观测模型都是线性的而且都必须符合高斯模型，而且噪声也要符合高斯分布的理想状态下才能在跟踪过程中获得较好的结果。粒子滤波跟踪算法：粒子滤波跟踪算法是一种基于蒙特卡罗仿真的贝叶斯滤波算法，它能解决一些卡尔曼滤波算法不能实现的跟踪，它主要能解决非线性和不符合高斯分布情况下的跟踪。粒子滤波算法主要包括粒子采样、粒子加权、粒子重采样三个步骤，它的核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布。简而言之，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数 进展近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。基于运动检测的目标跟踪算法：此算法的根本思想是通过检测序列图像中目标和背景运动的不同寻找目标存在的区域来实现对目标的跟踪。光流法是此类算法的代表，它是研究图像灰度在时间上的变化与景象中物体结构与运动关系来达到跟踪目标的目的的。基于核的目标跟踪算法：核跟踪算法的根本思想是对相似度概率密度函数或者后验概率密度函数采用直接连续的估计对目标进展跟踪的。它的主要代表算法是Mean Shift跟踪算法，相对于其他算法，它有着比拟明显的优势并且能得到较好的跟踪效果。本文主要是对该算法进展研究和改良在此仅作简单介绍。视频目标跟踪算法的结构可以用如下图进展直观的描述：视频目标跟踪算法基于比照度分析基于匹配基于匹配核方法运动检测其他方法特征匹配贝叶斯跟踪Mean Shift算法光流法图1-1 目标跟踪算法结构目标跟踪是视觉领域研究的热点问题，二十世纪以前，由于计算机技术的限制，对图像的处理和分析主要以静态分析为主。随着计算机技术的飞速开展，目标跟踪技术也有了突破性的开展。对图像的分析与处理逐渐从静态分析转变为动态分析。这一突破就要求有一种很好的目标跟踪方法，因此，计算机技术的开展推动了目标跟踪技术的开展，让目标跟踪问题成为一个国际性的热点问题。从二十世纪80年代之后，出现了很多目标跟踪算法，其中，2003年由aniciu1等提出的Mean shift框架也称之为基于核的目标跟踪，理论严谨，计算复杂度低，对目标的外表变化、噪音、遮挡、尺度变化等具有一定的自适应能力，而且成为了目标跟踪算法研究的热点。随着对目标跟踪问题研究的不断深入，当前众多学者与研究人员都在提高目标跟踪性能方面做了很大的努力，提出了很多不同的跟踪算法，如基于模型的跟踪2、基于区域的跟踪3、基于活动轮廓的跟踪4和基于特征的跟踪5,6等。当前有许多科研人员在传统的Mean shift算法的根底上对其做了一系列的改良工作。由于样本点随机分布在样本空间，如何选取适宜长度和适宜角度的窗宽依然是Mean shift算法研究的重要问题。Collins等人提出了通过增加一个额外的尺度核，在定义的离散尺度空间中进展Mean shift迭代，从而找到最优带宽的方法7。宁蒿等人对均值漂移跟踪算法中目标尺度的自适应选择问题进展了研究8。D.aniciu等人提出了Mean shift算法中核函数的带宽选择问题9,但是计算复杂，适应性不强。复旦大学的汪沁10,11采用色彩融合模板和位置预测来提高Mean shift跟踪算法的性能。在对图像的RGB三色进展简单的线性融合的根底上，通过目标模板与候选目标模板之间的相似度函数选取目标特征中最突出的入伙特征算法，并据此建立三个目标模板。对目标的位置先进展卡尔曼预测，再用Mean shift算法对三个模板分别进展跟踪，最后融合跟踪结果12；大学的朱胜利等人提出的Mean shift和卡尔曼滤波器相结合的方法13,利用卡尔曼滤波器来获得初始位置，然后再利用Mean shift算法得到跟踪位置，从而实现快速目标的跟踪。针对传统的Mean shift算法的缺陷，相关学者还提出了很多改良的算法比如基于水平集非对称核函数的算法14,15、基于空间直方图的算法16,17、基于Mean shift与粒子滤波相结合的算法18,19、基于Mean shift与Kalman滤波相结合的算法20,21等等。在众多视频目标跟踪算法中，核函数跟踪算法有着比拟明显的优势，它以它较低的运算量和较好的跟踪效果受到大家的青睐。核函数跟踪算法本质上是一种非参的概率密度估计法，早期未被应用于视频目标跟踪领域，直到今年才被研究应用于视频目标跟踪领域。在初始帧中把需要跟踪的目标描述成为一个概率密度函数作为模板，然后通过计算在后续帧中找到概率密度函数与初始帧中最接近的图像区域作为跟踪目标，这是此算法的核心思想。核跟踪算法在目标跟踪过程中具有很高的稳定性，能够适用于被跟踪目标的形状和大小的连续变化，同时，具有计算复杂度低、速度快，抗干扰能力强等有点。它能够保证跟踪的实时性和鲁棒性性。相对其他视频目标跟踪算法，核跟踪算法已经有了相当的优势，但是，尽管核跟踪算法被应用于很多领域对目标进展跟踪，它在实际应用过程中也面临着很多困难，在很多情况下对待跟踪目标的跟踪无法得到很好的结果，甚至在跟踪过程中丢失目标。传统的核跟踪算法以Mean Shift算法为代表主要面临以下困难：1缺乏必要的模板更新；2跟踪过程中由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪就会失败；3当目标速度较快时，跟踪效果不好；4直方图特征在目标颜色特征描述方面略显匮乏，缺少空间信息；基于核的目标跟踪算法是一类广泛应用的跟踪算法，本文以Mean Shift算法作为代表对其进展研究。传统的Mean Shift算法已经具有计算方法简单，实时性好等优点，因此被广泛应用于各领域。但是，传统的Mean Shift算法通常采用单一的颜色特征作为目标特征实施跟踪，在实际应用中由于场景的复杂度较高，很难取得对目标跟踪的良好效果。当跟踪目标在跟踪过程中亮度变化剧烈和背景颜色接近时，该算法容易丢失目标导致跟踪失败。针对传统的Mean Shift算法的这种缺陷，本文提出了一种基于多特征的Mean Shift跟踪算法，对待跟踪目标选取多个目标特征进展建模，相对于单视觉特征的跟踪，该方法能弥补它的不足得到较好的跟踪效果。在本文中对传统的Mean Shift跟踪算法进展改良时选取了待跟踪目标的颜色特征和纹理特征分别建立图像灰度模型与LBP简单纹理模型，通过手动提取跟踪目标的灰度直方图和纹理直方图组成二维目标模板嵌入到Mean Shift跟踪算法中。根据选取的目标特征用Matlab软件编写程序进展仿真。通过实验对传统的Mean Shift跟踪算法和改良后的Mean Shift跟踪算法作比照，验证新的算法能对目标进展更好的跟踪。本文的章节安排如下：第1章 绪论。主要介绍了本课题的研究背景和意义，同时简要介绍了几种主要的目标跟踪算法和国外研究现状，最后给出了全文的创新点和章节安排。 第2章 Mean Shift理论。主要介绍了Mean Shift理论和Mean Shift在目标跟踪领域的应用。第3章 根本的Mean Shift算法。主要介绍了传统的Mean Shift目标跟踪算法的框架简介和步骤，给出了整个算法的流程。第4章 基于多特征的Mean Shift算法。本章节提出了一种对传统Mean Shift算法改良的多特征Mean Shift算法，并给出了实验验证对改良前后的算法作比照，验证经过改良后的算法的优化效果第5章 总结与展望。总结了全文的主要工作和取得的成果并提出了下一步研究方向。第2章Mean Shift理论Mean Shift的概念最早是在1975年由Fukunaga等人在概率密度梯度函数的估计一文中提出的。Mean Shift算法其实就是一个迭代的步骤，首先计算出当前点的漂移均值然后把该点移动到它的漂移均值，再把移动后的点作为起始点重复前一步骤，以此类推直到满足一定条件完毕。Mean Shift概念在刚被提出时未被受到关注直到1995年由Yizong Cheng发表了一篇关于Mean Shift的重要文献之后才引起了人们对它的关注。在此文献中，他定义了一族核函数，使样本与漂移点的不同，漂移量对均值漂移的影响也不同。与此同时，他还定义了一个权重系数用来描述不同样本点重要性的大小。紧接着在1999年至2003年期间，aniciu等人将Mean Shift运用于特征空间的分析中，对图像进展平滑和分割处理。由于Mean Shift算法的优势明显，被图像平滑，图像分割和目标跟踪等许多计算机视觉领域关注和研究。2.2 无参密度估计理论在目标跟踪常使用的无参密度估计方法包括：直方图法、最优邻域法与核密度估计法。直方图法是最早的无参密度估计方法，它只适用于维数较低的数据分布；最近邻域法容易受到局部噪声的影响，难以准确稳定地估计模型；而核密度估计方法能较快产生一个渐进无偏的密度估计，具有良好的概率统计性质，核密度估计法较直方图法多了一个用于数据平滑的核函数，是目前最通用的无参密度估计法。均值漂移算法是从核密度函数梯度的非参数估计中推导获得，而非参数估计如此是从样本集出发对密度函数进展估计，它不需要任何先验知识，对任意形状的分布都有效。定义：代表一个d维欧式空间，x是该空间中的一个点，用列向量表示。X的模为，R表示实数域。如果一个函数K：存在一个轮廓函数k：，即：2.1其中为标准化常数，并且满足：1k是非负的；2k是非增的；3k是分段连续的，且。函数Kx被称为核函数。核函数在核估计中起到平滑作用，也称为“窗函数，一维空间中的常用核包括：均匀核、三角核、Epanechnikov核、双权核、高斯核等。给定空间中的n个采样点，利用核函数Kx与正定的dd带宽矩阵，密度函数的核密度估计公式为：2.2其中，x为核函数的中心点，是采样点的权重，满足，简记为。核函数K(x)决定了采样点与核中心x之间的相似性度量，带宽矩阵决定了核函数的影响围。称作Mahalanbis距离。密度估计是每个采样点处的核函数加权求和结果。在一维情况下，设为欧几里德空间里的任意一组数据点，如此可以定义由函数K(x)和核窗半径h在数据点x处的核密度估计值为2.3取核函数为2.4如此2.5其中，h为核函数的带宽，且满足，。因为，所以核函数关于中心点0对称，通过转换得到关于点对称，即是的中心点。综上所述，密度函数的估计值就是以各个采样数据点为中心的核函数的平均值。2.3Mean Shift理论在上一节中讨论了在一维空间下的核密度估计。对于多维空间下，只需将一维空间的核函数扩展到多维空间的核函数。在多维情况下的核密度估计的数学描述如下：设为d维欧几里得空间中的任意一组数据点，可以引入一个带宽矩阵H，如此由核函数和带宽矩阵H在数据点x处计算出核密度估计值定义为 2.6其中，为定义在上的核函数。H为一非奇异的带宽矩阵。在多维变量情况下，核函数的生成是需要考虑的问题。一种最简单的方式是用连乘核函数生成2.72.7式中的Kx代表一维情况下的核函数，2.6式可以变为2.8还有一种方式是由一维变量核函数在空间中旋转得到，形式如下2.9是放射状对称的，标准化常数保证的积分为1。在计算机视觉领域，对此类放射状核函数更加关注，它们满足下式关系：(2.10)其中k(x)为Kx的轮廓函数，且,正的标准化常数保证K(x)的积分为1。还需要解决的一个问题是带宽矩阵采用何种形式。复杂的带宽矩阵虽然能够提高多维变量估计的灵活性但是与此同时带了的问题是有很复杂的计算过程。通常采用以下两种比拟简单的形式：对角矩阵和单位比例矩阵。两者相比后者相对简单，就采用第二种形式，如此密度估计式2.6变为密度估计的典型形式：2.11将2.10式代入2.11，得到2.12上式即为多变量情况下通用的核密度估计式。2.3.2密度梯度估计和Mean Shift向量由核密度估计法估计出概率密度函数之后，需要求出概率密度函数的峰值即概率密度函数的最大值，根据最大值可以找到采样数据点分布最密集的区域。通过概率密度函数的极值点还可以在Mean Shift聚类分析中进展聚类。根据核密度估计式的可微性可以找到概率密度函数的最大值。由2.12式可以得到概率密度梯度的估计式。2.13令g(x)=k(x),并且假设对于除了有限个点集外，对所有的，k(x)都存在。由g(x)作为核函数的轮廓函数，可以定义Gx为核函数：(2.14)其中，是标准化常量。将g(x)代入2.13式，得到2.15由2.12式可知，由核函数G(x)和窗宽h得到的在数据点x处的核密度估计式为2.162.15式中的第二项就是Mean Shift向量：2.17可以看出，Mean Shift向量就是以核函数G(x)的轮廓函数为权重系数的加权平均值与x的差。由2.16式与2.17式，将2.15式改写为：2.18即2.19由2.19式可知，x点处的基于核函数G(x)的Mean Shift向量与基于核函数K(x)的密度梯度估计值之间相差一个正的常数，所以，向量的方向与密度梯度的方向是一样的，即向量的方向与密度梯度变化最快的方向一致。第3章 根本的Mean Shift跟踪算法3.1Mean Shift算法框架简介均值漂移算法运用于目标跟踪领域是建立在核密度估计的根底上对跟踪目标寻求最优结果的迭代过程。它主要包括目标模型的建立、候选概率模型的建立、相似性函数的建立和计算、目标位置更新这几个局部。3.2Mean Shift算法步骤目标特征模型的构建是Mean Shift算法的关键，选取良好的目标特征构建目标模型能使目标跟踪在实际应用中有较好的结果。主要可供选取的目标特征有颜色特征、纹理特征、边缘特征等。传统的Mean Shift算法是选取颜色特征作为跟踪目标的依据的。它利用目标的颜色信息对其进展分析、跟踪和定位。颜色特征：颜色特征是在RGB颜色空间用颜色直方图来表示的。R,G，B三个颜色特征可以分别用256个区间来定量地表示。使用RGB颜色的原因主要是考虑到算法的通用性。目前，现有的视频测试序列和视频采集卡的数据大多是以RGB格式的形式存在的，如果要把RGB格式转化为其他的颜色空间表示形式需要消耗很多计算时间，直接采用RGB颜色空间可以提高跟踪的效率，具有很好的实时性。边缘特征：对边缘特征的描述可以采用Roberts算子，它是一种利用局部差分算子来寻找目标边缘的算子，它只需对当前像素的领域进展计算，因此具有计算简单的优点。类似地，Roberts算子采用直方图表示边缘特征并量化成256个区间。100-10-110图3-1 Roberts算子模板纹理特征：理是指存在于图像中某一围的形状很小的、半周期性或有规律地排列的图案。在图像判读中使用纹理表示图像的均匀、细致、粗糙等现象。纹理是图像处理和模式识别的主要特征之一。纹理特征是指图像灰度等级的变化，这种变化是与空间统计相关的。图像的纹理特征反响了图像本身的属性，有助于图像的区分。一般的图片都具有丰富、稳定的纹理特征，且利用统计方法方法提取图像的纹理特征具有计算量小的特点。目标模型一般是在选定目标特征的第一帧图像中建立的，它是对待跟踪目标的表示和进展跟踪的依据。在初始帧中，把目标区域定义为一个矩形区域。传统的Mean Shift目标跟踪算法是选取目标的颜色特征构建特征模型的。选取颜色特征有助于对其进展描述，且具有很好的鲁棒性。以选定区域的几何中心作为坐标原点，用表示目标区域中的归一化像素位置，该区域以0为中心，区域中的像素总数为n。为了更好地表达目标减小噪声的干扰，可以用一各向同性核函数k(x)对目标区域中的像素进展加权处理。由于像素点离中心的距离越远越容易受到外界干扰，所有要对其赋予相对较小的权值；相反，中间像素受外界影响较小要对其赋予一个较大的权值。权值的引入对跟踪的鲁棒性有了很好的提高。在选定的特征空间中，模型可以用特征空间中个元素的概率密度来表示。针对颜色特征，可以用颜色空间中的各类像素的概率密度来表示要跟踪的目标。目标区域的中心一般定义在远点处，在后续帧中候选区域的中心定义在y处，可以用概率密度来表示候选模型。 目标模型：3.1 候选模型：3.2表示坐标空间到特征空间的映射关系。函数表示位置坐标与特征空间中特征值的映射关系。目标模型中各个特征值的概率密度可以由下式计算：(3.3)式中，表示目标区域中包含的特征值，第个特征值概率密度用表示，是核函数，是冲击函数，是归一化常数，可以用下式定义：3.4在选定的特征空间中所有的特征值的概率密度之和是1。类似的，候选模型的建立与目标模型的建立原理一样。令表示候选模型中的个像素点，设y为候选模型中目标区域的中心，采用核函数kx和带宽h对候选目标区域中的像素点进展加权处理，如此候选模型目标区域中特征值的概率密度可以由下式表示： 3.5标准化系数为：3.6为了对目标模型与候选模型的相似性进展度量，从而找到最符合真实目标，我们在此引入一个描述目标模型与候选模型之间关系的函数，称之为相似性函数。把d(y)定义为目标模型与候选模型之间的距离作为衡量两者相似程度的标准。由于在算法中对初始目标和候选目标的描述都是采用离散分布密度的形式，所有可以定义两个离散分布的距离为：3.7p和q之间的Bhattacharyya系数的样本可以表示为：3.8Bhattacharyya系数可它是以对离散度进展度量，它可以直观地描述离散度的大小。本质上它是两个m维单位向量和之间夹角的余弦值。在此引入Bhattacharyya系数，可以把3.8式理解为是向量与之间的相关系数。d(y)定义的是两个模型离散分布的距离，因此d(y)的值越接近于0，两个模型的相似程度就越高。由3.7式和3.8式可以得到Bhattacharyya系数与两个模型相似度的关系：Bhattacharyya系数越接近于1模型相似度越大，Bhattacharyya系数越接近于0模型的相似度越小。根据上一节对Bhattacharyya系数与两个模型相似度关系的研究可知，要使候选模型与目标模型的相似度最大化就应该让Bhattacharyya系数最大程度接近1。由3.7式和3.8式结合可知Bhattacharyya系数的最大化等价于d(y)的最小化。目标的定位过程首先要在前一帧图像中目标定位的位置作为起始位置，我们可以用来表示目标的起始位置，要在当前帧中搜索下一个可能的目标候选位置需要在目标的初始位置对模型进展概率分布描述。对3.8式在处进展泰勒展开，经过数学变换可以得到Bhattacharyya系数的一个近似线性估计，可以用下式表示：3.9每次当目标候选位置从初始位置处有不太大的变化时，3.9式中对Bhattacharyya系数的近似线性估计可以得到实现。在多数对连续帧图像的估计中，这个假设条件是合理的。把3.5式代入3.9式可得3.10式中3.11对3.10式进展分析，式中的第一项中不含变量y，因此要使等式中的值最大化就要对式中的第二项最大化。对等式左边第二项进展分析，可以看出第二项的意义是一个概率密度估计式，就是基于核函数轮廓函数k(x)在当前帧位置y处的概率密度估计式。把此概率密度估计式与前面讨论的核密度估计式做比拟可发现两者就相差一个变量，的作用是对概率密度进展加权处理。通过分析可以得到，要对相似度函数最大化可以等价于要对概率密度估计式最大化，即寻求概率密度函数的峰值。根据式2.17计算以为中心的Mean Shift向量：3.12然后可以就目标的中心偏移到真实目标的下一个候选位置，再根据2.17式计算可得：3.13其中 g(x)=-k(x)。下面对Bhattacharyya系数的最大化过程进展简要概括：1. 在当前帧中给定在前一帧中真实目标的位置；2. 根据位置，计算目标模型的目标概率分布；3. 以初始化当前帧的目标位置，计算目标在当前帧的初始候选模型，对相似性度量函数值进展估计；4. 估计3.11式计算；5. 根据3.13式找到当前帧中候选目标的下一位置；6. 以为中心位置，计算候选模型，对相似度函数值进估计；7. 如果，如此取和的平均值赋值给，返回第六步重新计算；8. 如果满足条件如此完毕步骤；否如此，把赋值给转到步骤3。以上为Mean Shift算法实现目标定位的具体步骤。是是输入初始帧目标位置初始化计算目标模型收敛至新的真实目标位置处理过程完毕计算候选目标模型确定目标候选位置输入下一帧计算权值Mean Shift迭代偏移量小于视频完毕否否图3-1 Mean Shift跟踪算法流程图第4章 多特征的Mean Shift跟踪算法在前一章中对传统的Mean Shift跟踪算法的介绍中已经作了简单的介绍。视觉特征的选取是这类算法的关键局部，好的特征选择可以有效地将目标区分出来，更有利于目标定位，单视觉特征在一些场景中定位效果不好，因此需要从几个视觉特征中选择有效几个特征线性融合。特征基是通过将图像用一组二维的矩阵进展表示，然后利用它在低维空间显示的是一个流形的特点，通过一些常用的几何工具对这个流形进展提取和分析以此来得到相关信息。局部区别特征描述子如此是通过一组特征描述子来进展目标的描述，当然这些特征描述子能表示目标区域对光照和旋转等特征的不变性，最后将它融入到目标跟踪框架中就能进展目标的跟踪。本文主要是基于传统的Mean Shift目标跟踪算法的单视觉特征跟踪进展改良，同时选取目标的颜色和纹理特征对其进展描述，建立多特征融合的目标模型进展跟踪。颜色特征的描述是在RGB空间下采用颜色直方图实现的；纹理特征是通过小波变换理论提取的。两个特征具体是如何从目标中提取在下文中作了详细的介绍。颜色特征是各种基于特征的目标跟踪算法选取最广泛应用最广的视觉特征，由于它对图像的大小、形状等几何特征的依赖性很小，而且计算比拟简单，在实际目标跟踪的应用中有较好的鲁棒性和实时性，能得到较好的跟踪效果。对颜色特征的描述需要选取一个好的颜色空间，俗称彩色模型。颜色空间的好坏可以从它应用的普遍性和简便性来判断。选取的颜色空间必须包含所有的颜色，并且能用不同的点表示不同的颜色。常用的颜色空间主要有RGB空间以与HSV空间，根据实际应用要求的不同可以对两者相互转换。另外还有其他一些颜色空间，如HSL、HSB、HSI色调、色饱和度、亮度等。另一种提取颜色特征的方法是通过颜色直方图、颜色矩、颜色集等，在本文研究的算法中颜色特征主要是通过颜色直方图来提取的。RGB颜色空间是指以R红色、G绿色、B蓝色为变量的空间直角坐标，在图像监视跟踪方面有着广泛的应用，由于其忽略了色调、饱和度和亮度这几个特点，在科学研究中并不常采用。RGB颜色空间模型是以笛卡尔坐标系为根底的，在这个颜色空间中，R、G、B三个颜色属性是对等的，根本的算法在这里都是有效的，即它们能相互加减，通过这三种颜色的根本运算，能实现各种颜色的任意搭配，假如用C表示任意色彩，如此有以下表达式来表示：4.1为了计算的方便，可以将RGB颜色空间量化成256个区间来表示目标，并将所有的颜色进展归一化，即将R、G、B的取值限定在0,1区间。以坐标1,0，0、0，1,0、0,0,1分别代表最初的三原色红色、绿色和蓝色。在RGB颜色空间模型中所表示的每一幅图像都是由三个分量图像组成的，每一种原色代表的是一幅分量图像，将这个三个分量图像送入到RGB监视器后，它会把这三幅图像投射到屏幕上并合成一幅彩色图像了，这个就是RGB颜色空间合成一幅彩色图像的总体流程。RGB彩色空间模型如如下图3-1所示： GR灰度级青色0,1,0表示绿色0,0,1表示蓝色1,0,0表示红色白色深红色黑色黄色图4-1 RGB颜色空间模型示意图HSV中H代表色相，S代表饱和度，V代明确度。类似的，HSV颜色空间与RGB颜色空间一样，也是选取H、S、V三个变量来建立空间坐标系的，通过三个分量值的不同去表示各种不同的颜色。由于HSV是一种比拟直观的颜色模型，所以在许多图像编辑工具中应用比拟广泛，如Photoshop在Photoshop中叫HSB等，但这也决定了它不适合使用在光照模型中，许多光线混合运算、光强运算等都无法直接使用HSV来实现。在对HSV颜色空间的应用中，可以根据需要把它与RGB颜色空间进展相互转换。颜色直方图在图像处理中是比拟常用的提取颜色特征的方法，它所描述的是不同色彩在整幅图像中所占的比例。颜色直方图主要适用于描述难以进展自动分割的图像。早期，彩色在人们生活中还没有得到广泛应用，因此，对颜色特征的提取是采用灰度直方图的。灰度直方图中的横坐标表示的是灰度级，纵坐标表示的是图像中出现该灰度级的个数或者说此灰度级出现的频率，主要反映的是图像中灰度分布情况，但是它的缺点是并不能很好地反映出这些灰度值的位置。假设一个灰度级为0,L-1图像的直方图用一个离散的函数式来表示即有，式中的表示的是第k级灰度值，表示的是灰度图像中灰度值为的像素数目。在实际情况下，通常采用MN这两个乘积来进展图像的归一化，M和N分别表示的是灰度图像的行和列的维数。所以，经过归一化得到的直方图可由计算，k的取值围为0,L-1,即是所选取的灰度级的取值围。经过归一化后的灰度直方图中的所有灰度分量之和应等于1。对于一幅亮度暗的图像，灰度直方图中的这些分量应该是集中出现在灰度级的低端，而对于一幅亮度比拟亮的图像，如此对应的灰度直方图中的分量应该集中出现在灰度级的高端。如果图像的比照度较低，如此它的灰度直方图会变窄，反之亦然。从一幅灰度直方图能得到这些结论：如果图像的像素占据整个设定的灰度值并且这些像素均匀分布，那么这个图像必有较高的比照度而且灰色调有很明显的变化趋势。因此从灰度直方图中能得到一幅图像的许多信息。假设灰度级为1-5的整数且没经过归一化，如此灰度直方图可由如下图4-3所示：121413332212131414525551514242灰度值12345频数97455图4-2 灰度值频数统计表灰度直方图02468101212345灰度值频数系列1图4-3 灰度直方图由于现实中的图像都有各自不同的色彩，因此现在研究的直方图都是基于彩色图像的，为此需要构建颜色直方图，并选择了在RGB色彩空间下进展直方图构建。颜色直方图是用来对颜色特征进展提取的重要工具，它代表的是不同的颜色在整幅图像或者某个区域所占的各个比例。因此，假如要用颜色特征目标进展跟踪，如此必须要用颜色直方图来区分颜色特征，而且颜色直方图适用于那些难以分割的图像，就是说它能对整幅图像的颜色特征进展描述。构建颜色直方图的关键是要对各个颜色通道进展量化，即要合理确实定每个颜色小区间bin，这个小区间将颜色空间进展划分，然后只要通过计算其颜色落在每个小区间的像素数目就能得到颜色直方图，所以选取一定数目的颜色小区间是非常重要的。理论上选取的小区间数目越多，就能越详细的描述各个颜况，也就能更好的构建颜色直方图。但是颜色小区间的数目越多的话，就会增加计算上的负担，而且对于某些场合来说，并不需要非常精细的跟踪，因此需要合理的选择颜色小区间的数目。本文在RGB颜色空间根底上，将RGB三颜色空间的通道量化为R=6，G=6，B=6，即选取了666的颜色小区间来构建颜色直方图。4.1.2 纹理特征纹理是指存在于图像中某一围的形状很小的、半周期性或有规律地排列的图案，它是主要的视觉特征之一。在图像跟踪问题上它是一个重要的特征，因为它能够很好的反映出物体或者图像的属性，可以将不同的物体区别开来，这对于图像的跟踪是十分有意义的。纹理分析技术在图像处理、计算机领域都有着重要的研究价值，其主要研究的容有纹理的分割、合成以与通过纹理来恢复图形等问题。当然纹理特征目前还存在着一些难以解决的问题，如缺乏对纹理特征提取后的性能分析标准，导致无法识别哪种方法好用而且要能适合不同的场合，所以纹理问题的研究还在继续中。如何进展纹理特征的提取决定着跟踪的好坏，目前常用的主要有两种方法：LBP算子和小波变换。1. LBP算子在图像领域中，LBP是指局部二值模式，最初的提出主要是用来辅助图像的比照度，后来人们在此根底上将它运用到图像的纹理特征上，用来对纹理特征进展详细定量的描述和提取。LBP算子的计算过程可以描述为：首先选定一个33大小的矩形模板，这个矩形模板由一个中心像素值和与其对应的八个邻域像素值即共九个像素组成。选取中间的像素值作为整个模板的阈值，分别将周围的8个像素值与之进展比拟，假如大于该阈值的像素值如此置为1，否如此就置为0，然后依次读出八个二进制值，将读出的值与中心像素值构成一个新的33大小的矩形模板，这个矩阵就是二值纹理模式，用它可以来表示周围像素点相对于中间像素点的变化情况。LBP算子的计算公式可以由下式给出： 4.2式中n是用来遍历中心像素点i的周围的8个邻域像素；和分别表示的是像素n和中心像素i的灰度值；th为一阈值，用来进展条件的判断。LBP算法同样采用直方图表示并被量化成256个区间。局部二值模式的编码方式如图4-4所示：101150新模板001948852216阈值比拟33矩形模板1041280001612412886432161+0+4+0+16+0+0+128=149LBP操作图4-4 LBP算子编码原理图傅立叶变换是信号分析中常用的方法，通过傅立叶变换能将时域的信息转换到频域中，频域空间与时域空间相比，它更能直观的反映出相关信息，此外，在频域中对图像处理更为简单方便。由于傅立叶变换是全局性的变换，它有着很多局限性，为此在傅立叶变换的根底上，有人对其进展改良，得到了一种新的变换小波变换。小波变换是由一名法国人在1974年首先提出的，当时并未引起过多的重视，直到1986年有人在偶然的情况下造出了一个真正的小波基才引起人们的关注。现在小波变换已经成熟了，并广泛的应用到纹理特征提取中。小波变换的作用是将信号分解成一系列对数宽带一样的频道，在高频处能将时间细分，而在低频处如此能将频率细分开来。利用小波变换能得到一系列高频和低频系数。在实际情况中高频信号往往能反映出目标的有用信息，而低频信号往往不行，因此，通过小波变换后，主要是提取有用的高频系数进展分析，利用这些高频系数来进展图像的纹理特征的描述。它最主要的特点就是往往通过一次变换就能详细地突出所研究容的某些方面的重要特征。原始图像序列小波变换分解抑制噪声干扰低频成分高频成分小波重组提取纹理特征本次设计采用的是小波变换，利用小波变换来提取纹理特征，从而为后期的工作做准备，其流程图如下3-5所示：图4-5 小波变换提取纹理流程图4.2 多特征模型的构建选取颜色作为描述目标的特征之立颜色直方图概率模型，首先选取对角线长度为h的矩形子图像块作为建模区域，中心点为，如此像素点可以表示为，颜色特征值为m个，对应的概率密度为：4.3式中是Delta函数，用于判断建模区域中像素的颜色只是否属于第个，分别用1和0表示属于和不属于。在外界干扰情况下目标模型的中心像素比边缘像素受到的影响小，因此要对中心像素赋予一个较大的权重值而对边缘像素赋予一个较小的权重值，这样能提高跟踪的准确性4.4于是，基于核函数的轮廓函数概率密度表达式为：4.5其中是归一化系数，满足下式：4.6综上所述，可以把目标模型和候选模型分别表示为，。下标c是为了与下面所要建立的纹理模型作区别。通过上一节中对小波变换的介绍中我们对小波纹理特征模型的建立也有了一定的了解。在小波纹理特征提取方法中，用子带能量的平均值提取是一种相对计算比拟简单的方法。在本文中采用此方法建立小波模型如下：4.7式中，M,N分别代表小波系数矩阵的行和列，是归一化因子，满足条件：4.8把10个小波子带按分别用4.7式提取纹理信息，由此可以得到小波纹理模型为。通过前面对颜色特征和纹理特征模型的构建，现在需要把两者结合起来构建一个多特征模型对目标进展综合描述。把两者的融合可以通过分别对其进展加权处理得到，如下：4.9由4.9式可以得到结合了颜色特征和纹理特征的多特征模型，式中为调节因子，满足条件。在实际应用中，颜色特征和纹理特征对目标跟踪效果的影响程度是不同的，在不同的环境下，需要对两个特征模型赋予不同的权重系数以便在跟踪过程中有较好的鲁棒性。得到多特征模型后，模型的相似性函数和位置的更新和传统的Mean Shift算法一样，具体的已经在第三章中作了详细介绍。4.3多特征Mean Shift算法流程建立目标多特征模型迭代计算候选区域位置收敛到最优点更新值取新旧位置中点相似性函数递增新旧位置差小于阈值更新值取新位置建立多特征候选模型图4-6 多特征Mean Shift算法流程图否是否是为了证明多特征Mean Shift目标跟踪算法的跟踪效果，下面给出仿真实验的结果。实验通过使用传统的Mean Shift目标跟踪算法和多特征目标跟踪算法对一段含有50图像的视频进展目标跟踪，从中选取了3帧图像进展分析。如图4-7a、b所示。图4-7a多特征Mean Shift跟踪算法跟踪效果图4-7b传统Mean Shift目标跟踪算法效果根据实验仿真结果，直观地看出，运用本文的跟踪算法对汽车进展跟踪能全程实现对汽车的跟踪，而传统的跟踪算法在前一段视频中也能实现对汽车的跟踪，但是当汽车行驶到有路灯杆遮挡的地方丢失了目标，由选取的第40帧图像中可以看出已经丢失目标。综述可知，经过改良的算法对目标的跟踪有更好的鲁棒性。第5章 总结与展望核跟踪算法作为一种有较强鲁棒性的目标跟踪算法在视觉跟踪领域被广泛应用。在一些银行、酒店、车站等公共场所都有应用，对环境进展监控。可见，目标跟踪技术在人们的日常生活中扮演着不可或缺的角色，它能够帮助人们解决一些人工无法完成或者需要消耗大量人力财力的问题。正因为目标跟踪技术被广泛应用于各领域，所以对目标跟踪技术的研究从它被重视以来一直是一个被很多学者和专家关注的热点问题。通过对目标跟踪技术的不断研究和革新，可以在实际目标跟踪中获得更好的鲁棒性。我相信，只要我们努力对它进展研究，不断学习，不断革新，可以更好地掌握这一技术，最后走向成熟。经过这一学期的学习，我对目标跟踪算法有了初步的认知，大致了解了一些跟踪算法的原理和实现步骤。在众多的目标跟踪算法中，我主要对Mean Shift跟踪算法进展了学习。它是基于核的目标跟踪算法的代表性算法，在实际应用中有较好的实时性和鲁棒性，因此在很多领域中都不乏其身影，如：视频监控，人机交互，图像压缩等。传统的Mean Shift跟踪算法是基于目标的颜色特征进展跟踪的。颜色是一个能较好地描述物体的特征，因为它对图像的大小、形状等几何特征的依赖性很小而且计算也比拟简单。诸多优点让颜色成为了在目标跟踪技术中应用最广泛的目标特征之一。但是，在实际跟踪中，由于外界干扰太大，有时不能达到很好的效果，甚至会丢失目标。针对这个问题，我在本文中提出了多特征跟踪的方法，从多个角度对目标实施跟踪定位，并通过实验证明了这种方法的可行性。本文是从目标的颜色和纹理特征着手对目标进展多特征跟踪的，如果再融合几个特征是否可以得到更好的跟踪结果，这成了进一步研究的方向。简单的目标跟踪算法只适用于一些精细度和分辨率要求比拟低的领域，如果能研究一种高精细度、高分辨率的目标跟踪算法，就能把它应用于一些跟踪要求比拟高的领域，比如军事领域中的导弹跟踪、敌机跟踪等，这对提高我们的军事实力和综合国力也是一个不可小觑的着力点。总而言之，对目标跟踪技术的研究的道路是曲折的，它要求我们锲而不舍地学习，不断地克制各种困难，相信通过努力在不久的将来一定可以获得喜人的成果。致时光匆匆，大学本科四年的学习即将完毕，回首这四年悄然离逝的时光，心里荡漾着一种非常复杂的滋味，既有快乐又有伤感。快乐的是有那么多同学朋友陪伴着我一起生活、学习。偶尔也会伤感是因为在学习上会遇到一些困难和