光电信息处理技术图像稳定课件

图像稳定技术电子稳像电子稳像SIFT算法算法实验结果实验结果2*背景n图像稳像技术广泛应用于民用测绘仪器、军事领域图像稳像技术广泛应用于民用测绘仪器、军事领域 和摄影系统中。图像不稳定主要是由摄像机载体的运和摄影系统中。图像不稳定主要是由摄像机载体的运动导致的，这是因为载体姿态的变化会传递给摄像系动导致的，这是因为载体姿态的变化会传递给摄像系统的瞄准线，从而造成摄像系统的光轴与目标之间有统的瞄准线，从而造成摄像系统的光轴与目标之间有无效的相对运动。无效的相对运动。3*图像不稳定的因素 4*稳定轴数量 5*稳像技术分类n机械式稳像：机械式稳像：用机电的方法来达到稳像目的。在大型用机电的方法来达到稳像目的。在大型的武器系统中将整个仪器置于稳定平台上的武器系统中将整个仪器置于稳定平台上;在电视摄像在电视摄像头中，是将整个光学系统稳定起来。头中，是将整个光学系统稳定起来。n光学稳像：光学稳像：用光学的方法实现图像稳定。在光路中设置用光学的方法实现图像稳定。在光路中设置一些光学元件来作为对不稳定图像的补偿。光学稳像与一些光学元件来作为对不稳定图像的补偿。光学稳像与机械式稳像都是采用专门的装置，如各种陀螺仪。机械式稳像都是采用专门的装置，如各种陀螺仪。n电子稳像：电子稳像：应用计算机数字图像处理和电子技术的方法应用计算机数字图像处理和电子技术的方法来直接确定图像序列的帧间偏移，从而进行补偿。该方来直接确定图像序列的帧间偏移，从而进行补偿。该方法由于不需要额外增加精密机械、光学和电子元器件等法由于不需要额外增加精密机械、光学和电子元器件等设备，具有灵活性强、精度高及高智能化等特点。设备，具有灵活性强、精度高及高智能化等特点。6*主动稳定系统 7*主动稳定系统 8*电子稳像系统构成 9*电子稳像技术的意义n电子稳像不仅可以稳定光学系统的移动，也可以对电子稳像不仅可以稳定光学系统的移动，也可以对目标进行跟踪，可能补偿任何形式的作用量，且不目标进行跟踪，可能补偿任何形式的作用量，且不依赖任何的支撑体系。依赖任何的支撑体系。n同时由于大规模集成电路技术的不断提高，也便于同时由于大规模集成电路技术的不断提高，也便于实现设备的小型化和轻量化。实现设备的小型化和轻量化。10*电子稳像的基本原理n电子稳像是利用电子设备和数字图像处理技术相电子稳像是利用电子设备和数字图像处理技术相结合的方法，通过检测出参考图像和被比较图象结合的方法，通过检测出参考图像和被比较图象的运动矢量，并利用其补偿被比较图像，从而消的运动矢量，并利用其补偿被比较图像，从而消除或减轻视频图像序列帧间的不稳定，获取清晰除或减轻视频图像序列帧间的不稳定，获取清晰而稳定的视频图像序列。而稳定的视频图像序列。11*电子稳像原理n像移补偿技术像移补偿技术:n首先求出摄像机的角位移量，并转换成监视器上图首先求出摄像机的角位移量，并转换成监视器上图像的运动矢量像的运动矢量n然后通过对然后通过对CCD图像传感器的行、列序号重组，图像传感器的行、列序号重组，使其在监视器上的图像沿运动矢量反方向位移量使其在监视器上的图像沿运动矢量反方向位移量移动，只有第二帧输出的图像与第一帧相同，两移动，只有第二帧输出的图像与第一帧相同，两帧图像重合才能获得清晰的图像。帧图像重合才能获得清晰的图像。12*电子稳像的关键技术n快速而准确地检测图像序列的帧间运动快速而准确地检测图像序列的帧间运动是实现电子是实现电子稳像的关键技术。稳像的关键技术。n获取图像运动矢量可分为获取图像运动矢量可分为硬件方法硬件方法和和软件方法软件方法。n硬件实现方法是利用传感器检测摄像机的运动。硬件实现方法是利用传感器检测摄像机的运动。n软件方法是直接利用各种算法对图像序列进行处理，软件方法是直接利用各种算法对图像序列进行处理，获得到由摄像机运动而产生的图像序列的帧间运动获得到由摄像机运动而产生的图像序列的帧间运动量。（像素法、图像块法、特征法和相位法）量。（像素法、图像块法、特征法和相位法）13*块运动估计的快速搜索算法n块匹配法块匹配法(Block一一MatchingMethod)是目前一些是目前一些国际标准组织推荐的运动估计方案。国际标准组织推荐的运动估计方案。14*块匹配运动估计搜索路径1、全搜索法（FS）2、三步法（TSS）3、菱形法（DS）15*全搜索法n n全搜索法全搜索法(FullSearchMethod(FullSearchMethod，FS)FS)，也称为穷尽搜索法。，也称为穷尽搜索法。16*n nFS算法是最简单、最原始的搜索算法，由于可靠，且能够得到全局最优的结果，通常是其它算法性能比较的标准，但它的计算量的确很大，这就限制了在需要实时应用的场合，所以有必要进一步研究其它快速算法。17*金字塔模板匹配n为了加快搜索速度，很多影像匹配为了加快搜索速度，很多影像匹配方法使用金字塔影像。方法使用金字塔影像。n对影像进行一次采样率为对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的的重采样，即把影像的每每nn个像素变为一个像素，这样个像素变为一个像素，这样就得到一对长、宽都为原来就得到一对长、宽都为原来1/n的的影像，把它作为金字塔的第二层。影像，把它作为金字塔的第二层。n再对第二层用同样方法进行一次采再对第二层用同样方法进行一次采样率为样率为1/n的重采样，又得到第三的重采样，又得到第三层（顶层）。层（顶层）。n原始影像作为金字塔影像的底层。原始影像作为金字塔影像的底层。18*三步搜索法n nTSS算法的基本思想是采用一种由粗到细的搜索模式，从原点开始，按一定步长取周围8个点构成每次搜索的点群，然后进行匹配计算，跟踪最小块误差（MBD）点。19*n nTSS算法搜索时，整个过程采用了统一的搜索模板，使得第一步的步长过大，容易引起误导，从而对小运动效率较低。当搜索范围大于7时，仅用3步是不够的。总体说来，三步法是一种较典型的快速搜索算法，所以被研究的较多，后来又相继有许多改进的新三步法出现，改进了它对小运动的估计性能。20*菱形搜索法n nDS算法采用了两种控制模扳，分别是有9个检测点的大模板(LargeDiamondSearchPattern)LDSP和有5个检测点的小模板(SmallDiamondSearchPattern)SDSP，如图所示。21*n n搜索时先用大模板计算，当最小块误差MBD点出现在中心点处时，将大模板LDSP换为SDSP，再进行匹配计算，这时5个点中的MBD即为最优匹配点。22*nDS算法的特点在于它分析了视频图像中运动矢量的算法的特点在于它分析了视频图像中运动矢量的基本规律，选用了大小两种形状的搜索模板基本规律，选用了大小两种形状的搜索模板LDSP和和SDSP。先用。先用LDSP搜索，由于步长大，搜索范围搜索，由于步长大，搜索范围广，可以进行粗定位，使搜索过程不会陷于局部最广，可以进行粗定位，使搜索过程不会陷于局部最小；当粗定位结束后，可以认为最优点就在小；当粗定位结束后，可以认为最优点就在LDSP周围周围8个点所围的菱形区域中，这时再用个点所围的菱形区域中，这时再用SDSP来准来准确定位，使搜索不致于有大的起伏。确定位，使搜索不致于有大的起伏。23*基于SIFT特征点匹配的电子稳像算法n电子稳像技术的关键在于全局运动估计，即找出抖电子稳像技术的关键在于全局运动估计，即找出抖动视频序列相邻帧之间的相对位移量。动视频序列相邻帧之间的相对位移量。n基于块匹配的运动估计算法都是通过寻找局部子块基于块匹配的运动估计算法都是通过寻找局部子块的匹配块，来得到最佳运动矢量的，块的数目和的匹配块，来得到最佳运动矢量的，块的数目和布局决定了结果的准确性，块的尺寸、搜索范围布局决定了结果的准确性，块的尺寸、搜索范围和搜索策略影响计算的复杂度。和搜索策略影响计算的复杂度。n基于特征的运动估计算法考虑了图像的内部特征，基于特征的运动估计算法考虑了图像的内部特征，因此能够提高运动估计的精度。因此能够提高运动估计的精度。24*SIFT算法流程 25*SIFT算法简介n1 主要思想主要思想 SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取提取位置，尺度，旋转不变量位置，尺度，旋转不变量。n2 算法的主要特点：算法的主要特点：SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。性。26*SIFT算法简介l 将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。Original image courtesy of David Lowe 27*SIFT算法步骤检测检测尺度空间尺度空间极值点极值点精确精确定位定位极值点极值点为每个关键点为每个关键点指定方向指定方向参数参数关键点描述子的生成关键点描述子的生成 28*SIFT算法详细步骤（1）29*n高斯金子塔的构建过程可分为两高斯金子塔的构建过程可分为两步：步：（1 1）对图像做高斯平滑；）对图像做高斯平滑；（2 2）对图像做降采样。）对图像做降采样。为了让尺度体现其连续性，在简单为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。下采样的基础上加上了高斯滤波。一幅图像可以产生几组（一幅图像可以产生几组（octaveoctave）图像，一组图像包括几层图像，一组图像包括几层（intervalinterval）图像。）图像。高斯金字塔高斯金字塔 30*n高斯图像金字塔共高斯图像金字塔共o o组、组、s s层，层，则有：则有：尺度空间坐标；尺度空间坐标；s ssub-levelsub-level层坐标；层坐标；0 0初始尺度；初始尺度；SS每组层数（一般为每组层数（一般为35）。）。31*SIFTSIFT算法算法 32*n图像金字塔的构建：图像金图像金字塔的构建：图像金字塔共字塔共O组，每组有组，每组有S层，层，下一组的图像由上一组图像下一组的图像由上一组图像降采样得到。降采样得到。n图图1由两组高斯尺度空间图由两组高斯尺度空间图像示例金字塔的构建，像示例金字塔的构建，第第二组的第一副图像由第一组二组的第一副图像由第一组的第一副到最后一副图像由的第一副到最后一副图像由一个因子一个因子2降采样得到。降采样得到。33*SIFT算法详细步骤（2）n空间极值点检测空间极值点检测n为了寻找尺度空间的极值点，每为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点一个采样点要和它所有的相邻点比较，看其是否比它的图像域和比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图，尺度域的相邻点大或者小。如图，中间的检测点和它同尺度的中间的检测点和它同尺度的8个个相邻点和上下相邻尺度对应的相邻点和上下相邻尺度对应的92个点共个点共26个点比较，以确保个点比较，以确保在尺度空间和二维图像空间都检在尺度空间和二维图像空间都检测到极值点。测到极值点。34*图图(b)为图为图(a)中十字花点处的尺度轨迹曲线。中十字花点处的尺度轨迹曲线。可见该图中尺度轨迹曲线在大约可见该图中尺度轨迹曲线在大约=5处取得局部极小值。处取得局部极小值。35*多尺度分析 各阶分解信号目标信号 36*37*SIFT算法详细步骤（3）n关键点方向分配关键点方向分配n 利用关键点邻域像素的梯度方向分布特性为每个关键点利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。指定方向参数，使算子具备旋转不变性。n在实际计算时，我们在以关键点为中心的邻域窗口内采样，在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围并用直方图统计邻域像素的梯度方向。梯度直方图的范围是是0360度，其中每度，其中每10度一个柱，总共度一个柱，总共36个柱。直方图的个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。键点的方向。38*SIFT算法详细步骤（4）n特征点描述子生成特征点描述子生成n 首先将坐标轴旋转为关键点的方向，以确保旋转不变性。首先将坐标轴旋转为关键点的方向，以确保旋转不变性。由关键点邻域梯度信息生成特征向量由关键点邻域梯度信息生成特征向量 39*n接下来以关键点为中心取接下来以关键点为中心取88的窗口。的窗口。n然后在每然后在每44的小块上计算的小块上计算8个方向的梯度方向直方图，绘个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图制每个梯度方向的累加值，即可形成一个种子点，如图5右右部分所示。此图中一个关键点由部分所示。此图中一个关键点由22共共4个种子点组成，每个种子点组成，每个种子点有个种子点有8个方向向量信息。个方向向量信息。n这种邻域方向性信息联合的思想增强了算法抗噪声的能力，这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。同时对于含有定位误差的特征匹配也提供了较好的容错性。40*SIFT算法详细步骤（5）n当两幅图像的当两幅图像的SIFT特征向量生成后，下一步我们特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。中关键点的相似性判定度量。n取图像取图像1中的某个关键点，并找出其与图像中的某个关键点，并找出其与图像2中欧式中欧式距离最近的前两个关键点，在这两个关键点中，距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。匹配点数目会减少，但更加稳定。41*SIFT算法匹配效果图n该组图片在拍摄时进行了相机平移、转动和变焦操作。该组图片在拍摄时进行了相机平移、转动和变焦操作。图图(a)为第一幅图中检测出的为第一幅图中检测出的SIFT特征。椭圆的中心特征。椭圆的中心位置代表了关键点在图像中的二维坐标位置，椭圆的位置代表了关键点在图像中的二维坐标位置，椭圆的长轴代表了关键点的尺度，椭圆的方向代表了该关键长轴代表了关键点的尺度，椭圆的方向代表了该关键点的方向。点的方向。42*43*44*45*华南虎照片 46*47*48*49*50*51*视频稳定 52*稳像效果评测 53*End