电子稳像综述

,Click to edit Master text styles,#,单击此处编辑母版标题样式,电子稳,像综述,2016,年,3,月,目录,电子稳像背景,稳像算法介绍,背,景,摄像机有时必须安装在有震动的环境中，必然存在机械震动，而且这些机械震动往往难以消除，机械震动会引起视频图像的抖动，尤其是在使用高倍放大的镜头情况下，轻微的机械震动都会引起图像的剧烈抖动，从而严重影响对视频的观察监视。,军事领域,公共安全,航空航天,稳像,：,消除视频图像的各种,抖动。,光学稳像,电子稳像,机械式稳像,背,景,EIS,（,Electronic Image,Stabilization,）,电子稳像,电子,稳像技术,是一种对随机运动或抖动的摄像机所获取的动态图像序列进行,平滑补偿,使其平稳输出的技术。,EIS,技术,的研究已三十多年历史，美国、法国、俄罗斯等国家对电子稳像技术应用于军事方面已经进行了较深入的研究；日本和韩国对家用摄录机的稳定技术也进行了研究和开发。,国内,对电子稳像技术的研究依然处于初级阶段，目前为止，只有中国科学院长春光机所和北京理工大学等单位在这个领域有一定的研究，总体来说，电子稳像技术解决复杂抖动依然不够成熟。,背,景,背,景,(a),参考帧,(b),当前帧,(c),参考帧,(d),稳,像后,稳像图示,：,（,1,）,高,精度,（,2,）,快速,计算,背,景,技术要求,：,（,5,）利用,图像信息区分摄像机的,晃动量,和摄像机的,正常扫描运动,。,（,4,）,去除,局部运动,，准确,估计全局运动,也是一个难题,。,前景，背景,（,3,）减少,视频,信息的,丢失,背,景,运动估计,运动补偿,抖动视频,稳定视频,运动滤波,稳像系统框图,：,全局运动估计是为全局运动建立数学模型并估计模型的参数。,滤波方法主要有：均值滤波、基于,样条的运动滤波、最为常 用的为,kalman,滤波。,运动补偿是指根据运动估计及运动平滑获得的抖动参数重构视频图像，重新生成一个只存在摄像机主观运动的稳定视频序列,算法,原理,运动估计,算法,原理,全局运动参数计算,：,一般采用六,参数仿射模型对摄像机运动,建模。,当场景中物体的相对深度变化和摄像机的焦距缩放都不太大时，六参数仿射模型能够很好的描述摄像机的纯旋转、摇镜头、平移运动，并且六参数仿射模型计算复杂度适中、累积误差较小。六参数仿射运动模型和模型参数的具体介绍如下：,式中：,（,a1,a2,a3,a4,a5,a6,）,为摄像机的全局运动参数；其中,（,a1,，,a5,）,为缩放参数，,（,a2,，,a4,）,为旋转参数,，（,a3,a6,）,为平移参数：,（,x,y,）,为参考帧的像素坐标：,（,x,，,y,）,为抖动视频当前帧对应的像素坐标。,算法,原理,参考帧的选取：,分为,固定,参考帧,模式和相邻,参考帧,模式。,不需要,实时更新,参考帧图像，这种参考帧选取方式计算量小。不会带来累积误差，算法,的鲁棒性好。,缺点：随着,摄像机的运动,，图像,也会发生变化,，图像,的重叠区域慢慢,减小。,缺点：相邻,参考帧棋式占用很大的存储空间，计算量,增大，容易,出现累积,错误。,最大程度地利用了图像的特征信息，减少稳定帧的无定义,区域。,当前运动估计算法,有,：,块匹配法,BMA,（,Block Matching Algorithm,）,位平面匹配法,BPM(Bit plane matching,),代表点法,RPM(Representative point matching,),特征匹配,法,也有一些,在,经典算法基础上改进后的新算法。,灰度投影算法,PA(projection algorithm),运动估计,运动估计,尽管,视频序列帧之间存在着一定,的几何,变化和光照亮度的变化，,但相邻,帧之间必然存在很大的图像,重合区域,，这个区域里图像的,像,素,灰度,信息分布规律基本是一样的,。,灰度,投影就是建立在这样的前提假设,之下，,此算法将图像在水平和垂直方向上分别,对每行和每列的像素,灰度值,进行累加,，这样对于这幅图像就会产生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规律,。,灰度,投影法：,其,中式,Col,k,(j),为第,k,帧图像第,j,列的灰度值,;Cur,k,(i.j),是第,k,帧图像上,(,i,j),位置处的像素的值,;N C,是列数,;,ColProj,k,(j),是第,k,帧图像第,j,列修正后的投影,值。,对于,一段视频，如果序列图像之间存在水平或者垂直方向上的平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量,。,图：参考帧图像列方向投影数据曲线,图：当前帧图像列方向投影数据曲线,图：当前帧和参考帧的列相关曲线,灰度,投影法：,运动估计,对于,图像灰度分布简单，视频中只存在平移类的抖动时，采用灰度投影算法来稳像是最合适的，此时它稳像精度高且算法处理速度非常快。,灰度,投影法：,运动估计,块匹配,法,图像,块匹配法假设图像的任一子块中的像素的运动情况都是相同的。假设水平和垂直的方向上，摄像机载体的振动的幅度范围为,（,d,xmax,d,ymax,),，,参考帧中待匹配的图像块的大小,为,MN,，,那么当前帧中块匹配的搜索区域范围为,（,M+,2d,xmax,N+2d,ymax,）,在,搜索区域内，按照定的匹配准则进行搜索并计算出匹配块的位置，匹配块的初始位置和最终 的位置在水平和垂直方向上的差就是相应的位移矢量。,一般,传统的块匹配算法将图像分为,PQ,个子,块，分别对每个子块进行块匹配，计算出每个子块的偏移量，然后加权求和,取平,均，结果就是整个图像帧的运动偏移量,。,运动估计,目前,块匹配的准则有很多种，其中最为典型的匹配准则有：最小绝对差和准则（,SAD,）、最小平均绝对差值准则（,MAD,）、最小均方差准则（,MSE,）和归一化相关函数。,以上,几个公式,中,f,k,（,s,t,）,和,f,k+1,（,s+i,t+j,）,分别是参考,帧图像和当前帧图像的相应位置的像素,灰,度,值,。,第一个,NCCF,值取最大时，为最优匹配。后三个匹配准则的值最小时，为最优匹配。,四,个,匹配准则,中最常用的是最小总绝对差,SAD,准则。,块匹配法,-,匹配准则,运动估计,基本,块匹配搜索算法是在匹配窗口中进行遍历搜索，称为,全匹配,搜索法。,块匹配法,-,搜索,方法,：,目前,最为,常用,的,是三步搜索法。,运动估计,（,1,）,BMA,目前更多的还是用于估计平移运动，估计旋转和缩放运动的精度还是很,低,；,（,2,）如果选用,全匹配搜索（,full search,）的,搜索策略，运算,量,很大，目前,工程应用,中常三,步搜索法，虽然匹配的精度有所下降，但匹配的速度得到很大提高。块匹配算法利用的都是单像素点的,灰度信息,，通过逐点的匹配计算，来得到运动矢量，而且在匹配过程中非常容易陷入局部最优，降低运动矢量的估计,精度；,（,3,）块,匹配法,BMA,只适用于存在小幅度运动的,场景，,计算量大，效率低，稳像精度取决于块的大小、搜索的策略及匹配准则，适用性不,强；,块匹配法,-,缺点,：,运动估计,代表点,法,代表,点匹配算法是分别在,参考,图像和当前图像选取一些代表点，然后对代表,点进行,相关匹配，求运动矢量。这样既能大大的,提高系统,的运算速度，又能较好的保证运动矢量的,检测精度。,（是,在基于普通的块匹配算法的基础上提出的。由于全匹配搜索算法（或叫穷尽搜索算法）计算量大，效率较低，一般来说，很难做到实时地稳像处理。）,通常,是将图像,分成,四个区域,每个区域分别选取,30,个代表点,每个,点有一个确定的搜索区域。建立先前帧与,当前帧,图像代表点之间关系式,最后以搜索区域内,选定,的代表点为相对参考点作一个相同位移位,相应,的有一个绝对差值,对所有代表点坐标的,绝对差值,求和,获得一个相关函数,关系式,运动估计,此方法的优点是算法简单、计算量小。,但是,由于代表点是确定的,并非是图像上有,明显特征,的点,因此对,图像的,变化不敏感,对旋转晃动和慢速晃动尚不能,补偿。,代表点,法,运动估计,位平面匹配法,BPM,图像每,一点的像素,值为,一个八位的,二进制,数，,这个图像可,被表示为一组二进制数，将该组二进制数所有第,n,位,(n,从,0,到,7,，闭集，,例如,n=2),的数提取出来，组成一个平面，即为第,n,位的位平面，采用该方法分析图像,称为,为位平面法,。,由于,用二进制值代替了像素灰度，则后续可用逻辑运算代替数值,运算,，从而大大减少了运算量。同时，由于图像的关键信息处于某特定的位平面，,采用,单独的位平面运算并不会降低匹配精度。,假设,原始图像在像素点,(x,y),位置,上具有,2k,个灰度等级，该像素点的灰度值可通过以下公式表示，并可推广到整幅图像：,式,中,，,G(x,y),表示,(x,y),点像素的灰度值,，,b,k,为一个布尔值，取值为,0,或者,1,。,运动估计,位平面匹配法,BPM,对于,一个灰度为,256,的图像，,k=8,，则经过位平面变换后，可以得到,8,个等级的位平面,。,图像,的第,k,个位面构成的布尔矩阵为,b,k,(x,y),，,其中的每个值均为,0,或者,1,，,后续计算相应被简化了。每一个位面对应一个级别，第,k,个位面的级别是,2,k,，这样一个,k,位的灰度图像就可以看作是由,k,个二值的位平面图像矩阵,b,k,(x,y),构成,。,一,个位平面仅能够描述图像的部分信息，但等级越高的位平面,包含的,信息量越,大。,运动估计,位平面匹配法,BPM-,位平面匹配,：,得到,的位平面即可用于图像匹配。同时，我们引入两,帧图像,的位平面匹配测度作为匹配准则。假设,t-1,时刻参考帧中待匹配的块大小,为,M,N,，,t,时刻当前图像中搜索区域,为,(M+2p,),(,N+2q),，,选取第,k,位平面进行匹配,，分别,表示为,b,k,t-1,和,b,k,t,，,则,两帧图像的位平面匹配测度可,由下式得到,：,式,中,，,C,k,（,m,n,）,理解,为当前帧的搜索区域与参考帧对应区域间的不匹配比特数的,平均值,C,k,（,m,n,）,值,最小的点即视为最佳匹配位置点,，,(m,n),就代表了帧间运动的大小,，它,指向的方向即为帧间运动的方向，其角度可由式（,3-7,）获得,：,运动估计,位平面匹配法,BPM-,搜索算法,：,六边形匹配算法是一种由粗到精的搜索方法,，采用,逐步缩小搜索范围的方式可以减少搜索的复杂度。,图：六边形,搜索算子,运动估计,主要,针对,平移,运动,情况，对图像旋转和缩放处理能力有限。,位平面匹配,法,运动估计,特征匹配,法,基于,特征匹配的电子稳像方法，和其他稳像方法相比，可以稳定包含,平移和旋转,等复杂抖动的视频,。,将,参考帧和当前帧中,的特征,量分别提取出来，并采用一定的匹配准则得到这些匹配两两之间对应的关系，通过这种对应关系带入图像运动模型中计算出,全局运动参数,，利用全局运动参数来补偿抖动分量，获取稳定视频。,特征,点，也就是角点，作为图像的一种重要的局部特征被广泛地应用。长期以来，对于 特征点的描述和定义，一直没有一个统一的概念表述。通常情况下是指灰度信息变化剧烈的 不连续的点。因为特征点在图像中属于表征上的特殊点，因此并不随着光照的改变而发生大 的变化，此外，特征点还具有旋转不变性。,目前,特征点提取方法可分为以下几类：（,1),基于,灰度图像,：（,2,）基于边缘的特征：（,3),基于数学形态学：（,4,）基于二进制图像。,运动估计,特征匹配,法,最,近几年在一些基本特征点的,基础上，出现,了一些较新的,算法,，,如,SIFT,(Scale,Invariant Feature,Transform),特征,点、,SURF,特征,点、,FAST,（,f