生物医学工程研究所 图像配准课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,中南大学生物医学工程研究所 图像配准,*,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,图 像 配 准,中南大学生物医学工程研究所,1,图 像 配 准中南大学生物医学工程研究所1,中南大学生物医学工程研究所 图像配准,图像配准的用途意义,图,像配准（或,图,像匹配）是评价两幅或多幅,图,像的相似性以确定同名点的过程。,图像配准算法就是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进行几何变换的方法。,图像配准是图像分析和处理的基本问题。,它在,航空影像自动制图、图像三维重构、计算机视觉、,遥感融合、模式识别、医学图像处理,、影像分析,等领域都有重要应用。,2,中南大学生物医学工程研究所 图像配准图像配准的用途意义图,中南大学生物医学工程研究所 图像配准,图像配准,参考图像（主图像） 待配准图像（辅图像） 配准图像,3,中南大学生物医学工程研究所 图像配准图像配准参考图像（主,中南大学生物医学工程研究所 图像配准,用词说明,各种图像配准的文献都会出现“,配准、匹配、几何校正,”三个词，它们的含义比较相似。,一般两幅图像之间用“配准（,register, registration,）”；寻找同名特征,(,点,),的过程叫“匹配（,match, matching,）”,;,根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做“几何校正（,geometric correction,）”。,4,中南大学生物医学工程研究所 图像配准用词说明各种图像配准,中南大学生物医学工程研究所 图像配准,配准方法分类,按照配准算法所利用的图像信息，可以分为,基于区域的方法,和,基于特征的方法,。基于区域的匹配主要是模板匹配和基于相位（频率）的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。,按自动化程度可以分为人工、半自动和全自动三种类型 。,5,中南大学生物医学工程研究所 图像配准配准方法分类按照配准,中南大学生物医学工程研究所 图像配准,模板匹配,模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为,55,或,77,，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板,T,放在搜索图,S,上平移，模板覆盖下的那块搜索图叫做子图,S,i,j,，子图的中心点在,S,图中的坐标,(,i,j,),，叫参考点。,6,中南大学生物医学工程研究所 图像配准模板匹配模板匹配法是,中南大学生物医学工程研究所 图像配准,相似性测度,用以下测度来衡量,T,和,S,i,j,的相似程度：,根据施瓦兹不等式， ，并且在,比值为常数时取极大值为,1,。但实际上两幅不同图像的,P,值介于,0,和,1,之间，很难达到理想值。根据经验取某个阈值,P,0,，如果,P,P,0,，则匹配成功；,P,P,0,，则匹配失败。,7,中南大学生物医学工程研究所 图像配准相似性测度用以下测度,中南大学生物医学工程研究所 图像配准,金字塔模板匹配,为了加快搜索速度，很多影像匹配方法使用金字塔影像。,对影像进行一次采样率为,1/n(n=2,3),的重采样，即把影像的每,nn,个像素变为一个像素，这样就得到一对长、宽都为原来,1/n,的影像，把它作为金字塔的第二层。,再对第二层用同样方法进行一次采样率为,1/n,的重采样，又得到第三层（顶层）。,原始影像作为金字塔影像的底层。,8,中南大学生物医学工程研究所 图像配准金字塔模板匹配为了加,中南大学生物医学工程研究所 图像配准,金字塔影像匹配的步骤,第一步：顶层的匹配，得到一个平移初始值 。,第二步：根据平移初始值乘以,n,得到第二层平移量初始值，在它,mm,个像元的邻域内进行模板匹配。,第三步：根据第二层匹配值乘以,n,得到第三层平移量初始值，再进行一次模板匹配。,如果影像尺寸不是特别大，可以只用两层金字塔。,9,中南大学生物医学工程研究所 图像配准金字塔影像匹配的步骤,中南大学生物医学工程研究所 图像配准,基于特征的配准算法,基于特征的算法,(feature-based matching),先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。,一般来说特征匹配算法可分为四步,:,1.,特征提取,;,2.,特征描述,;,3.,特征匹配；,4.,非特征像素之间的匹配。,10,中南大学生物医学工程研究所 图像配准基于特征的配准算法,中南大学生物医学工程研究所 图像配准,基于特征的配准步骤,在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。,在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。,通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。,对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。,11,中南大学生物医学工程研究所 图像配准基于特征的配准步骤在,中南大学生物医学工程研究所 图像配准,人工匹配步骤,1.,人工选取控制点,2.,多项式匹配,12,中南大学生物医学工程研究所 图像配准人工匹配步骤1. 人,中南大学生物医学工程研究所 图像配准,用遥感软件进行几何校正,遥感软件的几何校正功能是利用地面控制点(,Ground Control Point,GCP),进行的几何校正，它通常用多项式来近似描述遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，,这种校正不考虑畸变的具体原因，,而只考虑如何利用畸变模型来校正图像。,13,中南大学生物医学工程研究所 图像配准用遥感软件进行几何校,中南大学生物医学工程研究所 图像配准,校正步骤,几何精校正一般可分为以下四个步骤：,1.建立原始图像与校正后图像的坐标系。,2.确定控制点对。,3.选择畸变数学模型，比如一次、二次、三次多项式。,4.几何校正的精度分析。,14,中南大学生物医学工程研究所 图像配准校正步骤 几何,中南大学生物医学工程研究所 图像配准,15,中南大学生物医学工程研究所 图像配准15,中南大学生物医学工程研究所 图像配准,半自动匹配,1.,用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。,2.,用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。,16,中南大学生物医学工程研究所 图像配准半自动匹配1. 用户,中南大学生物医学工程研究所 图像配准,全自动匹配,不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点。,方法多种多样。包括直方图匹配、,Hu,不变矩、,金字塔模板匹配、小波,Gabor,算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。,17,中南大学生物医学工程研究所 图像配准全自动匹配不需要用户,中南大学生物医学工程研究所 图像配准,基于,TIN,的图像配准算法流程,18,中南大学生物医学工程研究所 图像配准基于TIN的图像配准,中南大学生物医学工程研究所 图像配准,特征类型,灰度特征点。,Moravec,算子、,Forstner,算子与,Hannah,算子。,角点。,SUSAN,算子, Harris,算子，王算子，沈俊算子。,边缘特征（线型）。,Canny,算子, Marr,算子。,纹理特征。灰度共生矩阵，小波,Gabor,算子。,19,中南大学生物医学工程研究所 图像配准特征类型灰度特征点。,中南大学生物医学工程研究所 图像配准,Moravec,算子,Moravec,算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大,-,最小灰度方差的点作为特征点。其步骤为：,1,计算各像元的兴趣值（,Interest Value,）。在以像素为中心,ww,的影像窗口中（如,55,的窗口），计算图中所示四个方向相邻像素灰度差的平方和：,20,中南大学生物医学工程研究所 图像配准Moravec算子M,中南大学生物医学工程研究所 图像配准,Moravec,算子,取其中最小者作为该像素的兴趣值：,V= minV1,，,V2,，,V3,，,V4,21,中南大学生物医学工程研究所 图像配准Moravec算子,中南大学生物医学工程研究所 图像配准,给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。,取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。,如果两个特征点之间的距离过短，则去掉其中一个。否则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。,22,中南大学生物医学工程研究所 图像配准给定一经验阈值，将兴,中南大学生物医学工程研究所 图像配准,角点提取,-SUSAN,算子,SUSAN,算法是由英国牛津大学的,S. M. Smith , J . M. Brady,首先提出的,它主要是用来计算图像中的角点特征的。,SUSAN,算法的特点,:,1.,对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准,;,2.,无需梯度运算,保证了算法的效率,;,3.,具有积分特性,(,在一个模板内计算,SUSAN,面积,),这样就使得,SUSAN,算法在抗噪和计算速度方面有较大的改进。,23,中南大学生物医学工程研究所 图像配准角点提取-SUSAN,中南大学生物医学工程研究所 图像配准,SUSAN,算法,用一个一定半径的圆模板放置在图像上（如图）。如果模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同（或相近），那么就定义该区域为核值相似区，即,USAN,，其中像素的个数定义为这个模板的面积。,24,中南大学生物医学工程研究所 图像配准SUSAN 算法 用,中南大学生物医学工程研究所 图像配准,25,中南大学生物医学工程研究所 图像配准25,中南大学生物医学工程研究所 图像配准,SUSAN,算法的基本原理,图像上每一点都有一个邻近的具有相似灰度值的局部区域是,SUSAN,算法的基础。这个局部区域或,USAN,包含了许多关于图像结构的信息。,SUSAN,算法的基本原理是：在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个,USAN,，最后通过面积最小的,USAN,检测角点。,26,中南大学生物医学工程研究所 图像配准SUSAN 算法的基,中南大学生物医学工程研究所 图像配准,边缘特征提取,“基于,TIN,的多源影像几何配准”没有使用边缘提取算子，所以这里不介绍其算法。,（,a,）原图 （,b,）,Marr,算子结果 （,c,）,Canny,算子结果,27,中南大学生物医学工程研究所 图像配准边缘特征提取“基于T,中南大学生物医学工程研究所 图像配准,纹理特征,纹理是用来识别目标的重要方法，它是图像中一个很重要而又难以描述的特性，至今还没有公认的定义。有些图像在局部区域内呈现不规则性，而在整体上表现出某种规律性。,习惯上把这种局部不规则而宏观有规律的特性称之为纹理。,以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。通过对物体纹理特征的提取，可以对图像进行分类、配准等操作。,28,中南大学生物医学工程研究所 图像配准纹理特征纹理是用来识,中南大学生物医学工程研究所 图像配准,局部不规律，整体具有一定规律性的特性。,基本单元的重复性,粗糙性,方向性,29,中南大学生物医学工程研究所 图像配准局部不规律，整体具有,中南大学生物医学工程研究所 图像配准,提取纹理特征的方法,灰度共生矩阵。,基于小波的,Gabor,算子。,30,中南大学生物医学工程研究所 图像配准提取纹理特征的方法灰,中南大学生物医学工程研究所 图像配准,直方图匹配,31,中南大学生物医学工程研究所 图像配准直方图匹配31,中南大学生物医学工程研究所 图像配准,Hu,不变矩,1962,年,Hute,提出,Hu,不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有自适应性 ，但它只适用于相似变换，不适于仿射变换。,Hu,最初用以下,7,个不变矩公式来描述目标特征,:,32,中南大学生物医学工程研究所 图像配准Hu不变矩 1962,中南大学生物医学工程研究所 图像配准,但实际上大部分文献都采用,6,个无量纲、消误差的组合不变矩 ：,33,中南大学生物医学工程研究所 图像配准但实际上大部分文献都,中南大学生物医学工程研究所 图像配准,点模式匹配,模式识别中的点模式匹配，使用特征点集中点与点之间的位置关系进行匹配，较少（或没有）利用图像灰度、纹理和边缘信息，所以它对图像之间的旋转、灰度、纹理、分辨率等差异不敏感，能够匹配不同传感器的图像，且能进行图像之间的全自动配准。,匹配两个特征点集的实质是找到它们的同构子集。,要用到较多的数学知识。,34,中南大学生物医学工程研究所 图像配准点模式匹配模式识别中,中南大学生物医学工程研究所 图像配准,点模式匹配,Pengyu Hong,等用图论的方法，把两点集看作两个无向图，然后提取它们的同构子图，但其算法复杂，只能用于匹配简单图片（如商标），对于复杂图片计算量过大。,罗纲等以传统的,Umeyama,点集相关度量为基础,结合,Procrustes,正规化方法,通过引入加权矩阵得到新的相关度量函数,解决了传统方法要求点集维数相同的缺点，经过迭代运算,可对存在几何失真,且维数不同的两点集进行精确配准，但计算量较大。,35,中南大学生物医学工程研究所 图像配准点模式匹配Pengy,中南大学生物医学工程研究所 图像配准,张立华等将待匹配的两个二维点集分别转化成为一个,n,维空间中的向量,对这两个向量中的各元素进行简单的排序来解决点集匹配问题。,田原等通过建立一种图像点集间距离的描述方法，提出基于点集不变性匹配的目标检测与识别方法。,舒丽霞等用,Hausdorff,距离对两特征点集进行匹配,得到点集间的仿射变换关系。,孙焘等对主辅图像的特征点集分别进行,Whitening,变换,将点集间的一般仿射变换问题转换为刚性变换问题。,36,中南大学生物医学工程研究所 图像配准张立华等将待匹配的两,中南大学生物医学工程研究所 图像配准,桑农等以四元组代替点对进行点特征松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，但是该算法在匹配迭代过程中必须对所有实时图中的点特征进行一次比例与旋转变换,这在一定程度上影响了匹配速度。,陈志刚等以六元组为基础构建三角形,利用三角形在平移、比例放大和旋转变换后与原三角形相似的特性将其引入到基本点特征松弛匹配算法中,提出一种比例与旋转不变点特征松弛匹配算法。,37,中南大学生物医学工程研究所 图像配准桑农等以四元组代替点,中南大学生物医学工程研究所 图像配准,不规则三角网,不规则三角网（,triangulated irregular network,，,TIN),在地形图的制作中被广泛使用。绘制等高线时，先用测量点构造,TIN,，然后再根据,TIN,内插等高线。,38,中南大学生物医学工程研究所 图像配准不规则三角网不规则三,中南大学生物医学工程研究所 图像配准,不规则三角网,TIN,的优点：能真实反映地形变化，相比,grid,，数据量很小。,在地形变化较大、特征点多的区域，三角网密集，能很好地反映地形变化；而在开阔、平坦的区域，特征点少，三角网稀疏，不会造成大量的冗余数据，也不会无谓地增加计算量。,TIN,用于图像配准时，同样具有这一优点。,39,中南大学生物医学工程研究所 图像配准不规则三角网TIN的,中南大学生物医学工程研究所 图像配准,Delaunay,三角网,Delaunay,三角网常常被用于,TIN,的生成。,Delaunay,三角网为相互邻接且互不重叠的三角形的集合，每一三角形的外接圆内不包含其它的点。,40,中南大学生物医学工程研究所 图像配准Delaunay三角,中南大学生物医学工程研究所 图像配准,构,TIN,的基本原则,TIN,是惟一的。即对于同样的点集，所构三角网应该只有一种；,力求最佳的三角形几何形状，每个三角形尽量接近等边形状；,保证最邻近的点构成三角形，即三角形的边长之和最小。,41,中南大学生物医学工程研究所 图像配准构TIN的基本原则,中南大学生物医学工程研究所 图像配准,小面元微分校正法,在主辅图像中用匹配好的特征点集构造,TIN,。,可以看作三角网把从影像微分成很多微小的面元，每个三角形就是一个很小的面元，在这个面元内，可以只考虑影像的一次形变。,以从影像中的各个三角形为单位，对三角形内各个点进行几何校正，从而对整幅从影像进行校正。这种几何校正方法叫做,小面元微分校正法。,对于山区遥感影像，多项式校正方法的精度不够，必须采用小面元微分校正的方法 ，其几何校正误差可以控制在,0.3,个像素以内。,42,中南大学生物医学工程研究所 图像配准小面元微分校正法在主,中南大学生物医学工程研究所 图像配准,小面元微分校正法步骤,下面以影像中任一三角形,W,为例说明影像几何校正的原理。辅影像中三角形,W,的三个角点为,a,b,c,，它们在主影像中对应的点为,A,B,C,它们的坐标分别为 ，,。把,W,看作小面元，则有仿射变换：,43,中南大学生物医学工程研究所 图像配准小面元微分校正法步骤,中南大学生物医学工程研究所 图像配准,其中 是仿射变换参数。,把 ， 代入方程可以得到仿射变换参数。,先根据主影像大小生成一幅和主影像坐标一致的配准影像，因为还没有输入任何值，所以是空白影像。,配准影像中三角形,W,内任何一个像素，都可以通过方程组解算出它在辅影像中对应的的同名点像素坐标,(,行列值,),。,同名点坐标是小数，必须经过插值计算，得到配准点,DN,值。,44,中南大学生物医学工程研究所 图像配准其中,中南大学生物医学工程研究所 图像配准,插值方法,最邻近法,立方卷积法,双线性法,双线性插值法公式如下：,45,中南大学生物医学工程研究所 图像配准插值方法最邻近法45,中南大学生物医学工程研究所 图像配准,查找三角形内各像素点计算量较大，本文作者通过试验发现，用三角形外接矩形内所有像素点代替三角形内像素点进行计算，可使计算速度提高,4,倍左右，而校正效果相差不大。,46,中南大学生物医学工程研究所 图像配准查找三角形内各像素点,中南大学生物医学工程研究所 图像配准,试验,主图像为,2002,年,7,月,9,日武汉市,ETM+,图像的第,4,波段,(,近红外波段，分辨率,28.5m,，大小,50004000),，辅图像为,1978,年,10,月,16,日的,MSS-5(,红光波段，分辨率,57m,，大小,35503880),，两幅图像的色调反差很大（如图）。,47,中南大学生物医学工程研究所 图像配准试验主图像为2002,中南大学生物医学工程研究所 图像配准,MODIS,影像的小面元校正,EOS/MODIS,卫星接收系统提供的,1B,级影像中,图像信息和经纬度信息是分离的,而且经线、纬线呈不规则的曲线。要使用这些数据,通常要先设法把每点的经纬度信息经过投影计算，转换到用户所需的坐标系统中。,借助遥感软件进行几何校正，处理过程中需要多次人机交互,因此处理人员必须在计算机前守候,浪费大量的时间。,用,IDL (Interactive Data Language),语言开发了一个基于三角网的小面元几何校正程序,它具备批处理功能,处理过程中不需人工干预,而且用户可以自定义处理范围和波段，使,MODIS,数据预处理变得非常方便。,48,中南大学生物医学工程研究所 图像配准MODIS影像的小面,中南大学生物医学工程研究所 图像配准,MODIS,校正前后的影像,纬度 经度 原始影像 校正影像,49,中南大学生物医学工程研究所 图像配准MODIS校正前后的,中南大学生物医学工程研究所 图像配准,50,中南大学生物医学工程研究所 图像配准50,中南大学生物医学工程研究所 图像配准,基于三角网的小面元几何校正,如果逐点投影计算一幅大小为,541619680,的,MODIS,影像,其计算量非常大，用普通,PC,机要计算十几天。所以现有的几何校正算法都用“以点代面”的思想，采用多项式或三角网的方法。,基于三角网的小面元几何校正，其实质在于以点代面进行几何校正，先对三角形三个顶点进行投影计算，然后根据三角形顶点建立三角形校正前后之间的仿射变换关系。,51,中南大学生物医学工程研究所 图像配准基于三角网的小面元几,中南大学生物医学工程研究所 图像配准,控制点选取,在输入影像及其对应的经纬度数据中,按固定的行列间隔选取控制点,并用数组记录下所有控制点的像素坐标（行和列）和大地坐标,(,B,L,),。 控制点数据与波段无关,只和分辨率有关,所以一轨,MODIS,数据只需针对,250m,、,500m,和,1000m,影像选取三组控制点数据。,控制点投影变换。把大地坐标（经纬度）转换为平面坐标。,52,中南大学生物医学工程研究所 图像配准控制点选取在输入影像,中南大学生物医学工程研究所 图像配准,因为控制点是按固定的行列间隔选取的，所以控制点构成规则的网格。规则网格的对角线把网格划分为规则三角网（如图）。,然后用小面元校正算法逐个三角形进行几何校正，从而完成对整幅影像的校正。,53,中南大学生物医学工程研究所 图像配准因为控制点是按固定的,中南大学生物医学工程研究所 图像配准,基于以上算法,用,IDL,编写的程序可以批处理多个,MODIS,数据文件。作者在,PC,机（,Pentium 2.4G CPU,1G,内存）上处理,2,个,250m,波段数据（只处理湖北省境内）,只需,48.3,秒 。,作为比对，,ENVI,必须先处理整幅影像，然后再裁切湖北省内数据，所以其内存占用率很高，共需要,20,分钟左右，并且处理过程要人机交互，也就是说必须至始至终守在计算机前面。,在校正后的影像中随机选取,20-30,个控制点，通过用更高分辨率的,ETM+,图像,(28.5m),进行比对，其误差都控制在,0.3,个像素以内。,54,中南大学生物医学工程研究所 图像配准基于以上算法, 用I,中南大学生物医学工程研究所 图像配准,谢 谢 大 家 ！,55,中南大学生物医学工程研究所 图像配准谢 谢 大 家 ！5,放映,结束！,无悔无愧于昨天，丰硕殷实的今天，充满希望的明天。,56,放映结束！无悔无愧于昨天，丰硕殷实的今天，充满希望的明天。5,