图像拼接算法

,Click to edit Master title style,Click to edit Master title style,*,图像拼接简介,传统全景图,(panorama),是由在,一个固定位置,上以不同角度拍摄到的一系列图像拼接而成的大视场图像。,特点：没有或只有轻微的运动视差,多重投影拼接图,(multi-perspective mosaic),是由在,一些不同位置,上拍摄到的一系列图像拼接而成的大视场图像。,特点：存在较大的运动视差（,motion parallax),图像拼接简介,图像拼接简介,图像拼接中的几个主要问题,：,使用图像数据和摄像机模型对几何失真进行校正。,使用图像数据及摄像机模型进行图像对齐。,消除拼接图像中的接缝,。,摄像机运动模型,在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻两幅图像中的景物会出现几何形变。,通过寻找能够恰当地将一幅图像与另一幅图像对准的几何变换来将两幅图像对齐。这些变换被称为对应,(homography),。换句话说，这些几何变换是一种映射，,两幅有重叠区域的图像，其中一幅图像重叠区域中的一个点经过这种几何变换将被映射到另外一幅图像重叠区域中的某个点上。这样这两个点形成了对应关系。,在固定位置拍摄的条件下,，我们通常使用,8-,参数运动模型以及其简化形式来概括或计算这些几何变换。,摄像机运动模型,homography,摄像机的,8-,参数运动模型,常见的几种几何变换：,平移（,translation),旋转,(rotation),水平切变,(horizontal shear),投影,(projection),8-,参数运动模型,假设 和 分别是一个象素点的新旧坐标，一个二维仿射变换可以写为：,或是,尺度和旋转,垂直切变,水平切变,8-,参数运动模型,仿射变换在统一坐标系下可以用一个矩阵相乘的形式来表示：,当引进尺度参数,W,后，就得到了,8-,参数模型：,8参数运动模型,平移、刚体、仿射以及透视变换对应的变换矩阵,M,的形式：,图像对齐,图像对齐,找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中的主要任务。,图像对齐方法,所使用的图像特征,特征点,频域,灰度值,优化算法,非线性最小二乘,傅立叶变换,小波变换,动态规划,遗传算法,对齐算法流程,投影到统一坐标系,初始变换矩阵,M,最终变换矩阵,M,图像合成,非线性最小二乘法进行优化,初始变换矩阵的获取,初始变换矩阵,M,可以通过提取特征点或者在频域上计算两幅图像的相位相关等方法来得到。,MATLAB,中内建有,cpselect,函数，该函数允许用户在将要拼接的两幅图像的重叠区域中手工选取一定数量的匹配特征点对然后自动给出两幅图像之间的初始变换矩阵。,优化目标函数,假设,I(x,y),和,I(x,y),是两幅需要对齐的图像。,这种方法就是要使,I(x,y),和,I(x,y),的重叠区域中所有相应象素,i,的强度值之差的平方和最小，即：,L-M,非线性最小二乘算法,1.,对于未对齐图像中（,x,y,）处的象素点 ，,（,a,）计算它在基准图像中的位置,L-M,非线性最小二乘算法（,cont.,）,（,b,）计算误差梯度,（,c,）计算,Hessian,矩阵,A,和加权梯度向量,b,其中,L-M,非线性最小二乘算法（,cont.,）,2.,求解方程,并且更新变换矩阵,3.,检查误差,E,的变化，如果增大，则适当地增加,，重新计算一个,m,，然后重复步骤,2,；如果减小，则适当地减小,，重新计算,m,，然后重复步骤,2,。,4.,不断进行迭代计算直到强度差,E,低于某一门限或执行完一定的次数为止。,拼接实验,(1),后续工作,改进图像对齐算法：使用全局对齐算法以减少累计误差，并最终实现自动对齐而无续人工干预。,图像合成部分可以通过直方图均衡化或者平滑函数等方法来对图像拼接后的出现的接缝进行处理。,