全景图像拼接算法课件

内容提要n图像拼接简介n图像拼接的主要步骤n摄像机运动的投影模型（projective model)n图像的对齐(registration)n图像的合成(blending)n图像拼接试验内容提要图像拼接简介图像拼接简介n什么是图像拼接？将多幅在不同时刻、从不同视角或者由不同传感器获得的图像经过对齐然后无缝地融合在一起，从而得到一幅大视场、高分辨率图像的处理过程。该图像被称为全景图。图像拼接简介什么是图像拼接？图像拼接简介n传统全景图(panorama)n是由在一个固定位置上以不同角度拍摄到的一系列图像拼接而成的大视场图像。n特点：没有或只有轻微的运动视差n多重投影拼接图(multi-perspective mosaic)n是由在一些不同位置上拍摄到的一系列图像拼接而成的大视场图像。n特点：存在较大的运动视差（motion parallax)图像拼接简介传统全景图(panorama)图像拼接简介图像拼接简介图像拼接简介n图像拼接中的几个主要问题：n使用图像数据和摄像机模型对几何失真进行校正。n使用图像数据及摄像机模型进行图像对齐。n消除拼接图像中的接缝。图像拼接简介图像拼接中的几个主要问题：摄像机运动模型n在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻两幅图像中的景物会出现几何形变。n通过寻找能够恰当地将一幅图像与另一幅图像对准的几何变换来将两幅图像对齐。这些变换被称为对应(homography)。换句话说，这些几何变换是一种映射，两幅有重叠区域的图像，其中一幅图像重叠区域中的一个点经过这种几何变换将被映射到另外一幅图像重叠区域中的某个点上。这样这两个点形成了对应关系。n在固定位置拍摄的条件下，我们通常使用8-参数运动模型以及其简化形式来概括或计算这些几何变换。摄像机运动模型在拍摄过程中由于摄像机镜头的运动，使得拍摄到的摄像机运动模型homography摄像机运动模型homography摄像机的8-参数运动模型n常见的几种几何变换：平移平移（translation)旋转旋转(rotation)水平切变水平切变(horizontal shear)投影投影(projection)摄像机的8-参数运动模型常见的几种几何变换：平移（trans8-参数运动模型n假设 和 分别是一个象素点的新旧坐标，一个二维仿射变换可以写为：或是 尺度和旋转垂直切变水平切变 8-参数运动模型假设 和 8-参数运动模型n仿射变换在统一坐标系下可以用一个矩阵相乘的形式来表示：当引进尺度参数W后，就得到了8-参数模型：8-参数运动模型仿射变换在统一坐标系下可以用一个矩阵相乘的形8参数运动模型n平移、刚体、仿射以及透视变换对应的变换矩阵M的形式：8参数运动模型平移、刚体、仿射以及透视变换对应的变换矩阵M图像对齐n图像对齐n找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中的主要任务。图像对齐图像对齐图像对齐方法n所使用的图像特征n特征点n频域n灰度值n优化算法n非线性最小二乘n傅立叶变换n小波变换n动态规划n遗传算法图像对齐方法所使用的图像特征对齐算法流程投影到统一坐标系投影到统一坐标系初始变换矩阵初始变换矩阵M最终变换矩阵最终变换矩阵M图像合成图像合成非线性最小二非线性最小二乘法进行优化乘法进行优化对齐算法流程投影到统一坐标系初始变换矩阵M最终变换矩阵M图像初始变换矩阵的获取n初始变换矩阵M可以通过提取特征点或者在频域上计算两幅图像的相位相关等方法来得到。nMATLAB中内建有cpselect函数，该函数允许用户在将要拼接的两幅图像的重叠区域中手工选取一定数量的匹配特征点对然后自动给出两幅图像之间的初始变换矩阵。初始变换矩阵的获取初始变换矩阵M可以通过提取特征点或者在频域优化目标函数n假设I(x,y)和I(x,y)是两幅需要对齐的图像。这种方法就是要使I(x,y)和I(x,y)的重叠区域中所有相应象素i的强度值之差的平方和最小，即：优化目标函数假设I(x,y)和I(x,y)是两幅需要对L-M 非线性最小二乘算法n1.对于未对齐图像中（x,y）处的象素点，（a）计算它在基准图像中的位置L-M 非线性最小二乘算法1.对于未对齐图像中（x,y）处的L-M 非线性最小二乘算法（cont.）n（b）计算误差梯度n（c）计算Hessian矩阵A和加权梯度向量b,其中L-M 非线性最小二乘算法（cont.）L-M 非线性最小二乘算法（cont.）n2.求解方程 并且更新变换矩阵n3.检查误差E的变化，如果增大，则适当地增加，重新计算一个m，然后重复步骤2；如果减小，则适当地减小，重新计算m，然后重复步骤2。n4.不断进行迭代计算直到强度差E低于某一门限或执行完一定的次数为止。L-M 非线性最小二乘算法（cont.）拼接实验(1)拼接实验(1)后续工作n改进图像对齐算法：使用全局对齐算法以减少累计误差，并最终实现自动对齐而无续人工干预。n图像合成部分可以通过直方图均衡化或者平滑函数等方法来对图像拼接后的出现的接缝进行处理。后续工作改进图像对齐算法：使用全局对齐算法以减少累计误差，并