全景图像拼接与漫游林晓泽

, , , , , , ,#,主要内容,研究背景与意义,全景图像拼接,全景图像漫游（虎溪虚拟校园系统）,总结,研究背景与意义,项目依托：,科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”；,虎溪校区虚拟校园系统；,国家大学生创新基金。,意义,建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（,上海世博会）,相比三维建模，制作流程快，更真实，速度更快；,现有的全景拼接软件：版权，部分需要手工设置。,全景图像拼接,全景图像拼接的定义：,全景图像拼接是一种将一组相互间有,重叠部分,的图像序列进行,空间匹配对准,，经重采样合成后形成一幅包含各图像序列信息的,360,水平视角的、完整的、清晰的新图像的技术 。,领域人物,Richard Szeliski,Microsoft Research,David G.Lowe,UBC,Richard Szeliski. Image Alignment and Stitching: A Tutorial.,M.Brown,D.G.Lowe. Recognising Panoramas.,M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features.,全景图像拼接,-,主要步骤,图像拍摄,图像预处理,图像配准,图像融合,输出全景图,步骤,1,：图像拍摄,What is fisheye?,短焦距，球面镜头，水平垂直视域,180,0,Why is fisheye?,图像数量,拼接复杂度和运算时间,步骤,2,：图像预处理,鱼眼图像的校正,步骤,3,：图像配准,图像配准的本质是寻找一种图像对之间的,变换关系,，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用,特征匹配点,建立这种变换关系。,特征点的查找,特征点的粗匹配,匹配点的优化,几何变换模型,映射到同一基准面,特征点的查找,特征点的粗匹配,匹配点的优化,变换关系的求解,同一基准面的映射,二维图像之间的位置变换关系可以通过一个,3*3,的,8,参数,矩阵来表示。两幅图像的像素坐标关系来表示,。,图像配准,-,变换关系,图像配准,-,变换关系,使用,仿射变换,作为几何变换模型。,仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图：,仿射变换,6,参数,RANSAC,RANSAC(Random sample consensus),：,它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。,Step 1:,将所有匹配点代入公式，采用最小二乘法解出,H,，进入,Step2,；,Step 2:,设定一个阈值,T,，将满足,d( Pi,HPj )T(d,为欧式距离,),的点确定为内点，其余的为外点，进入,Step3,；,Step 3:,将所有内点代入公式，采用最小二乘法解出,H,，如果,Step3,中没有任何点改变，则进入,Step4,；否则进入,Step3,；,Step4,：所有内点是准确匹配点，外点是误匹配点，算法结束。,特征点匹配,误匹配点,(,外点,),H1,H2,H3,H4,如何投影？,1,2,4,1,3,怎么办？,选择一张图像作为基准面，将所有图像映射到面上。,存在俯仰变换的校正图,人工校正,3,俯仰变换,6,参数,2,参数,步骤,4,：,图像融合,-,线性融合,重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从,100%,线性减少到,0%,，右图像像素对融合图像的亮度贡献率从,0%,线性增加到,100%,。,阴影部分为重叠区域,100%,100%,0%,0%,左图,右图,线性融合,重影现象,线性融合方法简单，但存在问题。,使用多段融合方法,解决办法,多段融合,多段融合算法是一种,多尺度、多分辨率,的图像融合方法。在不同尺度和空间分辨率上进行融合。,步骤,1,：建立图像的,高斯金字塔,步骤,2,：,由高斯金字塔,建立图像的,拉普拉斯金字塔,步骤,3,：对拉普拉斯金字塔的每层进行融合,步骤,4,：组合融合后的拉普拉斯金字塔,多段融合,高斯金字塔,1.,第,1,层放大一倍得到图像,A,2.,第,0,层减去图像,A,，得到拉普拉斯金字塔第,0,层。,0,1,2,3,多段融合,拉普拉斯金字塔,亮度取平均,取亮度大的点，保持轮廓,0,1,2,3,多段融合,线性融合,多段融合,消除重影现象,全景图像漫游,虎溪虚拟校园系统（,前台,Flash+,后台,JSP,）,全景浏览,建筑物（单位，办事指南）,导航（路线导航，新生导航）,测距,鹰眼,总结,SIFT,特征点查找,速度慢，消耗内存多。,图像,变换模型的整体优化,，目前效果还不是非常明显，有待改进。,全景漫游的扩展：视频，自动漫游等。,