第7章基于图像的VR技术84

基于图像的VR技术VR的两种研究方法简介VR的两种研究方法：方法一：基于几何的绘制 该方法有时也被称为基于模型的方法 传统上，一个虚拟环境是由各类3D几何体合成的。在虚拟环境中漫游是通过实时绘制2D几何体实现的。首先对场景建立三维几何模型，对场景中各个物体的材料、光照、纹理、消隐等因素进行描述；然后根据观察者位置和观察角度生成场景中各个物体的图象，用图形学方法进行绘制；最后用光线跟踪或纹理映射的方法增加真实感，同时对物体进行着色、上光、粘贴材质、判断遮挡、填充空洞等处理。基于几何绘制的方法此方法有3个主要问题：第一，几何体的建模是一个非常繁琐的问题。其次，由于漫游需要实时显示，因此限制了场景的复杂性和绘制的质量。最后，加速绘制所需要的专门硬件极其昂贵，因此限制了虚拟现实的发展。基于几何的绘制方法的工作流程基于图像绘制技术VR的两种研究方法：方法二：基于图像的建模和绘制(Image Based Modeling and Rendering，简称IBMR，简写为IBR)从已知的图像中合成新视图来构成虚拟环境，IBMR方法有以下优点：建模容易建模容易：把不同视线方向、不同位置拍摄的照片数据按某种形式组织起来表示场景，如全景图像和光场，这就是IBMR意义下的所谓建模。绘制快：绘制快：不需要复杂的计算，直接从已有的视图中合成新的视图，整个绘制过程都在二维空间进行，绘制时间不依赖于场景的复杂度，只跟显示分辨率有关。真实感强：真实感强：基于图像的方法能真实地反映景物的形状和丰富的明暗、材料及纹理细节，不需要经过额外的光照模拟。交互性好：交互性好：由于有绘制速度和真实感的保证，再加之先进的交互设备和反馈技术，使得基于图像的VR有更好的交互性。当然，IBR方法也并非没有不足，目前还有如下缺点：1)表示模式。即数据的组织问题。需要找到一种简便有效且适合于计算机表示的模式，使之能精确完整地表示整个场景;2)获取方法。用手持相机或者用被精确定位与控制的数控摄像机、图象采样的数量多少、采样模式及样本均匀性等都会影响问题的难度和精度。3)失真问题失真是由于连续图象信号的离散化、采样设备的精度和质量、设备噪等多种因素而产生的。同时，工BR方法不可避免地要对场景图象进行多重采样，这样又会产生采样积累误差。4)可见性判断。景物间的相互遮挡会使新合成的视图中出现空洞和重叠。5)信息压缩。IBR方法的计算量不大，但数据量很大，合理有效的压缩及解压缩机制是一个亚待解决的问题。6)完全漫游。如何实现基于图象的完全实时漫游是基于IBR方法的虚拟现实系统能否走向实用的又一个关键问题。基于图像的建模和绘制技术基于图像的建模和绘制技术 基于立体视觉的方法 基于视图插值的方法 基于图像拼合和分层的方法 基于全视函数的方法 基于立体视觉的方法 基于立体视觉的视图合成方法主要利用立体视觉技术从已知的参考图像中合成相对于新视点的理想图像 关键问题是找出每对已知图像之间的对应映射，即解决立体匹配问题 通过对应关系建立了一个基于图像的场景表示 将场景视图及其对应关系组成一个图结构，图中灰色摄像机代表不同物理位置的参考图像，黑色摄像机代表合成视图，双向边表示邻接视图间的立体对应关系，单向边表示对参考图像所做的变换。立体对应图象变换基于图像的建模和绘制技术基于图像的建模和绘制技术1 基于立体视觉的方法 基于立体视觉的图像合成方法主要有以下优点：新视图可以由两幅邻近的参考图像及它们的对应关系合成，整体的几何模型不是必需的；图像变换比传统的图像绘制快得多，而且计算时间独立于场景复杂度；只需知道邻接摄像机之间的相对轮廓信息，而不需要对摄像机进行精确的定标。基于立体视觉的图像合成方法也存在着立体视觉中固有的缺陷：由于场景有可能部分和全部地被遮挡，只能掌握场景有限的信息，导致在参考图中不可见而在新图中应该可见的区域出现空洞，如何填补这些空洞是一个难以解决的问题；由于只产生有限的深度分辨率(深度不连续)，使得匹配处理出现误差。视图插值方法可以对二维的图像按照形状插值来模拟和近似三维的图形变换。给定两幅不同视点参数的图像，用这种方法可以求出中间视点的图像，从而达到视点变化的效果。视图插值就是利用图像变形的方法产生视点沿着一定路径变化时的中间图像 基于图像的建模和绘制技术基于图像的建模和绘制技术2 基于视图插值的方法 将同一场景的多张有重叠的图像组合成一幅较大图像的处理叫做拼合(mosaic)。图像拼合技术典型地被用于全景图的生成、改善图像分辨率、图像压缩及视频扩展等方面 图像整合(image registration),即是把参考图像中相互重叠的部分对齐所做的变换。基于图像的建模和绘制技术基于图像的建模和绘制技术3 图像拼合和分层的方法 全视函数全视函数(PlenOptic Function)是由是由Adelson和和Bergen命名的命名的 全视函数描述了观察点全视函数描述了观察点(而非物体或光源而非物体或光源)接收到的所有可见接收到的所有可见光辐射的能量。用计算机图形学术语，它描述了给定场景中光辐射的能量。用计算机图形学术语，它描述了给定场景中所有可能的环境映照集合所有可能的环境映照集合 全视函数定义在一个七维的参数空间上 代表空间中视点的位置，视域方向和范围用仰角 方位角 定义，代表人眼感受到的波长,t代表时间 基于图像的建模和绘制技术基于图像的建模和绘制技术4 基于全视函数的方法基于全视函数的方法),(tVVVPlenopticzyx),(zyxVVV 全视函数的参数化 摄像机模型 针孔成像模型（几何）几种参考坐标系 成像过程（代数）摄像机定标 线性模型摄像机定标 非线性模型摄像机定标 立体视觉摄像机定标一、Camera模型：针孔成像模型 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像几何模型所决定；该几何模型的参数称为摄像机参数，必须由实验与计算来确定，实验与计算过程称为摄像机定标；摄像机模型是光学成像几何关系的简化。最简单的模型为线性模型，亦称为针孔模型(pin-hole model)摄像机针孔模型示意图Camera模型：四种参考坐标系Image坐标系camera坐标系world坐标系uvxy1O00(,)u v0OcXcYOxy1O(,)cccP X Y ZcZpwYwXwZ（物理/计算机）Camera模型：代数模型 成像过程cPwP旋转、平移（欧氏变换）(1)从world坐标到Camera坐标1 1111cwwcwwTcwwXXXYYYZZZRtM0齐次坐标概念：(,)(,)x y zkx ky kz kCamera模型：代数模型(2)经透视投影将Camera坐标投影到实际图像平面ccfXxZccfYyZ透视投影透视投影（中心射影）：00000010 0101ccccXxfYZyfZ Camera模型：代数模型(3)将实际图像坐标转换成计算机图像坐标(缩放变换)Image坐标系uvxy1O00(,)u v0O0 xuudx0yvvdy10100011001dxdyuuxvvy 000010011xdxu dxuydyv dyv 代数表达：(,)u v为计算机图像坐标（象素单位）(,)x y为实际图像坐标（物理单位）Camera模型：代数模型 完整过程 11wwwXuYvZ MM摄像机定标摄像机定标：求解二、Camera定标 目标 基本原理 定标参照物 线性模型 非线性模型 立体视觉 自定标(project)实例 机器人手眼定标 主动视觉的头眼定标Camera定标：线性模型情形 Camera的完整代数模型的完整代数模型：1010001200000000110 010001100 0010 0101wdxwcdyTwwxwywwTwXuufYZvvfZXauYavZ Rt0RtM M XMX0其中：/,/;xyfdxfdyM:为3X4矩阵，称为投影矩阵投影矩阵;1M:由 （只与摄像机内部结构有关）决定，称为摄像机内部参数摄像机内部参数;2M:由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数摄像机外部参数;CameraCamera定标定标：确定某摄像机的12MM、1010020100000000110 010001100 0010 0101wdxwcdyTwwxwywwTwXuufYZvvfZXuYvZ Rt0RtXM MMX000,xyuv1112131421222324313233341 1wiiwiciiwiXummmmYZvmmmmZmmmm111213142122232431323334 ciiwiwiwiciiwiwiwiciwiwiwiZ um Xm Ym ZmZ vmXm YmZmZmXm Ym Zm11121314313233342122232431323334wiwiwiiwiiwiiwiiwiwiwiiwiiwiiwiiX mY mZ mmu X muY mu Z mu mX mY mZ mmv X mvY mv Z mv m条件：借助定标参照物（已知n个点）摄像机定标算法（线性模型情形）111213111111111141111111112122231112411131323310000000011000000001wwwwwwwwwwwwwnwnwnwnwnwnwnwnwnwnwnwnmmmXYZu XuYu ZmXYZv XvYv ZmmmXYZu XuYu ZmXYZv XvYv Zmmm1341343434nnu mv mu mv m34 (1)mKmU1()TTmK KK U最小二乘法11140234224033000010 01 01TTxxTTyyTTzTtmutmmvtrmrmrm011410 303422420 30331TTTxx xzTTTyy yzTTzmutu tmmvtv ttmrrmrrmr3431mm3343mrm343331 mmrr2010 333413()TTTxuumrrrm m2020 333423()TTTyvvmrrrm m23413xmmm23423ymmm341103()xmurmm34ztm342203()ymvrmm34140()xxmtmu34240()yymtmvCamera定标：非线性模型情形(,)(,)xyxxx yyyx y22222211212222222212(,)()(3)2)()(,)()(3)2)()xyx yk x xypxyp xys xyx yk y xypxyp xysxy2122(1)(1)xxk ryyk r222rxy径向畸变离心畸变薄棱镜畸变如广角镜头系统Camera定标：立体视觉情形2X2Y1O(,)cccP X Y Z2Z1p1X1Y1Z2O2p极线极线概念Camera定标：立体视觉情形111222cwcwxR xtxR xt消去wx1111221122ccxR R xtR R tRt111111222212()()cppcppZZuM xMm xuM xMmx1111122212ccZZuM xmuM xm消去x1122121111221111ccZZuM M umM M m(,1)TpwpwpwpXYZx(1)TTpxx(,)TwpwpwpXYZxmCamera定标：立体视觉情形(,)Txyzt t tt 000zyzxyxttttttt t rtr 122121111()0ccZZmuM M u12cccZZZ 1211112cZmM M umu 12211110TumM M uF：外极线方程外极线方程：Camera定标 自定标 不使用定标参照物 焦平面 光轴 光心C O Yc Xc Zc x y Yw Zw Xw 针孔摄像机模型及坐标系 1101wwwTcccZYXtRZYX101000000001ccccZYXffyxZ全景图像的生成 图像拼合主要包含两个问题：一是图像整合，即把参考图像中相互重叠的部分对齐所做的变换；二是图像缝合，即把图像经过一定的变换后，在缝合空间进行图像的局部匹配。通过图象拼接来生成全景图象的基本过程如下:针对某一场景，视点固定，采集一组有重叠区域的连续环视图象作为原始图象数据。按照全景视觉一致性的要求，同时也是为了维持实际场景中的空间约束关系，先将原始图象数据转化为拼接图象数据，即:把原始图象转换到用于映射全景图象的曲面上(如:圆柱面、球面、立方体表面等)。通过图象拼接技术，将这组图象中相邻两幅图象间的重叠部分整合在一起，进而实现相邻两幅图象的拼接。当所有的图象都拼接完毕后，就会获得一幅全景图象。当然也可以不固定视点，如:手持照相机进行拍摄，但此时要通过某种办法计算出拍摄各张相片时，照相机的位置和方位柱面全景模型 柱面全景模型(图a)就是将环境图像表达在一个圆柱体面上，这样就很容易将它展开为简单的平面图(图b)。在水平方向上其无表面无边界，从而简化了建立图像流场所需的对应关系搜索。通过旋转摄影的方法，可以获得一系列相互间有一定接缝的局部图像，以此作为全景图像生成的原始输入。柱面体模型和展开示意图1、柱面正投影算法 在拼接全景图像之前必须将他们统一投影到柱面上，使现实世界中相同的景物在不同的局部图像中是相同的。柱面正投影算法是为了将多张实景图像分别投影到一个柱面上，以柱面全景图像的形式存储,就是对于一张拍摄的实景图像I上的每一个象素点P的坐标(x,y)，找到其在圆柱体上的投影点Q(u,v,w)在柱面全景图像中的坐标(x，y)。如下图2-9所示。P在照相机坐标系下的坐标为:(x-W/2,y-H/2,-f)，其中，W和H分别是实景图像I的宽度和高度。把圆柱面的中心设为照相机坐标系的原点0，以数码相机的象素焦距f作为圆柱面的半径。柱面正投影示意图柱面坐标转换图 照相机坐标系原点0与象素点P的直线方程可以表示为参数方程(t是参数):圆柱面的方程可以表示为:联立上面式即可得到P点在圆柱面上投影点Q的参数坐标:为了便于存储，将此三维的坐标转换为二维的图像坐标:1、柱面全景图像的拼接 图像的整合 一般图像整合问题可以形式化定义为 其中I1和I2分别代表两个图像样本，M是一个平面投影变换或摄像机定点旋转拍摄时两幅重叠图像间的变换矩阵，用齐次坐标表示如下:),(),(111222yxMIyxI111198765432122yxmmmmmmmmmyx 因为两个图像具有共同的视点，所以m9=1，即 假如M能得到，我们就可准确地将两幅图像拼合。1118176151421817312112ymxmmymxmyymxmmymxmx（1）特征点的提取及相关匹配算法 特征点的提取及匹配算法的目的是提取图像的特征点，然后对两幅图像中的特征点进行尽可能准确的匹配。主要包含以下三步：首先提取每幅图像的特征点；然后通过一定的相关准则对两幅图像的特征点集进行初步匹配；最后通过全局优化策略在初始匹配集中寻找最佳匹配 (a)角点检测(Corner Detection)选取的特征点为图像上的Harris角点，它的基本原理描述如下，建立下面的矩阵C 其中I(x,y)是亮度值，这里用灰度来表示 如果在一点上矩阵C的两个特征值很大，则在该点向任意方向上的一个很小的移动都会引起灰度值的较大的变化 22IIIxxyIIIxyyC 角点检测的函数如下：其中k参数设为0.04(Harris设定的最优参数)。局部区域中对应角点函数的最大值的点就是角点。确定一个阈值，仅仅选取R值大于这个阈值的点作为角点。这个阈值根据需要的角点数量确定 2)(dettraceCkCR（2）相关匹配法 匹配过程如下：在一幅图像中选择一个角点以及角点周围小区域的像素，把这些像素同第二幅图像中候选角点及周围相同大小的区域像素进行比较，得到一些相似度量值，最后通过这些度量值确定匹配点。角点的匹配过程是一个病态问题。一些角点不能得到匹配点，这是因为 第一，待匹配的角点有一些非常相似，可能得到错误的匹配点。第二，两幅图像中求出的角点并不是一一对应的，存在一些角点在另一幅图像中的匹配点没有检测出来。相关匹配法 对于图像I1中的角点m1，设其坐标为(x1,y1)，并以该点为中心定义一个大小为(2n+1)(2m+1)的相关窗口。选择第二幅图像I2中的矩形搜索窗口为在该点附近大小为(2dx+1)(2dy+1)的窗口，然后用该区域中的所有角点m2与图像I1中的角点m1在给定的相关窗口中进行相关操作，并设m2的坐标为(x2,y2)。角点m1和m2的相关值Score定义如下 111111222222122212,2 1 21nminjmI x i yjI x yI x i yjI x yScore m mnmII 表示相关窗口内像素灰度均值，定义为，k=1,2.则表示图像Ik在以点(xk,yk)为中心，大小为(2n+1)(2m+1)的邻域内的标准偏差，其表达式为 相关值Score(m1,m2)的取值范围从-1到1，当点m1与m2越相似，相关值Score(m1,m2)也就越大 ,kkkIxy,2121nmkkkin jmkkkIxi yjIxynm kI2,2121nmkkkinjmkkkkIxyIIxynm（3）松弛法 通过对匹配点的匹配强度进行松弛法迭代来去除模糊的匹配点对。M矩阵的鲁棒求解 由于M只有8个未知参数，而一对匹配点可以构成两个方程，所以如果我们有四对匹配点 ，i=1，2，3，4，便可得到下面的方程组 1122,iiiixyxy11111111121222222211121233333311121244444411121211111111121222222211121233333311121244444411121210001000100010000001000100010001xyx xy xxyx xy xxyx xy xxyx xy xxyx yy yxyx yy yxyx yy yxyx yy y112222332442152262372482mxmxmxmxmymymymy 用下式求得变换矩阵M后，可定义如下的误差函数来衡量M的准确程度 其中，n为匹配点的数目，ei为第i对匹配点的误差，定义如下 其中21niiee2221,2iiiiijjjjjexxyy122111221,1111iiiiiiiixxxxyMyyMy图像的缝合 在求得图像序列的变换矩阵M后，要将相邻照片依次拼接形成圆柱面全景图，需要处理以下三个问题：恢复摄像机焦距，将照片序列投影到圆柱面；查找变换后图像的重叠区域；对图像的色彩融合。摄像机焦距的求解 Ii和Ii+1是相邻的两幅照片，图Ii的中心点Oi在Ii+1中的对应点是Pi+1。根据Ii到Ii+1的变换矩阵Mi，并由此计算Pi+1到Oi+1的距离ti。摄像机焦距f、摄像机帧间转角Hi与ti之间有如下关系：Hi=arctan(ti/f)。如果图片1,2,N是摄像机环绕垂直轴旋轴360摄取的如图所示的依次相邻的图片序列，那么有如下等式成立,用牛顿迭代法解方程(5-16)，可得到以象素为单位的摄像机焦距f 的值 0arctan21Niift摄像机焦距的恢复示意图 为简化计算，设摄像机内参数矩阵为 对于纯旋转运动的情况，变换矩阵可表示为 为旋转矩阵。由于R为正交矩阵，因此可由下面的式子 可以求f 0000001fAf1231456789rrfrMARArrfrrfrfr iRr22222222123456mmmfmmmf21425360m mm mm mf缝合点的查找 将图像投影到圆柱面上后，得到了具有重叠相似区域的两幅图像 对两幅图像分别运算相似距离，根据相似距离来寻找图像的相似部分 由于在上面的算法中已经得到了匹配的特征点，所以利用重叠区域的搜寻方法。图像投影变换后的匹配点对 对于图像中的特征点，设其坐标为(,)，并以该点为中心定义一个大小为(2n+1)(2m+1)的相关窗口。并设的坐标为(,)，选择第二幅图像中的搜索窗口为以该点为中心大小为(2s+1)(2t+1)的窗口，然后用该区域中的所有点与图像中的特征点在给定的相关窗口中进行相关操作，并设的坐标为(,)。点和的相关值Score的定义上面所述。在实验中，为使缝合点查找的更准确，例如使m=n=10，考虑到，分别为m1和m2变换后的对应点，所以确定搜索窗口很小，s=t=5，相关值的阈值为0.95 2x2y缝合点查找的算法描述：Step 1 随机选择一对匹配点m1、m2，投影变换后得到对应点和。Step 2 在投影变换后的图像和上进行上面所述的相关匹配。Step 3 若存在满足要求的匹配，从中选择一个最优的匹配作为结果，算法结束；否则，转到Step 1。图像的色彩融合图像的色彩融合 由于相邻帧之间亮度差的存在，如果将图像简单叠加，拼接处会产生明显的接缝。为了消除拼接缝隙，在两幅图的重叠区域，将两帧图的像素值按一定的权值合成到新图 图像融合加权函数 生成的全景图像 球面全景图生成技术 使用普通数字相机的球面全景图生成技术难度虽然较高，但是应用价值也大。这种方法对硬件的要求低，只需有一台数字相机即可，随着数字相机的普及，它能使个人制作自己的球面全景图。用这种方法构造的全景图有很大的灵活性，可以根据需要设置场景的分辨率，可以满足不同的应用需求。还可以用于从拍摄的较低分辨率的图像构造高分辨率图像。基于图像绘制的全景图生成系统可以采用立方体、圆柱体和球体等模型来实现。采用球面模型生成的全景图，相对于立方体模型而言效果真实，相对于圆柱体模型而言视角范围广，但球面全景图模型较复杂，技术尚欠成熟。同时由于球面模型生成全景图在两极的变形较大，在实际中应用受到限制。球面模型原始图像的拍摄可以用普通相机也可以外挂鱼眼镜头拍摄。对于用普通相机拍摄得到的照片图像，其全景图的生成过程一般为:获得系列图像一计算相机焦距一投影变换一拼接生成全景图一反投影变换实时浏览。用鱼眼镜头，我们只需要拍摄2-4张图片，就可覆盖水平和垂直方向360度的场景，由于全方位光线投射的方式使得鱼眼图片中的场景呈现扭曲现象，因而不能直接使用一般的拼接方式合成全景图。因此用鱼眼图像的全景图生成过程为:获得鱼眼图片一鱼眼图片校正一拼接生成全景图一反投影变换。相邻照片几何关系示意图 为获得球体的半径，首先应对相机的焦距进行估计。对于绕固定视点旋转360度拍摄到的水平层系列图片，利用等距离匹配算法计算出相机焦距。原理如前图所示。Ii和Ii+1是相邻两幅照片;为拍摄此相邻照片时相机的转角，亦即相机光轴的夹角;di 为两幅照片的交点至照片中心的距离，对相邻两幅照片而言，此值相同。设提相机的焦距，如图有下列公式:=2arctan(di/f)P(x,y,z)和P(x，y ,z)是两个实物景点，由于相机视角的改变，P在两幅照片上的成象位置不同，变形有差异;而P点在两幅照片上的成象位于照片平面的交点上，变形相同。因此，可以比较相邻两幅照片上各列象素点之间的颜色差值求得di的值。若相机经360。旋转拍摄得到n幅系列照片，则有如下关系式:上式中，若求出n幅系列照片的di值，便可求出f 求得f值后，就可以将各层的系列照片投影到以f为半径的球面上。球面正投影算法 我们先做如下的假设：XYZ为世界坐标系，xyz为照相机坐标系，并且xyz是XYZ绕X轴转 ，再绕Y轴旋转 得到的。实景图像I上任意一个象素点P的图像坐标为(x,y），它在球体上的对应点Q在球面全景图像上的图像坐标为(x，y)，下图为球面正投影示意图。首先要将P(x,y)在xyz下的坐标(x-W/2,y-H/2,-f)变换到XYZ下的坐标为（u,v,w)球面正投影示意图球面坐标转换图 过点O与点P的直线方程可以表示为参数方程(t是参数)球面方程可以表示为:即可以求出参数t 为了方便存储，把三维的参数坐标转化为二维的图像坐标，当w 0时，有:否则，有:假设：使用上面的算法实现了全景图。试验平台是一台Pentium III600的PC机，Geforce 2，显示卡，256M内存，编程环境为Visual C+6.0，运行在WindowsXP下，底层图形绘制和操作采用三维图形标准Direct3D，每个项目包含120幅图像。演讲完毕，谢谢观看！