第1章虚拟现实技术概述

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,第六讲,三维建模技术及软件,1三维建模技术及软件,2视觉实时动态绘制技术,3三维虚拟声音技术,4人机自然交互技术,5物理仿真技术,6三维全景技术,7虚拟现实开发软件工具集,1,三维建模技术及软件,1.1 几何建模技术,1.2 行为建模技术,1.3 虚拟现实的建模软件,1,三维建模技术及软件,1.1 几何建模技术,1、技术指标,几何建模技术的研究对象是对物体几何信息的表示与处理。涉及表式几何信息的数据结构及相关的构造与操纵该数据结构的算法。,评价一个虚拟环境建模技术水平的三个常用指标是：交互式显示能力、交互式操纵能力和易于构造的能力。,图像必须每秒更新20次以上才能使用户产生连续的视觉，因此模型的表示还必须便于快速构造和显示，这同时也是对行为建模技术的要求。,1,三维建模技术及软件,1.1 几何建模技术,2、建模方法,几何建模方法包括体素和结构两个方面，按其结构分为：,层次建模法,利用树形结构来表示物体的各个组成部分，不仅提供了一种简便自然的分割复杂物体的方法，而且对模型的修改也十分有利。对物体结构的自然描述，易于显示。,属主建模法,让同一种对象拥有同一个属主，属主包含了该类对象的详细结构。当要建立某个属主的一个实例时，只要复制指向属主的指针即可。简单高效、易于修改、一致性好,1,三维建模技术及软件,1.2 行为建模技术,几何建模是虚拟环境建模的基础，行为建模体现了它的特征,1、运动学法,通过几何变换如平移和旋转等来描述运动。在运动控制中，无需知道物体的物理属性。在关键帧动画中，运动是通过显示指定几何变换来实施的，内插帧可用各种插值技术来完成，如线性插值、三次样条插值等。,2、动力学仿真法,运用物理定律而非几何变换来描述物体的运动，通过物体的质量和惯性、力和力矩以及其他物理作用计算出来。更适于物体间交互作用较多的虚拟环境建模。,1,三维建模技术及软件,1.3 虚拟现实的建模软件,1、3ds Max,美国Autodesk公司推出的功能强大的三维设计软件包，它集三维建模、材质制作、灯光设定、摄像机使用、动画设置及渲染输出于一身，提供了三维动画及静态效果图全面完整的解决方案。,2、MAYA,也是由Autodesk公司出品的一款顶级建模、动画、特效和渲染软件，在电影、大型游戏、数字出版、广播电视节目制作等方面更胜一筹。,3、Creator,MultiGen-Paradigm公司出品的交互式三维建模软件，拥有多边形建模、矢量建模、大面积地形精确生成等功能，不仅能够创建三维地形和模型，而且可以高效、最优化地生成实时三维数据库。,2,视觉实时动态绘制技术,2.1 实时动态绘制技术的基本原理,2.2 基于图形的实时动态绘制技术,2.3 基于图像的实时动态绘制技术,2,视觉实时动态绘制技术,2.1 实时动态绘制技术的基本原理,实时动态绘制技术是指利用计算机为用户提供一个能从任意视点及方向实时观察三维场景的手段，所期望的是图像帧速高而等待时间短。,当生成虚拟环境的视图时，必须要设计出好的数据空间和视频图像，使计算机系统尽快运行，每秒生成足够数量的新帧，从而保证系统刷新频率不低于2030帧/秒。,等待时间是实时动态绘制技术的另一个关键指标，它指用户动作的开始与在显示器上出现对这一动作的响应反馈之间的时长。,2,视觉实时动态绘制技术,2.2 基于图形的实时动态绘制技术,1、场景分块（World Subdivision）,指把一个复杂的场景划分为多个相互之间几乎或完全不可见的子场景。这样系统就能大量地减少在某一时刻需要显示的多边形数目，从而有效降低可视场景的复杂度。,2、可见消隐（Visibility Culling）,基于给定的视点和视线方向，决定场景中哪些物体的表面是可见的，哪些是被遮挡而不可见的。使用此方法能使系统仅显示用户当前能“看见”的场景，与用户的视点关系密切。,3、细节选择（Level of Detail）,为每个物体建立多个相似的模型，不同模型对物体的细节描述不同。对物体细节的选择越精确，模型也就越复杂。,2,视觉实时动态绘制技术,2.3 基于图像的实时动态绘制技术,用图像合成代替几何建模来创建复杂的场景，不但真实感强，而且整个过程都可以在二维空间中进行，其绘制时间不取决于场景的复杂度，而只与显示分辨率有关。制作全景图就是这样一种方法。,3,三维虚拟声音技术,三维虚拟声音与人们熟悉的立体声音有所不同。所谓的立体声虽然有左右声道之分，但就整体效果而言，立体声来自听者面前的某个平面，而三维虚拟声音则是来自围绕听者双耳的一个球形中的任何地方，即声音出现在头的上方、后方或前方。,3,三维虚拟声音技术,3.1 三维虚拟声音的特征,3.2 头部相关传递函数,3.3 语音合成技术,3,三维虚拟声音技术,3.1 三维虚拟声音的特征,全向三维定位特性,（3D Steering）,指在三维虚拟环境中把实际声音信号定位到特定虚拟声源的能力。,三维实时跟踪特性,（3D Real-Time Localization）,：,指在三维虚拟环境中实时跟踪虚拟声源位置变化或虚拟影像变化的能力。只有声音效果与实时变化的视觉相一致，才可能产生视觉与听觉的叠加和同步效应。,举例说明,3,三维虚拟声音技术,3.2 头部相关传递函数,首先通过测量外界声音与鼓膜上声音的频谱差异，获得了声音在耳部附近发生的频谱成形，随后利用这些数据对声波与人耳的交互方式进行编码，得出相关的一组传递函数，并确定出两耳的信号传播延迟特点，以此对声源进行定位。,通常在VR系统中，当无回声的信号由这组传递函数处理后，再通过与声源缠绕在一起的滤波器驱动一组耳机，就可以在传统的耳机上形成有真实感的三维声音了。由于这组传递函数与头部有关，故被称为头部相关传递函数（Head-Related Transfer Function，HRTF）。,HRTF可看做是声源在人体周围位置与人体特征的函数，当获得的HRTF能准确描述某个人的听觉定位过程时，利用它就能够虚拟在线真实的声音场景。,3,三维虚拟声音技术,3.3 语音合成技术,语音合成技术是从语音参数出发，先通过A/D转换将语音数字化，经过数字处理和运算，然后再通过D/A转换而输出语音的。,将语音合成与语音识别技术结合起来，还可以使用户与计算机所创建的虚拟环境进行简单的语音交流，这在VR环境中具有突出的应用价值。,4,人机自然交互技术,4.1 手势识别技术,4.2 面部表情识别技术,4.3 眼动跟踪技术,4,人机自然交互技术,4.1 手势识别技术（Gesture Recognition）,将虚拟世界中常用的指令定义出了一系列的手势集合，利用这些手势，参与者可以执行诸如导航、拾取物体、释放物体等操作。,手势语言使用户可以自始至终地采用同一种输入设备（通常是数据手套）与虚拟世界进行交互，将用户的注意力主要集中于虚拟世界，降低对输入设备的额外关注。,4,人机自然交互技术,4.2 面部表情识别技术,（Face Detection & Recognition）,计算机面部表情的识别技术的三个步骤：,1、面部表情的跟踪,为了识别表情，首先要将表情信息从外界摄取回来。现阶段，跟踪面部表情的装置和方法不一。,Sim-Graphics开发的虚拟演员系统（VActor）。,通过摄像机拍摄用户的面部表情，然后利用图像分析和识别技术进行表情识别,4,人机自然交互技术,4.2 面部表情识别技术,（Face Detection & Recognition）,计算机面部表情的识别技术的三个步骤：,2、面部表情的编码,要使计算机识别表情，就要将表情信息以计算机所能理解的形式表示出来，即对面部表情进行编码。,科研人员Ekman和Friesen提出了一个描述所有视觉上可区分的面部运动的系统，叫做面部动作编码系统（FACS），它是基于对所有引起面部动作的脸的“动作单元的枚举编制而成的。,4,人机自然交互技术,4.2 面部表情识别技术,（Face Detection & Recognition）,计算机面部表情的识别技术的三个步骤：,3、面部表情的识别,根据分析人的眉、眼、口等面部器官在不同表情时产生的变化，对表情的识别采用了图示二叉树分类器方案,。,4,人机自然交互技术,4.2 面部表情识别技术,（Face Detection & Recognition）,计算机面部表情的识别技术的三个步骤：,3、面部表情的识别,表情识别的系统流程如图。,4,人机自然交互技术,4.3 眼动跟踪技术,（Eye Movement-based Interaction）,视线追踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而记录和分析视线追踪过程。,视觉追踪方法,技,术,特,点,眼电图（,EOG,）,高带宽，精度低，对人干扰大,虹膜,-,巩膜边缘,高带宽，垂直精度低，对人干扰大，误差大,角膜反射,高带宽，误差大,瞳孔,-,角膜反射,低带宽，精度高，对人无干扰，误差小,接触镜,高带宽，精度最高，对人干扰大，不舒适,4,人机自然交互技术,4.3 眼动跟踪技术,（Eye Movement-based Interaction）,从视线跟踪装置得到的原始数据必须经过进一步的处理才能用于人机交互，目的就是从中提取出用于人机交互所必需的眼睛定位坐标。,将视线应用于人机交互必须克服的另一个困难是避免所谓的“米达斯接触（Midas Touch）”问题，在理想情况下，系统应当在用户希望发出控制时，及时地处理其视线输入，而在相反的情况下则忽略其视线的移动。,5,物理仿真技术,1、设计数学模型,数学模型即描述虚拟对象行为和运动的一组方程式，用来建立虚拟对象的视觉属性（如大小、形状、颜色等）、物理属性（如质量、硬度等）和物理规则（如引力、阻力等）。,2、创建物理属性,首先确定物理过程，即作用在虚拟对象上的物理现象，接着利用软件仿真算法描述上述物理过程，最后通过计算机程序语言实现上述仿真算法，由此表达出模型质量、密度等物理属性和力的概念。,3、实现碰撞检测,碰撞检测技术也是VR系统中不可缺少的、极其关键的技术之一。不仅要能检测是否有碰撞的发生、碰撞发生的位置，还要计算出碰撞发生后的反应。目前较成熟的碰撞检测算法有,层次包围盒法和空间分解法,等。,5,物理仿真技术,碰撞检测算法：,层次包围盒法,利用体积略大而形状简单的包围盒把复杂的几何对象包裹起来，在进行碰撞检测时，首先进行包围盒之间的相交测试，若包围盒不相交，则排除碰撞可能性；若相交，则接着进行几何对象之间精确的碰撞检测。,空间分解法,将虚拟空间分解为体积相等的小单元格，所有对象都被分配在一个或多个单元格之中，系统只对占据同一单元格或相邻单元格的对象进行相交测试。,6,三维全景技术,（Panorama）,6.1,三维全景技术的基本概念,6.2,全景图的制作技术,6,三维全景技术,（Panorama）,6.1 三维全景技术的基本概念,三维全景技术是一种基于图像绘制技术生成真实感图形的VR实现技术。,首先使用照相机拍摄获取图像序列，然后将序列样本折叠变换并投影至观察表面如柱面、球面、立方体表面等，并将图像局部对准，最后由相关软件进行图像拼接融合生成可供浏览和交互的三维全景图。,6,三维全景技术,（Panorama）,6.2 全景图的制作技术,图像拍摄技术,原始资料获取方式：其一是使用特殊摄像设备拍摄，如全景照相机、附带鱼眼镜头（Fisheyes Adapter）和全景头（Panohead）相机等；其二是使用普通照相机拍摄。,拍摄方法：其一是定点拍摄，即将相机固定在三脚架上并围绕相机光心旋转向不同方向拍摄；其二是多视点拍摄，相机可在不同位置拍摄，但一般只能进行水平移动。,6,三维全景技术,（Panorama）,6.2 全景图的制作技术,图像拼接技术,根据采集照片序列类型的不同，图像拼接技术主要涉及以下两方面：,若图像序列取自同一视点不同视角，重叠画面无缩放，则图像拼接时只需确定重叠区域，将相临图像中对应的像素点对准，再进行平滑拼接即可。,若图像序列取自不同视点，重叠画面有缩放，则图像拼接时需确定重叠区域和缩放比例，可以交互给出或自动求出每两幅图像之间的对应点，再用图像插值或视图变换的方法求出该物体对应于其他观察点的图像。,6,三维全景技术,（Panorama）,6.2 全景图的制作技术,图像融合技术,通常，重叠区域的边界上，两幅图像灰度上的细微差别一般都会导致很明显的拼缝，一般可在两幅图像的重叠区域采用渐入渐出的方法，将两帧图像的像素值按一定的比例合成到新图，由前一幅图像慢慢过渡到下一幅图像。,7,虚拟现实开发软件工具集,7.1 Vega Prime,7.2 Virtools,7.3 VRP,7.4 Web3D技术及相关软件,7,虚拟现实开发软件工具集,7.1 Vega Prime,Vega Prime（简称VP）由MultiGen-Paradigm公司出品，构建在VSG（Vega Scene Graph）框架之上，包括图形用户界面Lynx Prime和一系列可调用的、用C+实现的库文件、头文件。基于VP视景仿真主要包括视景模型的预处理、LynX图形界面设计和视景仿真程序设计等三部分。,7,虚拟现实开发软件工具集,7.2 Virtools,Virtools由法国达索集团（Dassault Systemes）出品，是一套具备丰富的互动行为模块的实时3D环境编辑软件，可以将现有常用的档案格式整合在一起，如3D的模型、2D图形或音效等，这使得用户能够快速地熟悉各种功能，包括从简单的变形到复杂的力学功能等。,3.7,虚拟现实开发软件工具集,7.3 VRP,VRP系列软件由中视典数字科技有限公司研制出品，以VR-Platform引擎为核心，衍生出VRP-IE（VRP三维网络浏览器）、VRP-BUILDER（VRP虚拟现实编辑器）、VRP-PHYSICS（VRP物理系统）、VRP-DIGICITY（VRP数字城市平台）和VRP-SDK（VRP二次开发工具包）等5个相关产品。,7,虚拟现实开发软件工具集,7.4 Web3D技术及相关软件,Web3D技术是基于Internet的桌面级虚拟现实技术，是在互联网上实现的交互式三维技术，其本质特征是网络性、三维性和交互性。,VRML/X3D：VRML（虚拟现实建模语言）是用于创建基于浏览器的、具有实时交互特性虚拟现实场景的建模语言。X3D（eXtensible 3D）是新一代具有扩展性三维图形标准，它基于XML（可扩展标记语言），表达对VRML几何造型和实体行为的描述能力，并通过扩展的接口延伸了VRML的功能。,7,虚拟现实开发软件工具集,7.4 Web3D技术及相关软件,Cult3D：由Cycore出品，可为3D模型添加交互性动作。Cult3D作品可在大多数操作系统平台下和多数网络浏览器上流畅地显示，并可嵌入到Office、Acrobat等软件中。,Shockwave3D：由Macromedia公司出品，主要通过Director实现，Director为Shockwave3D加入了几百条Lingo控制脚本，使Shockwave3D在交互能力上具有强大的优势。,Java3D：由SUN公司出品，是Java在三维领域的扩展，是一种高级的交互式三维图形编程API，综合了OpenGL和Direct3D的优点，对底层API进行了高效的封装，是一套纯面向对象的开发工具。,作 业,检索虚拟现实相关技术资料，了解虚拟现实相关技术原理,THE END,