虚拟现实技术基础课件

虚拟现实技术简介授课教师：侯守明单位：河南理工大学计算机学院虚拟现实技术简介授课教师：侯守明12主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术2主要内容虚拟现实系统的特点及组成23虚拟现实系统的特点及组成l虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉l“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”-Aukstakalnis S and Blatner D.3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、34虚拟现实系统的特点及组成l主要特点l沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应4虚拟现实系统的特点及组成主要特点45虚拟现实系统的特点及组成l典型虚拟现实系统的组成l计算机系统l用户l虚拟环境人机界面 5虚拟现实系统的特点及组成典型虚拟现实系统的组成 56虚拟现实系统的特点及组成l基于HMD的虚拟现实系统的构成 6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成 67立体视觉的生成与获取l产生沉浸感的至关重要的因素l立体图像与观察者视点和视线方向一致l实时生成l人类立体视觉的产生7立体视觉的生成与获取产生沉浸感的至关重要的因素7l立体图像生成的照相机模型l对称透视投影成像相机模型位置方向8立体视觉的生成与获取立体图像生成的照相机模型8立体视觉的生成与获取8l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)宽高比视角9立体视觉的生成与获取立体图像生成的照相机模型9立体视觉的生成与获取910立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离10立体视觉的生成与获取立体图像生成的照相机模型1011立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)焦距11立体视觉的生成与获取立体图像生成的照相机模型1112立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)左右眼视差（Parallax）l为生成立体图像，计算机必须针对同一场景生成两幅不同的图像l分别按照观察者左、右眼的位置实时绘制12立体视觉的生成与获取立体图像生成的照相机模型1213立体视觉的生成与获取l立体视觉的捕获l必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收l常用的立体视觉设备HMD立体眼镜 13立体视觉的生成与获取立体视觉的捕获 1314虚拟现实交互设备lWIMP交互范式已不再适用lWindows，Icons，Menus，Pointing devicesl用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互l三维鼠标lWANDl数据手套l麦克风l14虚拟现实交互设备WIMP交互范式已不再适用1415虚拟现实交互设备l三维定位跟踪设备l用于跟踪用户当前方位的传感器l大多数具有6自由度（6-DOF）位置和方向各3自由度l佩戴于用户身体的某些部位可对相应部位进行跟踪l一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的15虚拟现实交互设备三维定位跟踪设备1516虚拟现实交互设备l三维定位跟踪设备l电磁式跟踪器示例 16虚拟现实交互设备三维定位跟踪设备 1617虚拟现实交互设备l三维定位跟踪设备lLogitech超声三维鼠标 17虚拟现实交互设备三维定位跟踪设备 1718虚拟现实交互设备l三维定位跟踪设备l光学跟踪器 18虚拟现实交互设备三维定位跟踪设备 1819虚拟现实交互设备l手持式交互设备lWand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）19虚拟现实交互设备手持式交互设备1920虚拟现实交互设备l手持式交互设备lWii Remote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作 20虚拟现实交互设备手持式交互设备 2021虚拟现实交互设备l数据手套l附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息l传感有电磁式、机械式或光学式l传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动21虚拟现实交互设备数据手套2122虚拟现实交互设备l数据手套传感器的典型配置 22-dof22虚拟现实交互设备数据手套传感器的典型配置 22-dof2223虚拟现实交互设备l数据手套示例lImmersion数据手套产品lhttp:/ 35基于投影显示的虚拟现实系统CAVE示例 3536基于投影显示的虚拟现实系统lVirtual WorkbenchTM 卫星虚拟装配卫星虚拟装配36基于投影显示的虚拟现实系统Virtual Workben3637遥在系统l将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样l利用计算机图形、人机交互、传感器、网络等技术l远程传感器可安装在机器人身上l机器人身上有小型摄像系统l需感知用户位置、动作、语音等，将其传送到远程操控远程对象l用户与远程对象进行信息双向交流 37遥在系统将现实世界中远程场景与操作人员的感官直接连通，让3738遥在系统l示例：Cisco远程电话会议系统 http:/ http3839增强现实技术l将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起l使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力l终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别39增强现实技术将计算机生成的图形与用户在真实物理世界获取的3940增强现实技术lMilgrim的现实-虚拟连续流40增强现实技术Milgrim的现实-虚拟连续流4041增强现实系统l系统组成41增强现实系统系统组成4142增强现实技术l显示技术l基于光学视透式HMD的增强现实显示原理42增强现实技术显示技术4243增强现实技术l显示技术l基于屏幕的增强现实显示原理43增强现实技术显示技术4344增强现实技术l显示技术l基于视频视透式HMD的增强现实显示原理44增强现实技术显示技术4445增强现实技术l配准（registration）问题l将位于不同坐标系中的物体统一到一个共同的坐标系中lAR系统涉及多个空间，每个空间都有各自不同的坐标系l配准是实现虚拟景物图像和真实世界图像之间正确融合的前提l配准错误将导致用户的注意力分散，甚至无法工作45增强现实技术配准（registration）问题4546增强现实技术l配准困难的原因l需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?l系统所采用的显示方式决定了虚拟景物图像配准到真实场景图像的精度需要对人眼的结构、摄像系统的参数或其它显示设备有更多了解46增强现实技术配准困难的原因4647增强现实的应用领域l军事领域47增强现实的应用领域军事领域4748增强现实的应用领域l医学领域48增强现实的应用领域医学领域4849增强现实的应用领域l工程领域49增强现实的应用领域工程领域4950增强现实的应用领域l虚拟演播室 50增强现实的应用领域虚拟演播室 5051增强现实的应用领域l虚拟演播室（cont.）51增强现实的应用领域虚拟演播室（cont.）511、先天下之忧而忧；后天下之乐而乐。范仲淹2、捐躯赴国难，视死忽如归。曹植3、近乡情更切，不敢问来人。宋之问4、气蒸云梦泽；波撼岳阳城。孟浩然5、中夜四五叹，常为大国忧。李白6、国耻未雪，何由成名？李白7、当须徇忠义，身死报国恩。李希仲8、科学虽没有国界，但是学者却有他自己的国家。巴斯德9、虚荣的人注视着自己的名字，光荣的人注视着祖国的事业。马蒂10、爱国主义就是千百年来固定下来的对自己的祖国的一种最深厚的感情。列宁11、利于国者爱之，害于国者恶之。晏婴12、常思奋不顾身，而殉国家之急。司马迁13、爱国如饥渴。班固14、一身报国有万死，双鬓向人无再青。陆游15、死去原知万事空，但悲不见九州同。王师北定中原日，家祭无忘告乃翁。陆游16、人生自古谁无死，留取丹心照汗青。文天祥17、天下兴亡，匹夫有责。顾炎武18、南北驱驰报主情，江花边草笑平生。一年三百六十日，都是横戈马上行。戚继光19、瞒人之事弗为，害人之心弗存，有益国家之事虽死弗避。吕坤20、各出所学，各尽所知，使国家富强不受外侮，足以自立于地球之上。詹天佑21、做人最大的事情是什么呢？就是要知道怎样爱国。孙中山22、我们爱我们的民族，这是我们自信心的泉源。周恩来23、为中华之崛起而读书。周恩来24、以身许国，何事不敢为？岳飞25、夜视太白收光芒，报国欲死无战场！陆游26、位卑不敢忘忧国。陆游27、寄意寒星荃不察，我以我血荐轩辕。鲁迅28、中国自古以来，就有埋头苦干的人，就有拼命硬干的人，就有为民请命的人，就有舍身求法的人。他们是中国的脊梁。鲁迅29、惟有民魂是值得宝贵的，惟有它发扬起来，中国人才有真进步。鲁迅30、我们中华民族有同自己的敌人血战到底的气概，有在自力更生的基础上光复旧物的决心，有自立于世界民族之林的能力。毛泽东31、与其忍辱生，毋宁报国死。何香凝32、锦绣河山收拾好，万民尽作主人翁。朱德33、人民不仅有权爱国，而且爱国是个义务，是一种光荣。徐特立34、爱国的主要方法，就是要爱自己所从事的事业。谢觉哉35、中国是古老的民族，也是勇敢的民族。中华民族有两大优点：勇敢，勤劳。这样的民族多么可爱，我们爱我们民族（当然其他民族也有他们可爱之处，我们决不忽视这一点），这是我们自信心的泉源。周恩来36、真正的爱国者是爱人类的，爱国决不是排外。马铁丁37、爱国主义就是千百年来巩固起来的对自己的祖国的一种最深厚的感情。列宁38、必须经过祖国这一层楼，然后更上一层楼，达到人类的高度。罗曼罗兰39、黄金诚然是宝贵的，但是生气蓬勃的勇敢的爱国者却比黄金更为宝贵。林肯1、先天下之忧而忧；后天下之乐而乐。范仲淹52