虚拟现实技术基础课件

虚拟现实技术简介授课教师：侯守明单位：河南理工大学计算机学院2 2主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术3 3虚拟现实系统的特点及组成l虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉l“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”-Aukstakalnis S and Blatner D.4 4虚拟现实系统的特点及组成l主要特点l沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应5 5虚拟现实系统的特点及组成l典型虚拟现实系统的组成l计算机系统l用户l虚拟环境人机界面 6 6虚拟现实系统的特点及组成l基于HMD的虚拟现实系统的构成 7 7立体视觉的生成与获取l产生沉浸感的至关重要的因素l立体图像与观察者视点和视线方向一致l实时生成l人类立体视觉的产生 l立体图像生成的照相机模型l对称透视投影成像相机模型位置方向8 8立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)宽高比视角9 9立体视觉的生成与获取1010立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离1111立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)焦距1212立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型（cont.)左右眼视差（Parallax）l为生成立体图像，计算机必须针对同一场景生成两幅不同的图像l分别按照观察者左、右眼的位置实时绘制 右眼视图 视线方向 视差 左眼视图 1313立体视觉的生成与获取l立体视觉的捕获l必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收l常用的立体视觉设备HMD立体眼镜 1414虚拟现实交互设备lWIMP交互范式已不再适用lWindows，Icons，Menus，Pointing devicesl用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互l三维鼠标lWANDl数据手套l麦克风l1515虚拟现实交互设备l三维定位跟踪设备l用于跟踪用户当前方位的传感器l大多数具有6自由度（6-DOF）位置和方向各3自由度l佩戴于用户身体的某些部位可对相应部位进行跟踪l一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的1616虚拟现实交互设备l三维定位跟踪设备l电磁式跟踪器示例 1717虚拟现实交互设备l三维定位跟踪设备lLogitech超声三维鼠标 1818虚拟现实交互设备l三维定位跟踪设备l光学跟踪器 跟踪器 红外摄像机 LED 被跟踪物 用作标记的小球 1919虚拟现实交互设备l手持式交互设备lWand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）2020虚拟现实交互设备l手持式交互设备lWii Remote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作 2121虚拟现实交互设备l数据手套l附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息l传感有电磁式、机械式或光学式l传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动2222虚拟现实交互设备l数据手套传感器的典型配置 22-dof2323虚拟现实交互设备l数据手套示例lImmersion数据手套产品lhttp:/ 3636基于投影显示的虚拟现实系统lVirtual WorkbenchTM 卫星虚拟装配卫星虚拟装配3737遥在系统l将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样l利用计算机图形、人机交互、传感器、网络等技术l远程传感器可安装在机器人身上l机器人身上有小型摄像系统l需感知用户位置、动作、语音等，将其传送到远程操控远程对象l用户与远程对象进行信息双向交流 3838遥在系统l示例：Cisco远程电话会议系统 http:/ 混合现实(Mixed Reality,MR)现实环境(Real Environment)增强现实(Augmented Reailty,AR)增强虚拟(Augmented Virtuality,AV)虚拟环境(Virtual Environment)4141增强现实系统l系统组成4242增强现实技术l显示技术l基于光学视透式HMD的增强现实显示原理 图形系统 头部位置 虚拟物体 HMD 监视器 真实世界 光学合成 眼睛 4343增强现实技术l显示技术l基于屏幕的增强现实显示原理 图形系统 视频合成 真实 世界 真实场景 视频 相机位置 虚拟物体 增强的视频 显示 4444增强现实技术l显示技术l基于视频视透式HMD的增强现实显示原理 图形系统 真实 世界 头部位置 真实场景视频 眼睛 监视器 虚拟物体 视频合成 HMD 相机 4545增强现实技术l配准（registration）问题l将位于不同坐标系中的物体统一到一个共同的坐标系中lAR系统涉及多个空间，每个空间都有各自不同的坐标系l配准是实现虚拟景物图像和真实世界图像之间正确融合的前提l配准错误将导致用户的注意力分散，甚至无法工作4646增强现实技术l配准困难的原因l需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?l系统所采用的显示方式决定了虚拟景物图像配准到真实场景图像的精度需要对人眼的结构、摄像系统的参数或其它显示设备有更多了解4747增强现实的应用领域l军事领域4848增强现实的应用领域l医学领域4949增强现实的应用领域l工程领域5050增强现实的应用领域l虚拟演播室 5151增强现实的应用领域l虚拟演播室（cont.）1、先天下之忧而忧；后天下之乐而乐。范仲淹2、捐躯赴国难，视死忽如归。曹植3、近乡情更切，不敢问来人。宋之问4、气蒸云梦泽；波撼岳阳城。孟浩然5、中夜四五叹，常为大国忧。李白6、国耻未雪，何由成名？李白7、当须徇忠义，身死报国恩。李希仲8、科学虽没有国界，但是学者却有他自己的国家。巴斯德9、虚荣的人注视着自己的名字，光荣的人注视着祖国的事业。马蒂10、爱国主义就是千百年来固定下来的对自己的祖国的一种最深厚的感情。列宁11、利于国者爱之，害于国者恶之。晏婴12、常思奋不顾身，而殉国家之急。司马迁13、爱国如饥渴。班固14、一身报国有万死，双鬓向人无再青。陆游15、死去原知万事空，但悲不见九州同。王师北定中原日，家祭无忘告乃翁。陆游16、人生自古谁无死，留取丹心照汗青。文天祥17、天下兴亡，匹夫有责。顾炎武18、南北驱驰报主情，江花边草笑平生。一年三百六十日，都是横戈马上行。戚继光19、瞒人之事弗为，害人之心弗存，有益国家之事虽死弗避。吕坤20、各出所学，各尽所知，使国家富强不受外侮，足以自立于地球之上。詹天佑21、做人最大的事情是什么呢？就是要知道怎样爱国。孙中山22、我们爱我们的民族，这是我们自信心的泉源。周恩来23、为中华之崛起而读书。周恩来24、以身许国，何事不敢为？岳飞25、夜视太白收光芒，报国欲死无战场！陆游26、位卑不敢忘忧国。陆游27、寄意寒星荃不察，我以我血荐轩辕。鲁迅28、中国自古以来，就有埋头苦干的人，就有拼命硬干的人，就有为民请命的人，就有舍身求法的人。他们是中国的脊梁。鲁迅29、惟有民魂是值得宝贵的，惟有它发扬起来，中国人才有真进步。鲁迅30、我们中华民族有同自己的敌人血战到底的气概，有在自力更生的基础上光复旧物的决心，有自立于世界民族之林的能力。毛泽东31、与其忍辱生，毋宁报国死。何香凝32、锦绣河山收拾好，万民尽作主人翁。朱德33、人民不仅有权爱国，而且爱国是个义务，是一种光荣。徐特立34、爱国的主要方法，就是要爱自己所从事的事业。谢觉哉35、中国是古老的民族，也是勇敢的民族。中华民族有两大优点：勇敢，勤劳。这样的民族多么可爱，我们爱我们民族（当然其他民族也有他们可爱之处，我们决不忽视这一点），这是我们自信心的泉源。周恩来36、真正的爱国者是爱人类的，爱国决不是排外。马铁丁37、爱国主义就是千百年来巩固起来的对自己的祖国的一种最深厚的感情。列宁38、必须经过祖国这一层楼，然后更上一层楼，达到人类的高度。罗曼罗兰39、黄金诚然是宝贵的，但是生气蓬勃的勇敢的爱国者却比黄金更为宝贵。林肯