2020年最新多媒体虚拟现实技术概述课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,精彩展示,路漫漫其悠远,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,学而时习之不亦乐乎,精彩展示,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,精彩展示,不畏艰辛勇攀高峰,2024/11/13,多媒体虚拟现实技术概述,2023/9/28多媒体虚拟现实技术概述,1,概述,虚拟现实（Virtual Reality，简称VR）技术是20世纪80年代末90年代初崛起的一种实用技术，是一种可以创建和体验虚拟世界（Virtual World）的计算机系统，是一种逼真地模拟人在自然环境中视觉、听觉、运动等行为的高级人机界面技术，人能够通过多种感官渠道与它进行实时交互，这些渠道包括视觉、听觉、触觉、嗅觉和味觉等等。它使计算机从一种需要人用键盘、鼠标对其进行操作的设备，变成了人处于计算机创造的环境中，通过感官、语言、手势等比较“自然”的方式进行“交互、对话”的系统和环境。,近年来，虚拟现实技术的飞快发展，引起了世界各国学者的关注，成为十分活跃的研究领域。它汇集一系列高新技术，包括计算机图形学、多媒体技术、人工智能、人机接口技术、传感器技术、高度并行的实时计算技术和人的行为学研究等多项关键技术。,概述虚拟现实（Virtual Reality，简称VR）技术,2,主要内容,6.1 虚拟现实系统概述,6.2 虚拟现实系统的硬件设备,6.3 虚拟现实系统的相关技术建模,6.4 虚拟现实软件简介,6.5 虚拟现实建模语言VRML,主要内容6.1 虚拟现实系统概述,3,6.1 虚拟现实系统概述,6.1.1 虚拟现实技术的发展及现状,6.1.2 虚拟现实技术的主要研究内容,虚拟现实的研究内容主要分以下几个方面。,1.人与环境融合技术,（1）高分辨率立体显示器,（2）方位跟踪系统,（3）手势跟踪系统,（4）触觉反馈系统,（5）声音定位与跟踪系统,（6）本体反馈,6.1 虚拟现实系统概述6.1.1 虚拟现实技术的发展及现状,4,6.1 虚拟现实系统概述,2.物体对象的仿真技术,（1）几何仿真,研究如何快速建立不同层次的显示模型。,（2）物理仿真,场景造型应采用物理模型，不仅要考虑对象的几何形状，而且要考虑对象的质量、运动规律、受力情况和立体声音等，使物体在虚拟场景中的表示更为真实可信。,（3）行为仿真,研究在用户操作下或在其他景物的作用下场景状态的变化规律和变化过程。,6.1 虚拟现实系统概述2.物体对象的仿真技术,5,6.1 虚拟现实系统概述,3.VR图像生成技术及高效快速生成体系图技术,实时显示的刷新频率大于15帧秒，复杂场景的显示由于计算量巨大，必须采用层次信息模型与逐步求精技术。双屏显示的同步问题也是立体显示的一个关键。图形图像的合成设计及其合理叠加显示、虚拟世界坐标系与对象坐标系之间的转换，都是需要进一步研究的问题。坐标变换和碰撞检测需要大量的计算，并行处理是较好的方法。,6.1 虚拟现实系统概述3.VR图像生成技术及高效快速生成,6,6.1 虚拟现实系统概述,4.实时处理及并发处理的多维信息表示技术,根本目的是使参与者沉浸于多维信息空间仿真建模，从中获取知识和形成新的概念。应克服的主要技术瓶颈是能对人类感知和肌肉活动起交互作用的基于计算机系统的接口系统，支撑技术(软硬件环境和工具)包括各类传感器、三维显示和音响器、虚拟环境产生器、程序设计工具集、计算机网络和高性能计算平台等,6.1 虚拟现实系统概述4.实时处理及并发处理的多维信息表,7,6.1 虚拟现实系统概述,5.高性能的计算机图形处理硬件研究,重点研究图形处理专用硬件、图形的并行处理、大规模集成电路技术及其在图形发生器设计中的应用。,6.分布式虚拟环境和基于网络环境的虚拟现实研究,对基于网络的虚拟现实研究应给予特别的关注，因为Internet技术与VR技术的结合为虚拟现实的未来提供了光明的前景。,6.1 虚拟现实系统概述5.高性能的计算机图形处理硬件研究,8,6.1 虚拟现实系统概述,6.1.3 虚拟现实系统的基本组成,1.虚拟世界,虚拟世界是可交互的虚拟环境，是虚拟环境或给定仿真对象的全体。它一般是一个包含三维模型或环境定义的数据库。虚拟环境是由计算机生成的，通过视、听、触觉等作用于用户，使之产生身临其境的感觉的交互式视景仿真。虚拟环境有多种形式，它可能是某些物理环境(如建筑物、厨房，甚至像汽车这样的物体内部)的伪真实反映，也可能是根本没有任何物理基础的某一跨国公司的地理、层次网的三维数据库，甚至可以是与股票交易有关的多维数据集。虚拟环境还可用来评价一些物理仿真。在对电场中的分子行为进行模拟时，原子结构的行为动态可用简化的模型进行模拟。不管应用在何处，都要建立一个反映环境的几何数据库并将其存储起来，在需要时可进行实时调度和渲染。,6.1 虚拟现实系统概述6.1.3 虚拟现实系统的基本组成,9,6.1 虚拟现实系统概述,2.虚拟现实软件,虚拟现实软件提供实时观察和参与虚拟世界的能力，包括虚拟环境建模、动画制作、物理仿真、碰撞检测和交互模式。,（1）虚拟环境建模,CAD技术为虚拟现实提供了有效的建模手段。这些模型可为多数虚拟现实系统利用，节省了可观的再建时间。建模工具一般提供了广泛的图形库支持。,（2）动画制作,一些动画可用矩阵操作来支持移动及旋转，而摆动及弹跳运动则需要专门程序。实时计算这些物理过程会带来诸如系统延时等一些问题，在某些动画序列中，复杂的动作可用简单的模拟方法而不用复杂的数学过程。这项技术要求将这些动作分解为一系列离散的关键模型并放到数据库中。,6.1 虚拟现实系统概述2.虚拟现实软件,10,6.1 虚拟现实系统概述,（3）物理仿真,在进行物理仿真时，我们必须为物体设计一些支持其某些物理行为的程序。这一方面要求很强的计算能力，同时也将使系统增加了一些延时。,（4）碰撞检测,在虚拟现实中，常用碰撞来模拟现实生活中的接触、抓、移动和打击等情形。虚拟现实系统的一个重要功能，就是能快速进行虚拟世界中物体间的碰撞检测。,（5）交互模式,为简化人机界面，人们提出了许多新方法，发明了许多新设备，以及与虚拟现实有关的新技术。由此出现了许多种交互模式。例如，特征识别单元、视觉显示单元、触摸屏、光笔、游戏杆、拇指轮、压感笔、便笺簿、数字化仪等都是与虚拟现实有关的设备和技术。,6.1 虚拟现实系统概述（3）物理仿真,11,6.1 虚拟现实系统概述,3.输入输出设备,输入设备可用于观察和构造虚拟世界，将用户输入信号输入给计算机，包括三维跟踪器、数据手套、三维鼠标等等。,输出设备可用于输出有关虚拟环境的视觉信号、声音信号和触觉信号，包括头盔显示器、耳机和各种触觉设备。,4.与虚拟世界的交互,参与者与虚拟世界交互的过程大致如下：参与者首先激活输入设备，将头、手的位置和方向等信号输入给计算机，虚拟现实软件接受并解释输入，更新虚拟世界以及其中的物体，然后，重新计算虚拟世界的三维视图，并将这一新视图及其他信息如声音信号和触觉信号等立即送给输出设备以便参与者看到效果。用来支持虚拟现实的计算机能协调用户提供的各种输入信号，并向用户输出必要的图形、声音及触觉数据。,6.1 虚拟现实系统概述 3.输入输出设备,12,6.1 虚拟现实系统概述,6.1.4 虚拟现实的分类与特征,1.虚拟现实的分类,（l）简易型虚拟现实系统,（2）沉浸型虚拟现实系统,（3）共享型虚拟现实系统,2.虚拟现实的基本特征,（1）沉浸性,沉浸性是指让参与者有身临其境的真实感觉。可分为视觉沉浸、听觉沉浸、触觉沉浸、嗅觉沉浸和味觉沉浸等。,（2）交互性,（3）构想性,6.1 虚拟现实系统概述6.1.4 虚拟现实的分类与特征,13,6.1 虚拟现实系统概述,6.1.5 虚拟现实系统的应用,1.科学研究和科学计算可视化,2.工程应用,3.商业应用,4.军事应用,5.医学应用,6.教育培训,7.娱乐应用,6.1 虚拟现实系统概述6.1.5 虚拟现实系统的应用,14,6.2 虚拟现实系统的硬件,6.2.1 跟踪设备,跟踪系统的功能是确定关于用户的头、手、身体及任意真实世界物体的位置及指向(方向)。目前有六种类型的设备可以实现对用户的跟踪。,1.电磁波跟踪器,此类跟踪器利用小型天线发出的磁场，由多个接收天线接收信号并通过计算得到三维的位置坐标和方向。,2.超声波跟踪器,超声波跟踪器发出高频超声波脉冲，由装在天花板上的三个接收器接收信号，通过延迟即可计算距离。,3.机械跟踪器,机械跟踪器通过精密的机械框架和连接来测量指定点的位置和指向。,6.2 虚拟现实系统的硬件6.2.1 跟踪设备,15,6.2 虚拟现实系统的硬件,4.惯性跟踪器,惯性跟踪器采用机械方法，利用小型陀螺仪测量倾角、偏角和转角。,5.光学跟踪器,光学跟踪器是一种红外跟踪器。它利用摄像机获取图像，通过立体视觉计算确定目标位置，并通过观测多个参照点来确定目标的表面指向。,6.图像提取跟踪器,图像提取跟踪器是一种计算密度最高的跟踪器。它是最易于使用但又最难开发的跟踪器。一台(组)视频摄像机拍摄人及其动作，然后由图像处理技术来确定人的位置及动作。,6.2 虚拟现实系统的硬件4.惯性跟踪器,16,6.2 虚拟现实系统的硬件,6.2.2 传感器,1.三维空间传感器,三维空间传感器应能实时地检测出一个活动的物体在六个自由度上相对于某个固定物体的数值，即在,X,、,Y,、,Z,坐标上的位置值，以及围绕,X,、,Y,、,Z,轴的旋转值。三维空间传感器是用来检测绝对位置和方向的。,2.跟踪球,跟踪球(trackball)是一种检测和控制相对位置和方向的传感器，是用增量位置控制的方法实现的。,3.三维空间探针,三维空间探针是一种直观、便宜，既能仿真绝对的位置和方向、又能仿真相对的位置和方向的I/O设备。,6.2 虚拟现实系统的硬件6.2.2 传感器,17,6.2 虚拟现实系统的硬件,6.2.3 数据手套,在虚拟现实中最常用的人机接口工具是数据手套，第一副数据手套是1987年在NASA(美国国家航空与宇宙航行局)的支持下研制成功的，近年来已有了极大的改进。数据手套的使用增加了虚拟现实系统的真实感。数据手套比起传统的鼠标来，交互的区域更大，手的运动更自由。鼠标局限于二维平面，而手套则提供了一个三维操作空间。,数据手套可以把手势转化成计算机可识别的数据。它利用复杂的磁骨骸和传感器技术，可以测量每个指关节的弯曲角。,视觉跟踪、眼睛跟踪和数据衣这些跟踪系统也都在研制中。,6.2 虚拟现实系统的硬件6.2.3 数据手套,18,6.2 虚拟现实系统的硬件,6.2.4 触觉与力学反馈装置,1.力学反馈手套,力学反馈手套是在计算机的控制下，通过对手指的运动产生阻尼，从而使用户的手产生力感。阻尼的大小由被抓物体的物理属性决定。,力学反馈手套技术提供给用户一种虚拟手控制系统，使用户可以选择或操纵机器子系统并能自然感觉到触觉和力量模拟反馈。,2.压力反馈系统,当一个虚拟物被用户抓取时，一些虚拟环境系统要求真正的压力反馈，来防止手穿过固体。压力反馈系统是把压力加到操纵者手上，从而使人能够根据运动及压力的感受情况进行控制。,6.2 虚拟现实系统的硬件6.2.4 触觉与力学反馈装置,19,6.2 虚拟现实系统的硬件,3.表面压力反馈装置,表面显示的概念是把虚拟物体本身的表面提供给用户的一个思想，而不是力的感知或与虚拟物体的接触而产生的触觉。在虚拟环境的实现中，存在于现实世界中的用户和在计算机中定义的虚拟物体之间的交互作用不得不通过一个力反馈设备调解。目前这类表面压力反馈装置包括：点阵式表面压力反馈装置和SPICE触觉接口。,6.2.5 头盔显示器,根据头盔的主要图像源是否在头盔上，可将头盔分为两类。图像源在头盔上的显示器采用的是阴极射线管(CRT)或液晶显示(LCD)设备。这两种头盔的主要缺点一是通常较重，二是比较危险。第二类头盔的主要图像源不在头盔上。它采用光纤设备把外部图像