第3章虚拟现实系统的相关技术3914806

,#,CMUCC,Click To Edit Title Style,#,CMUCC,#,Click To Edit Title Style,Click To Edit Title Style,#,LOGO,COMPANY LOGOTYPE INSERT,CMUCC,Click To Edit Title Style,CMUCC,CMUCC,第,3,章,虚拟现实系统的相关技术,了解虚拟现实系统的相关技术分类、特点、应用。,熟悉,虚拟现实系统相关,技术的原理和实现方法。,本章知识点,本章目录,3.1,3.2,3.3,3.4,3.5,立体显示技术,三维建模技术,真实感实时绘制技术,三维虚拟声音的实现技术,人机自然交互技术,3.6,碰撞检测技术,3.1,立体显示技术,立体显示是虚拟现实的关键技术之一，它使人在虚拟世界里具有更强的沉浸感，立体显示的引入可以使各种模拟器的仿真更加逼真。因此，有必要研究立体成像技术并利用现有的计算机平台，结合相应的软硬件系统在平面显示器上显示立体视景。,3.1.1,立体显示原理,由于人两眼有,4-6cm,的距离，所以实际上看物体时两只眼睛中的图像是有差别的，如图所示。两幅不同的图像输送到大脑后，看到的是有景深的图像。这就是计算机和投影系统的立体成像原理。,立体显示技术原理,3.1.2,四种立体显示技术,立体显示技术主要有分色技术、分光技术、分时技术，以及光栅技术。其中前三种，分色、分光、分时技术的流程很相似，都是需要经过两次过滤，第一次是在显示器端，第二次是在眼睛端。,1.,分色技术,分色技术的基本原理是让某些颜色的光只进入左眼，另一部分只进入右眼。,分色技术原理,2.,分光技术,常见的光源都会随机发出自然光和偏振光，分光技术是用偏光滤镜或偏光片滤除特定角度偏振光以外的所有光，让,0,度的偏振光只进入右眼，,90,度的偏振光只进入左眼（也可用,45,度和,135,度的偏振光搭配）。,3.,分时技术,分时技术是将两套画面在不同的时间播放，显示器在第一次刷新时播放左眼画面，同时用专用的眼镜遮住观看者的右眼，下一次刷新时播放右眼画面，并遮住观看者的左眼。按照上述方法将两套画面以极快的速度切换，在人眼视觉暂留特性的作用下就合成了连续的画面。,4.,光栅技术,若在显示器前端加上光栅，光栅的功能是要挡光，让左眼透过光栅时只能看到部分的画面；右眼也只能看到另外一半的画面，于是就能让左右眼看到,不同,影像,并,形成立体，此时无需佩戴眼镜。而光栅本身亦可由显示器所形成，也就是将两片液晶画板重叠组合而成，当位于前端的液晶面板显示条纹状黑白画面时，即可变成立体显示器；而当前端的液晶面板显示全白的画面时，不但可以显示,3D,的,影像,，,亦可同时相容于现有,2D,的显示器。,光栅,3D,显示技术原理,3.2,三维建模技术,虚拟环境建模的目的在于获取实际三维环境的三维数据，并根据其应用的需要，利用获取的三维数据建立相应的虚拟环境模型。只有设计出反映研究对象的真实有效的模型，虚拟现实系统才有可信度。,基于目前的技术水平，常见的是三维视觉建模和三维听觉建模。而在当前应用中，三维建模一般主要是三维视觉建模。三维视觉建模可分为几何建模、物理建模、行为建模。,3.2.1,几何建模技术,几何建模是开发虚拟现实系统过程中最基本、最重要的工作之一。虚拟环境中的几何模型是物体几何信息的表示，设计表示几何信息的数据结构、相关的构造与操纵该数据结构的算法。虚拟环境中的每个物体包含形状和外观两个方面。,几何建模通常可分为层次建模法和属主建模法：,（,1),层次建模法,（,2),属主建模法,几何建模可通过以下两种方式实现：,（,1),人工的几何建模方法,（,2),自动的几何建模方法,三维立体扫描仪,3.2.2,物理建模技术,物理建模指的是虚拟对象的质量、重量、惯性、表面纹理（光滑或粗糙）、硬度、变形模式（弹性或可塑性）等特征的建模。物理建模是虚拟现实系统中比较高层次的建模，它需要物理学与计算机图形学配合，涉及到力的反馈问题，主要是重量建模、表面变形和软硬度等物理属性的体现。,1.,分形技术,分形技术是指可以描述具有自相似特征的数据集。该技术首先被用于河流和山体的地理特征建模。在虚拟现实系统中一般仅用于静态远景的建模。,2.,粒子系统,粒子系统是一种典型的物理建模系统，粒子系统是用简单的体素完成复杂的运动建模。在虚拟现实系统中，粒子系统常用于描述火焰、水流、雨雪、旋风、喷泉等现象及动态运动的物体建模。,3.2.3,行为建模技术,虚拟现实的本质就是客观世界的仿真或折射，虚拟现实的模型则是客观世界中物体或对象的代表。而客观世界中的物体或对象除了具有表观特征如外形、质感以外，还具有一定的行为能力，并且服从一定的客观规律。,在虚拟环境行为建模中，建模方法主要有基于数值插值的运动学方法与基于物理的动力学仿真方法。,3.3,真实感实时绘制技术,要实现虚拟现实系统中的虚拟世界，仅有立体显示技术是远远不够的，虚拟现实中还有真实感与实时性的要求，也就是说虚拟世界的产生不仅需要真实的立体感，而且虚拟世界还必须实时生成，这就必须要采用真实感实时绘制技术。,3.3.1,真实感绘制技术,真实感绘制是在计算机中重现真实世界场景的过程。其主要任务是要模拟真实物体的物理属性。实时绘制是当用户视点发生变化时，他所看到的场景需要及时更新。为了提高显示的逼真度，加强真实性，常采用下列方法：,（,1,）纹理映射,（,2,）环境映射,（,3,）反走样,纹理映射前后对比图,3.3.2,基于图形的实时绘制技术,传统的虚拟场景基本上都是基于几何的，就是用数学意义上的曲线、曲面等数学模型预先定义好虚拟场景的几何轮廓，再采用纹理映射、光照等数学模型加以渲染。大多数虚拟现实系统的主要部分是构造一个虚拟环境，并从不同的方向进行漫游。要达到这个目标，首先是构造几何模型，其次模拟虚拟摄像机在六个自由度运动，并得到相应的输出画面。,除了在硬件方面采用高性能的计算机，提高计算机的运行速度以提高图形显示能力外，还可以降低场景的复杂度，即降低图形系统需处理的多边形数目。有下面几种用来降低场景复杂度的方法：,（,1,）预测计算（,2,）脱机计算（,3,）,3D,剪切（,4,）可见消隐（,5,）细节层次模型,细节层次模型示意图,(a),原始模型,(b),简化模型,1 (c),简化模型,2 (d),简化模型,3,3.3.3,基于图像的实时绘制技术,当前真实感图形实时绘制的其中一个热点问题就是基于图像的绘制,(IBR,Image Based Rendering),。与传统的基于模型的绘制方法相比,IBR,方法有以下优点：,（,1,）计算量适中,（,2,）独立于场景复杂度,（,3,）满意的绘制质量,3.4,三维虚拟声音的实现技术,虚拟现实系统中的三维声音，使听者能感觉到声音是来自围绕听者双耳的一个球形中的任何地方。因此把在虚拟场景中能使用户准确地判断出声源的精确位置、符合人们在真实境界中听觉方式的声音系统称为三维虚拟声音。,3.4.1,三维虚拟声音的作用,声音在虚拟现实系统中的作用，主要有以下几点：,（,1,）声音是用户和虚拟环境的另一种交互方法，人们可以通过语音与虚拟世界进行双向交流。,（,2,）数据驱动的声音能传递对象的属性信息。,（,3,）增强空间信息，尤其是当空间超出了视域范围。,3.4.2,三维虚拟声音的特征,在三维虚拟声音系统最核心的技术是三维虚拟声音定位技术，它的特征主要有：,（,1,）全向三维定位特征。,（,2,）三维实时跟踪特性。,（,3,）沉浸感与交互性。,3.4.3,语音识别技术,与虚拟世界进行语音交互是实现虚拟现实系统中一个高级目标。语音技术在虚拟现实中的关键是语音识别技术和语音合成技术。语音识别技术,(ASR,Automatic Speech Recognition),：将人说话的语音信号转换为可被计算机程序所识别的文字信息，从而识别说话人的语音指令以及文字内容的技术。,3.4.4,语音合成技术,语音合成技术（,TTS,Test to Speech,）：用人工的方法生成语音的技术，当计算机合成语音时，如何能做到听话人能理解其意图并感知其情感，一般对“语音”的要求是清晰、可听懂、自然、具有表现力。,实现语音输出有两种方法：,（,1,）录音,/,重放。,（,2,）文,-,语转换。,3.5,人机自然交互技术,在计算机系统提供的虚拟空间中，人可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互，这就是虚拟环境下的人机自然交互技术。在虚拟现实领域中较为常用的交互技术主要有手势识别、面部表情的识别以及眼动跟踪等。,3.5.1,手势识别,手势识别系统的输入设备与主要分为基于数据手套的识别和基于视觉（图像）的手语识别系统两种。手势识别技术主要有：模板匹配、人工神经网络和统计分析技术,。,3.5.2,面部表情识别,人可以通过脸部的表情表达自己的各种情绪，传递必要的信息。人脸图像的分割、主要特征（如眼睛、鼻子等）定位以及识别是这个技术的主要难点。,可以将人脸检测方法分为两大类：,（,1,）基于特征的人脸检测。,（,2,）基于图像的人脸检测方法。,3.5.3,眼动跟踪,为了模拟人眼的功能，在虚拟现实系统中引入眼动跟踪技术。,眼动跟踪技术的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机。通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录视线变化，从而达到记录、分析视线追踪过程的目的。下表,3.1,归纳了目前几种主要的视线追踪技术及特点。,人眼动跟踪技术,视觉追踪方法,技术特点,眼电图,高带宽，精度低，对人干扰大,虹膜,-,巩膜边缘,高带宽，垂直精度低，对人干扰大，误差大,角膜反射,高带宽，误差大,瞳孔,-,角膜反射,低带宽，精度高，对人无干扰，误差小,接触镜,高带宽，精度最高，对人干扰大，不舒适,3.6,碰撞检测技术,碰撞检测经常用来检测对象甲是否与对象乙相互作用。为了保证虚拟世界的真实性，就需要虚拟现实系统能够及时检测出这些碰撞，产生相应的碰撞反应，并及时更新场景输出，否则就会发生穿透现象。正是有了碰撞检测，才可以避免诸如人穿墙而过等不真实情况的发生，影响虚拟世界的真实感。,（,1,）碰撞检测的要求,为了保证虚拟世界的真实性，碰撞检测要有较高的实时性和精确性。所谓实时性，基于视觉显示的要求，碰撞检测的速度一般至少要达到,24Hz,，而基于触觉要求，速度至少要到到,300Hz,才能维持触觉交互系统的稳定性，只有达到,1000Hz,才能获得平滑的效果。精确性的要求取决于虚拟现实系统在实际应用中的要求。,（,2,）碰撞检测的实现方法,最简单的碰撞检测方法是对两个几何模型中的所有几何元素进行两两相交测试。这种方法可以得到正确的结果，但当模型的复杂度增大时，计算量过大，十分缓慢。对两物体间的精确碰撞检测的加速实现，现有的碰撞检测算法主要可划分为两大类：层次包围盒法和空间分解法。,本章小结,虚拟现实技术是由计算机产生,通过视、听、触觉等作用,使用户产生身临其境感觉的交互式视景仿真,具有多感知性、存在感、交互性和自主性等特征。本章阐述了虚拟现实技术理论和体系结构，重点介绍了立体显示、三维建模、真实感实时绘制、三维虚拟声音的实现、人机自然交互技术、以及碰撞检测技术。本章的学习要点是各种技术的原理和实现方法。,