虚拟现实的相关技术及软件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,3-,*,虚拟现实技术,天津天狮学院,黄金栋,第3章,虚拟现实的相关技术及软件,3.1三维建模技术及软件,3.2视觉实时动态绘制技术,3.3三维虚拟声音技术,3.4人机自然交互技术,3.5物理仿真技术,3.6三维全景技术,3.7虚拟现实开发软件工具集,3.1,三维建模技术及软件,3.1.1 几何建模技术,3.1.2 行为建模技术,3.1.3 虚拟现实的建模软件,基于物体的几何和形状等信息的表示，研究图形数据结构等问题。,处理对物体的运动和行为的描述，通常称之为动画。,3.1,三维建模技术及软件,3.1.1 几何建模技术,1、技术指标,几何建模技术的研究对象是对物体几何信息的表示与处理。它涉及表示几何信息的数据结构及相关的构造与操纵数据结构的算法。,评价一个虚拟环境建模技术水平的三个常用指标是：交互式显示能力、交互式操纵能力和易于构造的能力。,图像必须每秒更新20次以上才能使用户产生连续的视觉，因此模型的表示还必须便于快速构造和显示，这同时也是对行为建模技术的要求。,3.1,三维建模技术及软件,3.1.1 几何建模技术,2、建模方法,层次建模法,利用树形结构来表示物体的各个组成部分，不仅提供了一种简便自然的分割复杂物体的方法，而且对模型的修改也十分有利。,属主建模法,让同一种对象拥有同一个属主，属主包含了该类对象的详细结构。当要建立某个属主的一个实例时，只要复制指向属主的指针即可。,体素,：用来构造物体的原子单位，体素的选取决定了建模系统所能构造的对象范围。,结构,：用来决定体素如何组合以构成新的对象。,优点,：简单高效、易于修改、一致性好,3.1,三维建模技术及软件,3.1.2 行为建模技术,1、运动学法,通过几何变换如平移和旋转等来描述运动。在运动控制中，无需知道物体的物理属性。在关键帧动画中，运动是通过显示指定几何变换来实施的，内插帧可用各种插值技术来完成，如线性插值、三次样条插值等。,2、动力学仿真法,运用物理定律而非几何变换来描述物体的运动，通过物体的质量和惯性、力和力矩以及其他物理作用计算出来。更适于物体间交互作用较多的虚拟环境建模。,3.1,三维建模技术及软件,3.1.3 虚拟现实的建模软件,1、3ds Max,美国Autodesk公司推出的功能强大的三维设计软件包，它集三维建模、材质制作、灯光设定、摄像机使用、动画设置及渲染输出于一身，提供了三维动画及静态效果图全面完整的解决方案。,2、MAYA,也是由Autodesk公司出品的一款顶级建模、动画、特效和渲染软件，相对于3ds Max，Maya在电影、大型游戏、数字出版、广播电视节目制作等方面更胜一筹。,3、Creator,MultiGen-Paradigm公司出品的交互式三维建模软件，拥有多边形建模、矢量建模、大面积地形精确生成等功能，不仅能够创建三维地形和模型，而且可以高效、最优化地生成实时三维数据库。,3.2,视觉实时动态绘制技术,3.2.1 实时动态绘制技术的基本原理,3.2.2 基于图形的实时动态绘制技术,3.2.3 基于图像的实时动态绘制技术,3.2,视觉实时动态绘制技术,3.2.1 实时动态绘制技术的基本原理,实时动态绘制技术是指利用计算机为用户提供一个能从任意视点及方向实时观察三维场景的手段，所期望的是图像帧速高而等待时间短。,当生成虚拟环境的视图时，必须要设计出好的数据空间和视频图像，使计算机系统尽快运行，每秒生成足够数量的新帧，从而保证系统刷新频率不低于2030帧/秒。,等待时间是实时动态绘制技术的另一个关键指标，它指用户动作的开始与在显示器上出现对这一动作的响应反馈之间的时长。,3.2,视觉实时动态绘制技术,3.2.2 基于图形的实时动态绘制技术,1、场景分块（World Subdivision）,指把一个复杂的场景划分为多个相互之间几乎或完全不可见的子场景。这样系统就能大量地减少在某一时刻需要显示的多边形数目，从而有效降低可视场景的复杂度。,2、可见消隐（Visibility Culling）,基于给定的视点和视线方向，决定场景中哪些物体的表面是可见的，哪些是被遮挡而不可见的。使用此方法能使系统仅显示用户当前能“看见”的场景，与用户的视点关系密切。,3、细节选择（Level of Detail）,为每个物体建立多个相似的模型，不同模型对物体的细节描述不同。对物体细节的选择越精确，模型也就越复杂。,3.2,视觉实,时,时动态,绘,绘制技,术,术,基,基,于,于图像,的,的实时,动,动态绘,制,制技术,用图像,合,合成代,替,替几何,建,建模来,创,创建复,杂,杂的场,景,景，不,但,但真实,感,感强，,而,而且整,个,个过程,都,都可以,在,在二维,空,空间中,进,进行，,其,其绘制,时,时间不,取,取决于,场,场景的,复,复杂度,，,，而只,与,与显示,分,分辨率,有,有关。,3.3,三维虚,拟,拟声音,技,技术,三维虚,拟,拟声音,与,与人们,熟,熟悉的,立,立体声,音,音有,所,所不同,。,。所谓,的,的立体,声,声虽然,有,有左右,声,声道之,分,分，但,就,就整体,效,效果而,言,言，立,体,体声来,自,自听者,面,面前的,某,某个平,面,面，而,三,三维虚,拟,拟声音,则,则是来,自,自围绕,听,听者双,耳,耳的一,个,个球形,中,中的任,何,何地方,，,，即声,音,音出现,在,在头的,上,上方、,后,后方或,前,前方。,3.3,三维虚,拟,拟声音,技,技术,三,三维,虚,虚拟声,音,音的特,征,征,头,头,部,部相关,传,传递函,数,数,语,语,音,音合成,技,技术,3.3,三维虚,拟,拟声音,技,技术,三,三维,虚,虚拟声,音,音的特,征,征,全向三,维,维定位,特,特性,（3DSteering,）,）,指在三,维,维虚拟,环,环境中,把,把实际,声,声音信,号,号定位,到,到特定,虚,虚拟声,源,源的能,力,力。它,能,能使用,户,户准确,地,地判断,出,出声源,的,的精确,位,位置，,从,从而符,合,合人们,在,在真实,世,世界中,的,的听觉,方,方式。,三维实,时,时跟踪,特,特性,（3DReal-Time Localization）,：,指在三,维,维虚拟,环,环境中,实,实时跟,踪,踪虚拟,声,声源位,置,置变化,或,或虚拟,影,影像变,化,化的能,力,力。只,有,有声音,效,效果与,实,实时变,化,化的视,觉,觉相一,致,致，才,可,可能产,生,生视觉,与,与听觉,的,的叠加,和,和同步,效,效应。,3.3,三维虚,拟,拟声音,技,技术,头,头,部,部相关,传,传递函,数,数,首先通,过,过测量,外,外界声,音,音与鼓,膜,膜上声,音,音的频,谱,谱差异,，,，获得,了,了声音,在,在耳部,附,附近发,生,生的频,谱,谱成形,，,，随后,利,利用这,些,些数据,对,对声波,与,与人耳,的,的交互,方,方式进,行,行编码,，,，得出,相,相关的,一,一组传,递,递函数,，,，并确,定,定出两,耳,耳的信,号,号传播,延,延迟特,点,点，以,此,此对声,源,源进行,定,定位。,通常在VR系,统,统中，,当,当无回,声,声的信,号,号由这,组,组传递,函,函数处,理,理后，,再,再通过,与,与声源,缠,缠绕在,一,一起的,滤,滤波器,驱,驱动一,组,组耳机,，,，就可,以,以在传,统,统的耳,机,机上形,成,成有真,实,实感的,三,三维声,音,音了。,由,由于这,组,组传递,函,函数与,头,头部有,关,关，故,被,被称为,头,头部相,关,关传递,函,函数（Head-RelatedTransferFunction,，,，HRTF）,。,。,3.3,三维虚,拟,拟声音,技,技术,语,语,音,音合成,技,技术,语音合,成,成技术,是,是从语,音,音参数,出,出发，,先,先通过A/D,转,转换将,语,语音数,字,字化，,经,经过数,字,字处理,和,和运算,，,，然后,再,再通过D/A,转,转换而,输,输出语,音,音的。,将语音,合,合成与,语,语音识,别,别技术,结,结合起,来,来，还,可,可以使,用,用户与,计,计算机,所,所创建,的,的虚拟,环,环境进,行,行简单,的,的语音,交,交流，,这,这在VR环境,中,中具有,突,突出的,应,应用价,值,值。,3.4,人机自,然,然交互,技,技术,手,手,势,势识别,技,技术,面,面,部,部表情,识,识别技,术,术,眼,眼,动,动跟踪,技,技术,3.4,人机自,然,然交互,技,技术,手,手,势,势识别,技,技术（Gesture Recognition）,将虚拟,世,世界中,常,常用的,指,指令定,义,义出了,一,一系列,的,的手势,集,集合，,利,利用这,些,些手势,，,，参与,者,者可以,执,执行诸,如,如导航,、,、拾取,物,物体、,释,释放物,体,体等操,作,作。,手势语,言,言使用,户,户可以,自,自始,至,至终地,采,采用同,一,一种,输,输入设,备,备（通,常,常是,数,数据手,套,套）与,虚,虚拟世,界,界进,行,行交互,，,，将用,户,户的,注,注意力,主,主要集,中,中于,虚,虚拟世,界,界，降,低,低对输,入,入设,备,备的额,外,外关注,。,。,3.4,人机自,然,然交互,技,技术,面,面,部,部表情,识,识别技,术,术,（FaceDetection&Recognition）,计算机,面,面部表,情,情的识,别,别技术,的,的三个,步,步骤：,1、面,部,部表情,的,的跟踪,为了识,别,别表情,，,，首先,要,要将表,情,情信息,从,从外界,摄,摄取回,来,来。现,阶,阶段，,跟,跟踪面,部,部表情,的,的装置,和,和方法,不,不一。,典型的,例,例子为Sim-Graphics,开,开发的,虚,虚拟演,员,员系统,（,（VActor）。,此外，,有,有的系,统,统还能,通,通过摄,像,像机拍,摄,摄用户,的,的面部,表,表情，,然,然后利,用,用图像,分,分析和,识,识别技,术,术进行,表,表情识,别,别,3.4,人机自,然,然交互,技,技术,面,面,部,部表情,识,识别技,术,术,（FaceDetection&Recognition）,计算机,面,面部表,情,情的识,别,别技术,的,的三个,步,步骤：,2、面,部,部表情,的,的编码,要使计,算,算机识,别,别表情,，,，就要,将,将表情,信,信息以,计,计算机,所,所能理,解,解的形,式,式表示,出,出来，,即,即对面,部,部表情,进,进行编,码,码。,科研人,员,员Ekman,和,和Friesen提,出,出了一,个,个描述,所,所有视,觉,觉上可,区,区分的,面,面部运,动,动的系,统,统，叫,做,做面部,动,动作编,码,码系统,（,（FACS）,，,，它是,基,基于对,所,所有引,起,起面部,动,动作的,脸,脸的“,动,动作单,元,元的,枚,枚举编,制,制而成,的,的。,3.4,人机自,然,然交互,技,技术,面,面,部,部表情,识,识别技,术,术,（FaceDetection&Recognition）,计算机,面,面部表,情,情的识,别,别技术,的,的三个,步,步骤：,3、面,部,部表情,的,的识别,根据分,析,析人的,眉,眉、眼,、,、口,等,等面部,器,器官在,不,不同,表,表情时,产,产生的,变,变化，,对,对表,情,情的识,别,别采用,了,了图示,二,二叉,树,树分类,器,器方案,。,3.4,人机自,然,然交互,技,技术,面,面,部,部表情,识,识别技,术,术,（FaceDetection&Recognition）,计算机,面,面部表,情,情的识,别,别技术,的,的三个,步,步骤：,3、面,部,部表情,的,的识别,表情识,别,别的系,统,统流程,如,如图。,3.4,人机自,然,然交互,技,技术,眼,眼,动,动跟踪,技,技术,（Eye Movement-based Interaction）,视线