虚拟现实技术的体系结构和关键技术

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二层,第三层,第四层,第五层,虚拟现实技术及应用,Virtual Reality,郝泳涛 博士,haoyt,同济大学,CAD,研究中心,副教授,2007,年 上海,第二章,虚拟现实技术的技术体系结构,2.1,虚拟现实技术的体系结构,体系结构,输入处理器,渲染处理器,用户,模拟处理器,虚拟世界,数据库,模拟处理器,VR,的核心程序,处理,:,控制交互、对象动作和决定虚拟世界的状态。,渲染处理,感觉传输到用户,视觉,听觉,触觉（触摸,/,力）,实时图像生成,SGI,图形工作站,虚拟世界数据库,设计的主体部分,隶属虚拟世界的对象信息,描述动作的脚本,用户信息,灯光效果,程序控制,硬件设备支持,OOD,技术,虚拟现实建模语言,(VRML),Virtual Reality Modeling Language,VRML,是在因特网上建立虚拟现实的开放标准,A VRML cylinder,#VRML V2.0 utf8,# A Cylinder,Shape ,appearance Appearance ,material Material ,geometry Cylinder ,height 2.0,radius 1.5,Cylinder.wrl,2.2 虚拟现实的多感知系统体系和技术,J.J.Gibson,总结的,感知系统,人类的感知系统,行为系统,人类的行为系统,人与环境的关系,虚拟现实系统,1992,年,Bryson,主计算机,数据手套,（传感器）,（信号源）,BOOM,双筒全方,位监视器,多感知系统技术框图,一个示例：virtual cockpit,Virtual Reality systems to train aircraft pilots and tank commanders,1、视觉生成技术,1.1,视觉生成基本原理：,光线跟踪的方法,假设从视点,V,通过屏幕象素,e,向场景投射光线交场景中的景物于,P,1, P,2, ,P,m,那么离视点 最近的,P,1,就是画面在象素点,e,处的可见点，象素,e,的光亮度应由,P,1,点,向,P,1,V,方向辐射的光亮度决定。如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象。,e,光线跟踪技术,(ray tracing),I = I,c,+,t,s,I,s,+,t,t,I,t,其中：,I,： 可见点,P,处的光亮度。,I,c,： 局部光照亮度,t,s,I,s,：环境镜面反射光亮度,t,t,I,t,： 规则透射光亮度,每一点的光亮度求法,视觉生成的基本内容,在图形设备上生成逼真视景必须完成四个基本任务：,用数学方法建立所需要三维场景的几何描述,将三维几何描述转换为二维视图,这可通过对场景的透视变换来完成。,确定场景中的所有可见面,这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去。,计算场景中可见面的光强与颜色,严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景。,1.2 视景的几何建模与表示方法,要实现虚拟现实，首先要尽可能详细地表示虚拟现实的场景几何信息。,例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。,实现虚拟现实视景的表示方法有：,多边形,(,三角形,),网格表示方法,结构立体几何表示方法,体数据表示方法,(volume-based method),多边形(三角形)表示方法,这种方法又称为表面或边界表示方法，即物体的立体几何信息是通过它们的边界面或包围面来表示的。而物体的边界面或包围面（即物体的表面）可以用多边形表示。,结构立体几何表示方法,这种方法又称为体积表示方法。这种表示方法中，物体被表示为一个三维体积基元的集合及它们之们的布尔运算：并、交及差。,Volume-based methods,表示单元为体素(voxel),每个体素表示了所在位置的颜色、密度等相关信息。,其他建模与表示技术(VR相关),细节层次(Levels of Detail: LOD)技术,纹理映射(texture map)技术,Courtesy Stanford 3D Scanning Repository,69,451 polys,2,502 polys,251 polys,76 polys,Level of Detail:,Traditional LOD In A Nutshell,Distant objects use coarser LODs:,Level of Detail:,Traditional LOD In A Nutshell,纹理映射技术(texture mapping),在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，只需要建立简单的几何模型，然后在几何模型的面上贴上对应的逼真图片就可以了。这种方法称为纹理映射方法。,这不仅增加了场景的逼真度，而且减少了表示场景的多边形数目。,映射纹理前的场景,映射纹理后的场景,纹理映射技术(示例),1.3 立体显示技术,基本原理：,人的视觉系统可以通过四种线索得到深度知觉,:,侧视网膜图象差,(lateral retinal image disparity);,运动视差,(motion parallax);,图象大小差异,(differential image size);,纹理梯度,(texture gradient),。,目前的立体显示技术基本上是基于双目视差原理实现的。,影响（沉浸感）立体 视觉因素,宽视野（）,立体显示,彩色,高分辨率,头部跟踪,主要视觉设备：,红蓝滤色眼镜,液晶开关的立体视眼镜,三维头盔显示器（,HMD,）,双筒全方位监视器（,BOOM,）,墙式显示屏自动声象虚拟环境（,CAVE,）,头盔式显示器（,Head Mounted Display,，,HMD),HMD,实物与原理图,头盔显示器,Head Mounted Display, HMD,头盔实现方法,1,带有光导纤维的,HMD,的原理,HMD 的实现方法,美国,icuiti,公司,分辨率：,VGA,（,640 X 480,）,价格,69800,日圆（约合人民币,5235,元）,距离眼睛,1 cm,，画面相当于,2,米外,42,英寸屏幕,厚度,2 cm,，重量,70 g,支持连接,DVD,播放器、桌面电脑等,电源使用,3,节,AA,电池，可以连续播放,5,小时左右。,Video Eyewear,眼镜式显示器,BOOM,Binocular Omni-Orientation Monitor,BOOM,FS2,Binocular Omni Orientation Monitor (BOOM),CAVE,Cave Automatic Virtual Environment,CyberSphere,Fully Immersive Spherical Projection System,Illustration of the Spherical Projection System,the Fully Immersive Spherical Projection System,ImmersaDesk,http:/avl.iu.edu/technology/idesk/,Infinity Wall,2、声音生成技术,听觉,3D &Stereo,声源定位：强度（高频）和时差（低频）,问题：声音从头里发出，随强度差而偏左或偏右,原因：与耳朵形状有关,解决：,Convolvotron($15,000),耳内录音 + 计算,3 触觉与力觉生成技术,3.1 触觉与力觉反馈设备,There are two main types of haptic devices:,devices that allow users to feel textures of 2-dementional objects with a pen or mouse-type interface,glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual objects,触觉（,Haptic),Haptic: 机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量、形状、大小）,机械臂，空气囊，记忆金属，小马达，小探针,第二代,TeletactII,装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。,TeletactII,与,TeletactI,使用相似，只是空气室由20增加到30个。,在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉。,ARRC力学反馈手套,笔式力量感知器,PHANTOM Omni Haptic Device,By,SensAble Technologies,力反馈手套RM,RM,像一付手套似的戴在用户的手上。主要结构包括一个小平台，上面架着四个特制的汽缸。每个汽缸轴的顶端都和相应的指尖相连接，轴和指尖的连接通过“,Y”,形的连接物。一个简单的细皮手套被作为传感器/反馈系统的支持结构。,CyberGrasp,By,Immersion Corporation,数据手套,DHM,手势传感装置原理图,4、身体位置跟踪,身体跟踪,位置的跟踪（位置,+,方向）及角度的度量（指关节、光纤）,眼动跟踪,位置跟踪技术：,正交电磁场,Polhemus trackers,超声波信号,Logitec. Mattel Power Glove,机械连接,Fake Space Labs,视频信号处理,Myron Krueger,LED,视频传感,UNC at Chapel Hill,惯性跟踪（加速度）,Spaceball,PowerGlove,示意图,三维鼠标器示意图,基于运动跟踪的方法,一种人体运动记录回放的方法,关键：数据的转换,基于运动跟踪的方法,基于运动跟踪的方法,记录点,的坐标,转换成,旋转角,驱动虚,拟角色,运动重,定向,基于运动跟踪的方法,虚拟现实系统,一个示例：virtual cockpit,Virtual Reality systems to train aircraft pilots and tank commanders,2.3,几种典型的虚拟现实系统及其应用,J.J.Gibson,总结的,感知系统,人类的感知系统,行为系统,人类的行为系统,人与环境的关系,虚拟现实的概念模型,王兆其，,虚拟环境中物体运动逼真性的研究,，博士学位论文，北京航空航天大学，,1999.6.,(1) Augmented Reality,应用领域：维修，医学检查，培训等,主要问题：虚实一致性,王兆其,虚拟环境中物体运动逼真性的研究,博士论文，北京航空航天大学，,1999.6.,R. T. Azuma,A Survey of Augmented Reality,Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385,(2) 多用户虚拟现实系统,一次允许多个用户参与。,典型的系统有：,mWorld, CAVE,，,DIVE,等,主要应用：虚拟研讨环境,(,聊天室,),虚拟社区,主要问题：保证多个用户对虚拟环境有一致的感受,王兆其,虚拟环境中物体运动逼真性的研究,博士论文，北京航空航天大学，,1999.6.,(3) 分布式虚拟现实系统,分布于不同地理位置的多台计算机通过网络互联,主要应用：军事仿真，多用户虚拟环境,典型系统：,SIMNET,，,NPSNET,，,STOW,，,DVENET,主要问题：系统的一致性,(,由数据分布与网络延迟引起,),王兆其,虚拟环境中物体运动逼真性的研究,博士论文，北京航空航天大学，,1999.6.,(4) 遥存在(Tele-Presence),真实世界与操作人员相隔两地,主要应用：远程手术，远程探测等,王兆其,虚拟环境中物体运动逼真性的研究,博士论文，北京航空航天大学，,1999.6.,第二讲结束,谢谢！,演讲完毕，谢谢观看！,内容总结,虚拟现实技术及应用Virtual Reality。haoyt。虚拟现实技术的技术体系结构。假设从视点V通过屏幕象素 e向场景投射光线交场景中的景物于P1, P2,。如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象。Ic： 局部光照亮度。tt It： 规则透射光亮度。这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去。要实现虚拟现实，首先要尽可能详细地表示虚拟现实的场景几何信息。例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。这种方法又称为体积表示方法。这种方法称为纹理映射方法。图象大小差异(differential image size)。分辨率：VGA（640 X 480）。厚度2 cm，重量70 g。http:/avl.iu.edu/technology/idesk/。声源定位：强度（高频）和时差（低频）。演讲完毕，谢谢观看,