虚拟现实与VRML－第三章虚拟现实的计算机技术.ppt

山东理工大学虚拟现实实验室虚拟现实与VRML 虚拟现实与VRML 第三章虚拟现实的计算机技术 第一节虚拟现实的计算机体系结构 3 1虚拟现实的计算机体系结构3 1 1虚拟现实对计算机系统的要求下面介绍的虚拟现实对计算机系统的要求 只包括了视觉显示对计算机系统的要求 位姿传感器的数据处理 一般不在主计算机上进行 而是由专用的电子设备完成 听觉显示 力觉触觉显示 研究工作和实际应用还较少 对其计算要求的认识还较少 听觉显示和力觉触觉显示的计算 往往由专用计算机完成 所以 当前的虚拟现实计算机 主要完成视觉显示的计算任务 1 帧频和延迟时间的要求VR要求高帧频和快速响应 这是由于其内在的交互性质 要求的帧频和延迟一般取决于环境特性 只有慢速运动物体的较静的环境 可以用帧频每秒8至10 和0 1秒延迟 如果环境有高速运动的物体 则要求高帧频 60Hz 和短延迟 所有情况下 若帧频低于每秒8帧 则失去三维环境的生动感 若延迟大于0 1秒 则很难操作环境 因此 帧频必须大于8到10帧 秒 总延迟必须小于0 1秒 帧频概念来自动图像技术 在动图像显示中 每一帧实际上是静止照片 如果新照片快速接替旧照片 就产生连续运动的幻觉 修改率是在屏幕上的显示改变的速率 为符合基本的动图像技术 理想的修改率是每秒20帧 新图像 对计算机硬件 帧频有几个含义 它们大致分类为 图形的帧频 计算的帧频 数据存取的帧频 为了维持在VR中的临场和沉浸感 图形帧频是关键的 这些帧频可能是独立的 图像场景可能变化 而没有来自用户视点运动的计算和数据存取 这时 图形的帧频大于计算的帧频和数据存取的帧频 经验表明 图形帧频率应尽可能高 低于每秒10帧的帧频严重降低临场的幻觉 如果图形显示依靠计算和数据存取 则计算和数据存取帧频必须为8到10帧 秒 维持用户看到时间演化的幻觉 如果应用允许交互控制 也要求快速响应 已知 长响应时间 滞后时间 延迟时间 严重降低用户性能 延迟时间是从用户的动作开始 如用户转动头部 经过位姿传感器感知用户位姿 把位姿信号传送给计算机 计算机计算新的显示场景 把新的场景传送给视觉显示设备 直到视觉显示设备显示出新的场景为止 这些延迟在计算机系统中来自很多因素 如数据存取时间 计算时间 绘制时间以及输入设备数据处理时间 类似帧频的情况 延迟的来源分成 数据存取 计算 图形 虽然延迟与帧频有关 但它们不同 系统可能有高帧频 但有较大的延迟时间 显示的图像和提供的计算结果是几帧以前的 研究表明 多于几毫秒的延迟会影响用户性能 而多于0 1秒的延迟有严重影响 2 计算能力和场景复杂性虚拟现实仿真的计算问题 是一种时间受限的计算 这是因为显示的帧频必须大于8到10帧 秒 于是 在0 1秒内 必须完成一次场景的计算 如果一个显示的场景中有10 000个三角形 或多边形 这个数量就反映了场景复杂性 这样 在每秒进行的10次计算中 就应该计算100 000个三角形 或多边形 这表示了计算能力 若要求更加逼真的仿真效果 就要增加场景复杂性 显示的场景中有更多的三角形 或多边形 显示的效果就更逼真 这就要求更强的计算能力 每秒计算更多的三角形 或多边形 反之 如果只能使用能力有限的指定的计算机 则限定了计算能力 也就限定了场景复杂性 每个场景 只能用较少的三角形 或多边形 产生较粗糙的显示 这种考虑就是 计算能力和场景复杂性的折衷 下面几节将介绍用于VR的各类计算机 对这些计算机 主要的技术指标就是其计算能力 也就是每秒计算的三角形 或多边形 的数目 应该注意 是否加纹理 是否反走样 采用哪一种明暗模型 都会影响到计算能力 加入这些复杂的功能 就会增加计算复杂性 从而减少每秒计算的三角形 或多边形 的数目 下图表示 波音747 400飞机的两种复杂性不同的三维模型 a 中的模型有520个顶点 406个多边形 b 中的模型有7694个顶点 7556个多边形 效果图说明了明显的逼真度差别 下图表示 人体骨骼的两种复杂性不同的三维模型 a 中的模型有8979个多边形 b 中的模型有131275个多边形 效果图说明了明显的逼真度差别 3 对计算机系统的要求图形学和计算机硬件的进展对全真实的VR是关键因素 今天的硬件能力只能给研究者 厂家和用户提供虚拟世界的尝试和应用的希望 由于广泛的兴趣和有不同性能要求的大量应用 所以需要在几个层次继续进行硬件开发 由高档多模式工作站到低档的只有适当三维视觉能力的个人工作站 将来的高档VE系统有几个硬件要求 我们始终需要为应用提供高计算要求的计算机结构 这些机器必须有很大的物理存储 15Gbytes 多个高性能向量处理机 高带宽 500Mbytes s 低延迟 0 03s 巨型存储设备 和对各种输入输出设备的高速接口 磁盘带宽不可能在近几年大大改进 对录象和超媒体集成 磁盘带宽和大小是限制因素 也需要巨大的计算和数据管理能力 物理建模和可视化计算将是计算需求的推动力 现在某些问题要求40Mflops机器能力 如果希望加入更多数据或开发更细分辨率的模型 就会使用这一层次的计算能力 重要的是鼓励实际生产VR要求的机器 3 1 2基于PC的虚拟现实机器Grimsdale 1992 指出 让一般公众接受虚拟现实将通过 发展 而不是 革命 发展意味着升级现有的计算基础 产生虚拟现实要求的新功能 当前最大的计算基础包括遍布全世界的几千万台PC 利用PC平台的另一个优点是价格低 于是在1992年推出了低级的基于486的虚拟现实机器 它有头部跟踪器 HMD 3 D声音 图形加速器和手柄 价格少于20000美元 1994年 低级的基于PC的系统价格约3300美元 跟踪球200美元 Cyberscope200美元 软件工具盒900美元 486 PC2000美元 1 有ActionMedia图形加速器的486 PCPimentel和Teixeira 1993 介绍了基于486PC的虚拟现实机器 它用两个IntelActionMediaII图形板 为了减少CPU的计算 并减少在慢速的8 MHz的PC总线上的通讯 两个图形板是必要的 图形命令以 压缩 形式由CPU送给ActionMedia板 它为两只眼绘制两个图像 在并行工作时 每个板可以绘制约3000 5000个多边形 秒 而且实际的能力会降低约20 于是 有效的绘制率是4000个多边形 秒 如果更新率是30个画面 秒 得到的场景复杂性仅133个多边形 画面 眼 如果更新率仅有10个画面 秒 则虚拟场景可以有400个多边形 图形加速器的输出 红 绿 蓝 RGB 格式 不能直接由FlightHelmetHMD显示 于是需要两个RGB NTSC转换器 每个图形输出一个 NTSC信号之一接到一台监视器 允许与HMD同时分别观察 Logitech跟踪器连到PC的串行口 传送头部位置数据 Beachtron 3 D声音卡插到PC的母板上 输出虚拟声音到头盔的耳机 2 有SPEA Fire 图形加速器的486 PC比ActionMediaII更强的PC图形板是SPEASoftwareAG的 Fire 板 价格约4000美元 它的绘制速率约为18000平面明暗化多边形 秒 和7000Gouraud明暗多边形 秒 Fire板使用i486RISC处理器 有64bit结构和40MIPS 到程序存储器的64 bit总线确保极快的数据传送 8到18Mbyte的程序存储器可以用于数据存储 显示表 用于软件驱动器和Z 缓冲器 对3 D对象 卡的Video存储器的组织 允许不同的输出分辨率 由VGA到1280 1024象素 RGB输出可以转换成NTSC 这是通过SPEATVX转换器 或用HarmonicResearchInc 的CV 121转换器 它有8MHz的亮度带宽 330线的视频分辨率或450线的S 视频输出 Doucet和Rothman 1993 把两个Fire板集成在Intel48650MHz上 正如上面的例子 虚拟现实机器包括 有PolhemusFastrack的FlightHelmetHMD Beachtron3 D声音产生器 跟踪球 以及MicroIntro语音识别系统 这个系统中好的策略是 首先确保每个部件与PC平台正常工作 然后检查整个系统的一致性 因为不同厂家制造的部件有不同的 有时冲突的 要求 Fire板的集成就是用跨接线设定板的存储地址 每个板必须有不同的地址 而且选择的地址必须在VGA板选用的最高存储地址以上 于是 FireGDCINST布局软件被用于设定板的口地址 和双板工作方式 板的输出视频分辨率是用Fire860MODE软件设置的 两个板的输出用上述的HarmonicResearch转换器转换为NTSC 使用的跟踪球是SpaceballTechnologiesInc 的 Spaceball2003 它连接到PC串行口COM2 Sense8WorldToolKit通讯驱动器支持这个跟踪球 它只需要用串行口COM1和COM2 集成Fastrack跟踪器 是通过设置接收器的号码和串行口波特率 用接口单元前面的开关 设置接收器的号码为1 串行口波特率被设置为9600波特 这是用接口单元后面的开关 然后把它连到串行口COM4 与HMD并行工作 用于使仿真可视化的监视器 在Fastrack 初始化 时应该断开 以便减少磁干扰 MicroIntro MIV 语音识别系统连到COM3口 再对每个用户 训练 然后断开它的麦克风 使用集成到FlightHelmet的一个 这就降低了语音识别的比率 可能因为头盔的麦克风远离用户嘴 于是 MIV麦克风最后再次使用 并在外部安装在FlightHelmet 单词 识别 的进一步的问题仍然存在 可以参见Doucet和Rothman 1993 的报告 Beachtron的集成是设置板顶上的DIP开关 选择正确的口地址 在把板插在PC母板后 Multisound 软件必须在Windows下装入 这也是选择正确的IRQ 口和存储地址 以便在WorldToolKit中工作 作者进一步指出 Beachtron声音板的集成是系统集成中最困难的部分 这是由于几个因素 首先 用于与Beachtron接口的软件库还没有资料 并正在开发 其次 现有的Beachtron库要求赋给Beachtron特定的中断 口地址和存储地址 最后 Beachtron软件最初的版本与Spaceball冲突 这就妨碍了二者同时使用 这个问题在系统开发中被消除了 在系统集成中真正的难点是让所有设备有相容的IRQ向量 所采用的I O板只允许COM3和COM4使用中断3 4 5或9 MIV语音识别设备只能用直至5的中断 而Fastrack不能用高于7的中断 3 其它基于PC的图形加速器PC上其它的图形性能是由 Stride 板得到的 Stride图形加速器使用两个板的配置 基本板和协作的Gouraud明暗板 基本板使用基于TexasInstrumentsTMS34020图形加速器的8 bit图形机器 为了更快的计算 可以增加最多两个TMS34082浮点协处理器 通用8 bit扩展母线连接器允许增加其它板 如声音产生器 Stride卡上的高速多边形绘制设备放在第二个板上 图像绘制器与基本板的连接是通过独立的接口 这避免了利用慢的PC总线 绘制器可以作Gouraud明暗和Z 缓冲器 并有自己的视频存储器 一个绘制器可以作35000个明暗的多边形 秒 而用两个绘制器则是70000个明暗的多边形 秒 这是很强的PC图形加速器 它的能力超过某些基于工作站的系统 由于每个Stride基本板只有一个RGB输出 立体输出就要求两个基本板 以及多达两个绘制器板 即总共六个板 由于每组三个板价值26000美元 在两个协处理器的方案 这是很昂贵的系统 此外 六个板在PC母板上占用六个槽空间 这减少了构成虚拟现实机器的其它I O工具可用的槽数 最后 当前被DivisionLtd 推出的新的板的家族是 PCdView 和 MacdView PCdView是在IBMPC 兼容机上的实时图形的图像生成和软件环境 而MacdView工作在Macintosh上 PCdView 和 MacdView 都用高级PAZ绘制器 它使应用程序直接处理复杂的虚拟对象 它的多处理器结构基本上与Provision100之一相同 并可以绘制超过3万个Phong明暗多边形 秒 或3 5万个Gouraud明暗多边形 秒 这些以800万象素 秒速率作Z 缓冲 几何数据的存储卡存储超过4万多边形 立体图形是用两个PCdView 或两个MacdView得到的 每个眼一个 单个PcdView MacdView板的价格是5500美元 更贵的版本可以提供纹理 价值12000美元 4 图形硬件图形硬件是使图形绘制加速的硬件设备 图形硬件涉及到图形流水线 图形卡的AGP和PCI 图形加速器 以及Add ons 下图表示图形卡的工作原理 图形流水线包括把三维物体由其自身坐标系变换到用于显示的二维屏幕空间所需要的计算器 这个过程涉及到很多步骤 第一步是把物体由其自身坐标系变换到描述整个场景的世界坐标系 第二步是剔除在场景中不必显示的物体 减少计算量 这是计算过程优化 第三步是在模型中引入颜色和明暗等性质 第四步 场景再作另一个变换到屏幕空间 最后光栅化为象素 并且显示 在这个过程中 计算是在多个区域内进行 很多计算在CPU进行 但是多数矩阵运算是在图形加速器中进行 应该注意到 数据离开CPU后 应该马上经过四步 由总线进入VideoChipset 视频芯片 并进行处理 数字数据 这主要取决于总线类型 速度和CPU 由VideoChipset进入VideoMemory 视频存储器 保存屏幕图形的镜象 数字数据 这一步和下一步都要求更大更快的总线 VC和RAMDC应该存取VRAM 由VideoMemory进入DigitalAnalogConverter RAMDAC 数模转换器 读出屏幕镜象 数字数据 进行数模转换 由DigitalAnalogConverter到监视器 模拟数据 由此可见 除了第四步外 每一步对图形子系统的性能都是某种瓶颈和关键 最慢的一步会确定全局速度 图形卡的AGP和PCI是总线 数据总线会影响到图形卡的性能 PCI是标准的计算机内部总线 总线把计算机的插入卡 网络卡 图形卡等 连接到CPU PCI总线的传输速度限制在130Mb s 这说明 插入的卡越多 每个卡得到的传输速度越小 图形卡与CPU只能以较小的带宽通讯 AGP是专用总线 它只能连接一个卡 图形卡 它的通过量为530Mb s 全部用于图形卡 他还允许直接把纹理传送到图形卡 不必通过系统存储器 可以想象 这将大大增加系统性能 Intel已经开发了AGP2x和4x 比正规的AGP速度更快 PCI结构的工作原理 AGP结构的工作原理 图形加速器是图形计算的另一个重要部分 这是图形卡上的处理器 它完成所有繁重的计算 至今 这些繁重计算主要包括 加纹理 反走样 以及其他计算密集的函数 NVidia将推出芯片 完成光照及其变换 它将取代CPU的工作 大大加速显示过程 允许实时的照明和明暗变化 3Dfx制造了图形卡的Voodoo和Banshee芯片 它也利用自己的T 缓冲技术 把实时明暗加在其Voodoo芯片上 Add ons适用于只有2D加速器 但没有3D加速器的计算机 它提供用于显示3D物体的计算 极大地改进性能 3Dfx是add ons的主要制造商 它的Voodoo就是一种初等的add ons 它还为其图形卡开发了API 称为Glide Glide提供了软件微层次 使开发者免于直接处理硬件寄存器和存储器 这减少了调试时间 加快了开发过程 它基本上是OpenGLAPI的缩减版本 类似于OpenGL GlideUtilityLibrary提供Glide的更高层次的实现 很多公司正在考虑图形硬件的限制 提出解决办法 最大的问题之一是能把数据塞进图形加速器 再取出并送到显示器 PixelFusion公司正采用UNCChapelHill sPixelPlanes的技术 并实现在一个图形板上 它打破场景 作并行处理 用多个处理器同时处理场景的不同部分 这使它的绘制能力达到200Gb s 这个卡有7千万晶体管 有超过1300个算术运算单元 ALU MitsubishiElectric正在开发立体绘制的硬件 它使用了体素 voxels 绘制3D物体 体素是3D的象素 即使还是在开发的第一阶段 也已经能实时改变光照 纹理和明暗 此外 也能实时改变模型上的变换 动态产生剪切平面 透明性和材料性质 5 3D显示卡第四代3D显示卡有如下列几种 1 3dfxVoodoo3 3500它使用8片HY5 5ns 提供128bit带宽 显存和芯片内核速率在183MHz 多边形处理能力是800万 秒 像素填充率是366万 秒 他拥有3dfx独有的3DAPI GLIDE 拥有简洁的代码和较高的效率 针对GLIDE优化的游戏效果比一般针对D3D优化的游戏效果更出色 所以他是最好的3D游戏卡 价格1500元 2 耕宇TNT2Ultra 它使用2 32的SEC GC显存 其核心频率和显存频率分别为175MHz和200MHz 多边形处理能力是800万 秒 像素填充率是350万 秒 快是它的最大特点 价格1650元 3 帝盟StealthIIIS540它使用MT的8ns显存 其核心频率和显存频率分别为125MHz和143MHz 它使用4 16的32MB显存 所以其显示带宽只有64bit 它的S3TC纹理压缩技术效果出众 它是最慢但最经济的3D显示卡 价格900元 4 ATIRageFury他是最大的OEM显示卡生产商 但是其产品的速度无法与其他显示卡相比 它使用SEC的5nsSGRAM 其核心频率和显存频率只有100MHz和110MHz ATIRage128芯片的性能很均衡 画面质量和D3D OPENGL性能都不错 特别出色的是其DVD解压能力 他是很均衡的显示卡 价格1300元 5 MatroxG400MAX它使用2 32的SEC GC显存 其核心频率和显存频率分别为166MHz和200MHz 多边形处理能力是800万 秒 像素填充率是333万 秒 他拥有双128bit总线 双频头显示技术 同时联结两个显示器 环境映射凹凸贴图等先进技术 它的功能最多 性能很优秀 价格2500元 3 1 3基于工作站的虚拟现实机器就数量来讲 仅次于PC的最大的计算基础是工作站 它们比PC的优点是有更强的计算能力 更大的磁盘空间和更快的通讯方式 于是 预计主要的工作站制造厂家将开发某些虚拟现实功能 Sun和SGI采用的一种途径是用虚拟现实工具改进现有的工作站 象基于PC的系统那样 DivisionLtd 采用的另一个途径是设计虚拟现实专用的 总承包 系统 如Provision100 这是基于工作站的虚拟现实机器的两种发展途径 1 Sun公司的 VirtualHolographic 工作站1992年 Sun推出 VirtualHolographicWorkstation 这个系统最初使用SUNSparcstationII 并配置GT图形加速器 10万个多边形 秒 1994年 它升级到Sun10 51 配置ZX加速器 12 5万个多边形 秒 在立体方式下 速度下降到约6万个多边形 秒 且左右眼图像交替显示在立体监视器上 它采用StereoGraphicsCo 的CrystalEyesVR和Logitech跟踪器 给用户部分沉浸感 头部和3 D鼠标的跟踪是用Logitech的超声跟踪器 它连到工作站串行口 3 D鼠标的使用象2 D鼠标那样 用于与虚拟对象以3 D交互 集成这些I O工具和SUN工作站的软件 运行在Solaris2 3操作系统上 是Sense8WorldToolKit的新版本 在1994年春推出 整个系统价格约46000美元 再加上Sense8软件的另外价格约6000美元 2 Division公司的Provision100工作站Provision100的并行结构有多个处理器 称为 Director 用于碰撞检测和时间同步的处理器 和用于立体视频显示的 actors 视频处理器 3 D声音的 actors 声音处理器 和手跟踪与手姿识别的 actors 手套处理器 这个结构也有一个I O卡 并允许增加附加的I O处理器 与486PC等主计算机的连接允许基于UNIX的Provision100用于仿真中的高级终端 Provision模型100VRX使用两个图形板 每个眼一个 直接输出NTSC PAL信号 每个图形板有一个Inteli860处理器和两个T425transputers i860利用常用的多边形加速器作几何处理 提供35000个Gouraud明暗的Z 缓冲的多边形 秒 Provision100VRX模型有一个附加的纹理模块 在象素处理器和两个视频存储器之间 它可以加纹理 但不损失绘制速度 对256个texel单元 纹理元 24 bit彩色纹理图存在高速静态RAM中 这个RAM可以布局为256 256的4个图 128 128的16个图 或者它们的组合 如256 256的1个图加上128 128的4个图和64 64的32个图 一个独立的板有一个40 MHzi860处理器 以及多达16Mbytes存储器 它用于对仿真中所有运动的虚拟对象的碰撞检测 一个T425transputer在整个仿真管理中帮助i860 同一个板上的两个T805transputers监控4到8个RS232串行口和两个可编程I O PIO 通道 这些用于由跟踪器和其它虚拟现实工具的数据采集 如用于仿真的3 D鼠标 最后 一个声音系统 Beachtron 提供高质量的3 D声音 它放在单独的板 与上述其它板一起插在同样的EISA总线上 1993年 Provision100VRX的价格是45000美元 不含HMD和3 D鼠标 但它现在的价格是64000美元 包括纹理映射生成器 Fastrack跟踪器 Beachtron3 D声音 HMD和支持软件 3 1 4高度并行的虚拟现实机器 因为计算能力成为VR系统计算设备的瓶颈之一 所以各个工作站厂商都在发展高度并行的虚拟现实机器 以便提高计算能力 1 Division公司的 SuperVision 机器Provision可以绘制3 5万个多边形 眼 秒 这是良好的开始 但还远离图形真实性所要求的几百万个多边形 眼 秒 1992年 Division宣布了 SuperVision 机器 它用高性能的并行结构增加绘制能力到28万个多边形 眼 秒 这些多边形是纹理的 Gouraud明暗的和Z 缓冲的 SuperVision结构有标准的Provision 前端 和多处理器组 计算 绘制卡的连接是通过高速的 200MBytes 秒 低执行时间的通讯线路 每个处理器组都是自治单元 有一个40MHzi860处理器 一个用于I O的T425transputer 以及多达16Mbytes的局部存储 多组结构包括一个画面缓冲器 它与一个立体视频画面获取器一起 允许图形实时覆盖在实况视频图像上 此外 SuperVision有一个多通道图像生成组 一个处理组 一个I O组 一个声音组 以及可能的附加组 所有的组都连到同样的通讯线路 这个通讯线路的通讯是通过 点到点 的通信路线 它可以用于任何数据类型 由实况视频 到对象几何修改和象素信息 所有数据包都可以由环上任意的处理器送到另一个处理器 可以选择不同的分布方式 使得对不同问题的性能最优 当前 SuperVision还不能大量生产 因为还在对系统各部件进行测试和排除故障 2 SGI公司的IRIS 1400到RealityEngine2 SGI SiliconGraphicsIncorporated 公司制造的图形系统具有某种更灵活更强的数字媒体能力 它在一个包中组合了先进的三维图形 数字多通道声频 以及录象 SGI系统用作许多VR系统的核心 它完成仿真 可视化 通讯等任务 关键问题是系统支持强大的计算 体视的多通道视觉输出 以及连接到传感器 控制设备和网络的快速输入输出 纹理化多边形填充能力也是它的特点 SGI从1983年就着手开发在技术前沿的多处理机图形工作站 它的系统包括三代 第一代是1000 2000和G 第二代是GTX VGX和VGXT 第三代是RealityEngine和RealityEngine2 1993年1月 SGI发布了ONYX图形超级计算机 它包括新的多处理结构PowerPath2 这是基于在150MHz工作的MIPSR4400RISCCPU的24个并行处理机 I O通道带宽是对存储器速率1 2Gbytes s 支持以50Mbytes s工作的VME64位总线 ONYX可以用3个图形流水线 这是基于新的RealityEngine图形子系统 新的图形系统比1992年7月的RealityEngine提供高50 的多边形性能 它的速率达每秒2百万个三角形 和每秒90万纹理的Gouraud明暗的反走样的加雾的Z缓冲三角形 任选的多通道板 使用户能读取帧缓冲区 并对不同区域给不同显示设备 于是130万象素帧缓冲区或者用于1280 1024显示 或用于四个640 512显示 多通道选择提供了六个不同输出 ONYX2系列是SGI的高档图形设备 它组合了最大的超级计算和可视化 他的布局可能是可联网的单机工作站 也可能是使用多达128个 R12000 RISC处理器的全机架系统 这个全机架系统支持多达16个可视化子系统 从而可以支持4个绘制管理器 以及多达320MB帧缓存 它用于世界上很多领先的研究 军事 政府 医疗 和娱乐业 在油气勘探开发的应用中 ONYX2的OpenGLVolumizer允许勘探开发工程师 同时交互地处理和分析大量数据 RealitySystems用于产生高质量的地下地形的体可视化 政府用ONYX2处理图像 录像 三维地形 以及地球空间数据 也用于各种仿真器 任务规划 战场可视化 军事图像和智能制造 工厂用这些系统构造复杂系统的高逼真度实时仿真 通过所有设计人员的合作 在开始制造前确保整个设计的一致 这些系统也被娱乐业采用 如ILM PIXAR等 电影界用它制造特殊效果 ONYX2的选项包括 DigitalVideoMultiplexing 数字视频选通 ImmersiveVisualizationDesk1000D和2000D 沉浸的可视化工作台 以及联网 ImmersiveVisualizationDesk是3D立体工作站 往往使用手套或3D笔 使用户可以操作3D图像 可以采用台式显示 或大的显示 约6英尺 ONYX2的主要指标为 14MbyteOpenGLDisplaylistcache 有300MB sec通过量 实时3D体绘制 24英寸监视器 支持立体的NTSC1920 x1080HDTV显示 256MBto256GB系统RAM 可达2 3TB内部盘存储 1GB物理的纹理存储 每秒可处理多达2亿个多边形 每秒填充率70亿个象素 可以用于医疗专业的X Rays处理 3 Evans Sutherland公司的Freedom3000Evans Sutherland E S 原来是飞行仿真器公司 它最近发布了Freedom序列图形加速器 用于SunSparc10工作站 它提供大范围的性能水平 由Freedom1000的每秒50万多边形 到Freedom3000的每秒3百万多边形 它用标准硬件软件接口与Sun环境无缝地连接 Freedom加速器可以用Sun标准接口编程 并与当前的E S和Sun工作站软件兼容 Freedom3000有1280 1024 1536 1280和高分辨率TV显示格式 它支持硬件纹理映射 包括MIP映射 分辨率达2000 2000 其它特性是线 点 多边形的反走样 a缓冲区 累积缓冲 每个象素128位 和动态象素定位 Freedom3000包括下列技术 用0 8 CMOS的五个专有的VLSIASIC芯片 可编程高速微处理机的并行阵列 DSP 很快的专有的图形总线 G bus 速度超过每秒3百万多边形 高速象素发送互联 用于图像处理的高速存取帧缓冲区 达每秒1亿象素 以及象素填充率950万 秒 4 北卡大学的PixelPlanes4 5和PixelFlow 北卡大学是最早开发图形硬件的大学之一 他的工作不同于商界的工作 因为工作中基础研究多于制造机器产品 所以他们的机器总是处于图形硬件的前沿 1988年 PixelPlanes4有每秒2 7万多边形能力 1991年 改进的PixelPlanes5有每秒1百万多边形能力 最新的机器PixelFlow正在开发 但已显示很大潜力 PixelFlow和其图形性能是将来高性能三维VR的重要部分 它是高速图形生成的结构 克服了传统硬件绘制结构的变换和帧缓冲存取的瓶颈 它利用图像合成技术 分配绘制任务在同样的绘制器阵列 其中每个绘制器计算部分基元的全屏幕图像 高性能图像合成网络实时组合这些图像 产生全屏图像 图像合成结构的性能与绘制器数目成线性关系 一个PixelFlow绘制器扫描达每秒140万三角形 几个绘制器系统可以扫描达这个速率几倍 予计128个绘制器的系统可以达到多边形速率每秒1亿三角形 PixelFlow由超级采样实现反走样 它以几个硬件明暗器支持延迟的明暗 它在包含中间象素数据的合成图像上工作 PixelFlow明暗器计算复杂的明暗算法 以及基于图像的纹理 明暗速率与图像复杂性无关 PiexlFlow可以连到并行超级计算机 用作中间模式图形服务器 或者可以为保持方式绘制维持显示表 5 Sun公司的Elite3Dm3和m6Elite3D是Sun公司的高性能图形系统系列 用于实时交互的3D可视化 绘制和动画 实际上 这只是视频卡 不是整个系统 它是与SunUltra10工作站一起工作的 该系统比SGI的系统便宜 但性能也较低 m6是较高性能的选项 有6个板上的FPU运算器 它有串口连接其他接口设备 如头部跟踪 HMD 3D鼠标 他的用户类似SGI系统 有 CAD CAE 石油工业 医疗专业 HAZMAT 实时动画 系统没有大存储空间支持电影一类大的课题 它没有rack type系统 Elite3D的主要指标为 用在Solaris操作系统 2 6或更高 支持OpenGL1 1 1 有加速的照明和线点的反走样 有加速的象素深度信息和alpha内插 SunUltra10工作站的主要指标为 是3D建模和图形应用的台式系统 与Elite3D m3orm6 视频子系统合作 440MhzUltraSPARC处理器 有2MBcache 可达1GBDRAM和18GB硬盘空间 与Elite3D图形子系统合作 6 更强大的机器RedMountain和BlueMountain1996年12月16日 Intel公司与USDOE合作发布了世界上第一台每秒1万亿次的计算机 teraflops 全美国人不停地手算125年 才相当于该机器工作1秒钟 该机器称为RedMountain 红山 AcceleratedStrategicComputinginitiative ASCI 正在开发仿真技术 不经过地下核试验就确保美国核武器的安全可靠 在新墨西哥州的SandiaNationalLaboratories 桑迪亚国家实验室 正在安装5500万美元的RedMountain机器 新墨西哥州的LosAlamosNationalLaboratory 洛斯阿拉莫斯国家实验室 和加州的theLawrenceLivermoreNationalLaboratory也使用该机器 该机器仿真核武器的各个方面 由激励问题 如起爆仿真 到静态仿真 如核武器储存的老化效果 RedMountain也用于医疗和药物研究 天气预报 飞机和汽车设计 工业生产的改进 疾病演化的仿真 治理环境等 RedMountain的主要指标为 价格 55百万 占地1000平方英尺 系统RAM 584Gbytes 双向交叉带宽51 6Gbytes sec PentiumPro处理器9 216 峰值性能1 8TFLOPS LosAlamosNationalLaboratory不满足借用RedMountain 就开始建造BlueMountain 该机器有比较RedMountain更强的图形能力 增加了16台SGIInfiniteReality机器 BlueMountain组织成48个128处理器的共享存储器多处理机 SMP 48个SMP可以彼此通讯 速度为每秒650Gigabits 它有76万亿bytes的光纤通道的盘空间 1998年11月12日建成 5年内将超过100TFLOPS 7 其他设备TAN是高级的沉浸的投影显示 HP提供Kayak VisualizeWorkstations nVisionDatavisorHMD E STornado和3DLabsOxygenGMX 第二节虚拟现实的软件系统 3 2 1虚拟现实对工具软件系统的要求虚拟现实程序设计需要有关实时系统 面向对象语言 网络 物理建模 多任务等方面的知识 好的计算机程序员精通这些技巧 但他们不可能熟悉各种虚拟现实应用的专业领域 反之 医生 建筑师 或经济分析家也不可能具有必要的程序设计技巧 虚拟现实厂家认识到需要解决这种知识缺口 并创造出这种产品的市场 这要求稳定的平台和软件 这使现有的软件厂家轻松地虚拟化他们的产品 并促进新一代软件开发者去创造先进的虚拟现实产品 虚拟现实应用的工具软件系统应该满足下列要求 工具软件 工具盒 是为虚拟现实技术要求设计的面向对象函数的可扩充的库 一个仿真对象就是一个 类 的部件 并继承它默认的属性 这大大简化了复杂对象编程的任务 由于库是可扩充的 开发者可能写专用模块 并利用同样的仿真核心 虚拟现实工具盒具有的另一个重要特征是硬件独立性 写的函数用于各种平台 实质上是一般的 实现这一点是因为高层的函数 不知道 它在特定的硬件上运行 低层的 转换器 在运行时识别特定的I O工具 在把应用由一个平台移到另一平台时 这很有帮助 所有的工具盒都支持某种形式的网络 内部的或任选的 这允许并行或分布处理 以及重要的多用户交互 这使得在一个应用中可能进行合作 以提高效率 这里讨论的所有的工具盒都接受CAD3 D文件 DXF等 这说明通过引入现有的3 D对象数据库 极大地减少了开发时间 何謂虛擬實境 免付費共用軟體由對虛擬實境有熱忱的人士 所自行發展而成 可自行下載使用或修改 幾何式商用授權軟體場景是由許多的幾何模型所構成 軟體通常具備相當完整的模擬功能與週邊硬體支援 國際通用標準主要是根據VRML所開發的套裝工具影像式商用授權軟體場景的建構主要是透過影像拍攝及影像組合而成 場景的真實性相當高 但缺點是較缺乏互動性 虛擬實境軟體的選用 價錢與功能電腦硬體需求配備週邊硬體的支援程式撰寫的需求模擬的逼真度軟體影響模擬逼真度最深 一個擬真度越高 互動性越好的場景 使用者越容易融入模擬的情境中 也越能達到建構模擬系統的期望 免費的公用軟體 REND386軟體本身是使用BorlandC和組合語言所開發 為較高階的程式語言 不太適合去描述較複雜的行為 AVRIL強調容易使用 完整的文件資料 免費下載及具有可攜性 在不同的平台間只要簡單的修改即可使用VR386一秒鐘可以處理20 000個多邊形 也支援了部份的虛擬實境週邊硬體 VRJuggler包括了物件表面展示模組 物件追蹤模組 導覽模組 圖形彩現引擎及圖形化使用介面等 幾何式商用授權軟體 1 WorldToolKit WTK 由Sense8公司所出版 支援多種平台 提供了超過一千個以上使用C語言所寫的函式庫不具備模型繪製功能 需配合其他建模軟體無法單獨使用 須配合C語言設計使用者界面 並依模擬的需求 呼叫合適的WTK函式庫 以進行場景或模型的控制 幾何式商用授權軟體 2 WorldUp同屬Sense8公司的產品 以Windows平台為主具備一個視覺化的編輯界面 提供直覺化 更便利的使用環境 具備簡單的模型編輯功能以單機模擬為主 World2World承襲了WorldUp的功能 並加入了多人連線功能 可用於開發多人共用連線模擬系統 幾何式商用授權軟體 3 Superscape 3DWebmaster Do3D早期即可在486電腦及DOS模式下運作 後也支援視窗作業系統 提供多種不同功能的編輯器 如模型編輯器 材質貼圖編輯器 聲音編輯器 版面編輯器 鍵盤編輯器等可使用SCL語言進行多變的物件控制變化內建基本的物理特性及特效模擬 如碰撞偵測 重力 摩擦力 雲霧 鏡面反射等 亦可使用SDK自行開發所需功能 已不再提供產品支援 萬能材料試驗機模擬系統 機械手臂防護裝置模擬系統 幾何式商用授權軟體 4 EON物件的控制是採用圖控式程式撰寫界面內建相當多的物理特性及特效模擬提供ActiveX元件 可與其他的開發工具 如VB VC等 或多媒體編輯工具 如Director Authorware 等 做結合 電腦商品展示 機械手臂操作模擬 幾何式商用授權軟體 5 Virtools直覺式的圖形開發介面提供模擬場景裡面物件所需的真實物理屬性提供的人工智慧判斷能夠與Xbox間做檔案的溝通與轉換可提供沈浸式虛擬實境體驗 虛擬城市 石門水庫洩洪模擬 幾何式商用授權軟體 6 Division和WTK一樣 不具備模型的製作及編修功能 場景的製作須先在其他3D模型上繪製軟體本身已提供相當多的物理特性函式庫 可縮短模擬系統開發的時間 週邊硬體的支援上相當豐富主要有三個使用界面 函式庫發展界面 編輯語言發展界面及圖形式發展界面 幾何式商用授權軟體 7 MultiGenCreator在地形 海洋 天空等模型的建構上 表現相當優異CreatorPro 3D模型建構工具 可以產生擬真度相當高的三維模型RoadTools 優異的路面模型建構工具 並可符合美國國家高速公路及交通運輸協會對於道路幾何構面的要求CreatorTerrainStudio 快速建造大面積地形或地貌資料庫的工具Vega 是MultiGen主要的視覺模擬工具 軟體操作畫面 道路模擬場景 國際通用標準軟體 HTML HyperTextMarkupLanguage 這是W3C WorldWideWebConsortium 所制定的網頁製作標準 資料是以平面的方式進行呈現 雖然可使用Java或Flash來增加網頁的互動性 但仍不能完全滿足人們對於在網頁中使用3D互動式場景的需求 如何在現有的網頁架構上 增加可以跨平台的3D互動式網頁操作 VRML VRML的起源與發展 MarkPesce TonyParisi及PeterKennard在1994年第一屆全球資訊網研討會發表的3D瀏覽器 Labyrinth 平台獨立性具備可擴充性可在低頻寬 14 4kbps 網路環境下的運作能力以SiliconGraphics Inc SGI 的OpenInventor檔案格式為基礎 制定了VRML1 0的標準 但靜態的展示仍無以滿足人們的需求 VRML1 0 VRML97 X3D 不同版本的VRML VRML1 0以提供靜態的展示為主 並未具備與3D物件互動的功能 檔案第一行 VRMLV1 0asciiVRML97強調增加了3D物件的互動性 與物件的行為描述功能 VRMLV2 0utf8X3D強調與XML Java及串流視訊的整合 VRML編輯工具 使用一般文字編輯工具即可 但無法熟記所有的節點 node 名稱及使用方式 或憑空想像物件在空間位置的定位及行為 是否有類似Dreamweaver的編輯工具 現今常見的模型建構軟體 如3DSMax Viz Maya AutoCAD SolidWorks Pro E 等等 都已經可以輸出標準的VRML模型檔 虛擬實境套裝開發工具 如Superscape EON WorldUp等 也可支援標準VRML模型檔的匯入或匯出 都大幅增加了VRML的實用性 VRML編輯工具 續 VRMLPadParalleGraphics公司所發表的VRML編輯工具 為純文字界面的編輯功能 缺乏所見即所得的預覽視窗 編輯後的檔案需藉由VRML瀏覽器的播放 才能了解編輯後的結果 VRCreator具備所見即所得的操作界面外 軟體還內建超過1 000種的模型檔 聲音檔 行為命令 材質圖庫等CosmoPageFXVRCreator的新版本 VRML編輯工具 續 VirtusWalkThroughPro由Virtus公司所發表的視窗化VRML編輯工具定位主要在於讓使用者能夠設計出一套簡易的建築物導覽486等級的電腦 搭配一般的VGA顯示卡即可操作僅支援VRML1 0 軟體本身並不提供複雜的物件建構功能 且無法載入外部圖檔 僅支援少數的虛擬實境週邊硬體 VRML編輯工具 續 InternetSpaceBuilder ISB 為ParallelGraphics公司所推出的另外一套VRML編輯軟體所見即所得的操作界面 可直接點選軟體提供的基本物件模型 圖片 影片及材質 並可即時看到改變後的場景內容 具簡單的模型編輯工具 但無法建構複雜的物件模型 VRML編輯工具 續 CosmoWorlds支援VRML97規範中所訂定的各項功能節點可以使用圖形化的編輯介面輕鬆的改變各項場景或是物件的設定 可立即在場景預覽視窗中觀看改變後的效果 具備Script編輯工具 可設定較為複雜的模型運動行為 VRML瀏覽工具 使用時須搭配網頁瀏覽器 如IE或Netscape等 再外掛VRML的瀏覽程式 部份VRML瀏覽程式也提供ActiveX的物件 可結合程式開發工具開發功能更為廣泛的模擬系統 CosmoPlayer Viscape WorldView BlaxxunContact Voyager WebOOGL i3D WebSpace GLView VRWeb VRML瀏覽工具 續 CosmoPlayer電腦組裝播放畫面 BlaxxunContact操作畫面 影像式虛擬實境 影像式虛擬實境場景的製作 不像製作幾何式場景需要有立體空間的概念 而且需要熟悉各項模型編輯指令 貼圖技術 方可製作符合需求的場景 製作影像式虛擬實境只需要一部數位相機 可依需求選用不同解析度的數位相機 腳架與編輯軟體 再透過一些簡單的操作 便可輕輕鬆鬆製作屬於自己的虛擬場景 影像式商用授權軟體 1 QuickTimeVR由Apple公司所發展出來跨平台的影像式虛擬實境技術希望能提供使用者如真實照片般 且具有不同維度的影像式虛擬實境可製作360度的全景虛擬實境 亦可針對某一產品提供720度的物件式虛擬實境展示 影像拍攝時須維持相機在同一水平面 且相鄰照片須有一定程度的重疊 影像式商用授權軟體 2 PhotoVistaLivePictureiPIXInteractiveStudioPixMakerThePanoramaFactoryUleadCool360Horky 福氣網 其他虛擬實境相關軟體 1 模型建構工具建構場景所需之模型 如3DSMax Viz Maya SolidWorks AutoCAD Pro E Lightwave等人體模型 Poser地形模型 VistaPro影像處理軟體編修場景貼圖所需之影像 如Photoshop PhotoImpact PaintShopPro等 其他虛擬實境相關軟體 2 DirectX包括了DirectDraw Direct3DImmediateMode Direct3DRetainedMode DirectPlay DirectSound及DirectInput等幾大部份 負責了影像顯示 3D繪圖 網路連線 聲音播放及輸入設備的處理等使用DirectX設計者可以很方便的取得電腦硬體 如音效卡 繪圖卡 搖桿及鍵盤等 性能資訊及發揮及效能 讓程式設計師能更專心於軟體程式的開發 其他虛擬實境相關軟體 3 OpenGL OpenGraphicsLibrary 前身是SiliconGraphics設計的IRISGL 可讓3D動畫製作師專心於場景的設計與物件的行為控制 OpenGL並無法單獨使用 需利用其他程式語言 如C或C 進行函式庫的呼叫 以繪製使用者所需的圖形畫面 優點包括 顯示卡支援性佳 穩定性高 具可攜性 擴充性良好 開發容易及參考文件資料豐富等 其他虛擬實境相關軟體 4 Java3D是由昇陽 SunMicrosystem 所設計架構在Java平台上的製作3D互動式軟體函式庫 Cult3D由Cycore公司所發展的互動式3D網頁設計工具 主要能讓模型在網路上具有互動性操作的效果 也可與MicrosoftOffice AdobeAcrobat或是PDA做結合 應用在產品介紹等電子商務上相當的廣泛 3 2 2虚拟现实常用的工具软件系统1 常用的工具软件工业界制造了很多用于虚拟现实的先进软件工具 虚拟现实工具盒 toolkits 这包括 WorldToolKit WTK Sense8 1992 VCToolkit VCT DivisionLtd 1992 CyberspaceDeveloperKit CDK Autodesk 1993 VirtualRealityToolkit VRT3 DimensionLtd 1993 Mercury Sense8 1993 VirtualRealityDistributedEnvironmentandConstructionKit VR DECK Codella 1993 工具软件性能价格比较 由表中可见 软件的价格是较高的 而且由 1 000到 10 000不等 不同价格的软件有不同的性能 Mercury价格最低 适用的平台少 无编辑器 3D文件的格式少 库函数没有 Render ware价格最高 适用的平台多 且包括SGI工作站 3D文件的格式多 库函数较多 WTK是较好的一种 价格也较高 工具软件支持输入工具的比较 由表中可见 Mercury价格最低 适用的鼠标少 无跟踪球和手套 跟踪器少 Render ware价格最高 适用的鼠标多 有跟踪球和手套 跟踪器多 还包括BOOM系统 WTK是较好的一种 价格也较高 工具软件支持输出工具的比较 由表中可见 Mercury价格最低 监视器较差 头盔较简单 无投影机 声音较少 Render ware价格最高 监视器较好 头盔有多种 声音较多 WTK是较好的一种 价格也较高 工具软件支持图形格式的比较 由表中可见 Mercury价格最低 仅支持平面明暗 Render ware价格最高 支持多种明暗和纹理 WTK是较好的一种 价格也较高 2 VRML VRML是VirtualRealityModelingLanguage的缩写 VRML是描述三维造型与交互环境的简单的文本语言 VRML是在Internet上建立3D多媒体和共享虚拟世界的一个开放标准 1 VRML的特点 a 是造型语言 可描述3D场景 b 用户可进入VRML建立的世界 去探索它 c VRML建立的世界是交互的 受用户控制 d 把2D 3D物体 动画 多媒体效果混合于一体 e 平台无关 可在PC或SGI上浏览 f 基于Web 可建立三维可视化服务器 g 着色不如OpenGL快 h 没有底层控制 j 有限的界面 2 VRML的概念与实例VR世界中的坐标系 X轴指向屏幕右侧 Y轴指向屏幕上方 Z轴指向观察者 VRML程序是解释执行 实时建模着色的文本程序 它的两个要点是 节点 node 构成虚拟世界的基本要素 路由 route 节点间传送信息的途径 VRML文件都是扩展名WRL的文本文件 或扩展名WRZ 压缩格式 的二进制文件 它一般包括如下四部分 文件头 位于首行 提供版本信息 如 VRMLV2 0utf8 注释 以 开始的一段文字 节点 场景信息的单位 可以描述造型 灯光 声音等 如 Cylinder 描述一个圆柱体 域值 域用于描述及改变节点的属性 值反映域的大小 如 Cylinder height2 0radiu