虚拟现实与VRML－第二章虚拟现实的接口设备.ppt

山东理工大学虚拟现实实验室虚拟现实与VRML 虚拟现实与VRML 第二章虚拟现实的接口设备 第一节位姿传感器 1 位姿传感器要求 机器人 生物学 建筑 CAD 教育等应用领域 都要求知道运动物体实时的位置和方向 虚拟现实系统则要求知道人体各部分实时的位置和方向 1 3 D空间中的运动的刚体具有三个平移 沿着X Y和Z轴 和三个转动 偏航 俯仰和滚动 2 在物体以高速运动时 应该足够快地测出这六个数值 3 3 D测量不应妨碍物体运动 非接触式测量 低频磁场 超声 雷达 红外摄像和LED等 已经代替机械臂等接触式测量 4 3 D传感器都具有一些共同的参数 例如 采样率是每秒测量次数 执行时间是在行为和结果之间的时间延迟 传感器的精度 即实际位置与所测出位置的差 分辨率是传感器检测的 粒度 即检测的最小的位置变化 位姿跟踪常用的性能参数有 精度 分辨率 采样率 执行时间 范围 工作空间 价格 障碍 方便 对模糊的敏感 容易校准 同时测量的数目 方向相对位置跟踪 5 人体并非刚体 上述六个数值只能描述人体整体的运动 人体各部分之间的相对运动也应该测量 6 位姿跟踪和映射是VE系统的基本要求 常用的要求包括 a 视觉显示对头和眼的跟踪 b 触觉接口对手和臂的跟踪 c 视觉显示对身体的跟踪 d 面部表情识别 虚拟衣服和医用遥控机器人的映射 e 建立数字化几何模型的环境映射 7 一种工作方式 流动 方式 中 传感器数据连续送给主计算机 这最适于快速运动的物体 但是这加重了通信线路的负担 如果要求以30个画面 秒的速率重复计算 则每33毫秒要画出一个画面 9600波特率的串行口要花费12毫秒传送6个数的一组数据 每个数有16bit 因此 仅仅通信就要花费33毫秒的36 另一种工作方式 请求 方式 中 当主计算机请求时 才传送一组的6个数 其它时间不读传感器数据 于是总体画面更新时间中的通信时间部分就下降了 8 用于位姿跟踪和映射的基本传感系统有 机械链接 磁传感器 光传感器 声传感器和惯性传感器 2 各种位姿跟踪器的比较如下 第二节视觉显示 1 视觉显示概述理想的视觉显示与日常经历中的场景对比 在质量 修改率和范围方面应该是无法区分的 但是当前的技术还不支持这种高真实度的视觉显示 而且也不清楚是否多数应用要求这种高真实度 对任何给定的应用 必须认真评价各种显示特性的重要性 这包括视觉特性 视场 分辨率 亮度 对比和彩色 人类工程学 安全 可靠和价格 视觉显示的基本要求是提供立体视觉 下图表示 立体视觉的基本原理 图中表示两眼光轴平行的情况 相当于两眼注视远处 内瞳距 IPD 是两眼瞳孔之间的距离 两眼空间位置的不同 是产生立体视觉的原因 F是距离人眼较近的物体B上的一个固定点 右面的两眼的视图说明 F点在视图中的位置不同 这种不同就是立体视差 人眼也可以利用这种视差 判断物体的远近 产生深度感 这就是人类的立体视觉 由此获得环境的三维信息 人眼的另一种工作方式是注视近处的固定点F 这时两眼的光轴都通过点F 两个光轴的交角就是图中的会聚角 因为两眼的光轴都通过点F 所以F点在两个视图中都在中心点 这时 与F相比距离人眼更远或更近的其他点 会存在视差 人眼也可以利用这种视差 判断物体的远近 产生深度感 完全的视觉接口包括四个基本部分 1 视觉显示表面和辅助光学系统 它把详细的时变的光模式投影在用户视网膜上 2 产生光学信号的系统 来自真实场景的摄像机 存贮图像的录像机 生成图形的计算机 或三者的组合 3 感觉头或眼球位置运动的系统 这是上一节介绍的位姿跟踪问题 4 使视觉显示表面相对于人眼定位的系统 这一节只介绍 1 首先介绍显示表面 然后介绍光学系统 最后介绍有关产品 对虚拟现实 VR 最常用的技术成熟的显示表面类型是阴极射线管 CRT 和背光液晶显示 LCD VR应用有两类主要的视觉显示光学系统 头盔显示和非头盔显示 下面分别介绍不同的显示表面和不同的光学系统 最后介绍现有的产品 2 视觉显示的显示表面 对虚拟现实 VR 最常用的技术成熟的显示类型是阴极射线管 CRT 和背光液晶显示 LCD 虽然这些技术对近期的虚拟现实应用是很有用的 但几个缺点却妨碍其长期的发展 1 CRT类显示 2 LCD类显示 CRT技术是多年来在电视机和计算机监视器上广泛应用的成熟技术 CRT技术能给头盔显示器提供小的高分辨率高亮度的单色显示 但这些CRT较重 并把高电压放在人头部上的设备中 此外 开发小型高分辨率高亮度彩色CRT是困难的 在头盔显示中 要求笨重的光学设备形成高质量图像 组合的技术途径可产生高质量彩色图像 并减少重量和价格 近期的途径是把高质量彩色的基于CRT的HMD 头盔显示器 引入市场 它使用了加于单色CRT的机械电子彩色滤光技术 这种途径中 CRT以三倍正常速率扫描 并依次加上红 绿 兰三色的滤光器 LCD技术以低电压产生彩色图像 但只具有很低的图像元密度 在头盔显示中 也要求笨重的光学设备形成高质量图像 市场出售的头盔式显示器几乎全部依靠TV 电视机 质量的液晶显示 在VR和遥操作领域 不要求大区域显示 只要求紧凑的轻便的高分辨率显示 LCD显示器有待提高其分辨率 3 VRD类显示与基于CRT或LCD的显示器不同的工作是在华盛顿大学人类接口接术 HIT 实验室 HIT实验室正研究基于激光微扫描技术的显示VRD 它用微型固体激光器扫描视网膜上的彩色图像 它的优点是不使用笨重的光学设备 可能开发高分辨率 轻便 低价格显示系统 但激光微扫描显示还面对大量技术障碍 VRD VirtualRealityDisplay 是美国华盛顿大学HumanInterfaceTechnologyLab HIT 在1991年发明的 目标是产生全彩色 宽视场 高分辨率 高亮度 低价格的虚拟现实立体显示 MicrovisionInc 具有该技术产品化的专有权 该技术有很多潜在的应用 由军事航天应用的HMD 到医学应用 VRD直接把调制的光线投射在人眼的视网膜上 产生光栅化的图像 观看者的幻觉是 感到这个图像是在前方2英尺远处的14英寸监视器上 实际上 图像是在眼的视网膜上 图像质量很高 有立体感 全彩色 宽视场 无闪烁 VRD的主要特点如下 很小很轻的眼镜 大于120度的大视场 适应人类视觉的高分辨率 有更高彩色分辨率的全彩色 适用于室外的高亮度 很低的功率消耗 有深度感的真正的立体显示 具有看穿的显示方式 这类似于看穿的头盔显示 在看到激光扫描的虚拟图形的同时 也看到真实场景 下图表示 VRD的工作原理 源图像是要求显示的图像 调制的光源是红绿蓝三基色的光源 水平和垂直扫描器根据源图像对于光源进行扫描 经过光学镜头 在人的视网膜上成像 在普通的屏幕显示中 受控的光线或光发射元素组成高密集的阵列 这个阵列投影到各个象素 但在VRD的显示中 不存在其他屏幕 象素流直接投影到视网膜 VRD中不具备象素持续性质 只有视网膜上光接受器的光收集特性 因此 在VRD提供的光线和人脑产生的图像质量之间的关系 就是很重要的了 源图像直接进入驱动电子设备中 去调制红绿兰三色的光线 每个象素通过水平和垂直扫描器 在视网膜上产生光栅化的图像 视网膜没有持续性质 因此没有闪烁 产生的图像很亮 有很高的分辨率 有很宽的视场 每个象素投影在视网膜上的时间很少 30 40ns 此外 该设备只消耗很少能量 VRD的显示设备 VRD的主要指标如下 分辨率只取决于光源的衍射和像差 亮度可达很高和很低 所以对比度就很大 传统的显示器不会发出很强的光 所以很难在很亮的环境下看到 VRD的显示可以在很亮的环境下看到 CRT只能反射可见彩色光中的一部分 VRD发射高饱和的纯彩色光 其彩色逼真度极高 CRT未把电能有效地转成光能 VRD把所有产生的光线投在视网膜 所以允许很强的亮度和很小的能耗 VRD很容易改进性能 VRD提供通用的方法 适用于各类应用 有潜力降低价格 VRD包括很简单的子系统 将以低价格进行大批量生产 IVRD是HITLab为美国海军飞行员研制的交互的VRD TheOfficeofNavalResearch正在研制IVRD 飞行员用这种设备 能更好地在强光下观看 有立体视觉 通过手指指向显示与设备交互 设备很轻 耗能很少 IVRD课题的目标是 高亮度彩色图像覆盖在飞行员的真实视场中 测量在真实视场中增强图像的位置 测量注视方向 以及在增强图像中眼和手的位置 在增强图像的视场中360度范围显示传感器数据 允许观看者要求显示更多信息 3 VRD类显示 VRD的应用包括用于军事 头盔 移动电话 以及医学上 HMD上的应用 Swanson指出 直升机飞行员需要获取信息 以便做出关系生死的决策 如果信息是以图形或直觉的方式提供的 就能减少飞行员的负担 增加在恶劣环境下的可视能力 HMD在白天和夜间都提供全彩色的图形信息 但缺乏有效的数据接口的联系 VRD技术的产品Microvision给军队提供了单色双目HMD系统 视场水平52度 垂直30度 显示行数960 水平象素1716 重量2磅 包括两个显示器 头盔结构 及光学系统 图像以 看穿的方式 投影 飞行员同时看到背景场景 交互的VRD 三维交互显示的VRD技术 可以集成在眼镜或头盔上 产生立体效果 VRD的显示设备用于头盔显示器 VRD的头盔显示器用于军事 手持的二维显示VRD技术将集成进手提电话 允许用户看商业网 因特网 e mail web页面 传真 文件等 如同看台式监视器 医学应用 据估计 美国2 的人有弱视 弱视的人不是全盲 但不能拿到驾驶执照 而且难以阅读和看电视 原因可能是视网膜的伤害 中心或周围视力的衰减 或光路的伤害 角膜伤害或晶状体伤害 VRD使得弱视的人能看到图像 1998年 Microvision与Wallace KetteringNeuroscienceInstitute签订了合同 在神经外科的安全帽的研究上合作 没有视网膜伤害的病人能通过他的视场看到运动的粒子 具有视网膜伤害的病人实际上能反常地看到他自己的盲区 要求病人跟踪视觉扰动的边缘 于是就产生它自己视网膜的数字图像 这实际上定位了受伤的组织 这个图像与基底摄像机拍摄的照片比较 基底摄像机获取器官内表面的图像 基于VRD的工作站 在过去一年扫描了58个各种视网膜疾病的病人 VRD的未来 将更加紧凑 正在开发边缘发射 超亮度发射二极管 以及微型二极管激光器 这将允许直接的光调制 加上专用集成电路技术 可能产生手持的VRD设备 未来的VRD的头盔显示器 4 VLSI类显示MITAI实验室用硅VLSI芯片技术实现这种显示特征 比较液晶显示可达到的分辨率和基于硅技术的图像传感器商品的密度 就可以看到密度和性能的潜力 LCD最大分辨率约640 400 象素间距约330m 产生200mm 130mm的显示 硅传感器制造的分辨率为4000 4000象素 点距11m 更小的象素尺寸是可能印制的 但光密度要求用较大的象素区 当前技术下合适的方案是2000 2000图像显示 象素间距8m 产生16mm 16mm的显示 5 全息显示计算机生成的立体图是三维场景的一系列二维视场的光学记录 最后的全息图投影每个二维图像在观看区域中 于是可以看到有水平视差的立体视场 可以产生全色高分辨率图像 以及大的宽视场全息图 然而 这是非实时图像技术 它要求离线记录 为产生全息图要求大量信息 因为必须产生每个视场 一般100到300个视场 计算生成的绕射模式 这种方法是复杂的 计算量大的 直到最近 计算机生成的全息图还只是用于绘图或打印技术记录 用作为离线过程 但是一个新方法允许全息图像实时显示 由快速帧缓冲存储器显示 全息图信号可以实时扫描并发送 这个系统是MIT发明的全息录像 2 2 3视觉显示的光学系统 VR应用有两类主要的视觉显示光学系统 头盔显示和非头盔显示 它们显示的图像直接联系到用户头部运动 用传感器测量头部位姿 或间接联系头部运动 用手柄等控制设备或语音输入 1 头盔式立体显示头盔显示通过安装显示硬件在头盔上或在头带上 头盔显示的一个显著优点是显示定位伺服机械由人的躯干和颈部提供 这允许不附加硬件就产生完全环绕的观看空间 并消除某些非头盔显示中显示表面定位系统引入的延迟 在许多HMD中 所有图像是合成的 由计算机产生 头盔显示的缺点是重量和惯性约束 妨碍了用户自由运动 由此引起的疲劳 以及随着增加头部惯性而增加运动眩晕征状 头盔显示应有好的空间分辨率 视场 彩色 并应轻便 舒适 代价效益好 头盔显示产生无缝的全环绕的观看体积 头盔显示一般难以制造 高性能HMD价格高 在性能上还有技术难点 1 高分辨率 小型 轻便 低价的显示还有待实现 2 重量和惯性约束影响到发生运动眩晕 正确判定方向 以及长期适应性 3 由于尺寸 性能和价格约束 多数HMD使用定位 聚焦补偿 就给用户提供了冲突的视觉深度信息 4 HMD的正常工作联系到头部跟踪系统性能 修改率和延迟 下图表示 在头盔中LEEP光学系统的结构 两个液晶显示屏幕分别在两眼前方很近的地方 光学镜头使屏幕上的图像 成像在眼睛前方明视距离处 以便人眼正常观看 光学镜头还会放大图像 以便增大视场 LEEP光学镜头就是一种这样的光学镜头 2 立体眼镜式立体显示非头盔式但要求观看设备的立体显示中 场顺序眼镜 液晶光阀眼镜 用于双目分时观看左右图像 偏振眼镜用于双目分别观看不同偏振的左右图像 前者是非头盔的立体显示中常用的方式 又称为立体眼镜方法 后者则在立体电影院中提供立体显示 非头盔立体眼镜方式显示采用立体屏幕与投影显示 高分辨率彩色立体屏幕和投影显示系统价格较低 因此往往用于计算机图形学和娱乐业 这些系统只要求一对轻便的主动或被动眼镜产生高质量的立体显示 因此给用户施加最小的惯性约束 并是舒适的 在舒适的观看范围的限制下 屏幕和投影显示的静态视场和空间分辨率取决于用户到显示平面的距离 用大的显示平面 不要求光学设备 就可以实现较大的视场 100 水平视场 屏幕和投影显示一般比HMD更大更重 这种空间和重量限制是其缺点 此外 必须用伺服控制或多个静态显示表面增加观看空间 提供全环绕视觉环境 增加观看空间的另一个途径是使用与头盔显示中同样的头部位姿传感器 非头盔立体眼镜方式显示中 显示设备 屏幕和投影 不戴在头上 较便宜 并可提供高分辨率彩色图像 这减少了加于头部的重量和惯性约束 减少了对定位 聚焦补偿系统的体积重量约束 下图表示 立体投影显示的第一种方式 主动式系统 分别对应左眼和右眼的两路视频信号 轮流在屏幕上显示 它们的频率为标准更新率的二倍 观看者佩戴具有液晶光阀的立体眼镜 液晶光阀的开关 与显示的图像同步 于是 在显示左眼的图像时 左眼的光阀打开 右眼的光阀关闭 同步信号可以通过红外信号传送 眼睛就可以在无线状态工作 要求显示器具有两倍的显示频率 比利时BARCO公司的投影器可以提供这种功能 下图表示 立体投影显示的第二种方式 有单台CRT投影机的被动式系统 投影机轮流在屏幕上显示 分别对应左眼和右眼的两路视频信号 它们的频率为标准更新率的二倍 Z 屏幕分别对两眼的图像 施加不同的偏振 观看者佩戴具有不同偏振的眼镜 比利时BARCO公司的投影器可以提供这种功能 下图表示 立体投影显示的第三种方式 有两台CRT投影机的被动式系统 两台投影机分别在屏幕上显示对应左眼和右眼的两路视频信号 它们的频率为标准更新率 两台投影机镜头前 分别安装不同的偏振片 施加不同的偏振 观看者佩戴具有不同偏振的眼镜 比利时BARCO公司的投影器可以提供这种功能 下图表示 立体投影显示的第四种方式 有两台LCD投影机的被动式系统 两台投影机分别在屏幕上显示对应左眼和右眼的两路视频信号 它们的频率为标准更新率 两台投影机内部可以施加不同的偏振 观看者佩戴具有不同偏振的眼镜 比利时BARCO公司的投影器可以提供这种功能 非头盔立体眼镜方式显示还不完善 如果不提供环绕的观看体积 就要求头部跟踪 计算机生成的图像必须被用户跟踪 显示表面必须伺服控制 最后 显示系统的体积重量大于头盔显示 3 自动立体显示自动立体显示不要求辅助的观看设备 如场顺序或偏振眼镜 不给用户附加惯性约束 观看区域或观看体积的大小可能有所不同 自动立体显示也可由多人观看 a 透镜显示一个透镜面是圆柱透镜的阵列 它用于产生自动立体三维图像 这是通过把两个不同的二维图像导向各自的观看子区域 在透镜面前方不同的角度上 在子区域内形成图像 当观察者的头在正确的位置时 每只眼就在不同的观看区 看到不同的图像 得到双目视差 透镜成图像对于大的视场要求高分辨率 对CRT技术 象素尺寸限制了最高分辨率 因而限制了视线数目 带宽要求也可能很大 因为要求显示两个视场 此外 两个视场必须实时显示 而且图像被切片并放在透镜后面的垂直条中 可显示的视场的数目受到圆柱透镜聚焦能力不完善性的限制 透镜畸变和光的绕射减少了透镜方向性 于是由背面屏幕聚焦的图像 不是以平行射线出现 而是以某种角度散布 这种散布限制了能彼此区分的子区域数目 透镜面显示的另一个关键问题是背部屏幕图像必须对准缝口或透镜 否则子区域图像将不会导向合适的子区域 柱面透镜构成左右眼两个观看区域 b 视差档板显示视差档板是放在显示前方的垂直平板 它对每只眼都阻档了屏幕的一部分 视差档板的作用类似透镜面 差别在于它是用档板档住部分显示 而不是用透镜导引屏幕图像 屏幕显示两个图像 每个分成垂直条 屏幕上显示的条交替为左右眼图像 每只眼只看到它的条 视差档板显示一般不使用 因为有几个缺点 首先 显示的图像太暗 因为档板档住每只眼大部分光 而且 对小的缝宽度 由缝隙的光扩散可能是问题 这是因为光线散射 此外 CRT图像必须划分成条 下图中 上面一图表示棱柱透镜对两幅图的导向作用 原理类似于柱面透镜 下面一图表示视差挡板对两幅图的局部遮挡 c 切片堆积显示切片堆积显示也称为多平面显示 它由多层二维图像 切片 构成三维体积 正如发光二极管 LED 的旋转线可以产生平面图像感 LED的旋转平面可以产生体图像 类似的体积可以用CRT显示或运动镜面扫描 运动镜面必须以高频运动很大距离 所以也可以用变焦距镜面 一般用30Hz声音信号振动反射膜片 在镜面振动时 聚焦长度改变 反射的监示器在截断的金字塔型观看体积中形成图像 镜面连续改变其放大率 使随时间扫描的图像连续改变其深度 这个途径的变型正由TI公司开发 在这个技术中 17m见方微机械镜面 由硅梁支持在对角上 两个未支持的角涂上金属 用作静电驱动器电极 它使镜面拉到一边或另一边 驱动速率约10微秒 角偏转约10 允许微镜面偏转入射光形成高分辨率显示 一个版本包含约700 500象素 使用由彩色滤光轮得到的帧序列彩色 以及每个象素强度的6位脉宽控制 切片堆积方法描绘一个照亮的体积 使物体是透明的 而被遮档的物体不能消隐 对空间数据集和固体建模问题这可能是理想的 但它不适于有消隐表面的照片和真实图像 增加头部跟踪就允许消隐表面在绘制步骤对一个观看者近似地去掉 然而 不是所有表面都可以正确绘制 因为两眼可能由不同位置观看 2 2 4视觉显示的产品 1 头盔显示至今的HMD商品主要包括低分辨率大视场基于LCD系统 历史上 广泛应用的HMD商品是VirtualResearchFlightHelmet VPLEyePhone和LEEPSystemsCyberFace 所有三者都提供100 到110 水平视场 用LCD屏幕 有效的空间分辨率约300 200象素 用标准的NTSC外观 宽高比 所有设备都在1万美元以下 VPLResearch推出了较高分辨率HMD 称为HRX 以后又因可维修性差而放弃了 英国的WIndustries推出粗的HMD 称为Visette 特性类似于VRFlightHelmet VRFlightHelmet和VPLEyephone都已不再销售 只有很少的CyberFace还在使用 VirtualResearch没有继续它成功的FlightHelmet 它推出了一种轻便的HMD 使用小型单色CRT以及彩色轮 它称为EYEGEN3 这个28盎司系统取两个NTSC输入 分辨率250 水平 493 垂直 其视场在100 双目重叠时为32 在50 双目重叠时为48 它有很好的亮度与对比 价格低于8000美元 在较高档的商品范围 约15万美元 KaiserElectro Optics推出了ColorSimEye 这是军用研究的结果 它在40 对角视场上提供1280 水平 1024 垂直 的隔行扫描线 正在开发60 80 视场的产品 也有单色产品 CRT安装在头部侧面低处 减少头部转动时的惯性约束 简单的光学设备把图像送进操作者眼睛 它提供44 穿透能力 表面稳定的铁电液晶光闸用于顺序显示三基色 其更新率60Hz 180Hz扫描率 其重量3 5磅 头盔显示器性能和价格 基于CRT的头盔产品 a 为FlightHelmet b 为CybefaceII c 为Tier1 d 为HMSI1000 UltrasonicHeadTracker超声头部跟踪器FittingAdjustment佩带调节器LCDDisplay液晶显示器ChestCounterweight胸部配重Stereo MonoSwitch立体 平面开关Detachableview可拆卸的显示器Light WeightViewer轻便显示器 a 为HMD131 b 为Datavision9cOptics光学镜头Mirror镜子CRTCRT 下图表示 美国VIRTUALI O公司的头盔显示器产品 I glasses 重量240g 美国01Products公司的头盔显示器产品 PT 01 显示象素为800 225 180000 日本岛津制作所的头盔显示器产品 1000HRpv 显示象素为800 600 重量740g 日本AEC公司的头盔显示器产品 VirtualResearchFS5 水平显示象素为800 重量1 07kg 美国VirtualResearchSystems Inc 公司的头盔显示器产品 V8 显示象素为640 480 重量1 038kg 日本SONY公司的头盔显示器产品 LDI 100 显示象素为832 642 重量120g 近年为各种军事研究应用开发了先进的高性能HMD 这些系统虽然功能强 但价格往往超过50万美元 最初为军用开发的高档HMD技术已转向商业 新的市场已形成了低档的设计 轻便 中等分辨率 约1000水平线 彩色 看穿的HMD在20万美元以下 较低分辨率系统 NTSC水平 在1万美元以下 中等分辨率非头盔场顺序投影系统在2万美元以下 等效的BOOM类系统在10万美元以下 商业压力会促进资助 当前的商业和技术趋势使VR的显示还有几个缺点 当前最好的系统的分辨率相当于高清晰度TV 高分辨率的宽视场的眼分辨率限制的显示系统 有待进一步研究 为提供180 水平 120 垂直 的视场 人的视场 要求显示设备提供约4800 水平 3800 垂直 线的分辨率 应该强调开发小型高分辨率CRT或固态显示 2 非头盔的显示 经典的基于CRT的屏幕和投影显示有足够的扫描速率和带宽 可以用场顺序技术产生高分辨率 1000水平线 立体显示 这种形式的高分辨率彩色高带宽显示 对屏幕型式约2000美元 对大屏幕投影方式约为13000美元 这种立体显示利用时间顺序方法提供左右眼交替的立体显示对 在计算机图形市场上 场顺序设备最早的提供者是StereographicsCorporation 它制造了一系列LCD光闸眼镜 它用红外技术作场同步 这些眼镜和红外发射器可以加到适当的计算机和投影系统 在2000美元以下 3DTV提供低价格 有线同步的 场顺序系统 整个系统价格比可比的头盔显示低一个数量级 这种立体眼镜的显示系统 广泛应用于计算机图形学和低档的VR系统 它以较低的成本实现了立体显示 使用主动立体眼镜的立体显示系统 a 为标准的布局 其中利用红外信号传送同步信号 用于控制液晶眼镜的开关 眼镜上备有轻便的锂电池 眼镜在无线状态下工作 b 为用于VR的布局 除了标准布局中的上述设备外 眼镜上还有头部跟踪的超声接受器 超声接受信号要经过导线传给头部跟踪系统 眼镜在有线状态下工作 3 混合的立体显示系统 Fake空间实验室开发了一类显示 称为BOOM 它的显示器安装在六自由度支持结构上 用户以两手抓住显示器 转动显示器改变观看方向 好像它是望远镜 用按钮控制 在VR中向前向后运动 这种粗的地面安装设备有几种布局 低档系统用两台CRT显示提供640 水平 480 垂直 单色分辨率 BOOM的高档三色版本提供1280 水平 1024 垂直 隔行分辨率 使用彩色滤光技术 BOOM观看者在六自由度支持结构上有集成的跟踪传感器 这个跟踪系统 在改变观看方向后5ms以内 很快把方向位置信息送给计算机 下图表示 BOOM系统的工作原理 图中可见 由机械臂支持的显示器 混合的屏幕显示系统 使用小的显示表面 通过显示支持结构支持显示系统 显示系统通过伺服控制或人操纵跟随用户头部运动 这些系统去掉了头盔显示的惯性约束 并允许用小型高分辨率彩色屏幕显示设备 此外 通过显示支持结构的仪表得到头部位姿信息 于是不增加复杂性就可以得到大的有效的观看空间 在伺服控制的方案中 由电子机械控制机构产生的延迟和失真必须解决 还要注意与人头部相连的电源设备的安全问题 人操纵的设备没有安全问题 但是必须由一两只手移动视觉设备 于是这一两只手就不能用于人机交互的任务 4 多面的显示系统 VirtualEnvironmentEnclosure 多表面显示系统 VirtualEnvironmentEnclosure 至少具有三个显示表面 显示表面可以是墙面 天花板 和地面 它们彼此相连构成房间 最早的布局是立方体的三个显示墙面和一个显示地面 典型的尺寸是 每边长度10英尺 允许多人同时在这个虚拟环境中 多面显示系统中 同时在三面 四面 五面或六面墙面上显示图像 显示图像可以充满整个视场 增加沉浸感 第一个VirtualEnvironmentEnclosure是1991年伊利诺伊 Illinois 大学开发的CAVE CAVEAutomaticVirtualEnvironment 它在图形学会议SIGGRAPH92上发表 由多台计算机产生的图像 被镜面反射到投影屏幕 视点在环境中的移动 受一个主要用户的控制 该用户身上有位置跟踪设备 如磁跟踪器 测量他注视的地方 该用户还用操纵杆控制视点的移动 为了观看立体显示 所有用户都要佩带立体眼镜 一个缺点是 除了主要用户外 每个人都好像乘车一样 会出现仿真眩晕 CAVE的房间尺寸是30 20 13 投影机的光学系统被镜面折叠 每个投影面用单独的投影材料 在三面墙交界的两个墙角处 从房顶到地面拉一根1 4英寸的缆线 缆线的遮挡会破坏在墙角处的立体效果 CAVE由PyramidSystems Inc 销售 与伊利诺伊大学合作 保持很强的技术支持 C2是由爱荷华 Iowa 州立大学制造的 通过与爱荷华工程部的合作 他们试图改进CAVE的不足 主要改进包括 移动地板投影由用户后方到用户前方 这就把用户在地板上的阴影移到用户后方 不至影响显示 在墙角处 用架子把两边的墙面夹在一起 防止有阴影投在屏幕上 用Unistrut结构 提供更好的立体声效果 CABIN ComputerAidedBoothforImageNavigation 是东京大学制造的五面显示的系统 它有强化玻璃的地板 还有三面墙和天花板的显示 得到工业界支持 NAVE NAVEAutomaticVirtualEnvironment 是由GeorgiaTechVirtualEnvironmentsGroup制造的 课题成本 60k 适于用在大学的实验室 它用视觉和其他物理感觉增强全局的沉浸感 两个人坐在一个椅子上 采用力反馈手柄控制运动 声音系统很好 还通过地板发出震动 用旋转和闪烁的光线加强气氛 C6正在由爱荷华 Iowa 州立大学制造 是三维全沉浸的合成环境 它的房间中 四面墙 地面和天花板都是投影屏幕 显示背投立体图像 一面墙可动 允许用户进出房间 VirtualEnvironmentEnclosure的改进包括 减小空间要求 增加投影面 增加立体声音 增加物理反馈 以及降低价格 下图表示 CAVE1系统的工作原理 该系统中 前方 左方 右方 上方的四面墙 都是投影屏幕 图中可以看到 对四个屏幕的四台投影机和四个反光镜 CRT LCD VRD等显示技术的对比如下 头盔式 立体眼镜式 自动立体显示的对比如下 第三节听觉显示 1 听觉显示概述虚拟环境的听觉接口应能给两耳提供一对声波 1 它应有高逼真性 2 能以预订方式改变波形 作为听者各种属性和输出的函数 包括头部位姿变化 3 排除所有不是VR系统产生的声源 如真实环境背景声音 对增强现实系统可以放松上述条件 3 它的意图是组合合成声音与真实声音 为了满足这些要求 听觉显示系统应该包括发声设备 下面将介绍两种发声设备 为了使用户产生置身于某种声场的临场感 要求解决声音空间定位和建模问题 下面也将说明 为了仿真不同类型的声源 要求合成各类特定声源的声音信号 下面只介绍非语音信号的合成 2 声音显示设备一般讲 用耳机最容易达到虚拟现实的要求 在使用喇叭 并远离头部时 每个耳朵听到每个喇叭的声音 控制问题很困难 虽然商业化的高逼真电影往往声称喇叭有很好的形成声象能力 但用户限制在房中单一收听位置 只得到固定方位声象 不补偿头部转动 而且房间的声学特性不容易处理 此外 由于耳朵完全打开 不可能排除环境中附加的声音 最后 虽然与耳机有关的接触感可能限制听觉临场感的程度 但是由于用户需要在虚拟和真实环境之间来回转移 这种与耳机接触可能是有用的 在任何情况 由于视觉接口会存在这些问题 在需要喇叭的情况下 可能发生高能低频声爆破 这种情况 喇叭可能用于振动部分身体 而不仅是耳膜 1 耳机耳机有不同的电声特性 尺寸重量 以及安在耳上的方式 一类耳机是护耳式耳机 它是大的重的 并用护耳垫连在耳朵上 另一类耳机是插入耳机 或耳塞 声音通过它送到耳中某一点 插入耳机可能很小 并封闭在可压缩的插塞中 或适于用户的耳模 它放入耳道中 耳机的发声部分也可能远离耳朵 其输出的声音经过塑料管连接 一般2mm内径 它的终端在类似的插塞中 所有耳机可以送交宽带宽的声音 高达15kHz 有适当的线性和输出级别 高达约110dB声压级别 为了精确控制耳膜的声压 需要知道由耳机驱动电压到耳膜声压的传输功能 可以使用接近耳膜的探针麦克风声级测量仪得到信息 这些测量是复杂的 特别是在几kHz的频率 一般 这个传输功能更复杂 而且当耳膜与耳机之间的封闭空间的大小增加时 也是不同的 封闭耳朵的护耳式耳机具有比插入耳机更多的共振 可以预计在一个指定的人身上重复安放耳机 会有很大的可变性 但是在高频下听力阀值的测量指出 即使在大的超级耳机中 测量 重测量可变性测试得到的差别是小的 在14kHz为几个dB 这样 就不必要对给定的听者重复测量这个传输功能 对某些应用 各人之间的差别可能是不重要的 在一个人的耳朵上的校准就足够了 插入耳机 或耳塞 依靠与声音传送区有高的接触区域比 可以提供外部声音较好的衰减 在4kHz以上约35dB 在250Hz以下降到约25dB 护耳式耳机可以达到类似的高频衰减 但只有较少的低频衰减 最近开发的主动消噪音护耳式耳机提供高达15dB附加低频衰减 因而使其整个衰减特性类似于插入耳机 组合插入耳机和主动消噪音护耳式听力保护器可以达到最大的衰减 即使包括保护器 价格也不超过1000美元 除了在娱乐应用上的工作外 在VR领域涉及听觉显示的多数研究开发集中在由耳机提供声音 但这有两个缺点 1 它要求把设备安在用户头上 从而增加负担 2 它只刺激听者耳膜 考虑到 1 对许多现有的头部跟踪技术 头部跟踪设备与耳机都必须安在头上 如果视觉显示也是头部安装的 则与增加耳机有关的人类工程问题就是次要的 即使不要求听觉显示 视觉显示也要求头部跟踪器 增加耳机到头盔显示后所附加的负担是较小的 考虑到 2 即使耳机能产生足够的能量震聋用户 但通过耳机的刺激不足以给用户提供声音能量 影响耳朵以外的身体部位 虽然对VR领域的多数应用 听觉系统对正常听觉通道的刺激 外耳 耳膜 中耳 耳蜗等 是精确的 但是如果希望在环境中提供真实的高能声音事件的仿真 如爆破或高速飞机低空飞过 则其它身体部位的声音仿真也是重要的 如振动用户肚子 2 喇叭设计非耳机声音显示 如喇叭 多年来是音响工业的焦点 现有的许多喇叭系统 象耳机一样 在动态范围 频率响应和失真等特征上适用于所有VR应用 它们的价格也是合适的 虽然比耳机更贵 特别是要求在很大的音量上产生很高强度声音时 如在大剧场中的强声音乐 对VR应用 喇叭系统的主要问题是达到要求的声音空间定位 包括声源的感知定位和声音的空间感知特性 喇叭系统空间定位中的主要问题是难以控制两个耳膜收到的信号 以及两个信号之差 在调节给定系统 对给定的听者头部位姿提供适当的感知时 如果用户头部离开这个点 这种感知就很快衰减 至今还没有喇叭系统包含头部跟踪信息 并用这些信息随着用户头部位姿变化适当调节喇叭的输入 这个问题在用耳机时不存在 在耳机中 给定的耳膜收到的信号仅取决于该耳的耳机发出的信号 与耳机情况不同 在用喇叭时 给定耳膜收到的信号受到房间中所有喇叭发出的所有信号的影响 也取决于声音在房间中由喇叭到耳膜传送中经受的变换 在VE领域中 使用非耳机显示的一个最有名的系统是CAVE 伊里诺斯大学开发的系统 当前的CAVE系统使用四个同样的喇叭 安在天花板的四角上 而且其幅度变化 衰减 可以仿真方向和距离效果 在正在开发的系统中 喇叭安在长方体的八个角上 而且把反射和高频衰减加入用于空间定位的参数中 CrystalRiverEngineering开发的系统使用的方案类似于耳机空间定位系统 如Convolvotron 所以用户可以由一种系统改成另一种 只花费最少时间 房间声音建模1 声音的空间分布虚拟环境听觉接口以前多数工作是要提供声音的空间分布 在这个领域 工作最初集中在仿真正常的空间分布 很少注意提供超正常分布 2 房间声学建模当前 Acoustetron是唯一的包含简化的房间实时声学建模的实时声音空间定位系统 即使声学模型是简单的 并只有少量一阶和二阶反射 系统提供了加强的现实性 增强现实显示1 声音的空间分布要求对任何声音提供正常空间分布 这要求考虑被传送声音的复杂频谱 声音的传输涉及到空间滤波器的传输功能 这就是在声波由声源传到耳膜时发生的变换 在时间域内 在滤波器脉冲响应中的时间信号 实现同样的变换 由于存在两个耳朵 每只耳朵加一个滤波器 由声源传到这个耳膜时发生的变换 由于虚拟环境上多数工作集中在无回声空间 加之声源与耳的距离对应的时间延迟 确定滤波器只需要根据听者的身体 头和耳有关的反射 折射和吸收 于是 传输功能看作与头有关的传输功能 HRTF 当然 在考虑真实的反射环境时 传输功能受到环境声结构和人体声结构的影响 对不同声源位置的HRTF估计 是通过在听者耳道中的探针麦克风的直接测量 一旦得到HRTF 则监测头部位姿 对给定的声源定位 并针对头部位姿提供适当的HRTF 实现仿真 Wright Patterson空军基地的McKinley开发了一个时域空间定位系统 它给驾驶员提供三维声音 系统中的HRTF有足够的方位密度 HRTF在方位上测量每一度 所以不要求方位的插值 在高低角上 测量密度较差 需要使用线性内插 已开发出新的时域处理器 这种市售的机器比以前的系统有更多的存储器 此外 产品设计加大了灵活性 使研究者能分配处理能力 Convolvotron 使用频域滤波器 这是下一代空间定位设备 它使用频域滤波 以较低价格提供更大的容量 此外 因为它是通用的大量生产的数字信号处理板 所以系统完全模块化 容易升级 2 房间声学建模更复杂的真实的声场模型是为建筑应用开发的 但它不能由当前的空间定位系统实时仿真 随着实时系统计算能力的增加 利用这些详细模型将适于仿真真实的环境 建模声场的一般途径是产生第二声源的空间图 在回声空间中一个声源的声场建模为在无回声环境中一个初始声源和一组离散的第二声源 表示回声 第二声源可以由三个主要特性描述 1 距离 延迟 2 相对第一声源的频谱修改 空气吸收 表面反射 声源方向 传播衰减 以及 3 入射方向 方位和高低 通常用两种方法找到第二声源 镜面图像法和射线跟踪法 Lehnert比较了两种方法的计算效率 这是相对于可达到的帧频率 以及对有24个反射面的中等复杂性房间的实时性能 对一个特定的发射接收布局 计算了8个一阶和19个二阶反射 对这个测试场景 镜面图像法比射线跟踪法更有效 此外 镜面图像法确保找到所有几何正确的声路径 射线跟踪法 难以预测为发现所有反射所要求的射线数目 射线跟踪方法的优点是 即使只有很少的处理时间 它也能产生合理的结果 通过调节可用射线的数目 它很容易以给定的帧频工作 镜面图像方法由于算法是递归的 不容易改变比例 射线跟踪在更复杂的环境得到更好的结果 因为处理时间与表面数目的关系是线性的 不是指数的 虽然对给定的测试情况 镜面图像法更有效 但在某些情况射线跟踪法性能更好 由于声场模型的计算是声音处理流水线中最消耗时间的部分 所以这种计算的优化是值得的 计算资源可以按照达到仿真精度的要求来分配 例如 若初始声源已给定 则不要求反射滤波器 而且可以分配给HRTF更多的资源 更多的滤波器系数 得到更精确的空间图像 对二阶反射 必须进行频谱滤波 但是由于延迟反射的方向性在心理声学上不显著 则对HRTF滤波不要求精确性 声学单元的结构应允许分配资源的任务 CrystalRiverEngineering和NASA正在研究实时合成复杂声场的有效算法和信号处理技术 增强现实显示听觉通道的增强现实很少引起注意 如在视觉通道一样 在许多应用中必须组合计算机合成的声音信号与采样的真实声音信号 采样的真实声音信号来自当地环境 或借助遥操作系统来自远地环境 一般来自当地环境的信号可以由耳机周围的声音泄漏得到 或者由当地环境中的定位麦克风 可能在头盔上 得到 并把声音信号加在电路中合成而不是在声音域合成 但是因为希望在加入以前处理这些环境信号 或者希望在环境信号声源在远地的情况利用同样的系统 所以要用后一种途径 声音增强现实系统应能接收任何环境中麦克风感受的信号 以适应给定情况的方式变换这些信号 再把它们增加到VE系统提供的信号上 当前 声音增强现实系统最明显的应用是使沉浸在某种VR任务中的用户同时处理真实世界中的重要事件 如真实世界中的警告信号 4非语音声音合成1 非语音声音合成问题在声音空间定位和建模领域中进行了很多工作 在物理建模和计算机生成非语音声音领域的工作还很少 2 非语音声音合成的方法 1 附加合成 2 相减合成 3 物理建模3 非语音声音合成的设备当前用于非语音声音生成的设备可分两大类 采样器以数字形式记录声音并在以后实时重放 合成器依靠为模仿乐器开发的声音生成技术的分析与算法 1 非语音声音合成问题 问题是怎样建立实时系统 以能产生伪音乐声音 以及纯环境声音 如开门或打破玻璃 理想的合成设备能灵活地产生全连续的非语音声音 并能实时地连续调制与这些声音有关的各种声音参数 这种设备用作声源特征产生器 它可以用作声音空间定位系统的输入 于是 至少在开始 声源产生和空间合成是声音显示集成系统中功能分离的部件 控制分离设备要求某些额外代价 优点是每个部件可以开发 升级 并用作独立部件 于是系统不至封锁在过时的技术中 用于产生非语音声音的很多算法是基于最初为合成音乐及语音而开发的技术 语音合成的主要目标是产生智能的 或自然声音的 语音波形 为此必须精确地合成人的语音 在语音合成中 最终的声音输出可以根据可测的信息量及语音的逼真度确定 在合成音乐中 一般目标不是特殊的或受限的 它们根据设计者的某些主观准则确定 通常目标是产生有特定感知质量的声波 或者仿真某些传统的物理声源 或者产生某些有适当属性的独特声音 因为合成音乐的目标比合成语音更多样 所以有大量不同的可利用的合成方法 方法的选择取决于特定的目标 设计者的知识和资源 在任一种合成方法中 设计者控制某些时变参数 产生不同感知质量的声波 计算机控制的参数可能关系到被建模乐器的物理参数 关系到声波的形状和频谱 或关系到希望的感知质量 通常集合这些不同的技术 可以得到特定的效果 下面是某些一般的技术 2 非语音声音合成的方法 1 附加合成计算机控制的合成的一种方法是附加合成 在这种方法中 是用短时间富里衰方法叠加简单的正弦波 产生合成声音 或仪器谱线 这种方法的一个问题是产生有特定质量的声音信号所需的参数数目太大 这反映出许多重要的音乐感知远远超出短时间富里衰参数 于是 合成一个具体质量要求的声音是麻烦的 附加合成往往用于仿真已知声音 首先分析要求的已知声音 再直接测量这些参数 在已知参数中小的改变可以细调声波 另一个常用技术是频率调制 FM 合成 设计者规定信号的载频 调制系数和调制频率 通过改变载频与调制频率的关系 合成的声音可能是调谐的或非调谐的 在调谐的合成声音中 这个关系确定在声音中存在什么泛音 这在音色感知中是重要的 改变调制系数的值 可以控制合成声音频谱的散布 从而控制感知的程度 由于频率调制参数值与合成输出的感知方面之间的关系是直接的 所以频率调制方法是常用的 这个技术被许多市售的合成器采用 2 相减合成相减合成是音乐合成的术语 它是由滤波操作形成要求的声音频谱 成为物理建模的现代途径的先导 相减合成往往用于乐器的简单的物理模型 设计者规定声源波型和滤波器 它们可以符合或不符合真实乐器的关系 传统的乐器也可以用这种方式建立数学模型 它们被某些振动噪音源激励 乐器的物理特性过滤这些声音 对于铜管乐器 用户唇的振动是声源 在弦乐器中声源是弦振动 对于歌手 声源是音带的作用 影响声音输出的物理特性包括 乐器形状 有效长度 材料反射等 通过建模刺激源的振动方式 乐器物理特性的声音效果 相减合成可以用于合成已知的乐器 在演奏乐器时 通过开闭键或阀门 可以改变乐器的有效尺寸 这些变化引起建模的滤波器随时间改变 因为建模联系到物理参数 所以不难调节参数达到要求的效果 相减合成是这种集成特性建模的第一个尝试 基于集成特性的几个最近的物理建模技术包括 数字波导技术 传递函数技术 模态合成 以及物质弹性模型 它们能合成乐器声音和人的歌声 3 物理建模另一种选择是开发一个方法 通过建模物理声音事件的运动产生声音 如波方程的数值积分 由解乐器运动方程产生声音 能获取乐器的自然参数 包括许多重要的物理特性 表示声音系统的一般方法是利用在时域和三维空间域的偏微分方程 PDE 但是强化的数值计算和实时计算的约束说明这是不现实的 为减小声音生成任务的计算复杂性 且不放弃表示的物理本质 一种途径是用物理模型的集成特性 而不是在微观层次求解问题 解偏微分方程 碰撞声音是虚拟环境中简单声音事件的例子 可以预测两个物体可能的碰撞 这是通过观看它们的路径 物体实际破碎或变形的短促声音是碰撞声音 它表现出物体结构怎样受碰撞影响 为了说明怎样用物理模型产生碰撞声音 选择均匀杆作为实例结构 对杆结构的振动 机械理论有认真的研究 并为碰撞声音合成提供了坚实的基础 碰撞可以分解成两部分 开始碰撞事件的激励部分 发生振动现象的谐振部分 激励模块受到碰撞力 位置和持续时间的影响 谐振模块取决于结构约束条件 材料密度 弹性模量 以及物体几何尺寸 如长 宽 高 因为均匀杆有简单的结构 所以可能以方程描述它的主要振动方式 并根据集成物理特性计算自然的谐振频率 自然谐振频率表现材料类型和物体形状之间的紧密联系 并可能显示物体特性 对复杂的自由形式物体 可以用有限元分析计算对主要振动模式的谐振频率 另一个课题涉及音乐合成的广泛领域 并关系到在VR中使用声音 它利用特殊的计算结构进行音乐作曲 用特殊的硬件和软件作音乐合成 3 非语音声音合成的设备在采样器中 许多不同的声音可以精确地绘制 但为精确记录声音要求大量工作和存储介质 而且对声音参数只有有限的实时控制 反之 合成器提供适当程度的实时的计算机驱动的控制 广泛应用的合成器和采样器是基于MIDI 乐器数字接口 技术 当连到标准串行计算机线路 19 2kbar 时 这种设备的波特率 31 25kbar 还是低的 不能连续实时控制多个声源 一般 基于合成的MIDI设备 如使用频率调制的设备 在实时控制的类型上比采样器更灵活 但可绘制的声音质量的变化上它不够一般 例如 难以由FM合成器产生环境声音 如打破物体 最一般的系统是基于声源特性的物理或声学模型的合成 一个简单但不够通用的途径是重放采样的声音或利用一般的MIDI设备 由于很一般的物理模型难以开发 或许是不可行的 并计算复杂 所以更实用的直接可达到的系统是混合途径的 它使用的技术包括实时操作被采样声音的简单参数 如音调 滤波带宽 或强度 以及被采样声音间的实时内插 类似计算机图形的变形 EmuMorpheus合成器是这种途径的例子 当前几个合成器厂商发布了基于物理建模技术的新产品 MediaVision开发的声音卡是基于数字波导 YamahaVL1键盘合成器基于未说明的物理建模技术 基于Macintosh的KorgSynthKit允许通过视觉编程语言的互连来构造声音 它包括表示锤子打击 弯弓 簧片的模块单元 随着产生这种仿真的算法和硬件的进展 也需要为虚拟听觉开发可扩充的协议 这个协议必须包含今天使用的所有声音模型 以及将来发展中预期的模型 这个协议应允许系统开发者和设计者利用VR技术 第四节力觉和触觉显示 虚拟现实的接口设备 力觉和触觉显示概述力觉和触觉显示2 4 1力觉和触觉显示概述1 接触反馈和力反馈接触接口可以按照提供给用户的信息分成两类 接触反馈和力反馈 接触反馈给用户提供的信息有 物体表面几何形状 表面纹理 滑动等 力反馈给用户提供的信息有 总的接触力 表面柔顺 物体重量等 接触接口还可以分成 部分身体运动接口 以及全身运动接口 部分身体运动接口 安装在人体的一部分 如手 臂 躯干等 全身运动接口则全面支持在虚拟环境中的主动和被动的运动 但这种接口技术还远未成熟 机械接触接口的一个重要的指标是 自由度 DoF 由操作器的观点看 自由度是关节的数目 这些关节是位置受控的 也是力矩受控的 接触反馈和力反馈是很重要的感觉通道 Cutt认为 人们以各种方式利用触觉反馈完成任务 一种方式是探测部分环境 实现对物体 位置和方向的触觉识别 其次 主动利用触觉识别来操作或移动物体 完成任务 在虚拟环境中缺乏触觉识别就失去了给用户的主要信息源 当前在虚拟环境中主要的数据获取是用视觉和非接触传感器 如声音 许多任务需要灵巧的操作和接触感 如遥控机器人探测和感觉物体的表面形状 没有触觉识别就不能满足它们的信息要求 下图表示 各种不同类型的抓取动作 图中从左到右 按照力量大小和灵巧程度排列 接触接口允许用户接触 感觉 操作 创造 以及改变虚拟环境中的三维虚拟物体 人类的接触功能在与虚拟环境交互中起重要的作用 接触感不仅可以感觉和操作 而且是人类许多活动的必要组成部分 因此 没有接触和力反馈 就不可能与环境进行复杂和精确的交互 2 接触反馈和力反馈的要求在虚拟现实交互中 没有真实的被抓物体 虚拟接触反馈和力反馈需要复制实时计算的接触力 表面形状 平滑性和滑动等 除了对所有传感通道的实时要求外 对虚拟接触反馈和力反馈还有某些特殊要求 首先是安全性 因为虚拟力反馈在用户手上加真实的力 这种力应该是大的 使用户的手停住 在硬物体仿真中 同时这种力不应该大到伤害用户 在这种情况 好的设计是 故障 安全 的 一旦计算机出故障 用户也不会受伤害 另一个问题是所用的反馈执行机械的类型 液压执行机械是遥控机器人设计者的选择 这是由于其优越的控制