VR中间件打造统一的VR一体机系统

VR中间件，打造统一的VR-体机系统摘要：针对VR 体机存在的用户体验差，系统标准缺乏以及VR内容资源贫 乏这三个问题，通过对VR中间件的研发，实现用户体验的提升，一体机系统标 准的统一和VR内容的丰富。本文对VR中间件进行了详细的介绍，主要包括：VR 算法和技术优化、能力和应用集成、多应用引擎系统建设以及多硬件终端适配四 个方面。关键词：VR 一体机；VR中间件；多应用引擎；VR优化算法VR行业背景随着双千兆网络的商用，VR技术日趋成熟、终端成本逐渐下降、产业生态不 断发展完善，VR内容将成为未来数字家庭内容新形态。VR设备（特别是VR 体机）作为蓬勃发展的VR行业的关键一环，当前还存 在以下几个重要问题，极大地影响了用户体验以及整个行业在国内的发展进程。1.亟需提升用户体验，目前国内VR企业没有自主知识产权，成本高昂。很多 VR 一体机还缺乏设备管理、语音交互等常用功能，极大地影响了用户使用体验。2.缺乏行业接口标准，目前行业没有对上层应用的API接口或底层设备的接口 建立统一标准，各个厂商接口参差不齐，导致互相之间需进行大量重复、冗余的 适配工作，不利于VR的销售落地。3.内容资源较为贫乏，当前VR应用程序必须使用每个VR设备系统专有API, 意味着应用程序如想在不同的VR设备上运行，需不停进行重新编写，这极大增 加了内容应用的制作成本，阻碍了 VR内容生态的丰富和发展。VR中间件介绍针对目前VR 体机存在的主要问题，VR中间件通过建立统一的系统框架， 屏蔽多芯片种类的差异性，推动VR 体机系统标准建设，加速VR中间件标准化 进程。主要完成了以下四个方面的工作：首先，通过对安卓系统接口和架构的优化，建立了一套完整的 VR 技术体系 极大改善了用户使用体验。其次，通过集成设备管理Andlink连接、语音交互、定制VR Launcher等多 种应用能力，丰富系统基础功能，增加设备可用性。另外，通过多应用引擎系统向上适配多类型应用，降低了内容厂商的开发成 本，为用户提供更丰富的内容资源。最后，通过设备插件扩展层向下适配多芯片方案，减少设备厂商复杂、冗余 的适配工作，为VR设备厂商赋能，加速VR落地推广。VR中间件主要包括VR优化算法和技术、能力和功能集成、多应用引擎系统、 多硬件终端适配这四个部分。1.VR优化算法和技术VR中间件在安卓系统上针对VR做了一些列的优化和改进，主要包括以下几 点：八1、图像反畸变任何图像经过光学镜片之后都会发生光学畸变，由于VR 体机目前主要通 过在屏幕上堆叠光学透镜达到立体及近眼显示的效果，故而会存在一定的光学畸 变。VR中间件具备对图像进行反畸变处理的能力，先将整个现实的图像做反畸变 变形，然后经过光学镜片后还原为正常的图像。采用独特的反畸变、色散算法， 不会增加额外渲染负担；将所有光学参数配置于云端，具备极强的扩展兼容性。2、低延迟渲染在用户使用VR设备的过程中，在获得沉浸式体验的同时，会对画面显示延 迟有较高的敏感性，因此系统须加入低延迟渲染技术，且主要核心包含以下两个 内容：（1）Front Buffer Rendering将三缓冲变为单缓冲区，Display与GPU共 享，降低延迟；（2）Dynamic Time frame Replenishment （DTR），动态时间帧补偿技术， 通过补偿算法使渲染帧率保持满帧，降低渲染延迟，同时根据应用场景，动态调 整时间帧调度，降低系统功耗，给用户更好的体验。3、IMU融合及预测技术VR画面渲染方式主要取决于用户当前的头部姿态，而用户的头部姿态由IMU 传感器（包含陀螺仪、加速计、电子罗盘）进行标定。IMU传感器中每一种传感 器都各有优劣，无法单独标定用户头部姿态，为此系统须具备稳定、准确的IMU 融合算法，以准确标定用户头部姿态。用户头部姿态满足一定的约束模型，可以通过用户头部姿态的历史数据对用 户未来短时间（20ms左右）的姿态进行预测，从而进一步降低整个系统的延迟。4、2D应用VR化技术传统的安卓设备中存在着大量的内容资源（如手机、电视等平台内容），如 VR操作系统支持该类型的应用程序便可充分使用；同时，为提升用户体验，需将 2D内容VR化，即将2D应用程序显示在一个VR场景中。VR中间件通过在 SurfaceFlinger层构建渲染引擎，在合成时改变渲染内容，将SurfaceFlinger 层中不同Layer映射到三维场景中渲染。1.能力和应用集成VR中间件集成了一些能力和应用，统一了使用体验，增加设备的可用性，主 要包括以下几点。1.Andlink能力：提供Andlink设备连接管理的能力，提供安全可靠的设备连 接通信能力。支持向上将设备相关数据发送到Andlink平台，为后续的丰富场景 应用提供数据支撑；向下将Andlink平台数据下发的数据发送给设备，实现远程 管控，为VR设备、手机APP等多终端互动的各种场景实现提供技术基础，具有 亿级设备的连接、百万级并发处理能力。2.语音平台功能：通过前端声学适配和语音平台SDK的集成，实现语音控制。 语音平台以“语音+内容+智能”为切入点，统一语音入口，致力于为家庭、个人 企业打造一站式智能语音交互平台和技能聚合平台，提供世界领先的语音识别、 语音合成、语义理解、技能开放、设备开放等服务能力，解决国内外企业获取语 音交互服务和技能的复杂过程，让 VR 产品快速具备“能听会说会思考”的功能 让智能语音交互更简单、实用，使VR用户可随时随地享受全方位的人工智能服 务。3.定制VR Launcher:定制的VR Launcher统一聚合行业VR精品内容，把控 VR内容入口，统一用户体验。1.VR多应用引擎系统VR中间件对多个系统的接口和标准进行兼容，在安卓系统Library层上针对 各个厂商系统实现对应的运行时（Run time），对于应用来说，有效屏蔽了系统 的差异性。VR 应用启动时，会根据应用运行的系统要求自动选取对应的运行时(Runtime)，可直接适配已有的应用，应用不需要对系统进行适配。VR应用多引擎系统改变了之前内容厂商发散式的应用适配的方式，VR中间 件直接对相关系统接口和标准进行兼容，极大降低了内容厂商开发应用的时间和 人力成本。从而能快速丰富VR的内容应用内容，有利于公司VR业务的落地和推 广。VR多应用引擎系统具有以下两点明显的优势：1、提升了已有内容的兼容性：使用VR应用多引擎系统，可以实现对已适配 过的内容应用的直接移植运行，无须再适配，节约内容应用适配和测试工作量， 以及多版本维护等工作。2、新资源对接工作量减少：一次开发，长久受益。在新设备的引入工作中， 可实现“仅对接一次”的工作量，后续适配该设备的内容，包括未来开发的，都 可以直接使用，后续工作中，随着引入的设备和应用越多，整体节约的工作量越 大。1.多硬件终端适配设备插件扩展层向下兼容多种芯片平台，屏蔽不同厂家设备接口的差异，将 设备相关接口标准化，向上提供统一的接口，做到设备的快速适配。设备插件扩 展层可以实现VR设备的快速适配，对VR芯片方案的一次适配，后续对同样芯片 方案的设备，能够直接平移，不需要重新适配，减少了开发工作量，缩减适配周 期，能加快业务推广落地。打造 VR 新生态VR 中间件具备良好的硬件兼容性，能够解决当前行业中各家技术体系不统一 的问题，同时保持了完备的功能及较好的用户体验，充分满足用户的使用需求。 后续积极响应市场需求，采用开放的策略，推进VR设备落地，与硬件厂商、平 台软件厂商、内容厂商等各个环节的合作伙伴建立紧密的技术和业务协同关系， 深化产业链建设，形成软硬件深度结合的体系，探索开放创新性 VR 系统的研发 和发展模式，打造 VR 新生态。参考文献1 袁钰中国VR/AR市场或将高速增长J.中国投资(中英 文),2019(21):96-98.2 蒋雅丽.5G+VR多行业迸发新生机J.通信世界,2018(33):19-20.3 赵亭,杨宜民.足球机器人全景图像反畸变算法研究及其软件实现J.计 量与测试技术,2009,36(09):9-11.4 舒朝普.Pico发布首款头&手VR 一体机J.中国外资,2018(01):66.5 韩韶君.VR产业化历程及趋势J.传媒,2017(12):47-50.邵慧华，男，汉族，浙江杭州富阳， 1979.7，硕士，高级嵌入式研发工程师 中移(杭州)信息技术有限公司(310063)，研究方向：操作系统