AR技术介绍与分析

AR技术在机械化生产中的应用摘要：随着AR技术的发展，该领域的研究已经相当广泛和深入，并且已经开发出了一些可供科研的AR系统。AR技术的大规模应用，实现了新产品开发技术的巨大飞跃，使工业机械化设计从手工、二维图纸方式，转变为真实+虚拟的设计、开发、生产、维修的新型流程，效率的大规模提高和成本的大规模减少，为行业的发展带来的良性的循环。关键词：AR（增强现实）；VR（虚拟现实）；机械工业流程1 AR技术介绍AR技术向人类提供了一种在一般情况下不同于人类可以感知的信息。是将原本在现实世界中的一定的时间、空间范围内中极其难以体验到的一些实体信息（比如视觉信息，声音信息，味道信息，触觉信息，等等），通过数字科学技术模拟仿真后（数字CG模型等等）再叠加到现实世界上被人类感官所感知，从而达到超越现实的一种感官体验。人类最后所感知到的是一个包括虚拟世界和真实世界共同存在的情景环境。用户用一种显示设备，将现实环境与虚拟对象融为一体，并体验到一个感官效果真实的新环境，其具有虚实结合，实时交互的新的特点。AR技术的前身VR技术，VR技术是从英文VirtualReality词翻译过来的，简称VR。中文翻译成虚拟现实技术，VR技术是采用以计算机技术为核心的技术，生成逼真的视觉、听觉、触觉等一体化的虚拟环境，用户借助必要的设备以自然的方式与虚拟世界中的物体进行交互，相互影响，从而产生亲临真实环境的感受和体验。一套默认的VR系统环境主要由电脑设备、电脑软件（引擎）、输入、输出设备、用户和多个数据库等组成。电脑负责虚拟世界的构建、生成和交互的实现；输入输出设备负责识别用户的各种输入并即时演算生成相应信息；应用软件系统负责虚拟世界中物体的几何模型、物理模型、行为模型的建立，三维虚拟立体声的生成，模型管理及实时显示等；数据库主要用于存放整个虚拟世界中所有物体的各个方面的信息。很多人这时候会说，三维动画技术不也一样是虚拟环境么，这里要说一下区别，VR技术与三维动画技术的本质区别在于其交互性上。三维动画技术是依靠计算机预先处理好的路径上所能看见的静止照片连续播放而形成的，不具有任何交互性，即不是用户想看什么地方就能看到什么地方，用户只能按照设计师预先固定好的一条线路去看某些场景，用户是被动的；而VR技术则通过计算机即时演算，根据用户的需要把整个空间中所有的信息真实地提供给用户，用户可依自己的路线行走，计算机会产生相应的场景，真正做到“想得到，就看得到”。2 AR技术详解现今智能手机已经大规模的应用了AR技术，相对与智能手机而言，AR就是利用手机的GPS，和视野朝向（指南针）及手机朝向（方向传感器/陀螺仪），用摄像头拍摄实景，最终在手机屏幕上为用户展示AR环境，其实现的重点在于投影矩阵的获取。当然，在实际开发中，其实android系统已经将投影矩阵封装的比较好了，可以通过接口直接获取投影矩阵，然后将相关的坐标转换算成相应的坐标就可以了。移动增强现实系统应实时跟踪手机在真实场景中的位置及姿态，并根据这些信息计算出虚拟物体在摄像机中的坐标，实现虚拟物体画面与真实场景画面精准匹配，所以registration的性能是增强现实的关键。也就是说，AR技术是实用信息技术对现实世界的一种高强度的，无限的，充满创意的补充和增强，而不是用完完全全的虚拟技术来制造出一个完全虚拟的世界来取代现实世界。因此在用户看来，虚拟世界和现实世界最终在同一个空间得到了结合。3 AR技术在机械化生产流程中的应用工业机械设计是结合设计师的创造力、工程、经验和艺术、通过赋予产品材料、结构、外观、功能、色彩和包装，将概念性的创意转化为了批量化生产的商品过程。典型的工业产品设计过程通常都是开始和结束于真是物理样件（模型），虽然现今随着先进制造技术的快速发展CAD的应用和激光快速原形技术已成工业机械设计制作的主流技术，但是这样的流程虽然相交于传统方式有优势，但是，这样一个反复试错的流程规范仍然在效率和成本上有着巨大的提高的余地，并且这个流程依然不能使各方面人员的发挥空间放大，并且在沟通环节上无法做到自由，而设计师们不能自由的表达理念和快速的修改，大量的时间浪费在了实现设计上面。随着需求的不断提升，上面提到的AR的前身，VR终于降临了，VR的出现让工业设计可以方便的方针和评审设计效果，在制作出真实物理模型之前，各类的参与人元可以有效地沟通，可以坐在一起在一个颇具身临其境的虚拟环境中随时的评审、感知和修改未来的产品，不过却依然具备一些问题：（1）由于传感器反馈技术的限制，用户在和虚拟产品互动过程中缺乏真实感受；（2）在构建一个完全沉浸的虚拟环境仍然需要大量的计算机资源；（3）在使用虚拟现实系统之前，仍然需要预先学习VR技术引擎的相关知识由此，AR技术在工业机械上的应用，可以十分有效的弥补虚拟现实的一些不足。使其可以通过显示设备在真实的环境中评审、仿真、分析产品模型。随着AR技术的发展，逐步由开发出了一些基于AR技术的虚拟建模系统，比如，空间设计系统，增强现实环境下自由曲面的创建和修改，这一领域的研究已经相当广泛和深入，并且已经开发出了一些可供科研的AR系统，可以讲影像投射到汽车上，从而改变材质、贴花、颜色，将零件投射到真实的展示台上展示，可以在真实环境中通过人体与与虚拟的机械设备进行交互，甚至是多位用户的同时交互，在产品生产过程中可以反复的用AR技术来虚拟装配，来检验制造误差。4 AR技术的工业应用波音公司的一个研究团队使用AR技术帮助技术人员安装组成飞机电路系统的线束。把这些操作流程以数字的形式存储起来，既节省空间又节省开支。目前在波音，技术人员们都是使用巨大的实体布局板来制作线束，这些巨大的布局板要用好几个大仓库来储存。如果新开发的这套系统能得到很好的应用，这些仓库就可以空出来用于别处了。波音正在运营一套技术再投资计划（TechnologyReinvestmentProgramTRP），投资推动将这项技术投入到工厂中。美国Marine公司就是将AR技术在装甲炮塔上进行测试。他们使用的系统叫ARMAR(AugmentedRealityforMaintenanceandRepair)，大概意思是“AR辅助维修”，该系统由哥伦比亚大学图形和用户界面实验室设计制造。通过为维修人员装备头戴式显示器，维修人员可以在维修时轻松获取对他们有用的很多帮助信息。目前该系统也被用在了军事上。工业机械设计支撑技术的发展主要取决于信息科技的发展。工业化的全流程都在以飞速的发展日新月异着，AR技术的大规模应用，实现了新产品开发技术工业机械化行业的典型传统流程示意的巨大飞跃，使工业机械化设计从手工、二维图纸方式，转变为真实+虚拟的设计、开发、生产、维修的新型流程，效率的大规模提高和成本的大规模减少，为行业的发展带来的良性的循环。如下图所示。数据发布一H滁煖配k快速成型三錐模型三錐扫描创鳶n虚拟空间设计数字模型me发布AR技术在工业机械生产中的流程示意5 二维平面物体的AR跟踪的算法分析一般情况下，AR中二维平面物体的跟踪可以归结为如下问题：给定一个模板图片R,在视频流中时刻检测该图片的（相对相机的）三维精确位置。进行跟踪定位的主流方法大致有两种：一类是直接法（directmethod），另一类是控制点法（keypoint-based）。5.1 直接法直接法里的“直接”是说直接用优化方法去找最好的目标，即姿态Pt。这里牵涉到三个主要元素：（1）怎么定义好和不好；（2）在哪里找Pt；（3）怎么找。对于（1），一个直观的办法是：假设模板图按照姿态Pt变换后对应图像It上的一个小区域，那么这个区域可以抠出一个图像T，T（经过归一化以后）应该和模板R长得越像越好。对于（2），我们可以在所有可能的姿态中去找Pt。不过这个策略显然是很费时的，考虑到在视频中相邻图像帧的变化有限，所以我们通常是在上一时刻的姿态（通常记为Pt-1）附近去寻找。至于怎么找，这就转化成一个优化问题了，简单地说，就是要在Pt-1的一个邻域里面找一个Pt,使得通过Pt抠出来得图像块T和R最相似。当然，实际操作时候上面三个部分都各有讲究。比如（1）中对于T和R是否相似可能要考虑光照的变化，（2）中如何定义姿态空间的邻域以及合理的邻域大小。对于（3），具体用什么样的优化算法来尽量对抗局部极值的干扰而又不能太耗时。不同的处理方式产生出了不同的跟踪算法，其中典型的代表工作之一是ESM算法和它的一些变种。ESM是EfficientSecond-orderMinimization的缩写，源自Benhimane和Malis在2004年在IROS上发表的工作。该算法采用重构误差平方作为衡量R和T相似性的指标，然后对于姿态空间进行了在李群（LieGroup）上的重新构建使得搜索的步长更为理性，在寻优上面使用的二阶近似的快速算法。这个算法的结构清晰，各模块都可以比较容易的独立扩展，所以在其基础上衍生出了不少改进算法，通常是针对实用场景中不同的调整（比如处理强光照或者运动模糊）。5.2 控制点法基于控制点的方法由于其实时高效性成为目前业内主流方法。控制点类的方法并不直接对姿态Pt进行寻优，而是通过控制点匹配的方法来计算Pt。其基本出发点在于使用图像中特别的点（通常是角点）来建立模板R和视频图像It之间的映射，通过该映射建立方程组，然后求解出姿态Pt。比如说模板是一张人物的相片，那么我们在视频中定位的时候并不需要对于脸上的所有点进行匹配，而可以通过一些控制点（眼角，鼻尖，嘴角等）迅速定位。由于姿态Pt是由若干参数（一般是8个）控制的，那么求解Pt的一个办法是弄一个方程组出来，比如说8个线性的方程，那么我们就可以求出Pt了。那么这些方程怎么来呢？我们知道，Pt的作用是把模板R变到图像It中，也就是说R中的每个点经过一个由Pt决定的变换就可以得到它在图像中的位置。那么，反过来，如果我们知道图像中的一个点（比如眼角）和模板中就是同一个点（就是说他们匹配上了），我们就可以用这一对匹配点给出两个方程（X、Y坐标各一个），这样的点就是所谓的控制点。当我们有了足够多的控制点对以后，就可以求解姿态Pt了。总结起来，控制点法包括三个主要元素：（1）控制点提取和选择，（2）控制点匹配，（3）姿态求解。以上三个步骤看起来泾渭分明，实际使用时却经常是交织在一起的。主要原因是很难保证得到精确无误的控制点。有用的可靠控制点常常夹杂着各种真假难辨的山寨们一起到来，所以经常需要往返迭代在三个步骤之间，比如用RANSAC之类的方法选择控制点来得到服从大多数的姿态。相比直接法，控制点法的基本算法框架比较成熟，工程实现上的细节很大程度上决定了算法的最终效果。5.3 直接法和控制点法的优缺点比较这两类方法的优缺点根据具体实现略有不同，大致上可以总结如下：薛法融点法优点善于处理弱换理、重复趣删缠快r頑不辭r卿不躺缺点r对頑歸r对轴輛不善T处理弱趣重复趣删6 AR技术的现实意义与未来AR技术最为重要的意义我觉得在于改变了人类一直以来很根深蒂固的一个观点：眼见为实。它能够“骗”过人类的眼睛，将所呈现的一切与本来现实中你看到的融为一体。那么由此展开，AR做到的是我们现在能看到的多种增强现实游戏中所能做到的，将一些不存在的物体凭空制造于你的眼前。如果说传统电子游戏是在一个虚拟的空间里让你跟虚拟的对象进行交互，而AR则做到了在现实空间里让你跟虚拟对象进行交互。从而我们可以大胆想象，AR将首先从人类现阶段所有能从视觉层面感受的东西开始进行革命，我们用视觉所能感受到的一切将有可能都被AR技术取代，比如商品的包装，可能并不需要在物理层面打印或者以任何实体形式制造于商品表面上，只要我们能通过AR技术感受到就行了，其他所有装饰性物品同样都可以以相同的形式被取代。简而言之，AR技术最终要做到的就是“骗”过你对现实的各种感觉，让虚拟来替代现实。如前文所述，现阶段AR技术增强现实是从视觉出发增强现实，那么从视觉出发等到触觉层面也能以假乱真的时候，人类其实是无法区分现实跟虚拟的区别的，达到VR技术所要达到的层面：虚拟现实。从本文的出发点上来讨论，在机械化的生产进程中，我们没有必要再把实物生产出来进行测试与改进，利用AR技术我们就可以完成一系列流程，并且更加便捷地去进行各种模拟与仿真，对推进工业生产具有十分重大的意义。AR技术目前还尚未成熟，但随着科技的发展，AR技术在机械化生产领域有往以下几个方面发展的趋势：设备小型化和便携化、更真实的图形再现、更加精确的跟踪定位系统等。同时我也希望在不久的将来，虚拟现实和增强现实技术能够更广泛而完全的结合到工业产品的设计和制造中去。参考文献【1】.陈文栋，移动机器人SLAM方法研究，华东交通大学，2014.【2】.何玫，泡沫启示录：虚拟/增强现实，梦想照进现实，中金公司，2016.【3】.冉洋,朱飞,陈康.虚拟现实及增强现实技术在工业设计中的应用.2010.【4】.张晨，裴莉，王聪，徐勇，陈涛.AR技术在机械化生产中的应用,吉林省农业机械研究院.2013.【5】王宝智，周伯河，何宁，航天员空间操作及训练仿真中的AR技术，中国航天员科研训练中心人因工程重点实验室【6】.周武，面向智能移动机器人的同时定位与地图创建研究,南京理工大学.2009.【7】.德国工业中VR/AR技术应用现状和趋势，中国制造业信息化.2006.【8】徐林，叶继红，基于AR算法的小波技术在随机场模拟中的应用，东南大学2010.