基于视觉的多机器人协作基于视觉的多机器人协作SLAM问题

科技导报 2015 ，33（23） www.kjdb.org基于视觉的多机器人协作 SLAM 问题吕强，林辉灿，张洋，马建业装甲兵工程学院控制工程系， 北京 100072视觉 SLAM 仅采用图像作为外部信息， 用于估计机器人位置的同时构建环境地图。 SLAM 是机器人自主性的基本前提， 如今在小动态环境采用激光或者声呐传感器构建 2D 地图得到较好地解决。然而动态、复杂和大范围下的 SLAM 仍存在问题， 使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉 SLAM 中使用计算机视觉技术， 如特征检测、特征描述和特征匹配， 图像识别和恢复，还存在很多改善的空间。本文在视觉 SLAM 领域的最新技术的基础上， 对基于视觉的多机器人协作 SLAM 领域的前沿技术进行综述。移动机器人的自主导航问题可以 部的闭锁现象。视觉 SLAM系统成功 器人 SLAM 系统可以提升构图的速度分为定位、地图构造和路径规划 3 个部的关键是具备处理上述困难的能力。 和精度，有利于路径规划等探索研究。分1 。定位的任务是确定机器人在当前 该领域的核心问题是多机器人之间的近10年来，从发表的论文可以看出一环境中的位姿，地图构建的任务是将对 个清晰的趋势，就是使用视觉作为唯一 通信拓扑、任务规划和地图融合。任务环境的零碎分布观测整合为一个联系 的外部传感器的感知系统用于解决 规划：当多个机器人用于共同探索同一的模型，路径规划的任务是确定最佳路径并导航机器人通过环境。711 。之所以会有这样的趋SLAM问题势，是因为基于摄像头的系统既能够获个环境进行研究时， 需要处理好各个机器人的任务规划问题。做好任务规划起初定位和地图构建是分开研究 取尺度信息又能够恢复环境的外观、 颜 可以节省探索整个研究环境的时间。的，后来学者们意识到二者是相互关联 色和纹理，使得机器人能够完成更高级 通信拓扑是指机器人之间的通信结构，的。同时定位与地图构建 （simultane?的功能，如在环境中识别人员。进一步 有完全连接和部分连接等多种通信拓ous localization and mapping，SLAM）是指机器人在未知环境中运动时增量地说，摄像头更便宜、 更轻且功耗更低。不幸的是相机数据存在误差， 由于相机扑结构。对于完全连接需要使用外部设备以克服通信带宽和距离的限制， 外构建周围环境地图， 同时运用此地图对 分辨率不足、 光线变化、表面缺乏纹理 部设备用于将一个机器人的数据发送机器人自身位姿进行估计 2 。SLAM是和快速运动引起图像模糊等因素。许 给所有的机器人 15。部分连接采用两 多学者对上述问题进行研究并取得不 个机器人之间的一对一通信解决通信移动机器人系统最基本、 最重要的一项能力，随着未知环境探测的日趋复杂和 带宽和距离的限制问题， 机器人仅能使少成果，比较典型的有 Klein 等基于 BA非结构化，SLAM 已成为自主移动机器 （bundle adjustmen）t 的 实 时 SLAM 算用通信范围内的其他机器人的信息。法，即并行跟踪和构图 （parallel track? 地图融合是解决多机器人 SLAM 的关 人亟待解决的重要基础性难题 3,4，并被视为移动机器人领域的 “圣杯”5。当摄像头作为唯一的感知外部环境的传感9，Engel 等采ing and mapping，PTAM）用直接的方法构建大范围内的半稠密键问题，运用共享的信息改进全局地图的精度和构图范围， 全局地图通过联合器用于 SLAM，就称为视觉 SLAM。准 地图，即 LSD- SLAM12，以及 RGB- D所有机器人的局部地图获得。当机器确的环境地图有助于实现高精度的定位，而精确定位则有利于建立更加真实可信的环境地图 6，两者相辅相成。13 和 ORB SLAM14 等。RGB- DSLAMSLAM采用一种能够同时获取环境彩色信息（RGB）和 深度信息（depth）的人之间的相对位置关系已知， 只需要根据每个机器人的定位和构图进行拼接地图；而当机器人之间的相对位置未知许多视觉 SLAM 系统在如下的环境中容易失败： 外部环境、动态环境、显RGB-D 传感器。对于单个机器人的 SLAM 系统已时，需要对每个机器人的地图进行转换才能进行拼接地图。 经有不少的解决方案， 然而多机器人的 总之，虽然需要处理上述难题， 但著特征太多或太少的环境、 大尺度环是多机器人 SLAM 能够以更快的速度、 境，以及当摄像头运动不稳和部分或全SLAM相较而言还是一个新领域， 多机1102015 世界机器人大会报道特刊 www.kjdb.org更高的精度探索未知环境。而且， 多机器人 SLAM具有更强的容错能力， 环境构建就显得尤为重要。1.2 相机在 SLAM 中的应用RGB-D 图像序列和真实摄像机轨迹的数据集用于评估 SLAM 系统的性能 33。条件的恶劣或者变化、 由于错误的数据 第一个视觉导航的作品采用双目 基于该数据集进行了大量的实验， 结果关联或假设模型引起的算法失败等问 立体结构相机 21,22，然而，多数情况下由 表明其位姿估计平均精度为 9.7 cm和题，可以通过多机器人系统克服。因此，近几年相对单个机器人的 SLAM应于价格昂贵，很难获取双目或者三目立体相机。另一种解决方法是使用一对3.95 ，平均每帧的处理时间为 0.35 s，基本满足实时运行的要求。用研究，多机器人的 SLAM 应用研究更 自从单目 SLAM的出现 34，仅用一单目相机，导致需要考虑不懂方面的困加吸引人和热门。 难：采用硬件或软件的方式实现相机同 个相机实现同时定位和地图构建的方步；每个 CCD传感器对颜色或光线的法就变得越来越流行。这是因为通过1 视觉 SLAM响应略有不同；采取何种几何结构进行 手机、数码相机或笔记本等可以轻松获校准等。 得相机，比立体相机更加容易获取。单 1.1 同时定位和地图构建在 19851990 期 间 ，Chatila 和不管采用什么类型的相机， 在使用 目方法的硬件简单灵活经济， 数据处理Smith提出地图构建和定位同时进行研究的问题。不久之后， 该问题有了专业之前都必须校准 （手动或者自动 ），校 准需要估计相机的内部参数和外部参数，时间也较短。仅依靠单目并不能直接获得足够的信息计算航标的深度， 因此名 称 SLAM（simultaneous localization前者依赖于相机的几何结构 （焦距和光 需要处理航标的初始化问题，通常有两种and mapping）。有关 SLAM 的历史可以参阅 Durrant和Bailey撰写的有关 SLAM点），后者由相机在空间中的位置决定（某个坐标系统中的旋转和位移） 。根解决方案35,36。为了从一个相机获取环境的三维信息，需要处理多个观测图像发展历程的文章 16,17。SLAM 指移动平据多视角棋盘校准图像， 关联图像坐标的特征跟踪问题。 与真实世界坐标可获取参数 23，也有许多台（机器人、运输载体等 ）能够构建所探工具能够实现相机的校准： OpenCV的索环境的全局地图， 同时利用地图进一 2 图像数据关联校准函数、 Matlab 的相机校准工具箱 步确定自身位置。最先进的 RGB-D SLAM 系统大多等。为了对环境构建地图， 机器人必须 数都采用迭代最近点 （iterative closest拥有用于感知和获取外部环境观测的传感器，可分为外部传感器和内部传感使用多相机带有或者不带有视角重叠的研究 24,25，使用特殊镜头的相机point，ICP）算法去匹配点特征， 这些点特征的空间位置是根据匹配的传感器 如广角 26 或者全向 27 相机增加视觉范器两种。外部传感器包括声呐、 激光扫深度数据计算得到的。然而， 特征的深描仪、相机以及 GPS等，这些传感器都围，进而一定程度上减小累积误差。近度测量数据经常被噪声所干扰， 因为视几年出现的 RGB-D 传感器应用于室内 存在噪声和距离受限的问题。此外， 前觉特征倾向于在实物的边缘。为了减3 种传感器只能获得环境的局部视图。激光传感器和声呐传感器可以获环境的地图构建，已被验证是一种非常有前途的方法 28,29。小估计误差，高翔等37采用了可靠的深度数值提取和选择特征的方法， 如平面德国弗莱堡大学的 Engelhard和慕 取精确而稠密的环境结构信息， 然而，点特征。平面点特征有利于提高传统尼黑技术大学的 Sturm等30提出了一种 存在的问题是：在复杂性高的环境以及的ICP 的精度和鲁棒性， 同时保持合理基于 RGB- D 传感器的实时 3D 视觉 物体识别方面均不可用， 质量大、体积的实时应用的计算消耗。通过公开数大使得难以在飞行机器人或者人型机器人上应用。另一方面， GPS在狭窄街SLAM 方法，主要包括特征提取和匹配、位姿估计、位姿修正、位姿图优化 4据集的轨迹跟踪和构图结果以及实物机器人的实际试验， 验证了一个基于平个步骤。该方法对 Henry等提出的方道、城市峡谷、 水下和室内等环境的定 面的RGB-D SLAM的系统的有效性。法进行了 3 点改进：首先在特征提取时 位精度不能满足要求。内部传感器能在单目视觉 SLAM中，绝大多数采将SIFT特征替换为 SURF特征，其次在 够测量机器人的速度、 位置变化和加速用基于特征的地图表示， 因此此处主要位姿图优化时使用 g2o方案代替 TO? 度，例如编码器、加速度计和磁罗盘等，对基于特征的运动估计方法进行分但由于存在累积误差， 并不能保证足够的估计精度。RO，最后在环境地图的表示时将点云地图转换成 3D 占据栅格地图。文献析。对该问题的研究， 是计算机视觉领域中经典的从运动恢复结构 （SFM）问在文献 1820 中得到证实， 为了获得机器人位置的高精度且鲁棒性好 3231中进一步对 SIFT、SURF和ORB 3种不同的特征描述方法进行了研究和题，也有学者将其等同于视觉里程计研究。基于 2D 图像特征的运动估计一般 实验分析对比，而且针对着色点云地图的估计，需要使用信息融合技术处理多包括特征检测、特征匹配和运动估计。个传感器的数据。然而， 传感器增加引 存储量大和计算量大的问题， 使用基于2.1 特征提取起的系统的造价过高、 重量增加和功耗过大等问题， 因此，探索如何仅仅依靠Octree的地图构建框架 OctoMap将点云地图体素化转换成 3D 占据栅格地特征提取对于视觉 SLAM 是最为关键也最为基础的一个环节， 因为后续相机作为传感器实现同时定位和地图 图。此外，他们还首次构建了一个包含的所有处理都以此为基础进行。 SIFT38111科技导报 2015 ，33（23） www.kjdb.org方法在 10 多年的应用中验证其良好的方法的优点是能够适用于帧间的变化 多机器人系统需要解决的重要难题。性能，成功应用于视觉特征、 目标识别、 较大的情况，缺点是计算效率较低及存 有关通信拓扑方面的综述， 可以参阅文图像匹配和视觉构图等方面 32。但由 在匹配不一致。对于匹配不一致的问 献49，本文主要关注多机器人系统的于采用 128 维向量，相较而言在计算和 题可以采用文献 38和43的方法提高地图融合问题。匹配过程中运算速度较慢， 不利于在实 匹配一致性。 多机器人系统中， 每个机器人在进时性 要求很高的 SLAM 系统中的应 行SLAM 的过程中都有自己的坐标系， 2.3 运动估计用。SURF39能够在保持与 SIFT相同性能的辨别率的情况下， 提高运算和匹配Structure from Motion（SFM）技术能够从一系列图像中计算场景中的 3D 结因此由不同机器人创建的地图不能够直接用于融合。学者们已经研究出一的效率，然而该描述符使用了 64 维向构和相机位置 44。标准的流程是提取 些实现地图融合的方法， 通常情况下，量的浮点数据即 256位，当需要存储数输入图像的特征， 进而特征匹配， 采用 在获取两类必备条件的情况下就能够以百万计的描述符时也是不能满足要 一种称为捆绑调整 （bundle adjustment，实现地图融合。一是机器人之间互相求的。 BRIEF40 使用二进制流作为关键点特征的描述符， 该方法使用较少的B A）的非线性优化方法， 最小化重投影误差45。解决 SLM递增问题的一种方清楚对方的相对位置， 如当机器人相遇时使用全向相机获得机器人之间的距位数就能够获得高性能且计算简单， 文 法是视觉里程计，该方法仅使用序列图 离，进而计算地图的转换矩阵 50。二是献40验证该方法在获得与 SURF相当 像就可以实时计算相机的位姿。 Klein机器人之间不清楚互相之间的位置， 但或者更好性能的情况下， 需要的时间更 等发表的称为 PTAM 的单目方法， 基于是各自构建的地图之间有公共的区域，少。ORB32 是一种基于 BRIEF 的快速 文献51匹配地图的点特征。关键帧，采用两个平行的处理线程， 第二进制描述符，该方法具有旋转不变性和抗干扰性能， 更加适用于视觉 SLAM一个线程执行的任务是鲁棒地跟踪很多特征，另一线程的任务是生成 3D 地52 则使用 RBPF 滤波对地图Gil 等进行融合。 Vidal-Calleja 等53使用一个系统对实时性和精度的要求。 ORB-图点。该方法在动态环境中和存在相飞行器与一个地面机器人进行合作， 在14 是一个满足大、 小范围，室内外SLAM环境的实时单目 SLAM系统，且可以完全的自动初始化， 采用适者生存的方法选择重构点和关键帧， 生成稠密地图，似纹理环境中出现跟踪失败 9。46 证实为了提高 单目Strasdat等SLAM系统的位置精度， 增加特征的数量比增加帧的方式更为有效， 同时，BA半结构化的地形中构建地图。 Bene?54 让 各个机器人 独立进行dettelli 等SLAM，生成独立的地图。在机器人相遇时，计算地图的相似处， 进行合并生该地图仅当场景内容改变时才更新， 加 优化的方法比滤波器的方法效果更好， 成全局地图， 然后，每个机器人通过开强了终生地图构建的能力。 然而，该文章指出滤波器的方法在较高 发融 合的地图 开始单个机 器人的2.2 特征匹配特征匹配的性能对 SLAM 效果具有决定性的影响， 为快速获得高精度的不确定的 情况下更 有利。理 想的SLAM系统将同时利用 SFM技术和概率滤波器的优点 47。55 对地震中毁SLAM 算法。 Michael 等坏的建筑里采用地面和空中机器人进行协作建图进行研究， 通过采集多层结匹配，主要有两类算法 41：一是灰度匹 构的环境构建 3D 地图。他们提供了协配，使用统计模型寻找点匹配； 二是基 3 多机器人协作 SLAM作建图方法的细节， 并且报告了试验中于特征的方法，该方法基于从图像检测多机器人方案相对单个机器人方 分别由单个机器人和机器人团队构建得到的特征（点、线或面）。两种方法各案有许多优点， 例如，随着机器人数量 的地图。有千秋，灰度匹配的方法具有更高的精度但同时消耗更多的计算资源， 目前来的增加，整个系统执行任务需要的时间缩短，对错误的容忍度增加且地图的精56 通过微型飞行器的单Forster等目相机对准由地面机器人的深度传感看并不满足视觉 SLAM的实时性要求，度得到提高。 Marjovi 等48对多机器人 器构建的地图， 得到稠密的 3D 重构地另一方面，基于特征的方法需要的计算在时间上的优势做了阐述， 在不同环境 图，如图 1 所示。他们提出一种用于微资源较少且抗干扰性能好。基于特征中使用不同数量的机器人， 以获得满意 型飞行器联合地面机器人的定位方法，的方法需要先从图像中提取特征， 在上的构图结果。两个机器人的系统用于 解决了通过多个机器人上的不同传感一节中已经介绍过方法。基于特征的器计算得到的 3D 地图的配准问题， 由 构建地图，需要的时间是单个机器人的方法计算两个帧间的特征匹配， 有两种思路：一是先提取前一帧图像的特征，然后在局部范围内的图像检索寻找对1/2，尽管存在一些优势， 但是多机器人SLAM系统需要探索由多个机器人带来的问题，例如在线路径规划、 同时定微型飞行器上的单目相机得到的稠密的3D 重构与地面机器人上的深度传感器得到的地图配准。一旦配准， 微型飞应点42，该方法具有的优点是算法速度位和地图构建、 特征提取和数据关联。 行器上的稠密重构将用于扩充由地面快，局限性是仅在两帧图像变化较小的然而，这些问题在单个机器人 SLAM 系机器人计算得到的地图， 使用航空视角时候适用；二是对两幅图像都进行特征统已经得到研究并取得一定的成果， 此 所传递的信息进行扩充。整体的方法提取，在根据提取的特征建立联系， 该外，任务分配、 通信拓扑和地图融合是 是新颖的，由移动相机得到的现场稠密1122015 世界机器人大会报道特刊 www.kjdb.org重构，解决了空地联合定位问题。 57 使用神经网络拼合地Saeedi等图。他们先从网格地图中提取特征， 根据特征计算两个地图间的旋转与平移。对于增强的自主性的机器人来说，在没有 GPS信号的环境中导航是一项非常重要的要求。虽然在一些单个机器人的场景中已经得到解决， 但是下一步的挑战是为多个机器人设计有效的构图和导航算法。实现编队自主性的图 1 空中和地面机器人的定位和构图关键需求是提供给机器人协作去精确的构建环境地图的能力， 这个问题和协作的同时定位和地图构建密切相关， 他们研究的构图过程扩展到多机器人新的占有栅格地图融合算法。地图融合通过转换若干单个地图到 Hough空间得到，Hough空间里地图用一种抽象的形式描述。 Hough变换的特性用于找 图2 3 个子地图融合成 1 个全局地图到各个地图之间的公共区域， 进而用于计算地图之间的未知变换。他们亦提 完成相应的目标任务。 容错能力也值得进一步研究。出使用 Hough峰来拼合地图的算法 58，融合的结果如图 2 所示，其中图 2（a），1）联合空中多旋翼飞行器和地面机器人，搭载 RGB-D 、单目或多目等不3）深度学习技术能够让机器自主理解图像中存在的特征， 并以此为基础（b）和（c）分别为子地图， （d）为融合得同的视觉传感器，充分发挥各自的优点 去辨别图像的相似性， 完成闭环检测的到的全局地图。 任务。然而深度学习技术在 SLAM 研获取更多的环境信息， 构建适用于室内外复杂动 态环境的 多机器人 视觉 究领域中，远没有得到应用， 仅仅在一4 发展趋势机器人在进入未知环境时， 需要对所处环境进行有效地探测和感知， 获取SLAM系统。2）在多机器人系统的地图融合工作中，在子地图的重叠部分可在优化地些物体识别中得到应用 59,60。下一步可以基于视觉的 SLAM 系统中的大量图像信息，应用深度学习知识在闭环检测 图精度方面进一步研究， 可用于闭环检 以及目标识别等高级别任务中。其在环境中的姿态信息， 同时还要构建出环境地图。只有在了解环境真实信 测提高整体系统性能。另外， 对部分机息的基础上才能进行避障、 路径规划并 器人构图失败的情况， 如何提高系统的参考文献 （References ）1 Stachniss C. Robotic mapping and explorationM. Springer Tracts in Advanced Robotics, 2009.2 Durrant-Whyte H, Bailey T. Simultaneous localization and mapping:part IJ. Robotics & Automation Magazine, IEEE, 2006, 13(2): 99-110.3 陈卫东 , 张飞. 移动机器人的同步自定位与地图创建研究进展 J. 控制理论与应用 , 2005(3): 455-460.4 张亮 . 移动机器人同步定位与地图重建算法研究 D. 杭州 : 浙江大学 , 2009.5 Bailey T, Durrant-Whyte H. Simultaneous localization and mapping (SLAM): Part IIJ. Robotics & Automation Magazine, IEEE, 2006, 13(3): 108-117.6 于金霞 , 王璐, 蔡自兴 . 未知环境中移动机器人自定位技术 M. 北京: 电子工业出版社 , 2011.7 Paz L M, Pini P, Tarsd J D, est al. Large-scale 6-DOF SLAM with stereo-in-handJ. Robotics, IEEE Transactions on, 2008, 24(5): 946-957.8 Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-time single camera SLAMJ. Pattern Analysis and Machine Intelligence, IEEE Transactionson, 2007, 29(6): 1052-1067.9 Klein G, Murray D. Parallel tracking and mapping for small AR workspacesC/Mixed and Augmented Reality, 2007. ISMAR 2007. 6th IEEE and ACMInternational Symposium on. IEEE, 2007: 225-234.10 S J Me z, Escolano F. 6dof entropy minimization slamC/Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conferenceon. IEEE, 2006: 1548-1555.11 Pini P, Ta rsd J D. Lsarge-scale slam building conditionally independent local maps: Application to monocular visionJ. Robotics, IEEE Transactionson, 2008, 24(5): 1094-1106.113科技导报 2015 ，33（23） www.kjdb.org12 Engel J, Sch?ps T, Cremers D. LSD-SLAM: Large-scale direct monocular SLAMM/Computer Vision-ECCV 2014. Springer International Publishing,2014: 834-849.13 Endres F, Hess J, Sturm J, et al. 3-d mapping with an rgb-d cameraJ. Robotics, IEEE Transactions on, 2014, 30(1): 177-187.14 Mur-Artal R, Montiel J M M, Tardos J D. ORB-SLAM: A versatile and accurate monocular SLAM systemJ. arXiv preprint arXiv:1502.00956, 2015.15 Ferranti E, Trigoni N, Levene M. Brick& Mortar: an on-line multi-agent exploration algorithmC/Robotics and Automation, 2007 IEEE InternationalConference on. IEEE, 2007: 761-767.16 Whyte H, Baliey T. Simultaneous Localization and Mapping (SLAM) Part 1 The Essential AlgorithmsJ. IEEE Robotics & Automation Magazine, 2006,13(2): 99-110.17 Bailey T, Durrant-Whyte H. Simultaneous localization and mapping (SLAM): Part IIJ. IEEE Robotics & Automation Magazine, 2006, 13(3): 108-117.18 Castellanos J A, Neira J, Tard J D. Ms ultisensor fusion for simultaneous localization and map buildingJ. Robotics and Automation, IEEE Transactionson, 2001, 17(6): 908-914.19 Majumder S, Scheding S, Durrant-Whyte H F. Sensor fusion and map building for underwater navigationC/ Proceedings of Australian Conferenceon Ro?botics and Automation. 2000: 25-30.20 N G,tzWi eiss S, Scaramuzza D, et al. Fusion of IMU and vision for absolute scale estimation in monocular SLAMJ. Journal of intelligent & robotic sys?tems, 2011, 61(1-4): 287-299.21 Se S, Lowe D, Little J. Mobile robot localization and mapping with uncertainty using scale-invariant visual landmarksJ. The International Journal of Ro?botics Research, 2002, 21(8): 735-758.22 Olson C F, Matthies L H, Schoppers M, et al. Rover navigation using stereo ego-motionJ. Robotics and Autonomous Systems, 2003, 43(4): 215-229.23 Hartley R, Zisserman A. Multiple view geometry in computer visionM. Cambridge: Cambridge University Press, 2003.24 Kaess M, Dellaert F. Probabilistic structure matching for visual SLAM with a multi-camera rigJ. Computer Vision and Image Understanding, 2010, 114(2): 286-296.25 Carrera G, Angeli A, Davison A J. SLAM-based automatic extrinsic calibration of a multi-camera rigC/Robotics and Automation (ICRA), 2011 IEEEInternational Conference on. IEEE, 2011: 2652-2659.26 Davison A J, Cid Y G, Kita N. Real-time 3D SLAM with wide-angle visionC/Proc. IFAC/EURON Symp. Intelligent Autonomous Vehicles. 2004: 31-33.27 Scaramuzza D, Siegwart R. Appearance-guided monocular omnidirectional visual odometry for outdoor ground vehiclesJ. Robotics, IEEE Transactionson, 2008, 24(5): 1015-1026.28 Huang A S, Bachrach A, Henry P, et al. Visual odometry and mapping for autonomous flight using an RGB-D cameraC/International Symposium onRobotics Research (ISRR). 2011: 1-16.29 Hu G, Huang S, Zhao L, et al. A robust rgb-d slam algorithmC/Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on.IEEE, 2012: 1714-1719.30 Engelhard N, Endres F, Hess J, et al. Real-time 3D visual SLAM with a hand-held RGB-D cameraC/OL. 2015-09-31. http:/vision.informatik.tu-muenchen.de/_media/spezial/bib/engelhard11euron.pdf.31 Endres F, Hess J, Engelhard N, et al. An evaluation of the RGB-D SLAM systemC/Robotics and Automation (ICRA), 2012 IEEE International Confer?ence on. IEEE, 2012: 1691-1696.32 Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURFC/Computer Vision (ICCV), 2011 IEEE International Confer?ence on. IEEE, 2011: 2564-2571.33 Sturm J, Magnenat S, Engelhard N, et al. Towards a benchmark for RGB-D SLAM evaluationC. Proc. of the RGB-D Workshop on Advanced Reason?ing with Depth Cameras at Robotics: Science and Systems Conf.(RSS), Los Angeles, USA. 2011, 2: 3.34 Davison A J. Real-time simultaneous localisation and mapping with a single cameraC/Computer Vision, 2003. Proceedings. Ninth IEEE InternationalConference on. IEEE, 2003: 1403-1410.35 Lemaire T, Berger C, Jung I K, et al. Vision-based slam: Stereo and monocular approachesJ. International Journal of Computer Vision, 2007, 74(3):343-364.36 Vidal-Calleja T, Bryson M, Sukkarieh S, et al. On the observability of bearing-only SLAMC/Robotics and Automation, 2007 IEEE International Confer?ence on. IEEE, 2007: 4114-4119.37 Gao X, Zhang T. Robust RGB-D simultaneous localization and mapping using planar point featuresJ. Robotics & Autonomous Systems, 2015, 72:1-14.38 Lowe D G. Distinctive image features from scale-invariant keypointsJ. International Journal of Computer Vision, 2004, 60(2): 91-110.39 Bay H, Tuytelaars T, Gool L V. SURF: Speeded up robust featuresJ. Computer Vision & Image Understanding, 2006, 110(3): 404-417.40 Lepetit V, Ozuysal M, Trzcinski T, et al. BRIEF: Computing a local binary descriptor very fastJ. IEEE Transactions on Software Engineering, 2011, 34(7): 1281-1298.41 Huijuan Z, Qiong H. Fast image matching based-on improved SURF algorithmC/Electronics, Communications and Control (ICECC), 2011 InternationalConference on. IEEE, 2011: 1460-1463.42 Chli M, Davison A J. Active matching for visual trackingJ. Robotics and Autonomous Systems, 2009, 57(12): 1173-1187.43 Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartographyJ.Communications of the ACM, 1981, 24(6): 381-395.44 Pollefeys M, Van Gool L, Vergauwen M, et al. Visual modeling with a hand-held cameraJ. International Journal of Computer Vision, 2004, 59(3): 207-232.1142015 世界机器人大会报道特刊 www.kjdb.org45 Engels C, Stew H, Ninstius D. Bu nrdle adjustment rulesJ. Photogrammetric computer vision, 2006, 2: 124-131.46 Strasdat H, Montiel J M M, Davison A J. Real-time monocular slam: Why filter?C/Robotics and Automation (ICRA), 2010 IEEE International Confer?ence on. IEEE, 2010: 2657-2664.47 Fuentes-Pacheco J, Ruiz-Ascencio J, Rend n-MJ aMn.c hVai s u a l simultaneous localization and mapping: a surveyJ. Artificial Intelligence Review,2015, 43(1): 55-81.48 Marjovi A, Nunes J G, Marques L, et al. Multi-Robot Exploration and Fire SearchingC/ IEEE/RSJ International Conference on Intelligent Robots andSystems (IROS). IEEE, 2009:1929-1934.49 张国良 , 汤文俊 , 曾静 , 等. 考虑通信状况的多机器人 CSLAM 问题综述 J. 自动化学报 , 2014, 40(10): 2073-2088.50 Michael N, Shen S, Mohta K, et al. Collaborative mapping of an earthquake-damaged building via ground and aerial robotsJ. Journal of Field Robotics,2012, 29(5): 832-841.51 Lee H C, Lee S H, Choi M H, et al. Probabilistic map merging for multi-robot RBPF-SLAM with unknown initial posesJ. Robotica, 2012, 30(2): 205-220.52 Gil A, Reinoso O, Ballesta M, et al. Multi-robot visual slam using a rao-blackwellized particle filter. Robotics and Autonomous Systems, 2010, 58(1):68-80.53 Vidal-Calleja T A, Berger C, Sola J, et al. Large scale multiple robot visual mapping with heterogeneous landmarks in semi-structured terrain. Roboticsand Autonomous Systems, 2011, 59(9): 654-674.54 Benedettelli D, Garulli A, Giannitrapani A. Cooperative SLAM using M-Space representation of linear featuresJ. Robotics and Autonomous Systems,2012, 60(10): 1267-1278.55 Zhou X S, Roumeliotis S. Multi-robot SLAM with unknown initial correspondence: The robot rendezvous caseC/Intelligent Robots and Systems, 2006IEEE/RSJ International Conference on. IEEE, 2006: 1785-1792.56 Forster C, Pizzoli M, Scaramuzza D. Air-ground localization and map augmentation using monocular dense reconstructionC/Intelligent Robots and Sys?tems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, 2013: 3971-3978.57 Saeedi S, Paull L, Trentini M, et al. Neural network-based multiple robot simultaneous localization and mappingJ. IEEE Transactions on Neural Net?works, 2011, 22(12): 2376-2387.58 Saeedi S, Paull L, Trentini M, et al. Map merging for multiple robots using Hough peak matchingJ. Robotics and Autonomous Systems, 2014, 62(10):1408-1424.59 Kostavelis I, Gasteratos A. Learning spatially semantic representations for cognitive robot navigationJ. Robotics and Autonomous Systems, 2013, 61(12):1460-1475.60 Bo L, Ren X, Fox D. Learning hierarchical sparse features for rgb-d object recognitionJ. International Journal of Robotics Research, 2014, 33(4): 581-599.A survey on the cooperative SLAM problem of multi-robots systemsbased on visualL Qiang, LIN Huican, ZHANG Yang, MA JianyeDepartment of Control Engineering, Academy of Armored Forces Engineering, Beijing 100072, ChinaAbstract Visual SLAM using only images as external information estimates the robot position while building the environment map.SLAM is a basic prerequisite for autonomousrobots. Now it has been solved by using a laser or sonar sensor to build 2D map in asmall dynamic environment. However, in a dynamic, wide range and complex environment there are still problems to be solved, andthe use of vision as the basic external sensor is a new area of research. The use of computer vision techniques in visual SLAM, suchas feature detection, characterization, feature matching, image recognition and recovery, has still much room for improvement. Thepaper offers a brief overview on visual SLAM about the latest and easy to understand technologies in the field. Multi-robot systemshave many advantages over a single robot, which can improve the precision of SLAM system, and better adapt