资源描述
附录 1：外文翻译摘要本文介绍了机器人视觉伺服控制的入门教程，由于该课题涉及许多学科，我们的目标仅限于提供一个基本的概念框架工作。首先，我们从机器人学和计算机视觉的前提条件，包括坐标变换，速度表示，以及图像形成过程的几何方面的描述进行简要回顾。然后，我们提出了视觉伺服控制系统的分类。然后详细讨论了基于位置和基于图像的系统的两大类。由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征，所以我们还包括基于特征和基于相关性的跟踪方法的概述。我们结束了教程与一些服务的当前方向的研究领域的视觉伺服控制当今绝大多数增长的机器人人口都在工厂里工作，在那里工厂可以制造出适合机器人的环境。在工作环境和物体放置不能精确控制的应用中，机器人的影响要小得多。这种局限性很大程度上是由于现代商业机器人系统固有的感觉能力不足。人们早已认识到，传感器集成是提高机器人的通用性和应用领域的基础，但迄今为止，这还没有证明在制造业中大量的机器人应用是有效的。机器人在日常生活中的“前沿”为这项研究提供了新的动力。与制造业的应用不同，重新设计“我们的世界”并不适合于机器人。视觉是一种有用的机器人传感器，因为它模仿人类的视觉，并允许对环境进行非接触测量。自从 Shirai 和伊努埃（1）的早期工作（谁描述了如何使用视觉反馈回路来校正机器人的位置以提高任务精度），大量的 EORT 一直致力于机器人的视觉控制。机器人控制器完全集成的视觉系统现在可以从多个供应商获得。通常，视觉感知和操作以开环的方式组合，“看”然后“移动”。所得到的操作的精度直接取决于视觉传感器和机器人末端 Ecter 的精度。增加这些子系统的精度的一个替代方法是使用视觉反馈控制回路，这将增加系统的整体精度，这是大多数应用中的一个主要问题。极端地，机器视觉可以为机器人端部控制器提供闭环位置控制。这被称为视觉伺服。这个词似乎已经被 RHT 和 Park（2）在 1979 中介绍了，以区别他们的方法与先前的“块世界”实验，其中系统在拍照和移动之间交替。在引入这个术语之前， 一般使用较少的视觉术语视觉反馈。为了这篇文章的目的，视觉伺服中的任务是使用视觉信息来控制机器人的末端 ECT 相对于目标对象或一组目标特征的姿态。该任务也可用于移动机器人，其中，它成为控制车辆的姿态相对于一些地标。视觉伺服是融合许多领域的结果，包括高速图像处理、运动学、动力学、控制理论和实时计算。它与主动视觉和运动结构的研究有很多共同点，但与在分层任务级机器人控制系统中经常使用的视觉非常不同。许多控制和视觉问题类似于那些正在建造“机器人头”的主动视觉研究者所反对的。然而，视觉伺服中的任务是控制机器人利用视觉来操纵环境，而不是仅仅观察环境。本课程的教程介绍。我们的目标是帮助其他人通过提供一致的术语和术语来创建视觉伺服系统，并欣赏可能的应用。为了帮助新手到领域，我们将描述的技术，只需要简单的视觉硬件（只是数字化仪），自由可用的 Visio 假设关于机器人及其控制系统。这是对许多不需要高控制和/或视觉性能的应用程序的开始调查。在这样一篇文章中的一个难点是该主题跨越许多不能在单个文章中得到充分解 决的学科。例如，底层控制问题从根本上来说是非线性的，视觉识别、跟踪和重构本身就是 ELD。因此，我们专注于每个学科的某些基本方面，并提供了广泛的书目，以帮助读者寻求更详细的比这里可以提供。我们的偏好总是呈现那些我们已经发现在实践中很好地发挥作用并且具有某种通用适用性的想法和技术。另一个 DICTY 是基于视觉的运动控制文献的当前快速增长，它包含许多涉及的理论和技术问题的解决方案和有前途的方法。我们再一次拥有提出了我们认为是最基本的概念，并再次参考读者的书目。本文的其余部分结构如下。第 2 节回顾了坐标变形、姿态表示和图像形成的相关基础。在第 3 节中，我们提出了视觉伺服控制系统的分类（改编自 5 ）。在第4 和第5 节中分别讨论了基于位置视觉伺服系统和基于图像的视觉伺服系统的两大类。由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征，所以第 6 节描述了视觉跟踪的一些方法，这些方法具有广泛的适用性，并且可以使用最少的专用硬件来实现。最后，第 7 节给出了关于视觉伺服控制研究领域的当前方向的大量观测结果。2 背景在本节中，我们提供了一些与机器人视觉伺服控制相关的机器人和计算机视觉的简要概述。我们首先从术语和符号来表示坐标变换和通过工作空间移动的刚性物体的速度（第 2.1 和 2.2 节）。在此之后，我们讨论了与图像形成有关的几个问题（第 2.3 和 2.4 节），以及可能的相机/机器人拥塞（第 2.5 节）。熟悉这些主题的读者可能希望直接进行第 3 节。3文以机器人的任务空间为例，以 T 为代表的机器人的任务空间，是机器人所能达到的一组位置和方位。由于任务空间仅仅是 RooTooTo 工具的配置空间，任务空间是平滑的 M 流形（见，例如，6）。如果工具是在三维工作空间中任意移动的单个刚体，则 t= SER SO，并且 M- 6，任务空间可以被限制为 SE 的子空间。例如，对于拾取和放置，我们可以考虑纯平移（t= r，对于 m -3），而对于跟踪对象并保持它在视图中，我们可能只考虑旋转（tSO，M3），通常，相对于一个或多个坐标帧指定机器人任务。例如，摄像机可以提供关于摄像机相对于摄像机的位置的信息，而用于抓取物体的配置可以相对于附着在物体上的坐标框架来指定。我们用非 P. Given 两帧表示点 P 相对于坐标系 A 的坐标。A 和 U 表示帧 Y 相对于帧 A 的方向的旋转矩阵表示为R，。帧 Y 的原点相对于帧的位置由向量 T表示。位置和方向框架一起指定一个姿势，我们用一个“X”表示。如果主标上标 R 不是指定的，则世界坐标系被保证，我们也可以使用姿态来指定坐标变换。我们使用函数表示一个点的坐标变化。特别地，如果我们给出 p（坐标 p 相对于框架 y）的坐标，和 x，则通过应用坐标变换规则得到 p 与坐标 A 的坐标。续集中，我们将使用符号-X 来表示坐标变换或 TOA 姿态，它们分别由旋转矩阵和平移、R 和 T 指定。同样，我们将使用术语姿势和协调 TMNSechange 互换。一般来说，在“X”的两种解释之间不存在歧义，通常，我们必须组成多个坐标变换以获得期望的坐标变化。例如，假设我们给出姿势 X，ANX，。如果我们给出 p，并且希望计算p，我们可以使用坐标变换的组成。如图所示，我们表示坐标变换的组成，并用对点 p 进行相应的坐标变换。对应矩阵和平移由需要经常使用的一些坐标框架由下列上标/下标引用e 附着在机器人末端执行器上的坐标系T 坐 标 系 附 于 目 标0 机器人的底架摄像机的坐标系SE，我们将使用符号 x.e t 来表示端效坐标系相对于世界框架的姿态。在这种情况下，我们通常喜欢使用平移向量和三个角度（例如，滚动、俯仰和偏航 7） 来参数化 APOSE。虽然 SUCH 参数化本质上是局部的，但是通常用向量 R E 来表示姿态，而不是由 X。E 表示。例如，当 t= r 时，我们将通过 rx，y，21 来参数化任务空间。在续篇中，如果我们考虑一个特定的任务，我们将假设 RE。通过注意交叉乘积可以用斜对称矩阵表示，这可以用矩阵形式简洁地写出2。摄像机保护模型利用计算机视觉系统提供的信息来控制机器人是必要的，要了解 HE 成像过程的几何方面，每个摄像机都包含一个透镜，该透镜在传感器所在的图像平面上形成并保护场景。这种保护导致直接信息丢失，使得图像平面上的每个点对应于射线。在三维空间中。因此，需要一些附加信息来确定对应于图像平面点的 3D 坐标。该信息可以来自多个摄像机、多个摄像机和多个目标点上的几何关系之间的几何关系。在这一部分中，我们描述了三种已经被广泛用于建模图像形成过程的投影模型：透视投影、比例正交投影和仿射投影。虽然我们简要地描述了这些投影模型中的每一个，但在本教程的其余部分中，我们将假定使用透视投影。对于三个投影模型中的每一个，我们分配相机坐标系，其中 A 轴和 Y 轴形成图像平面的基础，即轴。垂直于图像平面（沿着光轴），并且原点位于图像平面后面的距离 A 处，其中 A 是相机镜头的焦距。如图 1 所示。在文献中，图像特征是任何结构特征，而不是提取图像（E.GeeGeCern），图像特征将对应于某物体（例如，机器人工具）的物理特征投影到摄像机图像平面上的良好特征点是一个。可以在场景的不同视图中明确地定位，例如垫圈 10中的孔或设计图案 11, 12。我们将图像特征参数定义为可以从一个或多个图像特征中计算出来的任何实值量，用于视觉伺服控制的一些特征参数包括图像 11, 14, 15、16, 17, 18、19 中的点的图像平面坐标，距离为在图像平面中的两点和连接两个点 10, 20 的线的方向，投影表面的感知边缘长度 21a 和两个投影表面的相对面积 21，投影表面的质心和阶次矩。Ne 11，以及图像平面 11 中的椭圆的参数。在本课题中，我们将限的点特征，其参数是它们的图像平面坐标。可以使用摄像机的投影几何来计算从末端执行器的位置和方向到相应的图像特征参数的映射。我们将用 F 来对他的映射进行降噪，其中例如，如果是 U，Y 图像平面坐标的空间，用于投影到图像平面上，那么，假设透视投影，其中 u 和 ube 由（16）给出。（19）的精确形式将部分取决于下一节中讨论的 THM 相机和端部执行器的相对配置。2.5 相机配置视觉伺服系统通常使用两种相机配置中的一种：末端执行器安装或固定工作 空间。第一种，通常称为手眼配置，摄像机安装在机器人末端执行器上。在这里， 存在一个已知的，往往是恒定的关系之间的相机的姿势（砂的姿势的末端执行器）。我们通过 ARGET 的姿势来表示这种关系：相对于相机框架用 X 表示。这些姿态之间的关系如图 2 中所示，第二种配置有固定在工作空间中的摄像机。在这种情况下，摄像机（X）与 X 的机器人的基本坐标系相关，而 X 则与目标有关。当然， 在该摄像机中，目标的摄像机图像与机器人运动无关（除非目标 ISED 执行器本身）。一种变体是为了使相机灵活，安装在另一个机器人平移/倾斜头上，以便从最佳摄像机 25 观察视觉控制的机器人，以供选择摄像机配置，在执行视觉伺服任务之前，必须按顺序执行摄像机标定。确定摄像机内部参数如焦距必须建立坐标系，并将其封装在外部参数确定 CAMELL 校准过程中。对于手眼的情况，必须考虑相对姿势 X，这就是手/EVE 校准问题。校准是计算机视觉界的一个长期的研究（在许多参考文献中可以找到校准问题的良好解决方案，例如（, 27, 28）。因此，由此产生的分类学有四大类，我们现在来描述。这些基本结构在图 3至 6 中示意性地示出，如果控制体系结构是分层的，并且使用视觉系统来提供关节点控制器的设置点输入，从而利用联合反馈来将机器人稳定在内部称为动态观察 A。ND 移动系统。相反，直接智能伺服消除机器人控制器完全取代它与视觉伺服控制器，直接计算联合输入，从而利用视觉单独稳定机制有以下几个原因， 几乎所有实现的系统采用动态外观和移动近似然而，从视觉上获得的相对较低的采样率使得机器人末端控制器具有复杂的非线性动力学的直接控制，这是一个极具挑战性的控制问题。使用具有高采样率的内部反馈一般呈现具有理想化轴动力学 29 的视觉控制器。其次，许多机器人已经有一个接口接受笛卡尔速度或增量位置命令。这简化了视觉伺服系统的构造，并且使方法更加便携。第三，从视觉控制器看机构的运动奇异性。允许机器人被认为是理想的笛卡尔运动装置。由于许多解决速率 30 控制器具有专门处理运动学奇异性的机制 31），所以系统设计又被大大简化。在本文中，我们将专门使用外观和移动模型。系统的第二大分类将基于位置的控制与基于图像的控制区分开来。在基于位置的控制中，从图像中提取特征并结合目标的几何模型和已知的摄像机模型来估计相对于摄像机的姿 态的姿态。通过减少估计的 POSEE 中的误差来计算反馈。在基于图像的伺服控制中，直接基于图像特征来计算控制值。基于图像的方法可以减少计算延迟，消除图像解释的必要性，并消除由于传感器建模和摄像机标定造成的误差。然而，它对控制器设计提出了一个重大的挑战，因为该设备是非线性的和高度的附录 2：外文原文,
展开阅读全文