外文翻译--视觉跟踪问题向鲁棒非线性控制挑战

国际性刊物 鲁棒非线性控制 2000; 10:875觉跟踪问题 :向鲁棒非线性控制挑战 艾伦 泰勒保蒙 美国亚特兰大 0082号格鲁吉亚工学院电子和计算机研究部门 视觉跟踪问题 :向鲁棒非线性控制挑战 摘要 ： 视觉跟踪是在控制活动图象中关键性问题之一。因为模型中存在不可靠性和噪音信号、使它变成鲁棒控制中一挑战性问题。在此论文中、我们将概略一些涉及的关键问题和一些可能的解答方案，我们想需要联系机器视觉和多刻度图像处理技术来实现这个工作任务。 特别地，我们会概略一些必需的方法例如：计算机视觉和图像处理包含光学流程图在内、活动的轮廓（横向振荡），和几何学上的被驱动流程。该论文如此也便会有指导意义 。版权 2000 约翰怀利和几个有限公司 关键字 ：目视跟踪 鲁棒控制 视觉运动 活动轮廓 光学流程 通用换算图像处理 1. 引言 在这论文里、我们考虑那些被控制的跟踪眼运动活动图象问题。这个问题的解决方案需综合控制理论、信号处理和计算机视觉等技术。我们想表明有可能由利用能适应的鲁棒控制与信号处理通用换算方法以及计算机视觉形状识别理论协同一起来处理此问题，跟 踪是一基点控制问题即我们需要的输出的遵循或跟踪基准信号，或相当于我们想使那跟踪误差相对于一些定义明确的标准（说能量、能力、峰值、等等 .)尽可能小的。即使镜头推进存在的一些干扰是一典型控制问题、这个手头上的问题是很难和挑战性，因为有非常不确定的自然干扰性。一个可以认为眼球运动跟踪问题是在一人机连接的环境之下。特别地，我们将推断计算机用户视觉运动，哪个动作是用户打算完成的。例如：在电脑荧屏上打开一个文件夹、展开一下拉菜单项等等。这类电脑跟踪系统将作为包含我们的视觉跟踪方法学一个具体的实例。重要强调是已经有相当多 在测量视觉运动方面的研究已经在被控制的实验室环境下完成、何况研究上已经在应用中用到此知识。从此我们将考虑接下来在大范围中跟踪问题的适应性，包括机器人、远距操纵的车辆，并且飞行员带瞄准器的飞行帽当前也正在发展中。后者是系统的结合钢盔支柱头和视觉跟踪能力以分辩隶属的正确的视线。显而易见，正当的开发跟踪观察者眼睛的人类视觉系统的那动态特性将导致大大幅度削减传输中所需要的信息。关于视觉跟踪和眼运动（与大量的信息一样）的讨论多半被发现在参考 1 . 我们应该明白视觉跟踪问题不同于标准追踪问题，因为反馈信号是用 图像感应器测量的。尤其是，它必须在经由计算机视觉运算法提取而且在被用于控制回之前被一个推论运算法解释。反应速度是关键性因素。因为明显的理由、一视觉跟踪系统应该是尽可能的非侵入的。眼球运动通过由灰度或红外线照相机或由一系列感应器得到的获取图象来完成跟踪的 低能级数据获取和识别的完成是经由一通用换算技术得到的。此技术提供许多优越性。第一，它使得信号处理的查找和医学上的图象获取过程明朗化、它导致实时信号捕获和了解程序快速化。识别将利用一通用换算方法和一新的计算理论形 式来完成。 因此、从该视频信息交换窗的控制点出发、我们有一跟踪问题在非常不可预测的干扰哪个我们想使其衰减的。注意到该不可靠应归于传感器噪音（典型的）、该算法的构成如上所述（不可测性求出起重要作用、各种各样的假设的可能性、等等 .)，和模型不定性。我们应该注意到论文将拥有指导气息。实际上，我们的一个关键目的是引进从活动图象到该鲁棒控制共同体的一些核心概念。我们坚信共同体便会从研究彼此方法和问题得益。尤其是、因为视觉跟踪和该眼球运动跟踪的特有的课题、该鲁棒控制在明确地处理不可靠性的技术我们将要在接下来做相应的讨论 。 2. 视觉 跟 踪 视觉跟踪存在许多论文，通过利用视力在货车交货、特别是在机器人共同体（看例如、涉及 1, 2, 5和那参考在那里面的 .)代表性地、该问题定位在本研究中是通过利用视觉跟踪服务机械手（或一等值的难题）。该动机于使用视力在这一体制中是非常清晰的，那就是说，该综合计算机视觉和控制可以是用到改善测量，因为改善图像处理技术和硬件中、机器人技术到达指向就是要视觉信息可以变成不可分割那部分反馈信号。因为问题带有少量不定性、单纯的 且越来越用于嘈杂的系统、能适应的方案以及随机建 立的已经使用的线性二次高斯控制器。 许多控制原理图已经建议使用视觉信息来控制回路。这已经绵亘传感零件到表征多级控制结构应用范围而言、傅里叶描述符，和局部图像分析法；看参考 9和那里面的参考。以光学的流程为基础的有好的方法已经被当作机械手的计算一个主要成份使用驱动信号（阅读详细的，请参考 7, 8，和我们以下的论述）。的确，因为在一个图像中的一个物体由光亮式样组成 , 如同物体搬进空间一样光亮也是式样。 光学的流程然后是光亮的明显运动式样 ;参考 12。在标准的假定之下 , 被提供的一个静态的目 标和一台感人的照相机 ( 或相等地 ,一个静态的物体和一台感人的照相机 ),一个可以在快速时写下象平面上对象凸出点的时差。若干方法已经讨论适合于计算此速度。此知识也将能用来跟踪图像。 让我们考虑追踪一个计算机荧屏上的目标具体问题。然后我们有唯一的一二维的跟踪目标点，我们为简单起见假定那目标周旋于原子能飞机垂直于光轴照相机，如果那照相机移动然后带有翻译速度的移动 : 和旋转速度盎司（就那照相机设计）而言、可能形成二维的跟踪问题如同下述适合于一个目标。让电 压互感器标志目标的投影在象平面区域， 那照相机设计）。有类似的描述适合于跟踪的零件。现在由此机构，就可以写下运动的照相机光流产生的 其控制变量是由包括照相机的跟踪运动在内的流程所给定的。那可执行代码程序带表格可能在参考 13、 7查到，并且无须涉及我们现在所讨论的课题 (同那定时在 . 之后接纳那表格。 x(n+1)=x(n)+ n)=Td(n)+v(n) z(n)=x(n)+w(n) 这里 ,d 是外界产生的干扰 , v 是噪音 ，称做适合于模型不定性， z 是是那量度与噪声分量 w 一起。 ( 所有的矢量都包含在。 x ， y 和摇晃因素形成的跟踪误差构成的 )。 有许多重要的控制问题与这样的设备有关系、当然，一个人量度延迟（我们想工作实时）和抽样时间选择的问题。但是我们感觉有许多深刻地和很多难题，必须被编址合理可选择的控制策略成功之前。换句话说 ,一般说来不定性（ v w）是塑造成均 匀频谱噪声。这模型是保守的，没有加入使用帐户任何可能噪声环境的结构。现代鲁棒控制一个关键贡献考虑了的结构不定性（参考 14和以及里面其他内容）。在我们现在的情形中，我们倡导深刻的研究有关不定性方面的问题。这将导致信号处理的关键元素，尤其是，新的强大的计算机通用换算方法 雅各比理论为基准将会起到一个关键角色。以下我们将讨论此话题，尤其是讨论更多明确地处理那眼球运动信息并在反馈电路使用它的方法。 3、眼睛运动信息 当许多研究已经完成眼睛运动测量的时候，少量研究已经在应用中采 用这些知识。一些侵入的视觉跟踪技术测量角膜和视网膜电势差而其他的人正在使用 侵入的技术识别零件位于眼睛的图像上，比如虹膜或瞳孔或那角膜的界限条件反射的眼睛敏感的光线，并且从此零件推论出运动的眼睛，所以此零件的运动还可以应归于头部的运动，重要的是跟踪若干零件并求出此零件差速运动。例如：、电学上近红外眼睛跟踪系统使用角膜表面反射的光的相对运动而且反射视网膜跟随用户的目光。关于眼睛跟踪技术的好的调查报告参考 3, 15 16。 大部分从事利用眼球运动知 识已经集中于联络残疾人使用者，例如，参考 17, 18。其他的研究强调应用于类似于我们在考虑包含 19的。这开创性研究尝试通过利用眼球运动在人机通信并且证明理论的可能性 . 他们也确定这些趋近于人机通信的实用真实问题和缺陷，其必须解决以便使其实用逼真以至可以对抗和补充其他的人机连接工具比如鼠标、钢笔和图形输入卡、驾驶杆以及键盘。 趋近于人机通信的视觉跟踪幕后的理论基础是目标被一受支配的似人的结构发现。如果是这样，在视网膜成像的小的区域称作小凹。因此使用者的眼睛位置提供有关他集中于屏蔽的区域的信 息。该信息是精确到内部小凹角宽度的（大约一度）。此精度已经被认为是适宜于上述研究中的人机通信（好的精确度可能需要眼肌的研究，但是我们这里不讨论 .)生物学研究者指出大量普遍的眼睛运动分成二类扫视与定位。（参考 3, 24, 4与该参考中一些扫视与定影的论述以及他们和生物学幻像的关系。这些研究同时包含大规模视觉跟踪的一些基本问题 .)扫视是突然运动视觉从场景中的一个感兴趣区到另一个。扫视通常伴随间隔为 200到 600毫秒的定影，该视觉仍然完成包括小于一度的小的神经过敏运动。其他的形式的眼睛运动可能在人机通信期中可能被忽略。 建立人机通信的视觉跟踪的基本问题是确定定影周期（亦即，用户感觉他在视觉上已经定位在一目标上的时间），然后在肌肉神经过敏视觉运动定位在目标上。注意人类忽视这定影期间的神经过敏视觉运动，那就是说我们注视一个目标我们以为我们是早看现场的单个斑点。也要注意到纯理论的过滤器接近于除去该眼睛神经过敏不是令人满意地，既它也可能减缓正确位置扫视的响应时间。 4. 数据获得 有二基本对数据获得的方法 : 与那一个类似的活跃方式藉着追踪系统和图 像技术的无源现在眼睛用。 在有效的方法中，一种无害近红外线灯用来照明用 户的脸。两个来自眼睛的反射波被求得。是前者反射信号起因于角膜表面被称作反射。后者反射发生来自视网膜被称作明亮视觉成分。为最小化背景辐射效果，目前的系统一般需要暗淡的光。本文中，我们将钻研无源的方法。 5. 追踪及光学 流程 一旦我们想要跟踪与对象相当的信息已经确定，我们使用一个光学流程估计各零件从两个连续图象，只包含那个零件。该图象是当时和以前的 产生运动判断问题比用纯理论的强度成像的传统的流程判断适应度好了很多。该光学流程的计算机应用已经被用于解决活动幻像中出现 的问题的一个重要的工具。该光流域是一序列的成像的明亮图像的视在运动的速度矢量场 41。假定该明亮图像是相对运动的结果，足够大的空间来寄存图像上光亮度在空间分配方面的改变。因此，一个目标和一架相机的相对运动能够引起光学流程。同样地，一工人静电照相机成像的场景中目标的相对运动可以引起光学流程。在我们光学流程的计算机应用上，我们使用通用化粘性溶液的汉密尔顿 技术似乎理论上适于这种变化，欧拉拉格朗日接近于此问题（参见 41面相关的内容）。利用这种通用的方法，我们已能处理那些在光 学流程区域出现的若干相异的变分公式的奇异性和规律性问题。这类方法论已经被用于描影法造型问题 44, 45，和边缘检测 46。 分割和数据分析 从一数据列提取是有干扰的视觉轨迹，然后问题变为数据断片进入扫视和定位间隙和测定预定注视点。一个非常接近的通用换算也被用于这些步骤中。该定位判断问题由于若干干扰来源而变得复杂。特别地，眼光闪烁及其他人为现象可能没有终止地发生在定位过程中。在这些人为现象有的能够持久 200毫秒，数据可能丢失。为更好的目标定位和分裂眼睛运动跟踪，可以使用点连续离散最大概似法接近 于细化开始和结束间歇以及定点的测定可能值。该方式是结点连续非连续的测定问题因为注视点能够取连续的值，然而分割成 定位 和 非定位 间隔是一个二元问题。它是建立在视觉活动定位和持续的统计学上的模型，它是建立在最理想的贝叶斯定理概念上的。它用一个预测步骤来填充在扫视过程中丢失的数据。该推算步骤以假设视觉或者在定位方式或者在扫视方式为基准提出两个推定量。该假设任何一个取舍是在监视若干读取信息后计算各可能性之后取舍的。延迟关联文件这过程限于大约毫秒，这个过程将不会为用户所注意到。 如上所述还可以容易地贝叶斯统计放 到递减率蛇形线来处理抽取的轮廓；参考 50。因此建立边缘检测算法的通用换算几何学上的横向振荡很自然地变成其贝叶斯定理的框架。注意我们不需要发送有关扫视运动的相关信息。当注视点改变时，我们唯一的提供有关跟踪程序初始的和最后的定点的信息。然而，加快人机通信过程，我们使用扫视运动去推算下一个定点将会在哪。 扫视运动可以由一隐藏的马尔可夫模型描述参考 51中相关内容。此外，马尔可夫模型可能用来综述在当前上内容可能的用户操作。在隐藏的马尔可夫模型描述的这扫视各状态关联到特别的运动形式阶段的随机模型。经结合用户 意图的随机的描述是以呈现背景和扫视的隐藏的马尔可夫模型为基准的，我们可以导出一推算下一个注视点将在的位置的判断法则。 结论 在论文中，我们考虑用一通用方法论来研究眼光跟踪问题。我们应该注意因为信号和模型中的不定性，此类问题为在鲁棒控制方面的研究工作者提供了一个极其难得的机会。我们论述个综合鲁棒控制、计算机视觉，和信号处理通用换算的方法。最近、存在多种人员参加在研究幻像和控制。大部分研究到目前已经分支。当分支已经结束时很多基本控制算法已经用于混合的结果。利用视觉信息在反馈电路中能够提供珍贵的新的研究来源，它 有潜力推动控制研究的一个新的领域。在本问中论述的视觉跟踪问题可以作为一范例适合于活动图象控制的整个范围。的确，该问题向鲁棒控制系统开启了一次有力的挑战。 感谢 我们要感谢明尼苏达大学的加里 特费科教授，他们提供了许多非常有用的关于视觉跟踪的交谈。该研究在某种程度上得到以下各单位的授权和支持：国家科学基金会电子计算机系统 家科学基金会局部信息处理系统，自动跟踪科学研究空军办公室 98 - 1 - 0168、军队 98 - 1 - 0169研究 室。 F J. 000; 10:875n a . is of in of in it a In we of as as We to in In we of , a as 2000 . n we of of of We it is to by in is a in we to or a or we to as as to . in of a is a at is of of in of a In we to of of a to a on a a of as a of is in It is to in of in a on in we a of in a of in to a s of of of by of s to in of to be of an of be 1 We of in is In it to be by a in is a an be as as is by by or or by an of to of is a a of as is in it to be a a of of we a in of a we to is to in of , We a of is to to We by s In of of be as we 2. a of on of in in ( 1, 2, 5 in is of a or an in a is of be to of in is an of ID as as QG A of of in of to 9 A on as a in of s in 7, 8, an in an is up of as in so do is of 12. a a or a a of a of of be to us of on a we a We in a is to of If : to as an 13. t on is of to q to t of of by of by of by s be 13, 7, us is be in on x(n+1)=x(n)+ T (n)=Td(n)+v(n) z(n)=x(n)+w(n) is d is v is a &z is w. (of up of x, y, of a of to a Of of we to in of we is a be a of be in v w) is as is of of of in of in 14 In we a of to of in of in a in as be We in of it in a 3. on of on in of on an of as of or or of a at of of of be to a of it is to of of to s A of be 3, 15. 16. of on on 17, 18. to we 19 of in of of to be in to it a as to is an is by a if it is on a of a s of he is is of to of of to be by (be of is (3, 24, 4 of to on of A is a of of in to A is by a 00 00 ms of be in in is of he is at an of in of to do we an we we at a in a to is it to a 4. to an to by a In a is to s is