基于机器视觉的工件识别和定位文献综述

基于机器视觉的工件识别和定位文献综述1. 前言1.1工业机器人的现状与发展趋势机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。 2l 世纪日本创建机器人社会技术发展战略报告 指出， “机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑 2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。 ”研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在 10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的 FANUC、MOTOMAN ，瑞典的 ABB、德国的 KUKA、意大利的 COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。 ”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。1.2机器视觉在工业机器人中的应用工业机器人是 FMS（柔性加工） 加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，不过这些应用都是基于先精确的示教后运行，而且工作环境都是预先安排好的，所以机器人能成功地抓取物体。但是我们知道很多情况下特别是流水线的场合工件的位姿常常是不固定的，实际目标物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解，这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接近觉、触觉和力觉具有重大的作用。其中机器人视觉被认为是机器人最重要的感觉能力，从智能机器人的研究实例中，也能清除地看到这一点。视觉是人类观察世界和认知世界的重要手段。据统计表明，人类从外部世界获得的信息约有 80的信息是通过视觉或视觉传感器而获取的，这既说明了视觉信息量大，也表明了人类对视觉信息有较高的利用率，同时也体现了人类视觉功能的重要性。机器人视觉是模拟人类视觉在机器人上的体现。采用视觉传感器比采用其他传感器来获取工作环境及工件信息还有以下几方面的优势：首先，机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，在提高生产的柔性和自动化程度方面有着重要的作用；其次，即使在丢失了绝大部分的信息后，其所提供的关于周围环境的信息仍然比激光雷达与超声波更多更准确；最后，视觉的采样周期比超声波和激光雷达短，这也意味着视觉系统的实时性要好，所以更适合工件的在线检测、识别、定位等。由于具有以上这些优点，基于视觉的智能机器人具有广阔的发展空间。因而使用视觉来提高机器人的智能水平，具有重要的现实意义和研究价值。1.3国外基于视觉的工业机器人发展历史机器人视觉技术是 20 世纪 80 年代发展起来的新兴技术，它的产生和发展是与机器视觉和机器人技术的发展密不可分的。近年来，机器人视觉技术已成为高技术领域一个重要的研究课题，它为可行走机器人、装配机器人、抓取机器人以及其他种类机器人解决视觉问题提供了技术基础。它将使传统的工业生产面貌发生巨大变化，对人类社会的生活和生产产生深远的影响。目前国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及应用方面的研究工作。机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学的重要研究领域之一。机器视觉是在 50 年代从统计模式识别开始的，当时的工作主要集中在二维图像的分析和识别上，如光学字符识别、工件表面、纤维图片和航空图片的分析和解释。60 年代，Roberts 通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。Roberts 的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。Roberts 的创造性研究给人们以极大的启发，到了 70 年代，已经出现了一些视觉应用系统。1954 年，美国的 George C.Devol 设计并制作了世界上第一台机器人实验装置。60 年代机器人产品正式问世，机器人技术开始形成。1961 年 MIT 的 Lincoln 实验室开始把一个配有接触传感器的遥控操纵器的从动部分与一台计算机连接起来，这样形成的机器人可以凭触觉感知物体的状态。随后，用电视摄像头作为输入，把计算机图像处理和物体识别技术也引入到机器人系统。至此，视觉技术正式引入机器人系统。70 年代中期，麻省理工学院（MIT）人工智能（AI）实验室正式开设 “机器视觉”课，同时，MIT 的 AI 实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、系统设计的研究。David Marr 教授应邀于 1973 年到该实验室领导一个以博士生为主体的研究小组。1977 年提出了不同于“积木世界”分析方法的计算视觉理论，该理论在 80 年代成为机器视觉研究领域中的一个十分重要的理论框架，可以说对机器视觉的全球性研究热潮是从 20世纪 80 年代开始的，到了 80 年代中期，机器视觉获得了蓬勃发展，新概念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等。由于国外对视觉技术的研究以及将其和机器人相结合都起步比较早，因此发展的较好，并且已经出现了一些商品化的计算机视觉系统。美国在这方面开展的较早，在 20 世纪 70年代，美国 GM 公司试制了能识别传送带上机械零件的视觉检查系统。到了 80 年代，由于微处理器的普及，各行业对视觉系统都表现出了极大的兴趣。80 年代初在国际市场上作为商品出售的一个通用机器人系统 PUMA/VC-100，具有识别物体，确定物体位置坐标的能力，其所使用的视觉算法允许在材料加工或装配系统中对工件进行检测。视觉系统是通过示教训练得到的。以美国国家科学基金委员会为中心的实用视觉系统的研究飞速发展。在日本的国家产业政策中，也把大力发展实用视觉系统放在了首要地位，进入 90 年代以后，在电子、汽车、制药、食品等高效、劳动密集的生产线上，工业视觉系统已是不可缺少的一部分，起到了人眼所不能起的作用，有力地保证了产品质量。斯坦福研究所早期研制的机器人（Shkey）是一种典型的“眼车”系统，它的主要功能是在视野范围内识别对象，依靠积累的经验求解行动规划，以及运用逻辑推理的问答能力。它可以穿行房间，搜索、识别指定的对象，并进行“智能”的操作。通用汽车公司开发出可以在噪声环境下工作的机器人视觉系统。Adept 公司是全球知名的工业机器人制造公司，它在研制第一代机器人的时候就考虑了加入视觉系统，因此在二十几年的发展过程中，获得了丰富的经验和比较成熟的技术，使得其成为美国最大的工业机器人制造公司。经过多年的发展，美国的智能机器人研究已经走在了世界的前列。日本在借鉴其他国家研究智能机器人方面的经验之后，现在在这方面的研究已经走在了世界的前列。日立中央研究所研制的具有自主控制功能的智能机器人，可以用来完成按图装配产品的作业。德国Siemens 公司在工业图像处理方面拥有超过 20 年的经验积累，SIMATIC VIDEOMAT 是第一个高性能的单色和彩色图像处理系统，并成为 SIMATIC 自动化系统中极重要的产品。而 1999 年推出的 SIMATIC VS710 是业内第一个智能化的、一体化的、带 PROFIBUS 接口的、分布式的灰度级工业视觉系统，它将图像处理器、CCD、 1/O 集成在一个小型机箱内，提供 PROFIBUS 的联网方式（通讯速率达 12Mbps）或集成的 UO 和 RS232 接口。OMS 视觉系统，是由原联邦德国制造生产的商业通用系统，它能够完成物体的识别及特征的检测等任务，操作模式可以是交互式的、主动的以及被动的三种，典型的应用是机械零件的分类、装配以及质量控制等。此外，加拿大、比利时等国，在图像采集、图像处理等方面都具有丰富的经验。1.4 国外机器人制造商生产的视觉工业机器人产品伴随着科技的进步和生产技术的发展，基于机器视觉技术的工业机器人的研究越来越得到广泛的关注，并且已经出现一大批科技成果，并在实际生产中得到了很好的应用。国外在对基于机器视觉的工业机器人的研究上已经做了很多工作，并且已经有很多突破性成果。日本学者 S.Murakami 等研究的弧焊机器人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据，能有效地进行焊缝跟踪。澳大利亚 Western 大学研制的 Australias Telerobot，它是一个带有摄像机的具有六个自由度的工业机器人，用户可以控制拍摄静态图像并对图像进行处理，生成空间位置，通过不断拍摄和更新图像得到空间位置后，通过对位置信息的处理实现了基于空间坐标系的积木块的摆设。欧宝、保时捷等知名品牌汽车的生产线，使用了 12 台摄像机进行模式识别和 3D 定位，可以对车身进行高精度的密封生产。瑞士 SIG 公司研发的一种结合视觉系统，适用在高速输送机上取件的并联机器人 XR22，可以通过 2D 定位，迅速将输送机上随机的货物抓取，并在包装盒中按顺序序摆放整齐。图 1.1 为 2007 年日本机器人顶级荣誉获得者Fanuc 公司的超快双臂工业机器人系统。该系统装配有两个 M-430iA 机器人手臂和可视跟踪功能的食品、药品操作系统，它的每只手臂每分钟可以精确的捡起 120 件物品且可以每天 24 小时不间断的工作。瑞典 ABB 公司最新推出的“第二代”拾取机器人 FlexPicker IRB360（图 1.2 所示） ，拥有有效载荷更大、操作速度更快、占地面积更小等优势，在简单有效的 2D 视觉的帮助下，可以以高达 2 次/秒的速度快速捡取传送带上的物品。而芬兰 RTS 公司研制的机器人视觉系统则成功地用于舰船螺旋桨推进器的生产过程中，通过机器视觉的监控，可按照 CAD 模型对螺旋桨叶片进行精密的磨制。图 1.3 所示的是工作在生产线上的码垛机器人和卸垛机器人，对环境的适应性很好，能够自主识别工作目标，进行任务操作。图 1.1 Fanuc 公司的超快双臂工业机器人系统图 1.2 ABB 公司展示的 FlexPicker 工业机器人图 1.3 生产线上的码垛和卸垛工业机器人1.5 我国在基于机器视觉的工业机器人方面的研究状况我国对计算机视觉的研究真正开始是在改革开放之后，并且在学术上迅速追赶国际水平，但作为工业视觉系统，必须有它的应用市场，才能得以发展。改革开放后，视觉系统检查往往被忽略，这是造成产品不稳定的因素之一。随着企业的深化改革，产品质量的竞争已关系到企业的生命，这就为工业视觉的应用创造了条件。在这种形势下，视觉的研究才逐渐得到人们的重视。我国的很多高校也相继开展了基于视觉的智能机器人的研究，华中科技大学的彭刚等人提出一种基于视觉引导和超声测距的手眼机器人系统对运动目标的跟踪和抓取方法。北京航空航天大学孟偲等人提出一种基于手眼视觉的测量与定位方法，可以判断未知目标物体是否可抓持以及为进行抓持规划提供有效依据。在重复定位任务中，该方法可以利用目标物体的先验信息快速定位，从而避免频繁移动手臂。东南大学席文明等人介绍了一种通过视觉引导的机器人跟踪复杂焊接的应用。利用双摄像机拍摄的图像求得焊缝上的空间点，然后根据焊接要求的速度对空间点进行直线插补。华中理工大学刘延林研究了在零件设计信息指导下，利用 CCD 摄像机获取的工件毛坯图像识别工件毛坯及其安装状态，但其实验系统识别精度不够高，实验方案在实际自动加工中也欠实用。华中科技大学王敏采用视觉与超声测量相结合的方法，将二维图像信息与超声波传感器获取的深度信息进行融合推断，对待装配工件进行自动识别与空间定位，但采用梯度算子直接提取工件边缘。汕头大学的彭惠青等人利用分块二值化处理对图像进行边缘检测时，可获得较高质量图像，但需进行遍历式搜索，因此在线实时性不好。清华大学毛德柱等人利用遗传算法进行匹配获取工件位姿，但未给出该匹配算法的实际效果。这些新的理论和算法都为视觉系统在柔性制造系统中的应用打下了很好的基础。尽管对三维计算机视觉技术的研究己有几十年的历史，人们确实已获得很大的进步。也尽管机器视觉具有种种的优点，但迄今为止，能真正应用于实际的视觉系统还不多，过去几年来，计算机视觉系统是通过专门硬件、超级计算机及庞大的定制软件库来实现的，虽然成功实现了许多这样的计算机视觉系统，但它们无一例外都高度专门化并且成本昂贵。尤其在国内这种现象更为明显，究其原因，一方面由于其产品价格很昂贵；另一方面由于实际问题的复杂性以及相关学科的滞后，工件的定位、识别算法，视觉控制算法都有待进一步研究，具体实现过程中仍存在视觉信息处理瓶颈、适用范围窄等实际问题。因此，研究机器视觉和机器人相结合的技术，无论从理论上看，还是从实际出发，都有其深入系统地研究的必要性。2. 工件图像预处理和边缘特征提取视觉系统强调精度和速度，所以需要图像采集部分及时、准确地提供清晰的图像，只有这样，图像处理部分才能在比较短的时间内得出正确的结果。由此可知图像采集部分的性能会直接影响整个机器视觉系统的性能。图像采集部分一般由光源、镜头、数字摄像机、图像采集卡和计算机构成。采集过程可简单描述为在光源提供照明的条件下，数字摄像机拍摄目标物体并将其转化为图像信号，最后通过图像采集卡传输给图像处理部分，如图 2-1 所示。由于获取的图像是彩色图像，而后续的算法只需要灰度图像就能完成，因此要灰度化。通常的图像都会受到各种噪声的影响，因此还要去除噪声，经过前面的预处理之后，得到更好质量的图像。预处理之后就是对工件图像的边缘检测，提取工件的边缘特征。整个处理过程如图 2.2 所示。图 2-1 图像采集过程框图图 2-2 图像预处理和边缘特征提取过程框图2.1 图像获取图像获取也就是图像的数字化过程，即将图像采集到计算机中的过程。主要涉及成像及模数转换（A/D Converter）技术。随着计算机与微电子特别是固体成像设备（光电耦合器件 CCD）的快速发展，图像获取设备的成本已显著降低。在自然的形式下，图像并不能直接由计算机分析。因为计算机只能处理数字而不是图片，所以一幅图像在用计算机进行处理前必须先转化为数字形式。图像转化为数字形式的方法是将物理图像经过采样划分为称作图像像素的小区域。最常见的划分方案是方形采样网格，图像被分割成由相邻像素组成的许多水平线。经过采样后的图像还不是数字图像，因为这些像素上的灰度值仍是一个连续量，必须进行量化。所谓量化就是将每个像素的亮暗程度用一个整数值来表示，即像素的灰度离散化。完成上述转化后，图像被表示为一个整数矩阵。每个像素具有两个属性：位置和灰度，此数字矩阵就作为计算机处理的对象。在采样和量化处理后，才能产生一张数字化的图像。2.2图像的灰度化由摄像机和采集卡获取的图像是彩色图像，而我们知道彩色图像色彩丰富，包含信息量大，图像处理速度较慢。考虑到算法没有使用彩色和识别系统的实时性要求，对彩色图像灰度化是必须的。灰度化就是使彩色的 R、G、B 分量值相等的过程，因此灰度图像中每一个像素的 R、G、B 分量的值是相等的，而彩色图像的每一个像素的 R、G、B 分量的值是不相等的，所以显示出红绿蓝等各种颜色，灰度图像则没有这种差异，有的只是亮度上的不同。彩色图像中的各种颜色都是有 R、G、B 三种基色构成。在数字化的图像中，若R、G 、B 量化的程度越细，则图像的色彩越丰富，对图像的描述就越精确。R、G 、B 三路色彩都可称为灰度，即红色灰度、绿色灰度、蓝色灰度。灰度化处理的方法主要有以下三种：（1 ） 最大值法：使灰度图像中的灰度值 Gray 等于原真彩图中的 RGB 值中最大的一个即 Gray=max(R，G ，B) ，最大值法会形成亮度很高的灰度图像。另外，还有一种变形，不一定采用最大值，而是直接采用 R、G、B 中的任意一个，这种方法对于 R、G、B 三种色彩在图像中所占比例基本相同的情况下，对获得图像的信息量不会有很大影响。但是当图像的三基色比例相差较大时，此时从三路采集的灰度图像的信息量相差较大。因此，此方法用的较少。（2 ） 平均值法：使灰度图象中的 Gray 值等于原真彩图中的 RGB 值的平均值即:Gray=(R+G+B)/3，平均值法会形成较柔和的灰度图像。（3 ） 加权值法：根据重要性或其他指标给 RGB 赋予不同的权值并把 RGB 的值加权即Gray=WRRW GG+ WBB 其中 WR、W G、W B 分别为 R、G、B 的不同权值。由于人的视觉系统对彩色色度的感觉和亮度的敏感性是不同的，因此产生了不同的彩色空间表示。可以选择 YIQ 彩色空间，YIQ 为美国电视系统 NTSC 彩色制式的表色系，其优势是灰度信息和彩色信息是分离的。其中 Y 表示亮度分量，描述灰度信息，I 表示色调，Q表示饱和度，I 和 Q 分量表示彩色信息。YIQ 色彩坐标系和 RGB 色彩坐标系之间的转换关系为：=() 312.05-21.074968BGR用一个像素的 R、G、B 计算出 Y 的值，用亮度 Y 来代表此像素的灰度信息，从而得到即将被处理的灰度级图像。最简单的灰度图像是 0-1 灰度图像，即：每一点的灰度值只有 2 级，0 、1 在视觉上就是黑和白，没有中间过渡颜色。现在普遍应用的灰度图像量化级别是 0-255，即：每一点的灰度值用一个 BYTE 来表示。灰度化前后的图像如下图 2.3 所示。 图 2.3 灰度化前后的图像2.3 灰度图像预处理一般地，视觉系统获取的图像（即原始图像）由于受到种种条件限制和随机干扰，往往包含着各种各样的噪声和畸变，因而不能在视觉系统中直接使用，必须在进行图像分析和识别前进行灰度校正、噪声过滤等图像预处理，从而去掉这些使图像质量劣化的因素，并对信息微弱的图像进行增强，使图像变得更容易观看或使图像中的有用信息更容易提取。对机器视觉系统来说，所用的图像预处理方法并不考虑图像降质原因，只将图像中感兴趣的特征有选择地突出，衰减其不需要的特征，图像预处理方法主要包括对比度增强、平滑和图像增强（锐化） 。2.3.1 对比度增强在图片中经常会出现对比度不够的情况，这可能是由于图片记录装置的动态范围大小所致，也可能是由于摄像过程中的原先曝光不足所造成的。图像增强是指对图像的某些特征，如边缘、轮廓、对比度等进行强调或尖锐化，以便于显示、观察或进一步分析与处理。对比度增强是增强技术中比较简便但又十分重要的一种方法。这种处理只是逐点修改输入图像中的每一像素的灰度，图像中各像素的位置并不改变，是一种输入与输出像素间一对一的运算。对比度增强又叫点运算，一般用来扩大图像的灰度范围。设输入图像的灰度为 f ( x , y )，输出图像的灰度为 g ( x , y )，则对比度增强可表示为：g ( x , y ) =T ( f ( x , y)。图像输出与输入灰度之间的映射关系完全由函数 T 确定。对比度增强常见有以下几种：（1 ） 直接对每个像素进行操作。比较典型的是线性变换。（2 ） 借助直方图进行变换。比较典型的是直方图均衡化。（3 ） 借助对一系列图像间的操作进行变换。其中（1） 、 （2 ）比较常用。a 线性变换线性变换可使图像动态范围增大，图像对比度扩展，图像变清晰，特征明显，是图像增强的重要手段之一。令原图像 f ( x , y )的灰度范围为 a ,b，线性变换后图像的灰度范围为 a , b ，线性变换的原理示意图如图 2.4 所示，计算公式如式（2.1）所示。G(x,y)= （2.1 ）bjifbaa bjifa),(),(图 2.4 线性变换在曝光不足的或过度的情况下，图像灰度可能会局限在一个很小的范围内。这时的图像将是一个没有灰度层次的图像。采用线性变换对图像每个像素灰度作线性变换，将有效地改善图像视觉效果。图 2.5 为线性变换前后的图像对比。2.4 线性变换前后的图像对比b 直方图均衡化灰度直方图反映了数字图像中每一灰度级与其出现像素频率间的统计关系。它能描述该图像的概貌，例如图像的灰度范围、每个灰度级出现的频率、灰度级的分布、整幅图像的平均明暗和对比度等，为对图像进一步处理提供了重要依据。大多数自然图像由于其灰度分布集中在较窄的区间，引起图像细节不够清晰。采用直方图均衡化可使图像的灰度间距拉开或使灰度分布均匀，从而增大反差，使图像细节清晰，达到增强的目的。直方图均衡化是通过对原图像进行某种变换，使原图像的灰度直方图修正为均匀布的直方图的一种方法。其具体方法如下：首先给出原始图像的所有灰度级 sk（ k = 0,1, L 1） ；然后统计原始图像各灰度级的像素数 nk；利用式（ 2.2）计算原始图像的直方图后再用（2.3）式计算原始图像的累积直方图：P(s k)=nk/n k=0,1,L-1 （2.2）其中，s k 为图像 f ( x , y )的第 k 级灰度值，n k 是 f ( x , y )中具有灰度值 sk 的像素的个数，n 是图像像素总数。(2.3)由于数字图像的灰度值均为整数，所以还应对 tk 取整；确定 skt k 的映射关系后统计新直方图各灰度级的像素数 nk；最后利用式（2.4 ）计算新的直方图： p(tk)=nk/n （2.4）直方图均衡化前后图像的对比如图 2.5 所示。2.5 直方图均衡化前后图像的对比2.3.2 图像的平滑由于一般情况下所取图像是在自然光条件下现场拍摄而成，图像受到较多干扰；同时在图像的生成、传输或变化的过程中，往往由于受光学系统失真、系统噪声、光照变化等各种因素的影响而产生各种各样的噪声，此时就必须对图像进行平滑处理。图像中比较常见的噪声有椒盐噪声、高斯噪声等。图像平滑的目的是消除或尽量减少噪声的影响，改善图像质量。在假定噪声是随机独立分布的条件下，利用邻域的平均或加权平均可以有效地抑制噪声干扰。图像平滑实际上是低通滤波，让信号的低频部分通过，阻截属于高频部分的噪声信号。显然，由于图像边缘信息也属于高频信息，因此在减少随机噪声影响的同时，平滑过程将会导致边缘模糊化。由于图像的边缘信息包含了大部分的被测物体的特征信息，或在下一步进行的图像处理过程中需要提取出的信息。因此，滤波处理目的是：要滤除图像中不需要的噪声信号，同时，保持图像中的边缘信息。所以一个好的平滑方法应该是既能消除图像中存在的噪声又不使图像的边缘轮廓和线条变模糊，这是图像平滑处理要追求的主要目的。图像平滑滤波的方法主要有空域法和频域法两大类。常用的平滑方法有低通滤波法、邻域平均法、中值滤波法等。线性平滑滤波器去除高斯噪声的效果很好，且在大多数情况下，对其它类型的噪声也有很好的处理效果。线性滤波器使用连续窗函数内像素加权和来实现滤波。同一模式的权重因子可以作用在每一个窗口内，也就意味着线性滤波器是空间不变的，这样就可以使用卷积模板来实现滤波。如果图像的不同部分使用不同的滤波权重因子，且仍然可以用滤波器完成加权运算，那么线性滤波器就是空间可变的。a 均值滤波所谓均值滤波实际上就是用均值替代原图像中的各个像素值，是最简单的线性滤波器。邻域平均法是一种简单的空域处理方法，这种方法的基本思想是用几个像素的平均值来代替像素的灰度。假定有一幅 N N 个像素的图像 f ( x , y )，平滑后得到的图像为 g(x,y),则有：g(x,y)= ),(1nmfM其中 x ,y = 0,1,2, , N 1；S 是( x ,y)点邻域中点的坐标的集合，不包括( x ,y)。点 M 是集合内坐标点的总数。这说明平滑化的图像 g ( x , y )中的每个像素的灰度值均由包含在( x ,y )预定邻域的 f ( x , y )的几个像素的灰度值的平均值来决定。 邻域 S 的大小控制着滤波程度，大尺度邻域会加大滤波程度，作为去除大噪声的代价，大尺度滤波器也会导致图像细节的损失。b 中值滤波中值滤波是一种非线性滤波技术，由于实际计算过程中并不需要图像的统计特性，所以比较方便。它是基于图像的这样一种特性：噪声往往以孤立的点的形式出现，这些点对应的像素数很少，而图像则是由像素数较多、面积较大的小块构成。在一定条件下，可以克服线性滤波器所带来的图像细节模糊，而且对滤除脉冲干扰及图像的扫描噪声最为有效。但是对一些细节多，特别是点、线和尖顶多的图像不宜采用中值滤波的方法。一维的情况下，中值滤波器是一个含有奇数个像素的窗口。在处理之后，将窗口正中的像素灰度值，用窗口内各像素灰度值的中值代替。例如若窗口长度为 5，窗口中像素的灰度值为 80、90 、200、110 和 120，则中值为 110。因为按从小到大（或从大到小）排序后，第三位的值是 110，于是原来窗口正中的灰度值 200 就由 110 代替。如果 200 是一个噪声的尖峰，则将被滤除。设有一个一维序列 f1、f 2.fn,取窗口长度为奇数 m, 对此序列进行中值滤波, 就是从输入序列中相继抽出 m 个数,f i-vfifi+v, 其中 f 为窗口的中心值,v=(m-1)/2, 再将这 m 个点的数值按其数值大小排列，取其序号为正中间的那个数作为滤波输出。中值滤波的表达式为：对数字图像进行中值滤波，实质上对二维序列X IJ的中值滤波，滤波窗口也是二维的，但这种二维窗口可以有各种各样的形状，如线状、方形、圆形、十字形和圆环形等。二维的中值滤波可以表示为：式中 A 为窗口。在实际使用中，窗口的尺寸一般是先试用长度为 3 的窗口对信号进行处理，若无明显信号损失，再把窗口延长到 5，对原图作中值滤波，直到既有较好的噪声滤除的效果，又不过分损害图像细节为止。对于有缓慢变化的较长轮廓线物体的图像，采用方形或圆形窗口为宜；对于包含尖顶角的图像，适宜用十字形窗口。经试验比较发现，均值滤波器去除高斯噪声等随机噪声的效果很好，但是却使图像边界变得模糊，模板尺寸越大，模糊效果越明显。中值滤波器不但滤除了噪声，而且基本上保持了边界不变，但是模板尺寸不宜取得过大。一般 33 模板中值滤波效果要比 55 模板中值滤波效果好。C.高斯滤波高斯平滑滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对去除服从正态分布的噪声是很有效的。对图像处理来说，常用二维高斯函数做平滑滤波器。这种函数的表达式为：其中， 是高斯函数的均方差，它控制着平滑效果。 越大，平滑程度越好，但同时也造成图像特征的过分模糊，一般取 =110高斯滤波器具有很多良好性质，如旋转对称性，高斯函数是单值函数，高斯函数的傅立叶变换频谱是单瓣，高斯滤波器的宽度有参数 表征，高斯函数具有可分离性。高斯滤波器的设计一般是直接从离散高斯分布中计算模板权值，把二维高斯函数变形为：式中 为分布参数，c 高斯函数的系数。选择合适的分布参数 ，就可以在选定的窗口上评价该值，以便获取模板。高斯卷积模板对图像高频噪声有较好的抑制作用，同时又使得图像特征变得模糊，且随着 值增大，模糊程度越大。2.4 边缘特征提取2.4.1 边缘检测概述边缘检测是图像分割、目标区域分割、区域形状提取等图像分析领域十分重要的基础，也是图像识别中提取图像特征的一个重要属性。在进行图像理解和分析时，边缘检测往往是非常重要的一步，目前它已成为机器视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。边缘是以图像的局部特征不连续的形式出现的，即是指图像局部亮度变化最显著的部分。它主要存在于目标与目标、目标与背景、区域与区域之间，是图像分割、纹理特征提取和形状特征提取等图像分析的重要基础。在一维情况下，阶跃边缘同图像的一阶导数局部峰值有关，梯度是函数变化的一种度量，而一幅图像可以看作是图像强度连续函数的取样点阵列。因此，同一维情况类似，图像灰度值的显著变化可用梯度的离散逼近函数来检测。边缘检测算法一般有四个步骤：（1 ） 滤波：边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能；（2 ） 增强：增强边缘的基础是确定图像各点邻域强度的变化值；（3 ） 检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定那些点是边缘点，最简单有效的边缘检测判据是梯度幅值阈值判决；（4 ） 定位：如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以被估计出来。边缘检测的方法国内外研究的比较多，各种成熟的算法也有很多，如 Sobel 算子、Prewitt 算子、 Canny 算子等，这些算子各有优缺点。下面就几种经典边缘检测算法作一介绍。2.4.2 边缘检测算子介绍a Roberts 算子Roberts 交叉算子是一种利用局部差分算子寻找边缘的算子，它对具有陡峭的低噪声的图像边缘检测效果较好。Roberts 交叉算子为梯度幅值计算提供了一种简单的近似方法：用卷积模板表示方法，上式变成 其中 Gx 和 Gy 由下面的模板计算：Gx= Gy=(1 00 1) (0 11 0)Roberts 交叉算子的差分值将在内差点 (i + 1/ 2, j+ 1/ 2)处计算，Robert 算子是该点连续梯度的近似值，而不是所预期点(i , j )处的近似值。bSobel 算子Sobel 算子对灰度渐变和噪声较多的图像处理得较好。其原理是对数字图像 f (i , j )的每个像素，考察它上、下、左、右八邻点灰度的加权差，其中可设置四个四邻域点的权最大。定义 Sobel 算子如下：我们也可以用如下的卷积核，将图像中的每个像素都用它们来进行卷积，一个是水平边缘响应，一个是垂直边缘响应。将两个卷积的最大值作为该点的输出值，运算结果是一幅边缘幅度图像。h1= h2=1-01-Sobel 算子通常用于水平和垂直边缘的一个简单检测子，如果 h1 的响应是 y，h 2 的响应是 x，则我们可以根据下式得出强度（幅值）： ，且方向是x或y2。）y/（tan1-c Prewitt 算子Prewitt 边缘算子与 Sobel 边缘算子的偏导数形式完全一样，只是 C1。所以，与 Sobel 边缘算子一样，图像中的每个点都用这两个模板进行卷积。需要注意的是，与 Sobel 边缘算子不同，Prewitt 边缘算子没有把重点放在接近于模板中心的像素点。GX= GY=1010d Log 算子在介绍 Log 算子之前，先介绍拉普拉斯算子。在二维图像中，拉普拉斯（Laplacian ）算子是常用的二阶微分边缘检测算子。对于一个连续函数 f ( x , y )，它在位置( x , y )的拉普拉斯值定义如下：对数字图像的每一像素计算关于 x 轴和 y 轴的二阶偏导数之和，并使用差分方程表示如下：它是以点i , j 为中心的二阶偏导数的近似式。在数字图象中，拉普拉斯算子可借助各种模板来实现。这里对模板的基本要求是对应中心像素的系数应是负的，而对应中心像素邻近像素的系数应是正的，且它们的和应该为零。常用的两种模板如下：GX= GY=0141420拉普拉斯算子的特点是：各向同性，线性和位移不变；对细线和孤立点检测效果好。但边缘方向信息丢失，常产生双像素的边缘，对噪声有双倍加强作用。Log 算子是在拉普拉斯算子的基础上实现的，它是先用高斯低通滤波器将图像进行预先平滑，然后使用拉普拉斯算子检测边缘，最后用零灰度值进行二值化，产生闭合的、连通的轮廓，消除所有内部点。e Canny 算子Canny 算子是由高斯函数的一阶导数构成的，是对信噪比与定位之乘积的最优化逼近算子。常用作边缘检测算子。Canny 算子基本上满足一般的边缘检测过程的四个步骤，其算法实现过程如下：（1 ）用高斯平滑器平滑图像；（2 ）对平滑后的图像使用一阶导数算子检测图像的梯度幅值和方向；（3 ）对梯度幅值进行非极大值抑制；（4 ）用双阈值算法检测和连接边缘。Ii , j 表示图像，首先对图像进行高斯滤波，如式：其中 是高斯函数的散布参数，它控制着平滑程度。平滑后数据阵列 S i , j 使用一阶导数算子来增强图像空间的边缘信息，得到 x ,y 偏导数的两个阵列 P i , j ， S i , j ，然后计算其幅值和方向角，如式：幅值图像阵列 M i , j 的值越大，其对应的图像梯度值也越大，这还不足以确定物体的边缘。为确定边缘，必须细化幅值图像中的屋脊带，即只保留图像中的幅值变化最大的点。也就是进行非极大值抑制。通过抑制梯度线上所有非屋脊值的幅值来细化 M i , j 中的梯度幅值屋脊。这一过程可以把 M i , j 宽屋脊带细化成只有一个像素点宽的图像 N i , j 。双域值算法对非极大值抑制图像 N i , j 作用双阈值 1 和 2，且 22 1,， 得到两个阈值边缘图像 T1i,j和 T2i,j。由于图像 T2i,j是用高阈值得到的，因此它含有很少的假边缘，但 T2i，j 可能在轮廓上有间断。双阈值算法要在 T2i,j中把边缘连接成轮廓，当达到轮廓的端点时，该算法在 T1i,j中收集边缘，直到将 T2I,j中所有的间隙连接起来为止。3. 基于图像匹配的工件识别3.1 引言通过图像预处理和边缘特征提取等有效图像处理后得到了零件的二值化边缘，这些边缘除了噪声点和伪边缘点外，基本上组成一个一个的目标区域。这些区域如果仅从视觉效果上看，很明显的是一块块的区域，但是对于计算机来说，它并不知道这些区域中哪块才是目标区域，即我们要找的工件。因此我们需要从分割图中找到所要的零件，这就是图像识别需要解决的问题。 图像识别就是从图像中找出与已知模式相似的目标图像，即识别出物体并确定出它在整幅图像中的位置和方向，是计算机视觉系统中的关键和难点。 图像识别的一般流程，如图 3.1 所示，由模型库、图像信息获取、图像预处理、特征检测器和匹配、分类组成。3.1 图像识别流程第一部分是图像信息的获取。它相当于对被研究对象的调查和了解，从中得到数据和材料。第二部分图像预处理。由于原始图像存在着许多噪声和畸变，所以预处理的目的去除干扰、噪声及差异，将原始图像变成适合于计算机进行特征提取的形式。第三部分是图像特征提取。它的作用在于把调查了解到的数据材料进行加工、整理、分析、归纳抽出能反映事物本质的特征。第四部分识别判断就是根据提取的特征参数，采用某种判别规则，对图像信息进行分类和辨识，得到识别结果。3.2 图像识别的一般方法及存在的问题图像识别的方法很多，大体上可以归纳为：统计图像识别、结构图像识别、模糊集图像识别、图像匹配识别。图像匹配是其中最有代表性、应用最为广泛的方法，其在运动目标跟踪、遥感图像识别、机器人视觉等领域都已得到了应用。根据所使用的匹配特征可以大致分为两类：1直接利用原始图像的灰度信息进行匹配。这是基于图像灰度信息的匹配是最基本的匹配算法思想。常用的方法有：归一化互相关算法、基于统计矩的匹配方法、基于 FFT（频率域）的频域相关算法，包括相位相关和功率谱相关算法、矩匹配、灰度投影算法等。其主要缺陷是计算量大、抗噪声与抗干扰的能力比较差、只能适用于两幅图像具有相同的外界条件的情况下作精细的匹配。2. 使用图像的特征进行匹配。这种匹配算法必须对原始图像进行一定的预处理来提取其高层次的特征，通过特征点提取，分别得到模板图像和待匹配图像的特征点的集合，然后基于特征集之间的相似性量度来找到模板在图像中的匹配位置。通常使用的特征有：边缘、骨架线条、角点等物体的形状特征。该算法使需要进行相关计算的像素点数目有了明显的减少，而且特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广泛。3.3 Hausdorff 距离3.3.1 Hausdorff 距离定义Hausdorff 距离，又称最大最小距离（简称 HD） ，是描述两组点集之间相似程度的一种量度，它是两个点集之间距离的一种定义形式，而传统的绝对距离只考虑点集合中最近的两个点，而没有考虑到集合其他点的位置情况。Hausdorff 距离只是测量一种相似程度，而非点对点的完全重合，在图像识别中有着广泛的运用。经典的 Hausdorff 距离定义如下：给定两个有限点集 A=a1,a2,ap和B=b1,b2,bp,那么点集 A 和 B 之间的 Hausdorff 距离定义为：其中 h ( A, B )和 h ( B , A) 定义为：其中 为定义在点集 A 和 B 上的某种距离范数，如 。2或 L基本形式的 Hausdorff 距离对于理想情况能很好的反映集合 A 和 B 之间的匹配程度，但实际中这种情况的出现是很低的。其所定义的距离依赖一个物体和另一个物体中最不匹配点的距离，这使得它对任何远离中心的噪声点非常敏感；或者识别物体本身只有部分可见，此时若去计算 Hausdorff 距离势必会产生比较大的误差。为了克服这一缺点，许多研究人员对经典的 Hausdorff 距离进行了不同程度的改进，主要体现在对有向距离的改进。比较有代表性的是部分 Hausdorff 距离（PHD）和平均 Hausdorff 距离（MHD） ，它们分别将 A 到 B 的的有向距离进行了重新定义。部分 Hausdorff 距离是由 Huttenlocher 在 1993 年提出来的，用来比较有严重的遮掩或退化的图像中的部分图像，产生了较好的匹配结果。其有向距离定义为：其中， 代表将 从小到大排序后取第 K 个值。部分 Hausdorff 距离还存thAaK）a（dB在如下 3 个缺陷：1）若待匹配图像 A 中存在伪边缘，则可能造成误匹配；2）若待匹配图像 A 中含有较强的噪声或存在出格点时，则可能造成误匹配；3）若待匹配图像 A 中所含的目标物体出现遮挡现象时，则很难得到正确的匹配结果。平均 Hausdorff 距离（MHD）是有 Dubuission 和 Jain 于 1994 年提出来的，这种匹配方法在有零均值高斯噪声的图像中可以估计出最佳的匹配位置，而且不需要参数。其有向距离定义为：MHD 的计算虽然比较简单，但是与部分 Hausdorff 距离相比，当处理目标存在遮掩和外部点干扰时，它的匹配性能并不好，因为它采用平均值计算有向距离，噪声点也参与了计算，因此，该距离用于匹配的有效性较差。3.3.2 距离变换在 Hausdorff 距离求解中，对于点集 A 中任一点 a 到点集 B 的最近距离即 ，）a（dB通常用欧几里德距离进行计算，计算量很大。实际上，在边缘提取过程中，受到噪声、畸变以及探测算子本身的影响，没有必要精确计算欧几里德距离值。在保证运算结果准确性的前提下，我们可以采用近似的距离变换。距离变换在许多机器视觉应用中是非常重要的。它被应用在模式识别、形态学等方面。二值图像的距离变换最先被 Rosenfeld and Pfaltz 提出，其后发展出很多不同的距离变换，常见的有街区距离变换、棋盘距离变换、切削距离变换、欧式距离变换。在机器视觉上的应用包括最近邻像素差值、形态学处理（提取骨架、剪枝、细化、粗化）和模式识别（汽车导航中的物体立体特征匹配和地图匹配） 、机器人碰撞回避、路径发现和空间图像匹配。距离变换的相关性还被应用在加速图像物体的发现上，它将物体看作在任意位置和方向上的边缘模式。此外，距离变换辅助的自适应点匹配也被应用在地图匹配问题上。3.4 基于遗传算法的图像匹配3.4.1 遗传算法图像匹配原理遗传算法 (Genetic algorithm，简称 GA)是一种求解问题的高效并行全局搜索算法，其借鉴了自然界的自然选择和自然遗传机制，能够快速到达最优解 90的搜索范围，从而得到全局最优解。将其引入图像匹配过程，使匹配由单一的一个点开始逐点移动模板进行相似度运算变为随机生成数个点进行相似度运算，并通过 GA 的进化功能由适当的适应度函数指导其搜索过程向最优点进化，进而大大减少运算量，提高识别的快速性。遗传算法的基本原理是在自然选择和群体遗传学机理基础上通过随机选择、选代、进化等步骤来模拟自然进化过程以搜索全局最优解。遗传算法结合了达尔文适者生存和随机信息交换，在消除了求解过程中不适应因素的同时，还利用了原有解的已有知识，有力地加快了搜索最优解的过程。遗传算法一般可通过染色体编码（Chromosome Coding） 、生成初始群体、计算个体适应度、遗传算子（选择算子、交叉算子和变异算子）等步骤来实现。遗传算法中的遗传算子包括选择（selection） 、交叉（crossover）和变异（mutation）等三个算子，它们构成了遗传算法具备强大搜索能力的核心。选择算子（又称复制或繁殖算子）是对群体中的个体按优胜劣汰的方式选取，并遗传到下一代群体的运算操作。选择操作的目的是为了从当前群体中选出生命力强的染色体，使它有机会保留用以繁殖后代。判断染色体优良与否的准则就是各自的适应度值，个体适应度值越大，其被选择的机会就越多。根据不同的问题，选择的方法可采用适应度比例选择法（也称轮盘赌方式） 、最佳个体保存方法、期望值方法、排序选择法和随机联赛选择法等。交叉算子（又称重组或配对算子）是遗传算法中产生新个体的主要方法，在算法中起着关键性的作用。它的操作是对两个互相配对的染色体按某种方式互相交换其部分基因，从而形成两个新的个体。对于选中用于繁殖后代的个体，随机选择交叉位置 k，交换两个基因串位置 k 右边的部分，产生两个新的个体，这两个新个体组合了其父代的特性。常用的交叉算法有单点交叉、双点交叉与多点交叉、均匀交叉和算术交叉等。变异操作模拟自然界生物体进化中染色体上某位基因发生的突变现象，从而改变染色体的结构和物理性状。选择算子和交叉算子基本上完成了遗传算法的大部分搜索功能，而变异算子则使遗传算法具有局部的随机搜索能力，可加强向最优解收敛并保证遗传算法的有效性。变异算子首先在群体中随机地选择一个个体，以一定的概率随机改变基因串中某个字符的值。为了保证个体变异后不会与父辈产生太大的差异，变异概率一般取值较小（一般取为 0.00010.1 之间） 。常用的变异算子有基本变异算子、均匀变异算子、非均匀变异算子、正态变异算子和自适应变异算子等。遗传算法提供了求解复杂系统优化问题的通用框架，不依赖于问题的具体领域，对问题的种类有很强的鲁棒性，广泛应用于函数优化、组合优化、自动控制、图像处理等领域。理论研究已经证明，遗传算法能从概率意义上以随机的方式寻求到问题的最优解，但在实际应用中，遗传算法出现了一些不尽如人意的问题，如早熟现象、局部寻优搜索能力较差等问题。应用研究表明，目前一些常规遗传算法并不一定是针对某一问题的最佳求解方法，例如将常规的遗传算法应用到图像匹配中往往不能有预想的效果，而将遗传算法问题的特有知识集成到一起构成的混合遗传算法却有可能产生出求解性能极佳的方法。3.3.2 遗传算法图像匹配Hausdorff 距离图像匹配的计算量是相当大的，而遗传算法的全局寻优特点，能使计算结果达到真正的最优，且不会落入局部最大的情况。将遗传算法用于解决一个优化问题，通常需要解决以下几个问题：（1 ）构造合适的适应度函数，并用基因串把问题编码；（2 ）遗传算子设计以及确定控制遗传算子操作的概率。对于我们要识别的工件，所采集的实时工件图像与模板图像相比可能发生平移、旋转等位置变化，我们分别定义为 x, y , 三个参数。于是（ x , y,）就构成了解空间中的待寻参数，工件匹配的适应度函数就可以定义为：其中 h ( A, B )为模板点集 A 与图像中被匹配处的点集 B 之间的部分 Hausdorff 距离，（x, y）为模板在图像中移动时的中心位置参考点坐标, 为匹配过程中模板的旋转因子的变化值， （x, y ,）构成了解空间（或参数空间）中的待寻找的参数，可以看出， h ( A, B)越小，则适应度越大，此时匹配效果越佳，当 h ( A, B )为 0 时， f ( x , y ,) 取最大值 1。匹配时，我们将现场拍摄的工件图像看作参考图像，这样，模板图像经过平移和旋转来与参考图像匹配。具体的过程是：通过对串的参数解码，获得坐标（x, y）及旋转因子 之后，用下式对原始模板做旋转变换：其中 表示模板的旋转角度， xsize 和 ysize 表示模板的宽度和高度，xp 和 yp 是模板中各点的位置，x 和 y表示图像中相应点的位置。从而得到经过旋转变换后的新模板，用该模板与图像上中心位置在（ x , y ）且大小与该模板相同的区域进行匹配，计算出其平均 Hausdorff 距离，最后求出该串的适应度函数值。遗传算法的收敛理论说明了遗传算法以概率为 1 收敛的极限性质，然而实际应用中是不允许让遗传算法无停止地发展下去的，因此需要有一定的条件来终止算法的进程。在本文的算法中，当判断出群体已经进化成熟，而且连续若干步不再有明显的进化趋势时，便终止算法的运行；或者当遗传代数超过最大代数仍未趋于成熟时，强制终止算法，宣布匹