机器视觉技术及应用-韩九强-课件1

第第1章章 绪论绪论主要内容主要内容n n机器视觉技术发展与应用机器视觉技术发展与应用 p机器视觉系统组成机器视觉系统组成 p机器视觉方法分类机器视觉方法分类 p机器视觉发展趋势机器视觉发展趋势 第第1章章 绪论绪论主要内容主要内容n机器视觉是用机器代替人眼进行目标对象的识别、判机器视觉是用机器代替人眼进行目标对象的识别、判断和测量，主要研究用计算机来模拟人的视觉功能。断和测量，主要研究用计算机来模拟人的视觉功能。机器视觉技术涉及目标对象的图像获取技术、对图像机器视觉技术涉及目标对象的图像获取技术、对图像信息的处理技术以及对目标对象的测量和识别技术。信息的处理技术以及对目标对象的测量和识别技术。n在工业生产过程中，相对于传统测量检验方法，机器在工业生产过程中，相对于传统测量检验方法，机器视觉技术的最大优点是快速、准确、可靠与智能化，视觉技术的最大优点是快速、准确、可靠与智能化，对提高产品检验的一致性、产品生产的安全性、降低对提高产品检验的一致性、产品生产的安全性、降低工人劳动强度以及实现企业的高效安全生产和自动化工人劳动强度以及实现企业的高效安全生产和自动化管理具有不可替代的作用。管理具有不可替代的作用。第第1章章 绪论绪论机器视觉是用机器代替人眼进行目标对象的识别、判断和测量，主要机器视觉是用机器代替人眼进行目标对象的识别、判断和测量，主要1.1 机器视觉技术发展与应用机器视觉技术发展与应用 机器视觉技术是一项综合技术，包括视觉传机器视觉技术是一项综合技术，包括视觉传感器技术、光源照明技术、光学成像技术、数字感器技术、光源照明技术、光学成像技术、数字图像处理技术、模拟与数字视频技术、计算机软图像处理技术、模拟与数字视频技术、计算机软硬件技术和自动控制技术等。机器视觉技术的特硬件技术和自动控制技术等。机器视觉技术的特点不仅在于模拟人眼功能，更重要的是它能完成点不仅在于模拟人眼功能，更重要的是它能完成人眼所不能胜任的某些工作。人眼所不能胜任的某些工作。1.1 机器视觉技术发展与应用机器视觉技术发展与应用 机器视觉技术是一机器视觉技术是一41.1.1 机器视觉技术发展现状机器视觉技术发展现状 人类感知外部世界主要是通过视觉、触觉、听觉人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中约和嗅觉等感觉器官，其中约80的信息是通过视的信息是通过视觉器官获取的。机器视觉系统就是通过摄像机和觉器官获取的。机器视觉系统就是通过摄像机和计算机来对外部环境进行测量、识别和判断。但计算机来对外部环境进行测量、识别和判断。但是，机器视觉和人类视觉有着本质上的不同，机是，机器视觉和人类视觉有着本质上的不同，机器视觉系统主要应用于不适合人工作业或者人类器视觉系统主要应用于不适合人工作业或者人类视觉无法达到要求、以及高速大批量工业产品制视觉无法达到要求、以及高速大批量工业产品制造自动生产流水线的一些场合。造自动生产流水线的一些场合。41.1.1 机器视觉技术发展现状机器视觉技术发展现状 人类感知外部世界主人类感知外部世界主1.1.1 机器视觉技术发展现状机器视觉技术发展现状20世纪世纪70年代，年代，David Marr提出了视觉计算理论，明确提出了视觉计算理论，明确规范了视觉研究体系。计算机视觉以视觉计算理论为基规范了视觉研究体系。计算机视觉以视觉计算理论为基础，为视觉研究提供了统一的理论框架。础，为视觉研究提供了统一的理论框架。上世纪上世纪80年代以来，并经历了从实验室走向实际应用的年代以来，并经历了从实验室走向实际应用的发展阶段，从简单的二值图像处理到高分辨率多灰度的发展阶段，从简单的二值图像处理到高分辨率多灰度的图像处理以至于彩色图像处理，从一般的二维信息处理图像处理以至于彩色图像处理，从一般的二维信息处理到三维视觉模型和算法的研究都取得了很大进展。到三维视觉模型和算法的研究都取得了很大进展。1.1.1 机器视觉技术发展现状机器视觉技术发展现状20世纪世纪70年代，年代，Davi1.1.1 机器视觉技术发展现状机器视觉技术发展现状目前，发展最快、使用最多的机器视觉技术主要集中在欧美、日本目前，发展最快、使用最多的机器视觉技术主要集中在欧美、日本等发达国家和地区。在国内，机器视觉技术产品普及还不够深入，等发达国家和地区。在国内，机器视觉技术产品普及还不够深入，国内在机器视觉产品与国外先进的机器视觉技术与设备相比还有较国内在机器视觉产品与国外先进的机器视觉技术与设备相比还有较大的差距。在科研领域，涌现出大量机器视觉科研机构和学者，对大的差距。在科研领域，涌现出大量机器视觉科研机构和学者，对机器视觉算法研究取得了长足进步，但未能将机器视觉应用技术列机器视觉算法研究取得了长足进步，但未能将机器视觉应用技术列入教学计划和课程体系。因此加快发展我国自主知识产权的机器视入教学计划和课程体系。因此加快发展我国自主知识产权的机器视觉产品是当务之急，在高等院校自动化专业、计算机专业、机电一觉产品是当务之急，在高等院校自动化专业、计算机专业、机电一体化专业开设机器视觉应用技术与系统实验也迫在眉睫。体化专业开设机器视觉应用技术与系统实验也迫在眉睫。1.1.1 机器视觉技术发展现状目前，发展最快、使用最多的机器视觉技术发展现状目前，发展最快、使用最多的 1.1.2 机器视觉技术的应用机器视觉技术的应用在工业检测中的应用：在工业检测中的应用：工业检测是指在工业生产中运用一定的测试技术和手段对生产环境、工工业检测是指在工业生产中运用一定的测试技术和手段对生产环境、工况、产品等进行测试和检验。随着现代工业的发展和进步，特别是在一况、产品等进行测试和检验。随着现代工业的发展和进步，特别是在一些高精度加工产业，传统的检测手段已远远不能满足生产的需要。机器些高精度加工产业，传统的检测手段已远远不能满足生产的需要。机器视觉技术在微尺寸、大尺寸、复杂结构尺寸和异型曲面尺寸检测中具有视觉技术在微尺寸、大尺寸、复杂结构尺寸和异型曲面尺寸检测中具有突出的优势和特点，突出的优势和特点，还包括印刷电路板检查、钢板表面自动探伤、大型还包括印刷电路板检查、钢板表面自动探伤、大型工件平行度和垂直度测量、容器容积或杂质检测、机器零件的自动识别工件平行度和垂直度测量、容器容积或杂质检测、机器零件的自动识别和分类等。和分类等。1.1.2 机器视觉技术的应用在工业检测中的应用：机器视觉技术的应用在工业检测中的应用：1.1.2 机器视觉技术的应用机器视觉技术的应用在医学诊断中的应用在医学诊断中的应用 一是对图像进行增强、标记等，帮助医生诊断疾病，协助医一是对图像进行增强、标记等，帮助医生诊断疾病，协助医生对感兴趣的区域进行测量和比较；二是利用专家知识系统生对感兴趣的区域进行测量和比较；二是利用专家知识系统对图像进行分析和解释，给出建议诊断结果。对图像进行分析和解释，给出建议诊断结果。在智能交通中的应用在智能交通中的应用 机器视觉技术在智能交通中可以完成自动导航、交通状况监机器视觉技术在智能交通中可以完成自动导航、交通状况监测、目标车辆跟踪等任务。测、目标车辆跟踪等任务。1.1.2 机器视觉技术的应用在医学诊断中的应用机器视觉技术的应用在医学诊断中的应用1.2 机器视觉系统组成机器视觉系统组成 典型的视觉检测系统的构成：典型的视觉检测系统的构成：1.2 机器视觉系统组成机器视觉系统组成 典型的视觉检测系统的构成典型的视觉检测系统的构成1.2.1 1.2.1 系统硬件系统硬件 1.2.1 系统硬件系统硬件 1.2.2 组态软件组态软件l作为机器视觉系统的重要组成部分，机器视觉作为机器视觉系统的重要组成部分，机器视觉软件主要通过对图像的分析和处理，实现对待软件主要通过对图像的分析和处理，实现对待测目标特定参数的检测和识别。机器视觉软件测目标特定参数的检测和识别。机器视觉软件主要完成图像增强、图像分割、特征抽取、模主要完成图像增强、图像分割、特征抽取、模式识别、图像压缩与传输等算法内容，有些还式识别、图像压缩与传输等算法内容，有些还具有数据存储和网络通信功能。具有数据存储和网络通信功能。1.2.2 组态软件作为机器视觉系统的重要组成部分，机器视组态软件作为机器视觉系统的重要组成部分，机器视1.2.2 组态软件组态软件n目前机器视觉软件主要向高性能与可组态两方面目前机器视觉软件主要向高性能与可组态两方面发展。一方面，机器视觉软件的竞争已从过去单发展。一方面，机器视觉软件的竞争已从过去单纯追求软件多功能化转向对检测算法的准确性、纯追求软件多功能化转向对检测算法的准确性、高效性的竞争；另一方面，机器视觉软件正由定高效性的竞争；另一方面，机器视觉软件正由定制方式朝着通用、可视化组态方式发展。制方式朝着通用、可视化组态方式发展。目前市目前市场上已有的通用组态软件主要是国外的场上已有的通用组态软件主要是国外的HALCON、IGauge和和WiT等，这些软件技术较为成熟、功等，这些软件技术较为成熟、功能丰富，但价格昂贵，不便在国内推广。能丰富，但价格昂贵，不便在国内推广。1.2.2 组态软件目前机器视觉软件主要向高性能与可组态两组态软件目前机器视觉软件主要向高性能与可组态两机器视觉技术及应用机器视觉技术及应用-韩九强韩九强-课件课件11.2.2 组态软件组态软件n西安交通大学自动控制研究所在机器视觉组态西安交通大学自动控制研究所在机器视觉组态软件开发方面进行了大量工作，研发成功具有软件开发方面进行了大量工作，研发成功具有自主知识产权的机器视觉组态软件自主知识产权的机器视觉组态软件XAVIS。它。它是一款可供机器视觉教学和机器视觉测控系统是一款可供机器视觉教学和机器视觉测控系统二次开发的大型视觉组态软件，其功能特点完二次开发的大型视觉组态软件，其功能特点完全可以与全可以与HALCON、IGauge等国外大型机器等国外大型机器视觉软件相媲美，并配备了完整的学习文档和视觉软件相媲美，并配备了完整的学习文档和教学创新实验设备。教学创新实验设备。1.2.2 组态软件西安交通大学自动控制研究所在机器视觉组组态软件西安交通大学自动控制研究所在机器视觉组机器视觉技术及应用机器视觉技术及应用-韩九强韩九强-课件课件1尺寸检测尺寸检测 在传统的尺寸测量中，典型的方法是利用卡尺或千分尺在传统的尺寸测量中，典型的方法是利用卡尺或千分尺在被测工件上针对某个参数进行多次测量后取平均值。在被测工件上针对某个参数进行多次测量后取平均值。这些检测设备或检测手段测量精度低、测试速度慢，测这些检测设备或检测手段测量精度低、测试速度慢，测试数据无法及时处理，不适合自动化的生产。基于机器试数据无法及时处理，不适合自动化的生产。基于机器视觉的尺寸测量方法具有成本低、精度高、安装简易等视觉的尺寸测量方法具有成本低、精度高、安装简易等优点，其非接触性、实时性、灵活性和精确性等特点可优点，其非接触性、实时性、灵活性和精确性等特点可以有效的解决传统检测方法存在的问题。以有效的解决传统检测方法存在的问题。1.3 机器视觉方法分类机器视觉方法分类尺寸检测尺寸检测1.3 机器视觉方法分类机器视觉方法分类1.3 机器视觉方法分类机器视觉方法分类 被测物的尺寸测量通常包括多个参数尺寸，如距离测量、圆测被测物的尺寸测量通常包括多个参数尺寸，如距离测量、圆测量、角度测量、线弧测量、区域测量等。量、角度测量、线弧测量、区域测量等。（a）工件齿宽与间距测量）工件齿宽与间距测量 （b）荫罩孔径）荫罩孔径自动检测判定系统自动检测判定系统1.3 机器视觉方法分类机器视觉方法分类 被测物的尺寸测量通常包被测物的尺寸测量通常包缺陷检测缺陷检测 在现代工业连续、大批量自动化生产中，涉及到各种各样在现代工业连续、大批量自动化生产中，涉及到各种各样的质量检测，如工件表面是否有划痕、印刷品是否有油污的质量检测，如工件表面是否有划痕、印刷品是否有油污或破损、字符印刷正误和电路板线路正误检查等。或破损、字符印刷正误和电路板线路正误检查等。机器视机器视觉检测法，即利用图像处理和分析对产品可能存在的缺陷觉检测法，即利用图像处理和分析对产品可能存在的缺陷进行检测，这种方法采用非接触的工作方式，安装灵活，进行检测，这种方法采用非接触的工作方式，安装灵活，测量精度和速度都比较高。同一台机器视觉检测设备可以测量精度和速度都比较高。同一台机器视觉检测设备可以实现不同产品的多参数检测，为企业节约大笔设备开支。实现不同产品的多参数检测，为企业节约大笔设备开支。1.3 机器视觉方法分类机器视觉方法分类缺陷检测缺陷检测1.3 机器视觉方法分类机器视觉方法分类1.3 机器视觉方法分类机器视觉方法分类利用机器视觉技术完成产品缺陷检测的一些实例，包括陶利用机器视觉技术完成产品缺陷检测的一些实例，包括陶瓷镯、瓶盖、电池、镜头等。瓷镯、瓶盖、电池、镜头等。缺陷检测实例缺陷检测实例 1.3 机器视觉方法分类利用机器视觉技术完成产品缺陷检测的机器视觉方法分类利用机器视觉技术完成产品缺陷检测的1.3 机器视觉方法分类机器视觉方法分类模式识别模式识别 模式识别的应用非常广泛，目前技术比较成熟的模式识别的应用非常广泛，目前技术比较成熟的有文字识别（手写汉字输入、票据自动识别和处理有文字识别（手写汉字输入、票据自动识别和处理等等）和语音识别（主要用于语音输入、自动翻译、）和语音识别（主要用于语音输入、自动翻译、声音识别等声音识别等）、生物特征与生物信息处理（包括）、生物特征与生物信息处理（包括指纹识别、声音识别、人脸识别、虹膜识别、笔迹指纹识别、声音识别、人脸识别、虹膜识别、笔迹识别、步态识别等个人身份鉴定技术识别、步态识别等个人身份鉴定技术）、视觉与）、视觉与图像分析（用于农作物估产、资源勘察、气象预报图像分析（用于农作物估产、资源勘察、气象预报和军事侦察等和军事侦察等）等三大类。）等三大类。1.3 机器视觉方法分类模式识别机器视觉方法分类模式识别1.3 机器视觉方法分类机器视觉方法分类钥匙识别实例：钥匙识别实例：（a）待测对象）待测对象 （b）识别结果）识别结果1 （c）识别结果）识别结果2 1.3 机器视觉方法分类钥匙识别实例：机器视觉方法分类钥匙识别实例：图像融合图像融合 基本原理是利用多幅图像间在时间或空间上的冗余或互基本原理是利用多幅图像间在时间或空间上的冗余或互补信息，依据一定的融合算法合成一幅满足某种需要的补信息，依据一定的融合算法合成一幅满足某种需要的新图像。例如，红外传感器可以探测目标的工作状态，新图像。例如，红外传感器可以探测目标的工作状态，可见光图像则包含丰富的细节信息，它们的融合较单一可见光图像则包含丰富的细节信息，它们的融合较单一传感器而言，可以大大提高目标的可探测性和识别可靠传感器而言，可以大大提高目标的可探测性和识别可靠性性。1.3 机器视觉方法分类机器视觉方法分类图像融合图像融合1.3 机器视觉方法分类机器视觉方法分类 图像融合技术的应用：图像融合技术的应用：（a）CT图像图像 （b）NMR图像图像 （c）融合结果）融合结果1.3 机器视觉方法分类机器视觉方法分类 图像融合技术的应用：图像融合技术的应用：1.3 机器视觉方法分类机器视觉方法分类视觉跟踪视觉跟踪 n视觉跟踪是指对图像序列中的运动目标进行检测、视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，进而实现对运位置、速度、加速度和运动轨迹等，进而实现对运动目标的行为理解，以完成更高一级的检测任务。动目标的行为理解，以完成更高一级的检测任务。n视觉跟踪在很多领域都有非常重要的作用，最常见视觉跟踪在很多领域都有非常重要的作用，最常见的是对于民宅、停车场、银行等公共场合的监视。的是对于民宅、停车场、银行等公共场合的监视。1.3 机器视觉方法分类机器视觉方法分类视觉跟踪视觉跟踪 1.3 机器视觉方法分类机器视觉方法分类交通场景中对运动车辆的跟踪结果：交通场景中对运动车辆的跟踪结果：（a）目标模型选取）目标模型选取 （b）图像序列第）图像序列第188帧帧 （c）图像序列第）图像序列第194帧帧 1.3 机器视觉方法分类机器视觉方法分类 交通场景中对运动车辆的跟踪结果：交通场景中对运动车辆的跟踪结果：1.3 机器视觉方法分类机器视觉方法分类 1.3 机器视觉方法分类机器视觉方法分类三维重构三维重构 三维重构是通过分析一幅或者多幅图像的灰度信息，结合三维重构是通过分析一幅或者多幅图像的灰度信息，结合某些先验知识获得物体三维表面形状的技术。在医疗方面，某些先验知识获得物体三维表面形状的技术。在医疗方面，外科手术时，可以利用器官的三维形状数据协助诊断组织外科手术时，可以利用器官的三维形状数据协助诊断组织局部的病变状况；在空间技术方面，通过对卫星返回的地局部的病变状况；在空间技术方面，通过对卫星返回的地表图像进行三维形状恢复，可以获得星球表面山峦河流等表图像进行三维形状恢复，可以获得星球表面山峦河流等地貌分布，进一步建立该地区的全景模型，进行地质结构地貌分布，进一步建立该地区的全景模型，进行地质结构分析等；在工业检测中，利用工件的三维几何信息进行多分析等；在工业检测中，利用工件的三维几何信息进行多维度的特征提取和识别，有助于提高工件识别效率。维度的特征提取和识别，有助于提高工件识别效率。1.3 机器视觉方法分类机器视觉方法分类三维重构三维重构 下图是利用三维重构技术恢复人体某器官内部三维形状的结果下图是利用三维重构技术恢复人体某器官内部三维形状的结果：1.3 机器视觉方法分类机器视觉方法分类下图是利用三维重构技术恢复人体某器官内部三维形状的结果下图是利用三维重构技术恢复人体某器官内部三维形状的结果：11.4 机器视觉发展趋势机器视觉发展趋势机器视觉的未来发展趋势主要包含以下几方面：机器视觉的未来发展趋势主要包含以下几方面：n多传感器信息融合方法研究多传感器信息融合方法研究n深层初级视觉理论和方法研究深层初级视觉理论和方法研究n主动视觉的研究主动视觉的研究n完整三维场景重构完整三维场景重构n视觉并行计算结构的研究视觉并行计算结构的研究n通用视觉信息系统的研究通用视觉信息系统的研究1.4 机器视觉发展趋势机器视觉发展趋势机器视觉的未来发展趋势主要包含以机器视觉的未来发展趋势主要包含以 随随着着中中国国加加工工制制造造业业的的发发展展，对对于于机机器器视视觉觉技技术术与与产产品品的的需需求求将将逐逐渐渐增增多多，机机器器视视觉觉产产品品将将更更加加丰丰富富，检检测测技技术术水水平平不不断断提提高高，基基于于机机器器视视觉觉的的自自动动化化检检测测系系统统将将广广泛泛用用于于生生产产生生活活的的各各种种领领域域和和场场合合。机机器器视视觉觉系系统统将将使使人人们们的的生生产产活活动动朝朝着更智能、更便捷的方向发展。着更智能、更便捷的方向发展。1.4 机器视觉发展趋势机器视觉发展趋势1.4 机器视觉发展趋势机器视觉发展趋势ENDEND30