现代检测技术5-基于机器视觉的测控技.ppt

第5章基于机器视觉的测控技术 主要内容机器视觉测控系统数字图像处理图像融合技术典型应用HALCON简介 介绍机器视觉测控系统 数字图像处理方法以及图像信息融合术 简要介绍应用作者研制的ZM VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案 最后给出了作者研制的机器视觉测控系统典型应用案例 第5章基于机器视觉的测控技术 第5章基于机器视觉的测控技术 5 1机器视觉测控系统 本节从机器视觉测控系统的基本概念出发 综合机器视觉测控系统原理 技术和应用进行介绍 典型的视觉检测系统的构成 概念 机器视觉测控就是将被测对象的视觉图像信息检测传递给图像处理装置 图像处理装置经过一系列处理后给出决策结果 根据决策结果实施对测控系统的相应控制 应用 广泛应用于有形物体的检测 识别和跟踪 如工业产品的尺寸测量 缺陷识别 分类判定等 微电子器件的焊点自动检测 软质 易脆零部件的检验 各种模具二维形状检测 大型工具三维自动检测等 原理 机器视觉测控系统一般由获取图像信息的图像测量系统 决策分类或跟踪对象的控制系统组成 可分为图像获取和图像处理两大部分 获取被测场景中的图像信息设备称为观测系统 包括照相机和摄像系统 获取的信息可是是静态的 也可以是动态的 可以是二维的 也可以是三维的 决策分类或跟踪对象的控制系统根据对图像信息的分析结果进而实施一定的控制 6 原理 机器视觉测控系统一般由获取图像信息的图像测量系统 决策分类或跟踪对象的控制系统组成 可分为图像获取和图像处理两大部分 获取被测场景中的图像信息设备称为观测系统 包括照相机和摄像系统 获取的信息可是是静态的 也可以是动态的 可以是二维的 也可以是三维的 决策分类或跟踪对象的控制系统根据对图像信息的分析结果进而实施一定的控制 5 1 1机器视觉检测系统硬件 光源照度要适中亮度要均匀亮度要稳定不应产生阴影照度可调 5 1 1机器视觉检测系统硬件 在视觉检测系统中 视觉传感器对光线的依赖性很大 照明条件的好坏将直接影响成像的清晰度 细节分辨率和图像的对比等 因此 照明光源的正确设计与选择是是视觉检测成功的关键 5 1 1机器视觉检测系统硬件 根据具体应用选择光源 1 通过检测被测物体的像来测量被检测物体的某些特征参数 选用白炽灯或卤钨灯 2 通过测量被检测物体的空间频谱分布来确定被检测物体的某些特征参数 选用激光照明 5 1 1机器视觉检测系统硬件 光源的照明方式 1 漫反射照明适合于照射表面光滑 形状规则的物体 2 投射照明也称为背光照明 适合于不透光物体照明 可以形成一幅黑白灰度图像 用于物体轮廓识别与定位 5 1 1机器视觉检测系统硬件 光源的照明方式 3 结构光照明结构光指几何形状已知的光束 通过结构光投影模式的变化可以检测物体的二维 三维几何特征 4 定向照明方式如果物体表面光滑且无缺陷 则定向平行光束将会被有规律地反射 若物体表面粗糙或存在缺陷 则会造成投射光的散射 根据反射光的变化检测物体表面的粗糙度或表面缺陷 5 1 1机器视觉检测系统硬件 图像传感器CCD电荷耦合器件摄像机 ChargeCoupledDevice 感光像元在接收输入光后 产生电荷转移 形成输出电压 分为线阵和面阵两种 性价比高 受到广泛应用 CMOS摄像机 ComplementaryMetalOxideSemiconductor 体积小 耗电少 价格低 在光学分辨率 感光度 信噪比和高速成像等已超过CCD 5 1 1机器视觉检测系统硬件 图像传感器其他 飞点扫描器 FlyingPointScanner 扫描鼓 扫描仪 显微光密度计等 遥感图像获取设备 光学摄影 摄像机 多光谱摄像机等 红外摄影 红外辐射计 红外摄像仪 多通道红外扫描仪等 5 1 1机器视觉检测系统硬件 图像采集卡 将视频图像以模拟电信号方式输出标准视频信号 黑白视频 RS 170 RS 330 RS 343 CCIR 复合视频 NTSC PALSECAM制式 分量模拟视频 S Video等 非标准视频信号 非标准RGB信号 线扫描信号 逐行扫描信号 5 1 1机器视觉检测系统硬件 3 图像采集卡采用非标准视频信号通常是为了获得更高分辨率 高刷新率的图像或其他特殊要求 如X光机 超声波等医疗影像设备 5 1 1机器视觉检测系统硬件 3 图像采集卡性能指标要求 多路视频输入 通过标准总线输出至计算机 实时多屏显示 自定义采集方式及采集窗口大小 实时采集单场 单帧 任意间隔及连续帧 视频输入 PAL S Video 分辨率 采样位数 亮度 对比度 色度 饱和度 即插即用 稳定接收视频信号 5 1 1机器视觉检测系统硬件 图像采集卡的设计基于PCI总线的图像采集卡的设计 5 1 1机器视觉检测系统硬件 基于USB总线的图像采集卡的设计 5 1 1机器视觉检测系统硬件 4 图像存储设备用于暂时或永久存储摄像系统获取的数字图像 包括硬盘 光盘 磁带机 闪存等 硬盘存储技术发展很快 大图像存储可使用磁盘阵列 光盘也可满足大容量存储 磁带机顺序存储 闪存发展最快 成为数码相机 PDA MP3 4等的首选 5 1 1机器视觉检测系统硬件 5 计算机主机计算机用于对数字图像进行管理 分析和处理 是机器视觉检测系统应用的主要工作和核心 可以是PC或工作站 需要高速实时处理的图像主板上装有图像处理器 图像加速器 DSP处理器等 5 1 2机器视觉检测系统软件 近年来 机器视觉工作者在研究视觉测控系统硬件的同时 也对机器视觉检测处理的共性软件进行了研究开发 出现了很多机器视觉测控系统组态软件平台 如最具代表性的机器视觉软件HALCON 5 1 2机器视觉检测系统软件 德国MVtec公司的HALCON是世界范围内广泛使用的机器视觉软件 拥有满足用户各类视觉应用需求的完善开发库 支持Linux和Windows 可通过C C C VB Delphi开发 5 1 3视觉检测系统应用 缺陷检测尺寸测量PCB焊点检测与分类 5 1 3视觉检测系统应用 5 1 3视觉检测系统应用 5 1 3视觉检测系统应用 5 1 3视觉检测系统应用 5 2数字图像处理 数字图像处理技术是一门跨学科的前沿高科技 是在信号处理 计算机科学 自动控制理论及其他应用领域基础上发展起来的边缘学科 是认识世界 改造世界的重要手段 目前图像处理与识别技术已应用于许多领域 成为21世纪信息时代的一门重要的高新科学技术 5 2 1平滑和滤波 邻域平均 一般实际情况中 考虑到运算的计算量 为3 3的模板 5 2 1平滑和滤波 中值滤波法将模板在图中漫游 并将模板中心与图中某个像素位置重合 读取模板下各对应像素的灰度值 将这些灰度值从小到大排成1列 找出这些值里排在中间的1个 将这个中间值赋给对应模板中心位置的像素 空域滤波实现 5 2 1平滑和滤波 5 2 2边缘检测 梯度算子实际操作中 用下面式子取代微分 梯度算子用标准的模板来计算梯度 a Roberts b Prewitt c Sobel 5 2 2边缘检测 拉普拉斯算子对一个连续函数 它在位置处的拉普拉斯值定义如下 5 2 2边缘检测 拉普拉斯算子计算函数的拉普拉斯值也可以借助各种模板实现 它要求模板的中心像素系数应该是正的 而对应中心像素的邻近像素的系数应是负的 且它们之和应该是零 5 2 2边缘检测 Marr Hildreth边缘检测算子 5 2 2边缘检测 此算子有无限长拖尾 在具体实现卷积时 应取一个N N的窗口 同时 为了减小卷积运算的计算量 可用两个不同带宽的高斯曲面之差 DOG 来近似 Marr Hildreth边缘检测算子 5 2 2边缘检测 考虑到M H算子的对称性 可采用分解的方法来提高运算速度 即把一个二维滤波器分解为独立的行 列滤波器 将方程改写为其中 5 2 2边缘检测 Canny边缘检测法Canny给出了评价边缘检测性能优劣的三个指标 1 低失误概率 2 高定位精度 3 对单一边缘仅有唯一响应设n为任意方向 Gaussian函数在这个方向上的一阶导数为 5 2 2边缘检测 Canny边缘检测法当一个像素满足以下三个条件时 则被认为是图像的边缘点 1 该点的边缘强度大于沿该点梯度方向的两个相邻像素的边缘强度 2 与该点梯度方向上相邻两点的方向差小于45 3 以该点为中心3 3的邻域中的边缘强度极大值小于某个闭值 5 2 2边缘检测 Canny边缘检测法Canny算子的算法实现 1 对要处理的图像I作高斯光滑 则新的图像为 其次对求的方向导数 2 细化M中所有的边 3 双阈值操作 5 2 2边缘检测 5 2 3图像分割 灰度阈值法图像阈值化处理的变换函数表达式为 阈值的选取间接阈值法多阈值法p尾法确定阈值 阈值的选取间接阈值法多阈值法p尾法确定阈值最大类间方差确定阈值假定图像的灰度区间为 设以灰度k为阈值将图像分为两个区域 灰度为1 k的像素和灰度为k 1 L的像素分别属于区域A和B 则区域A和B的概率分别为 5 2 3图像分割 最大类间方差确定阈值区域A和B的平均灰度为 其中为全图的平均灰度 两个区域的方差为 5 2 3图像分割 最大类间方差确定阈值按照最大类间方差的准则 组间方差越大 则两组的差别越大 即k值越大 表明分割效果越好 从1至L改变k 并计算类间方差 使式最大的k 即是区域分割的阈值 最佳熵自动阈值法峰谷法 5 2 3图像分割 区域生长 5 2 3图像分割 在实际应用区域生长法时需要解决3个问题 选择或确定1组能正确代表所需区域的种子像素 确定在生长过程中能将相邻像素包括进来的准则 制定使生长停止的条件或规则 区域生长实现步骤对图像进行光栅扫描 求出不属于任何区域的像素 当寻找不到这样的像素时结束操作 把这个像素灰度同其周围 4 邻域或8 邻域 不属于其他区域的像素进行比较 若灰度差值小于阈值 则合并到同一区域 并对合并的像素赋予标记 5 2 3图像分割 从新合并的像素开始 反复进行步骤 的操作 反复进行步骤 的操作 直至不能再合并 返回步骤 的操作 寻找新区域出发点的像素 5 2 3图像分割 分裂合并利用分裂合并算法对图像进行分割的步骤生成图像的四叉树结构 5 2 3图像分割 根据经验和任务需要 从四叉树的某一层开始 合并满足一致性属性的共根的4个子块 重复对图像进行操作 直到不能合并为止 考虑上一步中没有合并的子块 如果它的子节点不满足一致性准则 将这个节点永久地分为4个子块 如果分出的子块仍不满足一致性准则 继续划分 直到所有的子块都满足为止 5 2 3图像分割 由于人为地将图像进行四叉树分解 可能会将同一区域的像素分在不能按照四叉树合并的子块内 因此需要搜索所有的图像块 将邻近的未合并的子块合并为一个区域 由于噪声影响或者按照四叉树划分区域边缘未对准 进行上述操作后可能仍存在大量的小的区域 为了消除这些影响 可以将它们按照相似性准则归入邻近的大区域内 5 2 3图像分割 5 2 4特征提取 线提取Hough变换原理在图像空间XY里 设所有过点 x y 的直线都满足方程 式中 p为直线的斜率 q为直线的截距 也可以写成 式中表示参数空间PQ中过点 p q 的一条直线 图像空间到参数空间之间的转换可以用图表示 Hough变换原理在实际使用哈夫变换时 要在上述基本方法的基础上根据图像具体情况采取一些方法以提高精度和速度 在实际中常用的是极坐标直线方程 5 2 4特征提取 Hough变换原理图像平面上的一个点就对应到参数平面上的一条正弦曲线上 哈夫变换最适合于检测较简单曲线 5 2 4特征提取 直线提取以下是用Hough变换检测直线的算法过程 初始化变换域空间的数组 表示图像对角线方向的像素数 方向上角度初始化数目为90 顺序搜索图像中所有的物体点 对每一个物体点 按照变换域的各个点加1 求出变换域的值大于一定阈值的点并记录 根据这些点在原空间内画出直线 5 2 4特征提取 骨架提取中轴变换原理具有边界B的区域R的MAT是如下确定的 对每个R中的点P 在B中搜寻与它最近的点 如果对P能找到多于1个这样的点 即有2个或以上的B中的点与P同时最近 就可认为P属于R的中线或骨架 或者说P是1个骨架点 5 2 4特征提取 简化的中轴变换算法 根据对二值图像特点的分析 经过实验 采用了一种简单而且效果很好的算法 可以根据一个像素的8个相邻点的情况来判断该点是否应该删除内部点不能删除 孤立点不能删除 直线端点不能删除 如果P是边界点 去掉P后 如果连通分量不增加 则P可以删除 5 2 4特征提取 每次对整幅图像逐行扫描一遍 对于每个点 不包括边界点 计算它对应在表中的索引 若为0 则保留 否则删除该点 如果这次扫描没有一个点被删除 则循环结束 剩下的点就是骨架点 如果有点被删除 则进行新的一轮扫描 如此反复 直到没有点被删除为止 5 2 4特征提取 可以根据上述的判据 事先做出一张表 每个元素不是0 就是1 根据某点 即目标点 的8个相邻点的情况查表 若表中的元素是1 则表示该点可删 否则保留 查表的方法是 设白点为1 黑点为0 位置关系如图 按这样组成的8位数去查表即可 轮廓提取与跟踪在目标跟踪中 通过轮廓提取或轮廓跟踪技术确定目标的轮廓参数 轮廓跟踪的最基本方法是 先根据某些严格的 探测准则 找出物体轮廓上的像素 再根据这些像素的某些特征用一定的 跟踪准则 找出目标物体上的其他像素 这里介绍一种二值图像的轮廓跟踪 首先找第一个边界点像素 按照从左到右 从下到上的顺序搜索 找到的第一个黑点一定是最左下方的边界点 记为A 点A的右 右上 上 5 2 4特征提取 左上四个邻点中至少有一个边界点 记为B 从边界点B开始 定义初始的搜索方向为左方 如果左方的点为黑点 则为边界点 否则搜索方向顺时针旋转45 这样一直找到第一个黑点为止 然后把这个点作为新的边界点 在当前的搜索方向上逆时针旋转90 继续用同样的方法搜索下一个黑点 直到返回初始的边界点为止 5 2 4特征提取 在一些工业生产的领域 被检测的物体图像的缺陷往往表现为破损形状 这样会引起物体的角点变化 这也可以称为检测缺陷的依据 图像中的角点是指图像中具有高曲率的点 它由物体边缘曲率较大的地方或者多条边缘的交点形成 角点也可以作为物体识别 检测和定位的一个重要特征 5 2 4特征提取 角点提取 Harris法是角点检测的常用方法 它的原理是利用水平 竖直两个差分算子Ix Iy 求得如图中m的4个元素值 并对图像每个像素进行滤波 最后根据求得的角点阵cim的值来确定每个点是否为角点 5 2 4特征提取 角点最直观的印象就是在水平 竖直两个方向上变化均较大的点 即Ix Iy都较大 Ix Iy是沿着水平和垂直方向的差分算子 这也是把角点和图像上的边缘已经平坦地区区分的依据 边缘 仅在水平 或者仅在竖直方向有较大的变化量 即Ix Iy只有其一较大 平坦地区 在水平 竖直方向的变化量均较小 即Ix Iy都较小 5 2 4特征提取 纹理特征提取相位编码法实部为 虚部为 5 2 4特征提取 纹理特征提取多通道Gabor的特征提取法假设每一通道滤波器的数字模型为 其中 为滤波器输入的图像 和分别为偶对称和奇对称的Gabor滤波器 5 2 4特征提取 纹理特征提取多通道Gabor的特征提取法实际操作中 我们用FFT来实现 5 2 4特征提取 5 3图像融合技术 本节从图像融合技术的概念出发 介绍3种具有代表性的图像融合方法 分别是Laplacian算法 RoLP算法和小波变换方法 5 3 1图像融合概述 图像融合的基本过程 设图像元素的横 纵坐标分别用 表示 则级间的运算可以表示为 Laplacian金字塔技术 对比度金字塔技术 5 3 2Laplacian金字塔方法 融合算法获取每一路图像的Gaussian金字塔序列 获得每一路图像的Laplacian金字塔 Laplacian金字塔序列对应级融合 融合算子取对应各级的 或 运算或加权平均等 重构图像 5 3 2Laplacian金字塔方法 获取每一路图像的Gaussian金字塔序列 获得每一路图像的对比度金字塔 对比度金字塔序列对应级融合 融合对比度金字塔有以下标准法则即 5 3 3RoLP金字塔方法 图像的细节变化可以认为是对比度的变化 由于人类视觉系统对图像的对比度变化较为敏感 且不同图像传感器对同一目标所成图像的对比度分布不同 融合不同图像的细节可以设法通过融合对比度来实现 具体操作如下 式中 和分别为待融合图像 融合图像的对比度金字塔序列中的第L级 重构图像 5 3 3RoLP金字塔方法 二维离散小波变换 5 3 4二维小波变换方法 对于图像处理 需要将连续小波变换与逆变换离散化 在此给出经典Mallat算法的离散形式 5 3 4二维小波变换方法 图像融合 5 3 4二维小波变换方法 二维离散小波图像重构 5 3 4二维小波变换方法 小波变换的图像融合应用 5 3 4二维小波变换方法 本节介绍作者研制的电子枪扭弯曲特性视觉检测系统 背投电视会聚特性视觉测控系统 以及ZM VS1300视觉测控系统平台 通过其软硬件系统的实现 充分展示基于机器视觉测控技术在工业测控领域的迅速发展和广泛应用 5 4典型应用 5 4 1电子枪扭弯曲特性智能检测系统 电子枪与其基座通过焊接连成一个整体 但是 在焊接时不可避免地会出现误差 表现为基座中心与电子枪中心不在同一垂直线上 出现弯曲误差 电子枪与其基座将产生一定的旋转角度 这就是扭曲误差 电子枪扭曲 弯曲检测原理 5 4 1电子枪扭弯曲特性智能检测系统 图像采集与图像处理结构图 5 4 1电子枪扭弯曲特性智能检测系统 扭弯曲检测图像处理算法图像预处理基于改进遗传算法的图像分割M H算子简化的中轴变换算法改进的Hough算法 5 4 1电子枪扭弯曲特性智能检测系统 软件技术系统应用软件主界面系统实物图 5 4 1电子枪扭弯曲特性智能检测系统 系统工作原理图 5 4 2背投电视会聚特性视觉检测测控系统 图像处理 测控结果图1图2 5 4 2背投电视会聚特性视觉检测测控系统 系统工作原理ZM VS1300平台简介应用领域图像处理功能库系统操作 5 4 3ZM VS1300视觉智能测控系统平台 HALCON是德国MVtec公司推出的图像处理软件 是世界公认具有最佳效能的机器视觉软件 实际上是一套图像处理库 由1000多个各自独立的函数 以及底层的数据管理核心构成 5 5HALCON简介 5 5 1HALCON的基本结构 5 5 4利用HALCON进行应用开发 C下列的程序代码说明了如何读取一幅图像 并且将其显示在图形视窗中 read image 5 5 5在程序语言中使用HALCON C 下列的程序代码说明了如何读取一幅图像 将其显示在图形视窗中 并且进行一些基本的blob分析 HImageMandrill monkey HWindoww 0 0 512 512 Mandrill Display w HRegionBright Mandrill 128 HRegionArrayConn Bright Connection HRegionArrayLarge Conn SelectShape area and 500 90000 5 5 5在程序语言中使用HALCON VisualBasic下列程序码说明了如何读取一幅图像 并且进行一些基本的blob分析DimimageAsNewHimageXDimregionAsHregionXCallimage ReadImage monkey Setregion image Threshold 128 255 5 5 5在程序语言中使用HALCON C 下列代码以C 的语法重写了VisualBasic中的那个例子 HimageXimage newHimageX HRegionXregion Image ReadImage monkey region image Threshold 128 255 5 5 5在程序语言中使用HALCON 尺寸测量 返回 返回 返回 返回 返回 返回 返回 END