机器视觉系统-课件

机器视觉系统机器视觉系统的构成电脑系统图像采集卡相机镜头光源被测物I/O控制其他机械部分供电及传输模拟图片信号光源触发信号其他动作信号数字图片信号与软件通讯相机触发信号第一章、光源第一节第一节:光源简介光源简介n n光源光源:为确保视觉系统正常取像获得足够光信息而提供照明为确保视觉系统正常取像获得足够光信息而提供照明的装置。的装置。n n光源是一个视觉应用开始工作的第一步光源是一个视觉应用开始工作的第一步,好的光源与照明方好的光源与照明方案往往是整个系统成败的关键案往往是整个系统成败的关键,起着特别重要的作用。起着特别重要的作用。n n使用光源的目的使用光源的目的:光源并不是简单的照亮物体而已。光源并不是简单的照亮物体而已。1 1、光源与照明方案的配合应尽估计地突出物体特征量光源与照明方案的配合应尽估计地突出物体特征量;2 2、将待测区域与背景明显区分开将待测区域与背景明显区分开,增加对比度增加对比度,消隐不感消隐不感 兴趣的部分兴趣的部分;3 3、增强待测目标边缘清楚度增强待测目标边缘清楚度;4 4、保持足够的整体亮度保持足够的整体亮度;5 5、物体位置的变化不应该影响成像的质量。物体位置的变化不应该影响成像的质量。n n适合的灯源能够提高系统检测精度、运行速度及工作效率。适合的灯源能够提高系统检测精度、运行速度及工作效率。第二节第二节:照明方式的分类照明方式的分类 在机器视觉系统中一般使用透射光和反射光。在机器视觉系统中一般使用透射光和反射光。光源产品相机光源产品相机光源反射光透射光第三节第三节:光源的分类及比较光源的分类及比较q萤光灯q卤素灯+光纤导管qLEDLED光源q其他(激光、紫外光等)其中LEDLED光源凭借其诸多的优点在现代机器视觉系统中得到越来越多的应用。第四节:光源选择的注意事项影响因素影响因素:1 1、相机光谱响应特性相机光谱响应特性;2 2、LEDLED的颜色、反光角度、亮度、寿命等的颜色、反光角度、亮度、寿命等;3 3、物品形状与物品形状与LEDLED形状形状;4 4、打光方式打光方式;5 5、辅助手段辅助手段(偏光镜、滤光镜、漫反射板等偏光镜、滤光镜、漫反射板等)选择原则选择原则:满足应用满足应用,综合考虑综合考虑 理论分析理论分析,实验验证实验验证第五节:LED光源的应用实例n n前面讲到,LED的特性使得其广泛的应用于机器视觉系统中。n n目前常用的LED光源有:环形光、条形光、面板光、同轴光、点光源、线光源等等。n n依照不同的产品选择合适的光源,有时候会需要几种光源进行组合照明。第二章、镜头第一节:镜头简介 光学镜头相当于人眼的晶状体,在机器视觉系统中特别重要。第二节:镜头的基本概念qq视野视野 (FOV)(FOV)图像采集设备所能够覆盖的范围图像采集设备所能够覆盖的范围,它能够是在监视器上能够见到的范它能够是在监视器上能够见到的范围围,也能够使设备所输出的数字图像所能覆盖的最大范围。也能够使设备所输出的数字图像所能覆盖的最大范围。qq最大最大/最小工作距离最小工作距离(WorkDistanceWorkDistance)从物镜到被检测物体的距离的范围从物镜到被检测物体的距离的范围,小于最小工作距离大于最大工作距小于最小工作距离大于最大工作距离系统均不能正确成像。离系统均不能正确成像。qq景深景深(DepthOfFieldDepthOfField)在某个调焦位置上在某个调焦位置上,景深内的物体都能够清楚成像。景深内的物体都能够清楚成像。成象面工作距离（WD）景深（DOV）视野（FOV）后焦面距离pp畸变畸变 几何畸变指的是由于镜头方面的原因导致的图几何畸变指的是由于镜头方面的原因导致的图像范围内不同位置上的放大率存在的差异。几何畸像范围内不同位置上的放大率存在的差异。几何畸变主要包括径向畸变和切向畸变。如枕形或桶形失变主要包括径向畸变和切向畸变。如枕形或桶形失真。畸变小于真。畸变小于2%2%人眼是看不出来的。假如畸变小于人眼是看不出来的。假如畸变小于CCDCCD的一个像素的一个像素,那么相机也看不出来了。那么相机也看不出来了。qq光圈与光圈与F F值值光圈是一个用来控制镜头通光量装置光圈是一个用来控制镜头通光量装置,它通常是在镜它通常是在镜头内。表达光圈大小我们是用头内。表达光圈大小我们是用F F值值,如如f1f1、4 4,f2f2,f2f2、8 8 等等。等等。n n分辨率测量系统能够重现的最小的细节的尺寸常常用每毫米线对来表示,也就是依照这个镜头能够分辨一毫米内多少对直线。选择镜头的时候必须注意厂商给出的分辨率的定义方式。n n焦距焦距是像方主面到像方焦点的距离。如16mm,25mm,35mm等。n n成像面能够在镜头的像面上清楚成像的物方平面。qq镜头接口镜头接口 C-MOUNTC-MOUNT镜头的标准接口之一镜头的标准接口之一,镜头的接口螺纹参数镜头的接口螺纹参数:公称直径公称直径:1 1“螺距螺距:3232牙牙 CSCSMountMount是是C CMountMount的一个变种的一个变种,区别仅仅在于镜头定区别仅仅在于镜头定位面到图像传感器光敏面的距离的不同位面到图像传感器光敏面的距离的不同,C CMount Mount 是是1717。5mm5mm,CSCSMountMount是是1212。5mm5mm。C/CSC/CS能够匹配的最大的图像传感器的尺寸不超过能够匹配的最大的图像传感器的尺寸不超过1 1“。F-MountF-Mount,卡口卡口,没有螺纹。没有螺纹。其他类型其他类型第三节:镜头各个参数间的关系n光圈大通光能力大,光圈小通光能力小;n光圈小则景深大,光圈大则景深小;第四节第四节:镜头的分类镜头的分类依照等效焦距分为依照等效焦距分为qq广角镜头广角镜头 等效焦距小于标准镜头等效焦距小于标准镜头(等效焦距为等效焦距为50mm50mm)的镜头。特的镜头。特点是最小工作距离短点是最小工作距离短,景深大景深大,视角大。常常表现为桶形畸视角大。常常表现为桶形畸变。变。qq中焦距镜头中焦距镜头 焦距介于广角镜头和长焦镜头之间的镜头。通常情况下焦距介于广角镜头和长焦镜头之间的镜头。通常情况下畸变校正较好。畸变校正较好。qq长焦距镜头长焦距镜头 等效焦距超过等效焦距超过200mm200mm的镜头。工作距离长的镜头。工作距离长,放大比大放大比大,畸变常常表现为枕形状畸变。畸变常常表现为枕形状畸变。等效焦距计算方法等效焦距计算方法:实际焦距实际焦距43mm43mm 镜头成像圆的直径镜头成像圆的直径依照功能分依照功能分qq变焦距镜头变焦距镜头 镜头的焦距能够调节镜头的焦距能够调节,镜头的视角、视野可变。镜头的视角、视野可变。qq定焦距镜头定焦距镜头 镜头的焦距不能调节镜头的焦距不能调节,镜头视角固定。聚焦位置镜头视角固定。聚焦位置和光圈能够调节。和光圈能够调节。qq定光圈镜头定光圈镜头 光圈不能调节光圈不能调节,通常情况下聚焦也不能调节。通常情况下聚焦也不能调节。依照用途分qq微距镜头(或者成为显微镜头)用于拍摄较小的目标具有特别大的放大比qq远心镜头 包括物方远心镜头和像方远心镜头以及双边远心镜头。第五节第五节:远心镜头远心镜头n n在测量系统中在测量系统中,有一些因素影响测量的精度与重复性。有一些因素影响测量的精度与重复性。1.1.物体位置变化引起的比例尺变化物体位置变化引起的比例尺变化2.2.畸变畸变3.3.投影误差投影误差4.4.物体边缘测量误差大物体边缘测量误差大n n采纳远心镜头能够特别大程度的降低采纳远心镜头能够特别大程度的降低 以上误差以上误差,甚至消除这些误差。甚至消除这些误差。n n远心镜头的口径至少要与需要观察的物体远心镜头的口径至少要与需要观察的物体 尺寸相等或更大。尺寸相等或更大。第六节:选择镜头的原则1.1.机器视觉镜头可支持的最大的机器视觉镜头可支持的最大的CCDCCD尺寸不能小于所搭配尺寸不能小于所搭配的相机中的相机中CCDCCD传感器芯片的尺寸传感器芯片的尺寸 。、假如镜头尺寸比假如镜头尺寸比CCDCCD靶面尺寸小靶面尺寸小,图片边缘会出现黑场图片边缘会出现黑场,即只有中间一个即只有中间一个圆圈的视场是有效的圆圈的视场是有效的、2、镜头接口要跟相机接口匹配安装,也可通过转换匹配安装。3 3、镜头的工作距离要适当。镜头的工作距离要适当。所谓工作距离所谓工作距离,是指当图像在焦是指当图像在焦距范围内的时候距范围内的时候,物体和镜头前端的距物体和镜头前端的距离。通过焦距、工作距离、离。通过焦距、工作距离、CCDCCD尺寸尺寸这些我们还能够得知镜头的视场范围这些我们还能够得知镜头的视场范围,选择镜头的原则也同时包括了镜头视选择镜头的原则也同时包括了镜头视场覆盖的原则。场覆盖的原则。4 4、机器视觉镜头的光谱特性要符合光源的要求。在机器视觉镜头的光谱特性要符合光源的要求。在机器视觉系统中机器视觉系统中,镜头不只是与相机相互作用的镜头不只是与相机相互作用的,镜镜头还需满足光源要求头还需满足光源要求,才能获取全部的图像信息。才能获取全部的图像信息。在这个地方需要考虑光源的波长、光谱范围、以在这个地方需要考虑光源的波长、光谱范围、以及光源的种类是红外依然紫外等等。及光源的种类是红外依然紫外等等。5 5、机器视觉镜头的畸变率要符合测量标准。直线在机器视觉镜头的畸变率要符合测量标准。直线在经过透镜成像后会变成弯曲的现象经过透镜成像后会变成弯曲的现象,这就是畸变这就是畸变,畸畸变主要有两种变主要有两种,分别为桶形畸变和枕形畸变。畸变分别为桶形畸变和枕形畸变。畸变的存在是具有普遍性的的存在是具有普遍性的,目前也没有能完全消除的目前也没有能完全消除的手段手段,因此能将畸变率控制在一个水平上就就是合因此能将畸变率控制在一个水平上就就是合格了。格了。第三章、相机第一节:相机原理简介相机将通过镜头的光信号转换为电信号电子图像,这是模拟信号;再通过A/D转换器将模拟信号转换成数字信号。第二节第二节:相机的分类相机的分类按不同芯片类型划分按不同芯片类型划分:n nCCDCCD摄像机摄像机,CCDCCD称为电荷耦合器件称为电荷耦合器件,CCDCCD实际上只是一个把实际上只是一个把从图像半导体中出来的电子有组织地储存起来的方法。从图像半导体中出来的电子有组织地储存起来的方法。n nCMOSCMOS摄像机摄像机,CMOSCMOS称为称为“互补金属氧化物半导体互补金属氧化物半导体”,CMOSCMOS实际上只是将晶体管放在硅块上的技术实际上只是将晶体管放在硅块上的技术,没有更没有更多的含义。多的含义。CMOSCMOS能够将光敏元件、放大器、能够将光敏元件、放大器、A/DA/D转换器、转换器、存储器、数字信号处理器和计算机接口控制电路集成在一存储器、数字信号处理器和计算机接口控制电路集成在一块硅片上块硅片上,具有结构简单、处理功能多、速度快、耗电低、具有结构简单、处理功能多、速度快、耗电低、成本低等特点。成本低等特点。早期早期CMOSCMOS摄像机存在成像质量差、像敏单元尺寸小、填摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题充率低等问题,19891989年后出现了年后出现了“有源像敏单元有源像敏单元”结构结构,不不仅有光敏元件和像敏单元的寻址开关仅有光敏元件和像敏单元的寻址开关,而且还有信号放大和而且还有信号放大和处理等电路处理等电路,提高了光电灵敏度、减小了噪声提高了光电灵敏度、减小了噪声,扩大了动态扩大了动态范围范围,使得一些参数与使得一些参数与CCDCCD摄像机相近摄像机相近,而在功能、功耗、尺而在功能、功耗、尺寸和价格方面要优于寸和价格方面要优于CCDCCD,逐步得到广泛的应用。逐步得到广泛的应用。n nCCDCCD芯片采集速度快芯片采集速度快,CMOSCMOS较慢。较慢。即即CCDCCD芯片的相机更加适合拍摄运动的物体芯片的相机更加适合拍摄运动的物体,处理实时运动处理实时运动对象。实际上特别多情况下两者都能够选择。对象。实际上特别多情况下两者都能够选择。按输出图像信号格式划分按输出图像信号格式划分n n模拟摄像机模拟摄像机n nPALPAL(黑白为黑白为CCIRCCIR),),中国中国,625625行行,5050场场 n nNTSCNTSC(黑白为黑白为EIAEIA),),日本日本,525525行行,6060场场 n nSECAMSECAMn nS-VIDEOS-VIDEOn n分量传输分量传输n n数字摄像机数字摄像机n nIEEE1394IEEE1394n nUSB2USB2、0 0n nD3D3n nRS-644LVDSRS-644LVDSn nChannelLinkChannelLinkn nCameraLinkCameraLinkn n千兆网千兆网按像素排列方式划分n n面阵摄像机 黑白摄像机黑白摄像机 采纳采纳BAYERBAYER转化的单片相机转化的单片相机 3CCD3CCD彩色摄像机彩色摄像机(分光棱镜分光棱镜)n n线阵摄像机 黑白摄像机黑白摄像机 3Line3Line彩色摄像机彩色摄像机 3CCD3CCD彩色摄像机彩色摄像机(分光棱镜分光棱镜)3CCD 彩色相机3Line 彩色相机BAYER转换彩色相机第三节:相机的主要参数n n像素像素:用来计算影像的一种单位用来计算影像的一种单位,一个像素通常被一个像素通常被视为图像的最小的完整采样。每一张图片都是由视为图像的最小的完整采样。每一张图片都是由特别多个像素组成的。特别多个像素组成的。n n像素深度像素深度:即每像素数据的位数即每像素数据的位数,一般常用的是一般常用的是8Bit8Bit,关于数字相机机一般还会有关于数字相机机一般还会有10Bit10Bit、12Bit12Bit等。等。n n分辨率分辨率:表示每一个方向上的像素数量表示每一个方向上的像素数量,我们通常所我们通常所看到的分辨率都以乘法形式表现的看到的分辨率都以乘法形式表现的,比如比如1024*7681024*768,其中其中“1024”1024”表示屏幕上水平方向显表示屏幕上水平方向显示的点数示的点数,“,“768”768”表示垂直方向的点数。表示垂直方向的点数。n n帧率帧率/行频行频:相机采集传输图像的速率相机采集传输图像的速率,对面阵相机对面阵相机一般为每秒采集的帧数一般为每秒采集的帧数(Frames/SecFrames/Sec、),),对线阵相对线阵相机为每秒采集的行数机为每秒采集的行数(Hz)Hz)n n曝光方式与快门速度曝光方式与快门速度:线阵相机都是逐行曝光的方线阵相机都是逐行曝光的方式式,能够选择固定行频和外触发同步的采集方式能够选择固定行频和外触发同步的采集方式,曝曝光时间能够与行周期一致光时间能够与行周期一致,也能够设定一个固定的也能够设定一个固定的时间。面阵相机有帧曝光、场曝光和滚动行曝光时间。面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式等几种常见方式,数字相机一般都提供外触发采图数字相机一般都提供外触发采图的功能。快门速度一般能够到的功能。快门速度一般能够到1010微秒微秒,高速相机还高速相机还能够更快。能够更快。n n光谱响应特性光谱响应特性:是指该像元传感器对不同光波的敏是指该像元传感器对不同光波的敏感特性感特性,一般响应范围是一般响应范围是350nm350nm1000nm1000nm。有一些。有一些相机在靶面前加了一个滤镜相机在靶面前加了一个滤镜,滤除红外光线滤除红外光线,假如系假如系统需要对红外感光时可去掉该滤镜。统需要对红外感光时可去掉该滤镜。n n芯片尺寸芯片尺寸:在在CCDCCD出现之前出现之前,摄像机是利用一种叫作摄像机是利用一种叫作“光导摄像管光导摄像管(Vidicon Tube)”Vidicon Tube)”的成像器件感光成像的的成像器件感光成像的,这是一种特别设计的电这是一种特别设计的电子管子管,其直径的大小其直径的大小,决定了其成像面积的大小。因此决定了其成像面积的大小。因此,人们就用光人们就用光导摄像管的直径尺寸来表示不同感光面积的产品型号。导摄像管的直径尺寸来表示不同感光面积的产品型号。CCDCCD出现出现之后之后,最早被大量应用在摄像机上最早被大量应用在摄像机上,也就自然而然沿用了光导摄像也就自然而然沿用了光导摄像管的尺寸表示方法管的尺寸表示方法,进而扩展到所有类型的图像传感器的尺寸表示进而扩展到所有类型的图像传感器的尺寸表示方法上。例如方法上。例如,型号为型号为“1/11/1、8”8”的的CCDCCD或或CMOS,CMOS,就表示其成像面就表示其成像面积与一根直径为积与一根直径为1/11/1、8 8英寸的光导摄像管的成像靶面面积近似。英寸的光导摄像管的成像靶面面积近似。光导摄像管的直径与光导摄像管的直径与CCD/CMOSCCD/CMOS成像靶面面积之间没有固定的换算成像靶面面积之间没有固定的换算公式公式,从实际情况来说从实际情况来说,CCD/CMOSCCD/CMOS成像靶面的对角线长度大约相成像靶面的对角线长度大约相当于光导摄像管直径长度的当于光导摄像管直径长度的2/32/3、n n白平衡:简单地说白平衡就是不管环境光线如何简单地说白平衡就是不管环境光线如何,仍然把仍然把“白白”定义为定义为“白白”的一的一种功能。由于种功能。由于CCDCCDCCDCCD传感器本身没有这种功能传感器本身没有这种功能,因此就有必要对它输出的信号进因此就有必要对它输出的信号进行一定的修正行一定的修正,这种修正就叫做工业相机的白平衡。这种修正就叫做工业相机的白平衡。颜色实质上就是对光线的解释颜色实质上就是对光线的解释,在正常光线下看起来是白颜色的东西在较在正常光线下看起来是白颜色的东西在较暗的光线下看起来估计就不是白色暗的光线下看起来估计就不是白色,还有荧光灯下的还有荧光灯下的“白白”也是也是“非白非白”。关。关于这一切假如能调整白平衡于这一切假如能调整白平衡,则在所得到的照片中就能正确地以则在所得到的照片中就能正确地以“白白”为基色为基色来还原其他颜色。因此白平衡控制就是通过图像调整来还原其他颜色。因此白平衡控制就是通过图像调整,使在各种光线条件下拍使在各种光线条件下拍摄出的照片色彩和人眼所看到的景物色彩完全相同。摄出的照片色彩和人眼所看到的景物色彩完全相同。工业相机白平衡这一参数可用来调节图像中红色和蓝色的色度工业相机白平衡这一参数可用来调节图像中红色和蓝色的色度,以得到逼以得到逼确实色彩。可通过手动或自动方式控制这些值。自动白平衡功能提供两种操确实色彩。可通过手动或自动方式控制这些值。自动白平衡功能提供两种操作模式作模式:自动自动:对视频数据流持续实施白平衡操作。对视频数据流持续实施白平衡操作。单触单触:只触发一次调节过程。只触发一次调节过程。普通的多媒体相机只提供一个白平衡参数普通的多媒体相机只提供一个白平衡参数,因此增加红色色值会减少蓝因此增加红色色值会减少蓝色色值色色值,反之亦然。高质量的相机提供两个参数反之亦然。高质量的相机提供两个参数,因此能够分别调节红和蓝的色因此能够分别调节红和蓝的色值值:源图像蓝色值过低红色值过低产品型号TRI500MTRI500C传感器逐行扫描CMOS彩色/黑白MonoRGB分辨率25921944帧频6fps像素深度8Bit像素大小2、2um光学尺寸1/2、5曝光时间80us160us同步模式连续模式/外触发可调节参数曝光时间、亮度、增益、白平衡输入输出输入2路,带光耦隔离;输出4路,带光耦隔离镜头接口C口或CS口传输接口IEEE1394A传输距离3m,最大可10m供电要求1394总线供电支持协议1394DCAM1、31机械尺寸52mm52mm48、8mm四、图像采集卡第一节:图像采集卡简介图像采集卡:又称为图像卡,它是图像采集部分和处理部分的接口。它将摄像机的图像视频信号,送到计算机的内存,供计算机处理、存储、显示和传输等使用。图像的数字化:图像经过采样、量化以后转换为数字图像并输入、存储到帧存储器的过程。第二节:图像采集卡的各部参数定义1 1、A/DA/D转换转换 即视频量化处理。是指将相机所输出的模拟即视频量化处理。是指将相机所输出的模拟视频信号转换为视频信号转换为PCPC所能识别的数字信号的过程。所能识别的数字信号的过程。视频信号的量化处理是图像采集处理的重要组成视频信号的量化处理是图像采集处理的重要组成部分。部分。2 2、传输通道数、传输通道数(ChannelChannel)采集卡同时对多个相机进行采集卡同时对多个相机进行A/DA/D转换的能力。转换的能力。如如:2 2通道、通道、4 4通道。通道。3 3、分辨率、分辨率(能够理解为能够理解为1mm1mm内分辨开的线条数内分辨开的线条数)采集卡能支持的最大点阵反映了其分辨率的性采集卡能支持的最大点阵反映了其分辨率的性能能-即其所能支持的相机最大分辨率。即其所能支持的相机最大分辨率。4 4、采样频率、采样频率 采样频率反映了采集卡处理图像的速度和能力。采样频率反映了采集卡处理图像的速度和能力。在进行高速图像采集时在进行高速图像采集时,需要注意采集卡的采样频率是否满需要注意采集卡的采样频率是否满足要求。足要求。5 5、传输速率、传输速率 指图像由采集卡到达内存的速度。普通指图像由采集卡到达内存的速度。普通PCIPCI接口理论接口理论传输速度为传输速度为132MB/S132MB/S,PCI-EPCI-E,PCI-XPCI-X是更高速的总线接口。是更高速的总线接口。6 6、图像格式、图像格式(像素格式像素格式)(1)(1)黑白图像黑白图像:通常情况下通常情况下,图像灰度等级可分为图像灰度等级可分为256256级级,即以即以8 8位表示。在对图像灰度有更精确要求时位表示。在对图像灰度有更精确要求时,可用可用1010位位,1212位等来表示。位等来表示。(2)(2)彩色图像彩色图像:彩色图像可由彩色图像可由RGBRGB(YUVYUV)3 3种色彩组合种色彩组合而成而成,依照其亮度级别的不同有依照其亮度级别的不同有8 88 88 8,101010101010等格式。等格式。7、输出接口类型图像采集卡有多种输出接口图像采集卡有多种输出接口,其主要接口有其主要接口有BNCBNC、VGAVGA、CameralinkCameralink、LVDSLVDS、DVIDVI、USBUSB、FireWireFireWire等。等。五、图像处理系统第一节:图像处理系统的定义 图像处理系统或计算机的作用是执行图像处理图像处理系统或计算机的作用是执行图像处理及分析软件及分析软件,调用依照检测功能所特别设计的一系调用依照检测功能所特别设计的一系列图像处理及分析算法模块列图像处理及分析算法模块,对图像数据进行复杂对图像数据进行复杂的计算和处理的计算和处理,最终得到系统设计所需要的信息最终得到系统设计所需要的信息,然然后通过与之相连接的外部设备以各种形式输出检测后通过与之相连接的外部设备以各种形式输出检测结果及响应。其外部输出设备能够包括显示器、网结果及响应。其外部输出设备能够包括显示器、网络、打印机、报警器及各种控制信号。络、打印机、报警器及各种控制信号。第二节:图像处理系统分类n n嵌入式图像处理系统:直截了当将图像处理系统集成到芯片中,结构与功能相对比较简单。n n基于PC的视觉系统:需要在PC环境中才能运行,结构及功能复杂,且可多路并行处理。有些图像处理系统还能够在其基础进行二次开发。感谢您的聆听！