工业机器人视觉系统组成及介绍

By Brad Lucas 2016.4.9工业机器人视觉系统组成及介绍 视觉系统0.机器视觉系统组成架构1.工业摄像机2.镜头3.照明光源 4.图像采集/处理卡 模拟相机视觉系统 数字相机视觉系统0.机器视觉系统组成架构 1.相机的概念 2.相机的分类（1）芯片类型（2）传感器结构特性（3）扫描方式（4）分辨率大小（5）输出信号方式 （6）输出色彩（7）输出信号速度（8）响应频率范围（9）深度的计算方式一.工业相机篇 3.相机的主要参数 4.工业相机与普通相机的区别 5.工业相机选型的依据（1）应用的不同（2）分辨率的选择（3）与镜头的匹配（4）相机帧数选择 6.几种摄像机的参数实例 工业相机是机器视觉系统中的一个关键组件，其最本质的功能就是将光信号转变成有序的电信号。灰度值的产生：1.相机的概念N个电子落在传感器的区域内电子-空穴对形成电荷然后转换为电压电压经过放大并通过模数转换数字化产生灰度值y （1）芯片类型 CCD相机、CMOS相机 (CCD图像传感器提供较好的质量，而CMOS图像传感器按电池寿命和低成本来说能提供更好的性能)（2）传感器结构特性线阵相机、面阵相机 （3）扫描方式隔行扫描相机、逐行扫描相机2.相机的分类 （4）分辨率大小普通分辨率相机、高分辨率相机（5）输出信号方式模拟相机、数字相机（6）输出色彩 单色相机、彩色相机 （7）输出信号速度普通速度相机、高速相机（8）响应频率范围可见光（普通）相机、红外相机、紫外相机等 （9）深度的计算方式单目RGB摄像机、双目摄像机、RGBD摄像机 1. 分辨率（Resolution）：相机每次采集图像的像素点数（Pixels），对于数字相机一般是直接与光电传感器的像元数对应的，对于模拟相机机则是取决于视频制式，PAL制为768*576，NTSC制为640*480，模拟相机已经逐步被数字相机代替，且分辨率已经达到6576*4384。 2. 像素深度（Pixel Depth）：即每像素数据的位数，一般常用的是8Bit，对于数字相机机一般还会有10Bit、12Bit、14Bit等。 3. 最大帧率（Frame Rate）/行频（Line Rate）：相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（Frames/Sec.），对于线阵相机为每秒采集的行数（Lines/Sec.）。 4. 曝光方式（Exposure）和快门速度（Shutter）：对于线阵相机都是逐行曝光的方式，可以选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，数字相机一般都提供外触发采图的功能。快门速度一般可到10微秒，高速相机还可以更快。3.相机的主要参数 5. 像元尺寸（Pixel Size）：像元大小和像元数（分辨率）共同决定了相机靶面的大小。数字相机像元尺寸为3m10m，一般像元尺寸越小，制造难度越大，图像质量也越不容易提高。 6.靶面尺寸：也就是图像传感器感光部分的大小。一般用英寸来表示，和电视机一样，通常这个数据指的是这个图像传感器的对角线长度，如常见的有1/3英寸，靶面越大，意味着通光量越好，而靶面越小则比较容易获得更大的景深。比如1/2英寸可以有比较大的通光量，而1/4英寸可以比较容易获得较大的景深。 7. 光谱响应特性（Spectral Range）：是指该像元传感器对不同光波的敏感特性，一般响应范围是350nm1000nm，一些相机在靶面前加了一个滤镜，滤除红外光线，如果系统需要对红外感光时可去掉该滤镜。 8.接口类型：数字相机有Camera Link接口，以太网接口，1394接口、USB接口输出，目前最新的接口有CoaXPress接口。 9.触发方式（对于同步非常重要！）：硬触发（控制高低电平来进行快门曝光的控制），软触发（通过软件主动查询信号或仪器当前状态，符合条件则控制系统采集信号，精度不如硬触发）。 CCD & CMOS靶面越大，则对应的视野角越大。CCD & CMOS靶面大小 1.工业相机的性能稳定可靠易于安装，相机结构紧凑结实不易损坏，连续工作时间长，可在较差的环境下使用，一般的数码相机是做不到这些的。 2.工业相机输出的是裸数据(raw data)，其光谱范围也往往比较宽，比较适合进行高质量的图像处理算法，例如机器视觉(Machine Vision)应用。而普通相机拍摄的图片，其光谱范围只适合人眼视觉，并且经过了mjpeg压缩，图像质量较差，不利于分析处理。 3.工业相机(Industrial Camera)相对普通相机(DSC)来说价格较贵。4.工业相机与普通相机的区别 （1）应用的不同用在视觉自动检查的方案或行业中一般用CCD工业相机比较多。 CMOS工业相机由成本低，功耗低也应用越来越广泛。（2）分辨率的选择首先考虑待观察或待测量物体的精度，根据精度选择分辨率。5.工业相机选型的依据 （3）与镜头的匹配传感器芯片尺寸需要小于或等于镜头尺寸，C或CS安装座也要匹配（或者增加转接口）。镜头和摄像机之间的接口有许多不同的类型，工业摄像机常用的包括C接口、CS接口、F接口、V接口、T2接口、徕卡接口、M42接口、M50接口等。接口类型的不同和镜头性能及质量并无直接关系，只是接口方式的不同，一般可以也找到各种常用接口之间的转接口。 C接口和CS接口是工业摄像机最常见的国际标准接口，为1英寸32UN英制螺纹连接口，C型接口和CS型接口的螺纹连接是一样的，区别在于C型接口的后截距为17.5mm，CS型接口的后截距为12.5mm。所以CS型接口的摄像机可以和C口及CS口的镜头连接使用，只是使用CS口镜头时需要加一个5mm的接圈；C型接口的摄像机不能用CS口的镜头。 F接口镜头是尼康镜头的接口标准，所以又称尼康口，也是工业摄像机中常用的类型，一般摄像机靶面大于1英寸时需用F口的镜头。 V接口镜头是著名的专业镜头品牌施奈德镜头所主要使用的标准，一般也用于摄像机靶面较大或特殊用途的镜头。 （4）相机帧数选择当被测物体有运动要求时，要选择帧数高的工业相机。但一般来说分辨率越高，帧数越低。 有效像素数是指：真正参与感光成像的像素值。模拟相机 USB摄像机 1.电子卷帘快门 (electronic rolling shutter)。 2.全局快门 (global shutter/ snapshot shutter)GIGE千兆网相机 RGBD摄像机 1.镜头的定义 2.镜头的分类 3.镜头参数 4.像差二.工业镜头篇 光学镜头是机器视觉系统中必不可少的部件，直接影响成像质量的优劣，影响算法的实现和效果。1.镜头 2.镜头的分类按外形功能分按尺寸大小分按光圈分按变焦类型分按焦距长矩分球面镜头1” 25mm自动光圈电动变焦长焦距镜头非球面镜头1/2” 13mm手动光圈手动变焦标准镜头针孔镜头1/3” 8.5mm固定光圈固定焦距广角镜头鱼眼镜头2/3” 17mm微距镜头 （1）镜头的成像尺寸：不得小于CCD（CMOS）的靶面尺寸。（2）镜头的分辨率：以每毫米能够分辨的黑白条纹数为计量单位。（3）镜头焦距与视野角度：首先根据摄像头到被监控目标的距离，选择镜头的焦距，镜头焦 距f 确定后，则由摄像头靶面决定了视野。（4）光圈F值 = 镜头的焦距 / 镜头光圈的直径光圈的作用在于决定镜头的进光量，F后面的数值越小，光圈越大，而进光量也就越多；反之，则越小。简单的说，在快门速度（曝光速度）不变的情况下，光圈F数值越小光圈就越大，进光量越多， 画面比较亮；光圈F数值越大光圈就越小，画面比较暗。 3.镜头参数 4.像差 1.定义 2.光源参数 3.光源分类 4.光源与被测物间的相互作用 5.如何利用光源三.工业光源篇 物理学上光源：指能发出一定波长范围的电磁波（包括可见光与紫外线、红外线、X射线等不可见光）的物体。通常指能发出可见光的发光体。凡物体本身能发光者，称做光源，又称发光体。1.光源 1.色温：色温是描述光源色谱特性的简单方法。低色温意味暖光（偏黄红），而高色温意味冷光（偏蓝）。色温的标准单位为Kelvin,简称k。 2.白平衡：白平衡是一种让数字相机适应场景主体光色温的一种技术。白平衡通过调整感光器的输出来实现。因此说到底，调整白平衡就是调整色温。 3.光通量： 光源每秒种发出的可见光量之和，简单说就是发光量。单位：流明（lm） 4.照度：单位面积内入射的光通量，也就是光通量除以面积所得到的值。单位：勒克司（lux）。2.光源参数 按发光形式： 1.热辐射光源。电流流经导电物体，使之在高温下辐射光能的光源。包括白炽灯和卤钨灯两种。 2.气体放电光源。电流流经气体或金属蒸气，使之产生气体放电而发光的光源。气体放电有弧光放电和辉光放电两种，放电电压有低气压、高气压和超高气压3种。弧光放电光源包括：荧光灯、低压钠灯等低气压气体放电灯，高压汞灯、高压钠灯、金属卤化物灯等高强度气体放电灯，超高压汞灯等超高压气体放电灯，以及碳弧灯、氙灯、某些光谱光源等放电气压跨度较大的气体放电灯。辉光放电光源包括利用负辉区辉光放电的辉光指示光源和利用正柱区辉光放电的霓虹灯，二者均为低气压放电灯；此外还包括某些光谱光源。 3.电致发光光源。在电场作用下，使固体物质发光的光源。它将电能直接转变为光能。包括场致发光光源和发光二极管两种。 3.光源分类（简单说） 1.镜面反射 2.漫反射 3.定向投射 4.漫投射 5.背反射 6.吸收 实际的物体要比上述简单模型复杂得多。因此，为实物找一个合适的光源常常需要大量的实验。4.光源与被测物间的相互作用 1.利用照明的光谱（1）如果绿色背景上面的红色被测物需要增强，我们就可以使用红色照明，这时红色物体会更加明亮，同时绿色物体会变得暗淡。（2）CCD和CMOS传感器对于红外光比较敏感（常常需要加上红外截止滤光片来避免图像过亮以及图像颜色变化）。4.如何利用光源 2.利用照明的方向性 1.图像采集卡，其功能是将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。4.图像采集/处理卡 2.图像采集卡原理（1）视野(FOV)或现场是相机及光学系统“看”到的真实世界的具体部分。（2）CCD芯片将光能转化为电能。（3）相机将此信息以模拟信号的格式输出至图像采集卡。（4）AD 转换器将模拟信号转换成 8 位（或多位）的数字信号。每个象素独立地把光强以灰度值(Gray level)的形式表达。 （5）这些光强值从CCD芯片的矩阵中被存储在内存的矩阵数据结构中。 3.图像采集卡参数 (1) 图像传输格式格式是视频编辑最重要的一种参数，图像采集卡需要支持系统中摄像机所采用的输出信号格式。大多数摄像机采用RS422或EIA644(LVDS)作为输出信号格式。在数字相机中，IEEE1394，USB2.0和CameraLink几种图像传输形式则得到了广泛应用。 (2)图像格式(像素格式) 黑白图像：通常情况下，图像灰度等级可分为256级，即以8位表示。在对图像灰度有更精确要求时，可用10位，12位等来表示。彩色图像：彩色图像可由RGB(YUV)3种色彩组合而成，根据其亮度级别的不同有8-8-8，10-10-10等格式。 (3) 传输通道数当摄像机以较高速率拍摄高分辨率图像时，会产生很高的输出速率，这一般需要多路信号同时输出，图像采集卡应能支持多路输入。一般情况下，有1路，2路，4路，8路输入等。随出现着科技的不断发展和行业的不断需求，路数更多的采集卡也出现在市面上。 (4) 分辨率采集卡能支持的最大点阵反映了其分辨率的性能。一般采集卡能支持768*576点阵，而性能优异的采集卡其支持的最大点阵可达64K*64K。单行最大点数和单帧最大行数也可反映采集卡的分辨率性能。同三维推出的采集卡能达到1920 x1080分辨率。 (5) 采样频率采样频率反映了采集卡处理图像的速度和能力。在进行高度图像采集时，需要注意采集卡的采样频率是否满足要求。高档的采集卡其采样频率可达65MHZ。 (6)传输速率主流图像采集卡与主板间都采用PCI接口，其理论传输速度为132MB/S。 4.图像采集卡分类视频信号源数字采集卡（使用数字接口）模拟采集卡安装连接方式外置采集卡（盒）内置式板卡视频压缩方式软压卡（消耗CPU资源）硬压卡视频信号输入输出接口1394采集卡、USB采集卡、HDMI采集卡、DVI/VGA视频采集卡、PCI视频卡性能作用电视卡、图像采集卡、DV采集卡、电脑视频卡、监控采集卡、多屏卡、流媒体采集卡、分量采集卡、高清采集卡、笔记本采集卡、DVR卡、VCD卡、非线性编辑卡（简称非编卡） 用途广播级图像采集卡，专业级图像采集卡，民用级图像采集卡