机器视觉系统原理及基础知识课件

机器机器视觉视觉系系统统原原理及基理及基础础知知识识主主讲讲人：人：王王亚鹏亚鹏2005.102005.10中国大恒（集中国大恒（集团团）有限公司北京）有限公司北京图图像像视觉视觉技技术术分公司分公司1 1A A机器视觉系统原理及基础知识主讲人：王亚鹏1A1.1.1.1.机器机器视觉视觉系系统统基本原理基本原理2.2.2.2.照明光源照明光源3.3.3.3.镜头镜头4.4.4.4.工工业摄业摄像机像机5.5.5.5.图图像采集像采集/处处理卡理卡6.6.6.6.图图像像处处理系理系统统2 2A A2A 第第1章章 机器机器视觉视觉系系统统基本原理基本原理1.1 1.1 1.1 1.1 机器机器机器机器视觉视觉视觉视觉系系系系统统统统的原理的原理的原理的原理 1.2 1.2 1.2 1.2 机器机器机器机器视觉视觉视觉视觉系系系系统统统统与人的与人的与人的与人的视觉视觉视觉视觉的的的的对对对对比比比比1.3 1.3 1.3 1.3 机器机器机器机器视觉视觉视觉视觉系系系系统统统统的构成的构成的构成的构成3 3A A 3A1.1 1.1 机器机器视觉视觉系系统统的原理的原理n n 机器视觉系统的目的就是给机器或自动生产线添加一套视觉系统，其原理是由计算机或图像处理器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统则是由图像采集系统、图像处理系统及信息综合分析处理系统构成。4 4A A1.1 机器视觉系统的原理 机器视觉系统的目的就是给1.1 1.1 机器机器视觉视觉系系统统的原理的原理n n图图像像处处理技理技术术n n彩色彩色图图像像转换转换技技术术n n图图像分割技像分割技术术n n模式模式识别识别技技术术n n数学形数学形态态学方法学方法n n专专家系家系统统及人工智能技及人工智能技术术n n视觉视觉神神经经网网络络技技术术n n小波分析技小波分析技术术n n分形学方法分形学方法5 5A A1.1 机器视觉系统的原理图像处理技术5A1.2 机器机器视觉视觉系系统统与人的与人的视觉视觉的的对对比比6 6A A6A人人类视觉类视觉机器机器视觉视觉适适应应性性适适应应性性强强，可在复，可在复杂杂及及变变化的化的环环境中境中识别识别目目标标适适应应性差，容易受复性差，容易受复杂杂背景及背景及环环境境变变化的影响化的影响智能智能具有高具有高级级智能，可运用智能，可运用逻辑逻辑分析及推理能力分析及推理能力识识别变别变化的目化的目标标，并能，并能总结规总结规律律虽虽然可利用人工智能及神然可利用人工智能及神经经网网络络技技术术，但智能很差，不，但智能很差，不能很好地能很好地识别变识别变化的目化的目标标彩色彩色识别识别能力能力对对色彩的分辨能力色彩的分辨能力强强，但容易受人的心理影响，但容易受人的心理影响，不能量化不能量化受硬件条件的制受硬件条件的制约约，目前一般的，目前一般的图图像采集系像采集系统对统对色彩的色彩的分辨能力分辨能力较较差，但具有可量化的差，但具有可量化的优优点点灰度分辨力灰度分辨力差，一般只能分辨差，一般只能分辨6464个灰度个灰度级级强强，目前一般使用，目前一般使用256256灰度灰度级级，采集系，采集系统统可具有可具有10bit10bit、12bit12bit、16bit16bit等灰度等灰度级级空空间间分辨力分辨力分辨率分辨率较较差，不能差，不能观观看微小的目看微小的目标标目前有目前有4K4K4K4K的面的面阵摄阵摄像机和像机和8K8K的的线阵摄线阵摄像机，通像机，通过备过备置各种光学置各种光学镜头镜头，可以，可以观测观测小到微米大到天体的目小到微米大到天体的目标标速度速度0.10.1秒的秒的视觉暂视觉暂留使人眼无法看清留使人眼无法看清较较快速运快速运动动的的目目标标快快门时间门时间可达到可达到1010微妙左右，高速像机微妙左右，高速像机帧帧率可达到率可达到10001000以上，以上，处处理器的速度越来越快理器的速度越来越快感光范感光范围围400nm-750nm400nm-750nm范范围围的可的可见见光光从紫外到从紫外到红红外的外的较宽较宽光光谱谱范范围围，另外有，另外有X X光等特殊光等特殊摄摄像像机机环环境要求境要求对环对环境温度、湿度的适境温度、湿度的适应应性差，另外有性差，另外有许许多多场场合合对对人有人有损损害害对环对环境适境适应应性性强强，另外可加防，另外可加防护护装置装置观测观测精度精度精度低，无法量化精度低，无法量化精度高，可到微米精度高，可到微米级级，易量化，易量化其它其它主主观观性，受心理影响，易疲性，受心理影响，易疲劳劳客客观观性，可性，可连续连续工作工作7 7A A人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目1.3 机器机器视觉视觉系系统统的构成的构成1.1.1.1.照明光源照明光源2.2.2.2.镜头镜头3.3.3.3.工工业摄业摄像机像机4.4.4.4.图图像采集像采集/处处理卡理卡5.5.5.5.图图像像处处理系理系统统6.6.6.6.其它外部其它外部设备设备8 8A A1.3 机器视觉系统的构成照明光源8A9 9A A9A1010A A10A第第2 2章章 照明光源照明光源1111A A11A2.照明光源 在我国国家在我国国家标标准准GB 5698GB 56988585中，中，颜颜色定色定义义为为：“色是光作用于人眼引起除形象以外的色是光作用于人眼引起除形象以外的视觉视觉特特性性”。既：。既：颜颜色是一种光学色是一种光学现现象，是光刺激人眼的象，是光刺激人眼的结结果，有光才有色。彩色也是一种心理感果，有光才有色。彩色也是一种心理感觉觉，它，它与照明光源的与照明光源的辐辐射能力分布及射能力分布及观观看者的看者的视觉视觉生理生理结结构有关。人眼可以感知的光构有关。人眼可以感知的光谱谱范范围为围为380nm-380nm-780nm780nm，但人感知一个物体的，但人感知一个物体的颜颜色一般是指在日色一般是指在日光照明的光照明的环环境下所境下所显显示的色彩，示的色彩，对对于同一物体在于同一物体在不同光不同光线线的照射下人会感的照射下人会感觉觉到不同的色彩，可到不同的色彩，可见见光源光源对对于正确于正确认认知物体的色彩是至关重要的。知物体的色彩是至关重要的。1212A A2.照明光源 在我国国家标准GB 56982.照明光源 简单视功能原理：人眼视网膜里存在着大量光敏细胞，按其形状可分为杆状和锥状两种。杆状光敏细胞的灵敏度极高，主要靠它在低照度时辨别明暗，但它对彩色是不敏感的；而锥状细胞既可辨别明暗，也可辨别彩色。白天的视觉过程主要靠锥状细胞来完成，夜晚视觉则由杆状细胞起作用。所以在较暗处无法辨别彩色。1313A A2.照明光源 简单视功能原理：人眼视网膜里存在着大量光敏2.照明光源三原色学说：该学说认为在视网膜上分布有三种不同的视锥细胞，分别含有对红(700nm)、绿(546.1nm)、蓝(435.8nm)三种光敏感的视色素；当某一定波长的光线作用于视网膜时，以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的感觉。1414A A2.照明光源三原色学说：该学说认为在视网膜上分布有三种2.照明光源所以，当我们用某光源照明时，若光源只发出三条人眼最敏感的谱线，即：蓝、绿、红。这样似乎是达到了人眼对照明的需求和防止了人眼无法察觉和有害射线对人眼视力的影响。但我们由前面提到的，物体只能反射和透射与该物体颜色相同的光线，因此上面我们假设的光源的显色性一定是很差的。1515A A2.照明光源 所以，当我们用某光源照明时，若光源只发出三条2.照明光源主要参数n n光源的光谱分布：对于色彩检测的应用，应选择与日光接近的光源，光谱要宽，而且连续。光源照射在物体上，物体所产生的颜色效果要客观、真实，既光源的显色性好。其它场合可使用各种单色光和特殊光源。1616A A2.照明光源主要参数 光源的光谱分布：16A2.照明光源主要参数n n色温，单位是开尔文（K）：当光源所发出的光的颜色与“黑体”在某一温度下辐射的颜色相同时，“黑体的温度就称为该光源的色温。“黑体”的温度越高，光谱中蓝色的成分则越多，而红色的成分则越少。例如：白炽灯的光色是暖白色，其色温为2700K左右，而日光色荧光灯的色温则是6400K左右。白炽灯的色温一般在2700K左右、日光灯的色温在2700-6400K左右、钠灯的色温在2000K左右1717A A2.照明光源主要参数 色温，单位是开尔文（K）：当光源所2.照明光源主要参数n n照度：单位被照面上接收到的光通量称为照度。如果每平方米被照面上接收到的光通量为1（lm），则照度为1(lx)。单位：勒克斯（lx或Lux）。1勒克斯（lx）相当于每平方米被照面上光通量为1流明（lm）时的照度。在高速运动条件下拍摄图像，曝光时间很短，只有高亮度的光源才能得到足够亮度的图像。1818A A2.照明光源主要参数照度：单位被照面上接收到的光通量称为n n夏日阳光下 100000Lux n n阴天室外 10000Luxn n电视台演播室 1000Lux n n距60W台灯60cm桌面 300Luxn n室内日光灯 100Lux n n黄昏室内 10Luxn n20cm处烛光 10-15Lux n n晴朗的月夜地面照度约0.2 lx1919A A夏日阳光下 100000Lux 19A2.照明光源主要参数n n寿命。光源的半衰期要长，且在半衰期内，光谱稳定，亮度衰减小。n n发热特性。光源的工作温度要低，避免高温损坏被检测物。n n信噪比高，抗干扰能力强。n n闪烁频率，交流、直流。n n外形尺寸，便于安装。2020A A2.照明光源主要参数寿命。光源的半衰期要长，且在半衰期内2.照明光源分类n n按照射方式可分按照射方式可分为为四大四大类类:n n背向照明n n前向照明n n结构光n n频闪照明。各种照明方式：平面照明、环形光源、同轴光源、平行光源、点光源、低角度光源、线光源、光栅；2121A A2.照明光源分类按照射方式可分为四大类:21A2.照明光源分类热辐热辐射光源射光源白白炽炽灯、灯、卤钨卤钨灯灯气体放气体放电电光源光源荧荧光灯、光灯、钠钠灯、灯、氢氢灯、氙灯、金属灯、氙灯、金属卤卤化物灯、空心化物灯、空心阴极灯、汞灯、阴极灯、汞灯、高高压压汞灯、超高汞灯、超高压压汞灯汞灯 固体放固体放电电光源光源发发光二极管、空心阴极灯光二极管、空心阴极灯激光器激光器气体激光器、固体激光器、半气体激光器、固体激光器、半导导体激光器、染料激体激光器、染料激光器光器2222A A2.照明光源分类热辐射光源白炽灯、卤钨灯气体放电光源荧光2.照明光源光纤照明光光纤纤照明系照明系统统：可弯曲的光纤束专用镜头n n点照明n n线照明n n环形照明2323A A2.照明光源光纤照明光纤照明系统：可弯曲的光纤束专用镜第3章 镜头镜头2424A A24A3.镜头影响影响图图像像质质量的因素量的因素 图图像像质质量的参数量的参数影响影响图图像像质质量的因素量的因素分辨力（分辨力（ResolutionResolution），指能），指能分清楚物体的能力，分清楚物体的能力，单单位位LP/mmLP/mm（Line pairs/MilimeterLine pairs/Milimeter）镜头镜头 摄摄像机像机图图像采集卡像采集卡 显显示器示器对对比度（比度（ContrastContrast）镜头镜头 照明光源照明光源 摄摄像机像机景深（景深（Depth of FieldDepth of Field），指），指镜镜头头当物体在当物体在对对焦清晰范焦清晰范围围内，内，维维持一定品持一定品质质的能力的能力镜头镜头失真（失真（DistortionDistortion），也叫畸），也叫畸变变镜头镜头投影投影误误差差镜头镜头2525A A3.镜头影响图像质量的因素 图像质量的参数影响图像质量的3.镜头机器机器视觉视觉系系统统的基本光学参数：的基本光学参数：n n视场角n n工作距离n n分辨率n n景深2626A A3.镜头机器视觉系统的基本光学参数：26A2727A A27A3.镜头镜头镜头的理想模型的理想模型 薄透镜模型，薄透镜是指透镜没有厚度，当然这种透镜是不存在的，而且我们一般用的镜头都是多组镜片组合在一起的。我们通常使用中会忽略厚度对透镜的影响，在去除透镜参数中的厚度后，可简化许多光学计算公式。2828A A3.镜头镜头的理想模型 薄透镜模型，薄透镜是指透镜没3.镜头镜头镜头的理想模型的理想模型 2929A A3.镜头镜头的理想模型 29A3.镜头镜头镜头的理想模型的理想模型 两个重要公式：1/f=1/S1+1/S2 S1f*(H/h+1)3030A A3.镜头镜头的理想模型 两个重要公式：30A3.镜头有关有关镜头镜头的基本概念的基本概念 3131A A3.镜头有关镜头的基本概念 31A3.镜头有关有关镜头镜头的基本概念的基本概念n n焦距（焦距（F F）：）：n n视场视场角：角：n n物距：物距：n n像距：像距：n n光圈：一般用口径系数光圈：一般用口径系数f f表示，指表示，指镜头镜头口径与焦距之比，口径与焦距之比，f/2.8f/2.8即指即指1:2.81:2.8n n景深（景深（DOFDOF）：在焦点前后各有一个容）：在焦点前后各有一个容许许弥散弥散圆圆，这这两个弥散两个弥散圆圆之之间间的距离就叫景深，即：在被的距离就叫景深，即：在被摄摄主体主体(对对焦点焦点)前后，其影像仍然有一段前后，其影像仍然有一段清晰范清晰范围围的，就是的，就是景深景深景深景深。n n分辨力：指能分清楚物体的能力，分辨力：指能分清楚物体的能力，单单位位LP/mmLP/mm（Line Line pairs/Milimeterpairs/Milimeter）n n快快门门，决定曝光，决定曝光时间时间n n数数值值孔径，孔径，Numerical Aperture(NA)Numerical Aperture(NA)n n基本放大倍数基本放大倍数(光学放大倍数），光学放大倍数），Primary Magnification(PMAG)Primary Magnification(PMAG)n n调调制制传递传递函数（函数（MTFMTF），），MTFMTF好的好的镜头镜头有利于低有利于低对对比度景物的再比度景物的再现现，拍出的拍出的图图像像层层次丰富、次丰富、细节细节明明显显、质质感感细腻细腻。n n畸畸变变：也叫失真：也叫失真 3232A A3.镜头有关镜头的基本概念焦距（F）：32A3.镜头有关有关镜头镜头的基本概念的基本概念3333A A3.镜头有关镜头的基本概念33A3.镜头有关有关镜头镜头的基本概念的基本概念3434A A3.镜头有关镜头的基本概念34A3.镜头常常见见光学光学镜头镜头的种的种类类 n n按光学放大倍率及焦距划分按光学放大倍率及焦距划分按光学放大倍率及焦距划分按光学放大倍率及焦距划分n n显显微微镜镜：体体视显视显微微镜镜、生物、生物显显微微镜镜、金相、金相显显微微镜镜、测测量量显显微微镜镜n n常常规镜头规镜头：n n鱼鱼眼眼镜头镜头：6-16mm6-16mmn n超广角：超广角：17-21mm17-21mmn n广角：广角：24-35mm24-35mmn n标头标头：45-75mm45-75mmn n长长焦：焦：150-300mm150-300mmn n超超长长焦：焦：300mm300mm以上以上n n特殊特殊镜头镜头：n n微距微距镜头镜头n n远远距距镜头镜头n n远远心心镜头镜头n n红红外外镜头镜头n n紫外紫外镜头镜头3535A A3.镜头常见光学镜头的种类 按光学放大倍率及焦距划分353.镜头常常见见光学光学镜头镜头的种的种类类按其它性能划分按其它性能划分按其它性能划分按其它性能划分n n固定焦距固定焦距镜头镜头n n变变焦焦镜头镜头n n自自动变动变焦焦n n手手动变动变焦焦n n不同接口方式的不同接口方式的镜头镜头n nC C接口（后截距接口（后截距17.526mm17.526mm）n nCSCS接口（后截距接口（后截距12.5mm12.5mm）n nF F接口（尼康口）接口（尼康口）n nM42M42n n其它：哈其它：哈苏苏、徕徕卡、卡、AKAK3636A A3.镜头常见光学镜头的种类按其它性能划分36A3.镜头各种各种镜头镜头常用配件常用配件n n近拍接圈近拍接圈n n偏振偏振镜镜n n滤滤色片色片n nUVUV镜镜n n雷登雷登镜镜n n增温增温镜镜n n各色各色滤镜滤镜n n带带通通滤镜滤镜n n增倍增倍镜镜n n分光分光镜镜n n棱棱镜镜3737A A3.镜头各种镜头常用配件近拍接圈37A第4章 工工业摄业摄像机像机3838A A38A4.工业摄像机按不同芯片按不同芯片类类型划分：型划分：n nCCDCCD摄摄像机，像机，CCDCCD称称为电为电荷耦合器件，荷耦合器件，CCDCCD实际实际上只是一个把从上只是一个把从图图像半像半导导体中出来的体中出来的电电子有子有组织组织地地储储存起来的方法。存起来的方法。n nCMOSCMOS摄摄像机，像机，CMOSCMOS称称为为“互互补补金属氧化物半金属氧化物半导导体体”，CMOSCMOS实际实际上只是将晶体管放在硅上只是将晶体管放在硅块块上的技上的技术术，没有更多的含，没有更多的含义义。CMOSCMOS可以将光敏元件、可以将光敏元件、放大器、放大器、A/DA/D转换转换器、存器、存储储器、数字信号器、数字信号处处理器理器和和计计算机接口控制算机接口控制电电路集成在一路集成在一块块硅片上，具有硅片上，具有结结构构简单简单、处处理功能多、速度快、耗理功能多、速度快、耗电电低、成本低、成本低等特点。低等特点。3939A A4.工业摄像机按不同芯片类型划分：39A4.工业摄像机但是不论CCD或者CMOS对于图像感应都没有用，真正感应的传感器称做“图像半导体”，CCD和CMOS传感器实际使用的都是同一种传感器“图像半导体”，图像半导体是一个P N结合半导体，能够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。4040A A4.工业摄像机 但是不论CCD或者CMOS对于图像感应都没4.工业摄像机n nCMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，1989年后出现了“有源像敏单元”结构，不仅有光敏元件和像敏单元的寻址开关，而且还有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。4141A A4.工业摄像机CMOS摄像机存在成像质量差、像敏单元尺寸小4.工业摄像机按按输输出出图图像信号格式划分像信号格式划分n n模模拟摄拟摄像机像机n nPALPAL（黑白（黑白为为CCIRCCIR），中国，），中国，625625行，行，5050场场 n nNTSCNTSC（黑白（黑白为为EIAEIA），日本，），日本，525525行，行，6060场场 n nSECAMSECAMn nS-VIDEOS-VIDEOn n分量分量传输传输n n数字数字摄摄像机像机n nIEEE1394IEEE1394n nUSB2.0USB2.0n nDCOM3DCOM3n nRS-644 LVDSRS-644 LVDSn nChannel Link Channel Link n nCamera LinkCamera Linkn n千兆网千兆网4242A A4.工业摄像机按输出图像信号格式划分42A4.工业摄像机按像素排列方式划分n n面阵摄像机n n黑白黑白摄摄像机像机n n采用采用BAYERBAYER转转化的化的单单片相机片相机n n3CCD3CCD彩色彩色摄摄像机（分光棱像机（分光棱镜镜）n n线阵摄像机n n黑白黑白摄摄像机像机n n3Line3Line彩色彩色摄摄像机像机n n3CCD3CCD彩色彩色摄摄像机（分光棱像机（分光棱镜镜）4343A A4.工业摄像机按像素排列方式划分43A4.工业摄像机3CCD4444A A4.工业摄像机3CCD44A4.工业摄像机3Line CCD4545A A4.工业摄像机3Line CCD45A4.工业摄像机BAYER转换4646A A4.工业摄像机BAYER转换46A4.工业摄像机主要参数n n分辨率n n帧率/行频n n成像灵敏度n n靶面尺寸n n快门速度n n光谱响应特性n n白平衡n n外同步与外触发4747A A4.工业摄像机主要参数分辨率47A第第5 5章章 图图像采集像采集/处处理卡理卡 4848A A第5章 图像采集/处理卡 48A5.图图像采集像采集/处处理卡理卡 5.1图像采集卡的主要功能：n nA/D转换n n图像传输n n图像采集控制n n图像处理（FPGA、DSP）4949A A5.图像采集/处理卡 5.1图像采集卡的主要功能：49A5.图图像采集像采集/处处理卡理卡n n模拟量图像采集卡:n n标标准准视频视频信号采集信号采集:PAL:PAL、NTSCNTSCn n非非标标准准视频视频信号采集信号采集n n数字量图像采集卡n nIEEE1394IEEE1394卡卡n nRS-644 LVDSRS-644 LVDSn nChannel Link LVDSChannel Link LVDSn nCamera Link LVDSCamera Link LVDSn n千兆网千兆网图图像像传输传输卡卡/传输传输器器5050A A5.图像采集/处理卡模拟量图像采集卡:50A第第6 6章章 图图像像处处理系理系统统5151A A第6章 图像处理系统51A6.图图像像处处理系理系统统 图像处理系统或计算机的作用是执行图像处理及分析软件，调用根据检测功能所特殊设计的一系列图像处理及分析算法模块，对图像数据进行复杂的计算和处理，最终得到系统设计所需要的信息，然后通过与之相连接的外部设备以各种形式输出检测结果及响应。其外部输出设备可以包括显示器、网络、打印机、报警器及各种控制信号。5252A A6.图像处理系统 图像处理系统或计算机的作用是执行图6.图图像像处处理系理系统统n n嵌入式图像处理系统：DSP、FPGA、CPUn n基于PC的视觉系统：结构及功能复杂，可多路并行处理。n n小型机器视觉系统：结构简单，稳定性好，开发周期长。可二次开发的视觉系统：PPT、DVT、VC、Halcon等5353A A6.图像处理系统嵌入式图像处理系统：DSP、FPGA、机器视觉及图像处理常用算法：n n滤滤波（平滑、降噪）波（平滑、降噪）n n增增强强n n边缘锐边缘锐化化n n纹纹理分析（去骨架、理分析（去骨架、连连通性）通性）n n图图像分割，灰度、色彩、像分割，灰度、色彩、频谱频谱特征、特征、纹纹理特征、空理特征、空间间特征；特征；n n变换变换(空域和空域和频频域、几何域、几何变换变换、色度、色度变换变换）n n几何形几何形态态分析（分析（BlobBlob分析），形状、分析），形状、边缘边缘、长长度、面度、面积积、圆圆形度位置、方向、数量、形度位置、方向、数量、连连通性等通性等n n搜索匹配搜索匹配n n文字文字识别识别OCROCR，印刷，印刷质质量量OCVOCVn n色彩分析（色度、色密度、光色彩分析（色度、色密度、光谱谱、自、自动动白平衡）白平衡）n n3 3维测维测量量5454A A机器视觉及图像处理常用算法：滤波（平滑、降噪）54A