机器视觉基础知识课件

中国大恒（集团）有限公司北京图像视觉技中国大恒（集团）有限公司北京图像视觉技术分公司术分公司主讲人：陈欣机器视觉系统概述中国大恒（集团）有限公司北京图像视觉技术分公司主讲人：陈欣机提纲提纲n机器视觉系统概述机器视觉系统概述n照明光源照明光源n镜头镜头n工业摄像机工业摄像机提纲机器视觉系统概述机器视觉系统机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等行业。可用来保证产品质量、控制生产流程、感知环境等。机器视觉系统是基于机器视觉技术为机器或自动化生产线建立的一套视觉系统。机器视觉系统机器视觉是一门技术，该技术被广泛应用在生产制造等机器视觉机器视觉 vs vs 人类视觉人类视觉人类视觉机器视觉适应性适应性强，可在复杂及变化的环境中识别目标适应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理能力识别变化的目标，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目标彩色识别能力对色彩的分辨能力强，但容易受人的心理影响，不能量化受硬件条件的制约，目前一般的图像采集系统对色彩的分辨能力较差，但具有可量化的优点灰度分辨力差，一般只能分辨64个灰度级强，目前一般使用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级机器视觉 vs 人类视觉人类视觉机器视觉适应性适应性强，可在机器视觉机器视觉 vs vs 人类视觉人类视觉人类视觉机器视觉空间分辨力分辨率较差，不能观看微小的目标目前有4K4K的面阵摄像机和12K的线阵摄像机，通过备置各种光学镜头，可以观测小到微米大到天体的目标速度0.1秒的视觉暂留使人眼无法看清较快速运动的目标快门时间可达到10微妙左右，高速像机帧率可达到1000以上，处理器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的适应性差，另外有许多场合对人有损害对环境适应性强，另外可加防护装置机器视觉 vs 人类视觉人类视觉机器视觉空间分辨力分辨率较差机器视觉系统作用机器视觉技术机器视觉技术功能功能缩短产品缩短产品进入市场时间进入市场时间100%100%检测检测100%100%质量保证质量保证提高产量提高产量集成化生产集成化生产精确测量精确测量改进生产流程改进生产流程及时过程监控及时过程监控机器视觉系统作用机器视觉技术缩短产品100%检测100%质量机器视觉应用领域n高速检测高速检测n精确机器人导航精确机器人导航n定位及配准定位及配准n装配检测装配检测nPCBPCB检测检测n表面检测表面检测n纹理分析纹理分析n遥感遥感n医学图像分析医学图像分析n测量测量n一维码读取一维码读取nOCR&OCVOCR&OCVn匹配匹配n印刷检测印刷检测nBlobBlob分析分析机器视觉应用领域高速检测医学图像分析机器视觉应用领域n光学行业光学行业n纸制品纸制品n药物药物n照相学和遥感照相学和遥感n印刷印刷n铁路运输铁路运输n监控监控n航空宇航航空宇航n造船造船n无线通信无线通信n交通交通n木材木材n等等等等n半导体半导体n汽车制造汽车制造n制陶业制陶业n化学业化学业n电子部件及设备电子部件及设备n食品业食品业n玻璃业玻璃业n生命科学生命科学n医学医学n钢铁钢铁n矿业矿业机器视觉应用领域光学行业半导体机器视觉系统构成机器视觉系统构成模拟相机模拟相机光源CCD/CMOS图像传感器镜头被测物体模拟视频流摄像机图像采集卡图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉系统构成模拟相机光源CCD/CMOS图像传感器镜机器视觉系统构成机器视觉系统构成数字摄像机数字摄像机光源CCD/CMOS图像传感器镜头被测物体图像数据数字摄像机（USB/1394a/1394b/GigE/CameraLink）图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉系统构成数字摄像机光源CCD/CMOS图像传感器机器视觉系统构成机器视觉系统构成智能摄像机智能摄像机光源CCD/CMOS图像传感器镜头被测物体模拟图像数据智能摄像机图像内存中数字图像应用结果 孔半径1233.147 mm3.052 mm2.785 mm 机器视觉软件FGI/O机器视觉系统构成智能摄像机光源CCD/CMOS图像传感器机器视觉市场n机器视觉系统中部件包括：光源、工业摄像机、图像采集卡、镜头、图像处理设备等。n机器视觉市场包括:部件生产商代理商系统集成商机器视觉市场机器视觉系统中部件包括：机器视觉系统机器视觉系统组件组件照明光源照明光源照明光源照明光源机器视觉系统组件照明光源照明光源机器视觉系统机器视觉系统照明光源分类照明光源分类高频荧光灯卤素灯LED灯机器视觉系统照明光源分类高频荧光灯卤素灯LED灯机器视觉系统机器视觉系统照明光源对比照明光源对比机器视觉系统照明光源对比LEDLED光源特点光源特点n可制成各种形状、尺寸及各种照射角度；n可根据需要制成各种颜色，并可以随时调节亮度；n通过散热装置，散热效果更好，光亮度更稳定；n使用寿命长（约3万小时，间断使用寿命更长）；n反应快捷，可在10us或更短的时间内达到最大亮度；n电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；n运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；n可根据客户的需要，进行特殊设计。LED光源特点可制成各种形状、尺寸及各种照射角度；光源选型对成像影响实例光源选型对成像影响实例光源选型对成像影响实例照明技术：亮视野与暗视野照明技术：亮视野与暗视野暗视野暗视野亮视野亮视野杂散光杂散光直射光直射光照明技术：亮视野与暗视野暗视野亮视野杂散光杂散光直射光直射光照明技术：低角度照明照明技术：低角度照明常应用于检测平滑表面上变化的部分如：划痕、刀痕、边缘照明技术：低角度照明常应用于检测平滑表面上变化的部分如：划低角度照明应用实例低角度照明应用实例低角度照明应用实例照明技术：前向光直射照明照明技术：前向光直射照明照明技术：前向光直射照明前向光直射照明示例前向光直射照明示例前向光直射照明示例照明技术：前向光漫射照明照明技术：前向光漫射照明照明技术：前向光漫射照明前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例前向光漫射照明示例照明技术：背光照明照明技术：背光照明照明技术：背光照明背光照明示例背光照明示例TCLTCLTCI背光照明示例TCLTCLTCI照明技术：颜色与补色照明技术：颜色与补色照射物照射物白色光白色光(混合色混合色)蓝色蓝色其它颜色其它颜色被吸收被吸收照明技术：颜色与补色照射物白色光蓝色其它颜色被吸收颜色与补色示例颜色与补色示例白光白光红红光光蓝光蓝光绿光绿光颜色与补色示例白光红光蓝光绿光照明技术：偏光技术应用照明技术：偏光技术应用偏光板偏光板偏光镜片偏光镜片光源光源A光源光源B照明技术：偏光技术应用偏光板偏光镜片光源A光源B偏光技术应用实例偏光技术应用实例偏光技术应用实例照明技术：防外乱光技术应用照明技术：防外乱光技术应用照明技术：防外乱光技术应用机器视觉系统组件机器视觉系统组件镜头镜头镜头机器视觉系统组件镜头镜头成像尺寸成像尺寸成像尺寸焦距与视场角焦距与视场角焦距与视场角焦距与视场角焦距与视场角例如：使用HV1303UM拍摄视野为440mm*330mm拍摄距离为2500mm焦距与视场角例如：常用公式常用公式放大率物距像距焦距物高像高常用公式放大率镜头分辨率镜头分辨率分辨率单位：lp/mm影响因素：镜头结构、材质、加工精度镜头的相对孔径越大，分辨率越高光波长度，波长越短分辨率越高视场中心较边缘分辨率高同档次的固定焦距镜头较变焦镜头分辨率高短焦镜头一般边缘分辨率较中心低，长焦镜头一般中心较边缘分辨率低。理想光学系统的最小分辨距离 b=(0.61)/nsinmax其中，为光的波长 n为像空间介质折射率 max为像方孔径角当镜头对无限远成像，且像方为空气时（近似计算公式）b=1.22 F 其中，F为光圈数镜头分辨率分辨率单位：lp/mm远心镜头远心镜头远心镜头镜头选型镜头选型分辨率焦距光圈景深成像尺寸视场角远心畸变镜头选型分辨率机器视觉系统组件机器视觉系统组件工业摄像机工业摄像机工业摄像机工业摄像机机器视觉系统组件工业摄像机工业摄像机工业摄像机分类工业摄像机分类按不同芯片类型划分：按不同芯片类型划分：1 1、CCDCCD摄像机摄像机2 2、CMOSCMOS摄像机摄像机工业摄像机分类按不同芯片类型划分：CCD SensorFull Frame Array CCD SensorFull Frame Array SensorSensorOutput(Amplifier)Serial readout register优点：填充因子(fill factor)可以达到非常高，甚至达到100%。这样Sensor灵敏度非常大。缺点：由于传输和读出使用的时钟相同，因此Sensor上面的部分曝光时间比下面的长，这会造成Smear现象。为了解决这个问题，必须使用机械快门或闪光灯。CCD SensorFull Frame Array S CCD SensorFrame Transfer CCD SensorFrame Transfer SensorSensor解决了Full Frame Array Sensor发生Smear现象的问题从感光部分转移到屏蔽存储区域的时间约为500us优点：在曝光时间较长的情况下，Smear现象比Full Frame Array Sensor小很多缺点：由于需要两个Sensor，因此成本非常高Light sensitiveCCD-sensorShieldedmemory areaReadout register.CCD SensorFrame Transfe CCD SensorInterline CCD SensorInterline Transfer SensorsTransfer Sensors转移时间约为1us，因此完全不存在Smear现象。优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%70%添加微镜头可以增加填充因子Horizontal shift registersvertical shift registerShielded(Photo diodes)Sensor elementsOutput(Amplifier)CCD SensorInterline Tra Electronic shutter&Micro Lenses Electronic shutter&Micro Lenses Overflow Drain主要用来消除CCD Sensor的Blooming现象它也被用来实现电子快门通过Micro Lenses可以将传感器的填充因子提高。CCD可以从80%提高到约100%CMOS可以从30%提高到约80%Electronic shutter&Mic CMOS Sensor CMOS Sensor CMOS SensorAOIAOI由于CMOS可直接访问单个像素，因此在AOI非常小的情况下，CMOS与CCD相比，帧率上有较大的优势。CMOS Sensor甚至可以将A/D转换集成到每个像素中去，在不使用AOI时帧率上也有优势AOI由于CMOS可直接访问单个像素，CCD vs CMOS CCD vs CMOSCCDCMOS优1.图像质量高2.灵敏度高3.对比度高1.体积小2.片上数字化3.很多片上处理功能4.低功耗5.没有Blooming现象6.直接访问单个像素7.高动态范围（120dB）8.帧率可以更高劣1.Blooming2.不能直接访问每个像素3.没有片上处理功能1.一致性较差2.光灵敏度差3.噪声大 CCD vs CMOSCCDCMOS优1.图 CCD vs CMOS CCD vs CMOSCCDCMOS串行处理并行处理，可直接访问单像素线性度好高动态范围低噪声存在固定模式噪声功耗一般功耗较低集成度较低高集成度，芯片上集成了很多功能 CCD vs CMOSCCDCMOS串行处理 Interlaced Scan vs Progressive Scan Interlaced Scan vs Progressive ScanInterlaced ScanProgressive Scan Interlaced Scan vs Prog Rolling Shutter vs Global Shutter Rolling Shutter vs Global ShutterRolling ShutterGlobal Shutter Rolling Shutter vs Glo 彩色摄像机彩色摄像机1.Bayer2.3CCD3.3Lines4.彩色摄像机1.Bayer 彩色摄像机效果对比彩色摄像机效果对比3CCDRaw ImageBayerDifference 彩色摄像机效果对比3CCDRaw ImageBa工业摄像机接口类型工业摄像机接口类型1.1.模拟接口模拟接口2.2.CameraLinkCameraLink3.3.1394a1394a4.4.1394b1394b5.5.Usb2.0Usb2.06.6.GigEGigE7.7.EthernetEthernet8.8.工业摄像机接口类型模拟接口工业摄像机接口类型工业摄像机接口类型CameraLinkCameraLinkUsb2.0Usb2.01394a1394a1394b1394bGigEGigEEthernetEthernetEthernetEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1 Gbps480Mbps400Mbps800Mbps1000Gbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigE Vision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高2.线中不带供电1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高工业摄像机接口类型CameraLinkUsb2.01394aPCI vs PCI-EPCI vs PCI-EPCI-32PCI-32PCI-64PCI-64PCI-ExpressPCI-Express速度133MBps266MBps1x 266MBps2x 266*2 MBps4x 266*4 MBps8x16x32x 8.25GBpsPCI Express采用的是点对点通信机制，各个插槽都将通过各自独享的通道发送和接受数据，这样就可以避免出现不同设备同时争抢系统和CPU资 源的情况。PCI vs PCI-EPCI-32PCI-64PCI-Ex同步采集同步采集 vs vs 异步采集异步采集同步采集 vs 异步采集工业摄像机选型工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度选择分辨率2.根据拍摄对象运动与否选择合适相机3.根据生产线速度选择合适帧率4.根据相机接口类型以及相机数量选择合适的采集卡例如：某视觉检测系统需要两个检测工位拍摄过程中工件不停止。两个工位视野相同，均为400mm*300mm。要求检测精度达到0.4mm以上。检测速度大于每分钟1000工件。工业摄像机选型1.根据摄像机拍摄的视野以及系统需要达到的精度回顾回顾简简单单介介绍绍了了机机器器视视觉觉系系统统以以及及机机器器视视觉觉系系统统中中几几个个重要的组成部分，包括光源、镜头和摄像机。重要的组成部分，包括光源、镜头和摄像机。后后面面的的培培训训中中将将按按照照产产品品类类型型进进行行详详细细介介绍绍。并并且且将将细细致致地地介介绍绍与与某某产产品品类类型型相相关关的的技技术术细细节节。如如模模拟拟相相机机、13941394传传输输协协议议、GigEGigE传传输输协协议议、各各种种光光源源选型、选型、HALCONHALCON功能介绍等等。功能介绍等等。回顾简单介绍了机器视觉系统以及机器视觉系统中几个重要的组成部Thank You For Your Attention!机器视觉基础知识课件