图像采集与处理基础课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二章图像采集与处理,第二章图像采集与处理,1,主要内容,模拟视频信号,数字视频信号,图像采集卡介绍,重点及难点,模拟视频信号的表示,数字图像的处理方法,数字视频信号的表示及接口,主要内容 模拟视频信号重点及难点 模拟视频信号的表示,2,一、模拟视频信号,模拟信号和数字信号,信号数据可用于表示任何信息，如符号、文字、语音、图像等,从表现形式上可归结为两类：模拟信号和数字信号。模拟信号与数字信号的区别可根据幅度取值是否离散来确定。,模拟信号指幅度的取值是连续的，幅值可由无限个数值表示,数字信号指幅度的取值是离散的，幅值表示被限制在有限个数值之内,一、模拟视频信号 模拟信号和数字信号,3,一、模拟视频信号,幅度,U,A,(t),0,t,模拟信号,(a),幅度,U,A,(t),0,t,数字信号,(b),一、模拟视频信号 幅度t模拟信号(a)幅度t数字信号(b),4,一、模拟视频信号,一、模拟视频信号,5,一、模拟视频信号,视频制式,由视频模拟数据和视频同步数据构成,NTSC,（,National Television Standards Committee,，北美及日本）,PAL,（,Phase Alternate Line,，欧洲及亚洲大部分国家）,SECAM,（,Sequential Couleur Avec Memoire,，法国）,我国目前采用的标准是,PAL-D,一、模拟视频信号 视频制式,6,行频,(,KHz)：,每秒钟扫描多少行；,行频分别与场频、分辨率成正比，场频越高或者水平线数越多，要求的行频也越高。反过来说，行频越高，则允许显示器分辨率可变范围越大，场频也越高，显示器越好。,行频=场频*电子束水平扫描线数0.93,场(帧)频,(,Hz，fps)：,场频又称为帧频或刷新频率，即显示器的垂直扫描频率，指显示器每秒所能显示的图象次数，单位为赫兹(Hz)。,分辨率：,习惯上我们说的分辨率是指图像的高/宽像素值，严格意义上的分辨率是指单位长度内的有效像素值ppi。,一、模拟视频信号,行频(KHz)：每秒钟扫描多少行；行频分别与场频、分辨率成正,7,一、模拟视频信号,帧和场,(,隔行信号和逐行信号,),标准的模拟视频信号是隔行信号，一帧分成两场,偶数场包含所有的偶数行,(0, 2, . . . ),奇数场包含所有的奇数行,(1, 3, . . . ),标准模拟视频在采集和传输的过程中使用的是场，而不是帧,一帧图像的两场之间有时间差,(,造成运动模糊,),一、模拟视频信号 帧和场 (隔行信号和逐行信号),8,一、模拟视频信号,帧和场,(,隔行信号和逐行信号,),隔行,(,帧,),奇场,偶场,一、模拟视频信号 帧和场 (隔行信号和逐行信号) 隔行(帧),9,帧(场)特性：,帧(场)同步(,B),帧(场)后肩(,C),帧(场)有效信号(,D),帧(场)前肩(,E),一、模拟视频信号,帧(场)特性：一、模拟视频信号,10,行特性：,行同步(,B),行后肩(,C),行有效信号(,D),行前肩(,E),一、模拟视频信号,行特性：一、模拟视频信号,11,HS/HD(Horizontal synchronisation),VS/VD (Vertical synchronisation),Voltage,Time,HD,Video,Voltage,Time,VD,Video,一、模拟视频信号,HS/HD(Horizontal synchronisati,12,一、模拟视频信号,一、模拟视频信号,13,一、模拟视频信号,一、模拟视频信号,14,一、模拟视频信号,复合视频和,S-Video,复合视频的彩色视频信号是这样构成的：首先有一个基本的黑白视频信号，然后在每个水平同步脉冲之后，加入一个颜色脉冲和一个亮度信号。因为彩色信号是由多种数据“叠加”起来的，故称之为“复合视频”。,S -Video,是一种信号质量较高的视频接口，它取消了信号叠加的方法，可有效避免一些无谓的质量损失。它的功能是将,RGB,三原色和亮度进行分离处理。,一、模拟视频信号 复合视频和S-Video,15,一、模拟视频信号,颜色空间,对一种颜色进行编码的方法统称为“颜色空间”或“色域”,(Color Space),。,RGB(16,位,/24,位,/32,位,),YUV(YCbCr),其他,(HSV,、,CMYK,、数码相机自定义格式等,),Alpha,通道,一、模拟视频信号 颜色空间,16,一、模拟视频信号,颜色空间,RGB32,（,8:8:8:8,）,RGB24,（,8:8:8,）,一、模拟视频信号 颜色空间,17,一、模拟视频信号,颜色空间,RGB16,（,5:6:5,）,RGB15,（,5:5:5,）,一、模拟视频信号 颜色空间,18,一、模拟视频信号,颜色空间,YUV16,（,4:2:2,）,Y8,一、模拟视频信号 颜色空间,19,二、模拟信号,接口,二、模拟信号接口,20,连续图像用,f(x,y),表示,x,y,表示空间的坐标，,f,表示图像在点,(x,y),处的某种性质,F,的数值，如亮度（灰度值）或间接表示温度、压力、高度等。,f,、,x,、,y,可以是任意实数,数字图像,把连续图像在坐标空间和性质空间都进行离散化，便于计算机进行加工处理，这种图像称为数字图像。,用,I,（,r,c,）表示，,r ,代表图像的行,c ,代表图像的列,I,r,c ,都是整数,I,（,r,c,）,表示（,r,c,）行列交点处的图像值。,三、图像的表示,连续图像用f(x,y)表示 数字图像把连续图像在,21,R,C,O,X,Y,O,(a),(b),f(x,y),I(r,c),屏幕显示中采用,图像计算中采用,RCOXYO(a)(b)f(x,y) I(r,c)屏幕显,22,四、数字图像处理系统,图像处理的信号来源，主要问题是输入噪声，医用设备要求极高，灰度分辨率为,2048,级,因图像信息量大，因而大容量、快速存储器是必不可少的,将图像数据压缩，远距离传送图像档案（高保真度）例如：远程医疗诊断，可以在几千公里外由专家指导手术。,速度、内存、功能要求高,通信,联网,计算机主机,（处理和分析）,输出显示设备,输入部件,采集和量化,激光扫描仪,CCD,摄像机,图像存,储设备,1,、显示中间和最后结果，以供分析、识别和解释用,如：,CRT,显像设备,2,、记录下来永久保存,如：打印机或录像,四、数字图像处理系统 图像处理的信号来源，主要问题是输入噪,23,五、数字图像处理工程,图像信息的获取,（,Image Information acquisition,）,将一幅图像转换成适合输入计算机或数字设备的数字信号，这一过程主要包括摄取,图像、光电转换及数字化等几个步骤。,图像信息的存储（,Image Information storage,）,图像信息的突出特点是数据量巨大，一般作为档案存储主要采用磁带、磁盘或光,盘。为解决海量存储问题主要研究数据压缩图像格式及图像数据库技术等。,图像信息的传送,（,Image Information transmission,）,可分为系统内部传送与远距离传送。内部传送多采用,DMA,技术以解决速度问题，外,部远距离传送主要解决占用带宽问题。,数字图像处理,（,Digital Image Processing,）,多采用计算机处理。包括几何处理、算术处理、图像增强、图像复原、图像重建、,图像编码、图像识别、图像理解等。,图像的输出与显示（,Image Output and Display,）,图像处理的最终目的是为人或机器提供一幅更便于解译和识别的图像，因此图像输,出也是图像处理的重要内容。图像输出有两种，一种是硬拷贝，一种是软拷贝。其分,辨率随科学技术的发展从,256256,、,512512,、,10241024,越来越高。,五、数字图像处理工程图像信息的获取（Image Inform,24,1,、数字图像处理系统硬件,获取数字图像的设备即采集装置。,扫描仪,数码照相机,数码摄像机,图像采集模块,采集装置都包括下面两个部件：,光敏感应器件,模,/,数转换装置,1、数字图像处理系统硬件获取数字图像的设备即采集装置。,25,2,、图像获取方法,电视摄像机（,Video Camera,）,飞点扫描器（,Flying point scanner,）,扫描鼓,扫描仪,显微光密度计,遥感用图像获取设备,光学摄影：摄像机、多光谱像机,红外摄影：红外辐射计、红外辐射仪、多通道红外扫描仪,MSS,：多光谱扫描仪,微波：微波辐射计、侧视雷达、真实空孔径雷达，,合成孔径雷达,2、图像获取方法电视摄像机（Video Camera）光学摄,26,图像采集与处理基础课件,27,图像采集与处理基础课件,28,图像采集与处理基础课件,29,图像采集与处理基础课件,30,图像采集与处理基础课件,31,图像采集与处理基础课件,32,电视摄像机（,Video Camera,）：,目前使用最广泛的图像获取设备，早期主要有光电摄像管等，主要采用,CCD,摄像设备。特点：设备小巧，速度快，成本低、灵敏度高。缺点：灰度层次较差，非线性失真较大，有黑斑效应，在使用中需要校正。目前，,CCD,摄像机在分辨率、灵敏度等方面已做到较高水平。,摄像机参数有空间分辨率、灰度扥变绿、颜色数、快门参数、最低照明度等。,根据传感器的有效工作范围：可见光、近红外、红外、,X,射线等,CCD,摄像机。,根据快门速度：静止、实时摄像机,电视摄像机（Video Camera）：目前使用最广泛的图像,33,飞点扫描器（,Flying point scanner,）：,这是一种以光源做扫描的图像获取设备，其特点是：精度较高、图像清晰，可投射成像亦可反射成像，但是其体积略显庞大。,飞点扫描器（Flying point scanner）：这是,34,飞点扫描系统一般用在电视传送方面，特别是传送透明画和影片。 在飞点扫描系统中，扫描光点的光源是一种形成光栅的显象管，通称为飞点扫描管。从飞点扫描管发出的光被聚焦到影片上，逐点地受到影片透光度的调制，然后被光电倍增管接收，发出视频信号。因为在任何给定的瞬间，达到光电倍增管上的光，理想的应当只是透过影片相应象元的光，所以要求飞点扫描管荧光屏用的磷光体余辉要短。 在黑白飞点扫描系统中，对磷光体只在余辉和亮度上有所选择,而对光谱发射特性不大考虑。 在彩色系统中，光束透过影片之后，通过分色镜被分成彩色成分。为了达到精确的彩色再现，要求扫描光点的光谱能量分布要包括光谱整个可见区域。 现在的做法是把两种磷光体混合起来，以获得较宽的白场。,飞点扫描系统一般用在电视传送方面，特别是传送透明画和影片。,35,扫描鼓：,一种高精度的滚筒式图像摄取设备。特点：精度 高、分辨率高，可输入也可输出，缺点：价钱昂 贵、速度低，维护要求高，多用于静止图像的的 输入输出设备。,扫描仪：,特点：精度和分辨率中等。应用广泛。缺点：速 度慢，非实时设备。,显微光密度计：,精度较高，速度较低。,扫描鼓：一种高精度的滚筒式图像摄取设备。特点：精度,36,3,、,图像显示,图像显示的主要形式：,软拷贝形式,硬拷贝形式,常用硬盘、软盘、,U,盘、活动硬盘、光盘、磁带等,在海量图像存储备份系统中，采用磁盘阵列、磁带库、光 盘塔等存储设备。,4,、,图像存储,3、 图像显示 常用硬盘、软盘、U盘、活动硬盘、光,37,5,、图像的输出与显示,硬拷贝：照相、激光拷贝、彩色喷墨打印,软拷贝,CRT,显示（,Cathode Ray Tube,）,液晶显示器（,LCD,）,场致发光显示器（,FED,）,5、图像的输出与显示硬拷贝：照相、激光拷贝、彩色喷墨打印CR,38,6,、图像信息的存储,计算机内存，帧缓存：,提供快速存储功能的存储器,固定硬盘和,3,5,英寸的软磁盘：,小型和微型计算机的必备外存储器,闪存盘（,u,盘）：,是以,USB,为接口的一种存储方式,移动硬盘,大容量的,Zip,磁盘：,应用于多台电脑的数据传送网络下载数据、文件临时保存,MD (Magneto-Optical Disk),：,传统磁盘技术与激光技术结合的产物,CD-R,（,CD Recordable,）,:,一种允许对,CD,进行一次性刻写的特殊存储技术,CD-RW(CD ReWritable),：,一种重复写入技术,PD,：,Phase Change ReWritable Optical Disk:,相变光方式存储的可重复擦写的存储设备，是比,CD-RW,盘片性能更好、更稳定的光盘介质。,DVD(Digital Video Disk):,DVD-R,、,DVD-RAM,、,DVD-RW,6、图像信息的存储计算机内存，帧缓存：提供快速存储功能的存储,39,图像通信就是把图像传送到远方终端。,按传输图像种类分为,静止图像通信,:,如电报、传真和图文电视等；,活动图像通信,:,如电视、可视电话等。,7,、图像通信模块,以微机或工作站为主，配以图像卡和外设构成微型图像处理系统。,向大型机方向发展，具有并行处理功能，以解决数据量大、实时性与处理能力之间的矛盾。,8,、计算机,图像通信就是把图像传送到远方终端。7、图像通信模块 以微,40,9,、数字图像处理系统软件,图像处理系统平台：,Microsoft Windows,开发主流工具：,VC+,其他图像处理软件,MATLAB,的图像处理工具箱,AVS (Application Visualization System),SPIDER Viewer (Subroutine Package for Image Data Enhancement and Recognition),IUE (Image Understanding Environment),9、数字图像处理系统软件图像处理系统平台：Microsoft,41,IBMR-,从照片中生逼真的,3D,虚拟人,算法,面部复制,求特征点,求其,3D,位置,修改通用人头,修改嘴和眼,纹理映射,(Image-Based Modeling and Rendering),IBMR-从照片中生逼真的3D虚拟人算法面部复制(Ima,42,IBMR-,从照片中生逼真的,3D,虚拟人,算法,躯干复制,IBMR-从照片中生逼真的3D虚拟人算法躯干复制,43,几种常见的生物特征示例,脸形,脸部热量图,指纹,几种常见的生物特征示例脸形脸部热量图指纹,44,几种常见的生物特征示例,手形,手部血管分布,虹膜,视网膜,签名,声音,几种常见的生物特征示例手形手部血管分布 虹膜视网膜 签名,45,六、数字图像处理的方法和内容,图像处理：,对图像进行一系列的操作，以达到预期的目的的技术，满足人的视觉心理和实际应用的要求。,例子：调整了亮度和对比度,六、数字图像处理的方法和内容 图像处理：对图像进行一系列,46,1,、数字图像处理的主要方法,空域法：把图像看作是平面中各个像素组成的集合，然后直接,对这个二维函数进行相应的处理。,邻域处理法：包括梯度运算（,Gradient Algorithm,），拉普拉斯算子运算,(Laplacian Operator),，平滑算子运算,(Smoothing Operator),和卷积运算（,Convolution Algorithm,）,点处理法：灰度处理（,Grey processing,），面积、周长、体积、重心运算等,变换域法：首先对图像进行正交变换，得到变换域阵列，然,后再施行各种处理，处理后再反变换到空间域，,得到处理结果。,包括：滤波、数据压缩、特征提取等处理。,1、数字图像处理的主要方法 空域法：把图像看作是平面中各个,47,2,、数字图像处理的主要内容,图像数字化,几何处理,算术处理,图像增强,图像复原,图像重建,图像编码,图像分析,模式识别,图像理解,2、数字图像处理的主要内容图像数字化图像重建,48,模拟图像处理：利用光学、照相方法对模拟图像的处理,光学处理（透镜），电子处理（电视,),特点：并行速度快，精度稍差，欠灵活,数字图像处理：利用计算机对数字图像进行系列操作，从而获得某种预期的结果的技术,就是利用数字计算机或其它高速、大规模集成数字硬件，对从图像信息转换来的数字电信号进行某些数字运算或处理，以期提高图像的质量或达到人们所要求的某些预期的结果。,特点：精度高，灵活，处理速度受限。,模拟图像处理：利用光学、照相方法对模拟图像的处理,49,.,数字化一幅图像,(,将连续图像转化为数字图像,),.,增强一幅图像,(,使一幅图像能更好地适应于某个特定的应用,),.,恢复一幅图像,(,让一幅被损坏的图像尽可能恢复到原貌,),.,压缩一幅图像,(,用更少的字节数来存储它,),.,分割一幅图像,(,将一幅图像从背景中提出来并分成若干个目标,),.,识别一幅图像,(,让机器说出图像的目标或物体是什么,),数字图像处理系统能做些什么？,2024/8/31,50,Digital Image Processing,数字图像处理系统能做些什么？2023/9/,图像数字化,将一幅光学图像表示成一组数字，既不失真又便于计算机分析处理。主要包括的是图像的采样与量化。,它是数字图象处理系统工作的第一步,图像数字化 将一幅光学图像表示成一组数字，既不失真,51,x,F(x,y),Y,X,.,采样,(,如图中的网格,),.,量化,数字化一幅图像,2024/8/31,52,Digital Image Processing,xF(x,y)YX. 采样 ( 如图中的网格)数字化一幅图像,几何处理,几何处理,主要包括坐标变换、图像的放大、缩小、旋转、移动，多个图像配准、全景畸变校正，扭曲校正，周长、面积、体积计算等。,几何处理 几何处理主要包括坐标变换、图像的放大、缩,53,算术处理,主要对图像施以、,、,等运算，虽然该处理主要针对象素点的处理，但非常有用，如医学图像中的减影处理就有显著的效果。,算术处理 主要对图像施以、等,54,图像增强,突出图像中感兴趣的信息，而减弱或去除不需要的信息，从而使有用信息得到加强，便于区分或解释。主要方法有直方图增强、伪彩色（,pseudo color,）增强法、灰度窗口等技术。,主观,图像增强 突出图像中感兴趣的信息，而减弱,55,.,原始图像,增强后的图像,增强一幅图像,2024/8/31,56,Digital Image Processing,. 原始图像增强后的图像增强一幅图像2023/9/756Di,图像复原,主要目的是去除干扰和模糊，恢复图像的本来面目。,图像复原主要目的是去除干扰和模糊，恢复图像的本来面目。,57,当图像损坏了，我们可以恢复它,裂痕部分,撕破了,恢复一幅图像,2024/8/31,58,Digital Image Processing,当图像损坏了，我们可以恢复它裂痕部分撕破了恢复一幅图,皱折,原始图像,恢复后的图像,恢复一幅图像,2024/8/31,59,Digital Image Processing,皱折原始图像 恢复后的图像 恢复一幅图像2023/9/759,破损部分,原始图像,恢复后的图像,恢复一幅图像,2024/8/31,60,Digital Image Processing,破损部分 原始图像恢复后的图像恢复一幅图像2023/9,图像重建,几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像。而重建是从数据到图像的处理。输入的是某种数据，处理得到的是图像。,典型应用：医学诊断用（,CT,）断层成像。,主要算法：代数法、迭代法、傅立叶反投影法、卷积反投影法、三维重建算法。,图像重建几何处理、图像增强、图像复原都是从图像到图像的处理，,61,图像编码,图像编码的目的：,减少数据存储量；,降低数据率以减少传输带宽；,压缩信息量，便于特征提取，为识别做准备。,图像编码法的特点：,充分考虑人的视觉特性；,恰当地考虑对图像信号的分解与表述；,采用图像的合成与识别方案压缩数据率。,图像编码图像编码的目的：图像编码法的特点：,62,原始图像,257kb,压缩后的图像,147kb,冗余信息,压缩一幅图像,2024/8/31,63,Digital Image Processing,原始图像 257kb,原始图像,分割后的图像,分割一幅图像,2024/8/31,64,Digital Image Processing,原始图像 分割,原始图像,分割后的图像,分割一幅图像,2024/8/31,65,Digital Image Processing,原始图像,分割一幅图像,(,咖啡豆分离,),2024/8/31,66,Digital Image Processing,分割一幅图像( 咖啡豆分离)2023/9/766Digit,模式识别,统计识别法：侧重于特征,句法结构识别法：侧重于结构和基元,模糊识别法：把模糊数学的一些概念和理论用于识别处理,对图像中的不同对象进行分割、分类、识别和描述、解释,模板匹配示例,模式识别统计识别法：侧重于特征对图像中的不同对象进行分割、分,67,图像信息的传送,近程图像通信主要指在不同设备间交换图像数据，现已有许多用于局域通信的软件和硬件以及各种标准协议；内部传送多采用,DMA,（,Direct Memory Acess,）解决速度问题。,远程图像通信主要指在图像处理系统间传输图像；长距离图像通信遇到的首要问题是图像数据很大而传输通道通常比较窄。例如目前常用的电话线的速率为,9600bit/s,，如果以这样的速率传输一幅,5125128 bit,图像就需要,300s,。利用中继站的无线传输速率比较高，但费用更高。远程传送主要解决占用带宽问题。,图像信息的传送近程图像通信主要指在不同设备间交换图像数据，现,68,图像工程与相关学科,图像工程的内涵,图像理解,图像分析,图像处理,语义,高层,中层,低层,操作对象,符号,目标,象素,高,低,抽象程度,小,大,数据量,图像工程与相关学科图像工程的内涵图像理解图像分析图像处理语义,69,图像工程是一门系统地研究各种图像理论。技术和应用的交,叉学科。从它的研究方法来看，它可以与数学、物理学、生理,学、心理学、电子学、计算机科学等许多学科相互借鉴，从它的,研究范围来看，它与模式识别、计算机视觉、计算机图形学等多,个专业互相交叉。另外，图像工程的研究进展与人工智能、神经,网络、遗传算法、模糊逻辑等理论和技术都有密切的联系，它的,发展应用与医学、遥感、通信、文档处理和工业自动化等许多领,域业是密不可分的。,计算机图形学研究的是用计算机技术生成图形的理论、方法和技术，即由非图像形式的数据描述来生成逼真的图像。它可以生成现实世界已经存在的物体的图形，也可以生成虚构物体的图形，它和图像分析的对象和输出结果正好对调。,图像模式识别与图像分析则比较相似，只是模式识别试图把图像分解成可用符号较抽象的描述的类别。,计算机视觉主要强调用计算机实现人的视觉功能，要用到图像工程三个层次的许多技术，但目前的研究内容主要是和图像理解相结合。,图像工程是一门系统地研究各种图像理论。技,70,图像处理,图像处理的重点是图像之间进行的变换：尽管人们常用图像处理泛指各种,图像技术，但比较狭义的图像处理主要是对图像进行各种加工，以改善图像的视,觉效果并为自动识别打基础，或对图像进行压缩编码以减少所需存储空间；,图像分析,图像分析主要是对图像中感兴趣的目标进行检测和测量以获得它们的客,观信息。从而建立对图像的描述。如果说图像处理是一个从图像到图像的过程，,则图像分析就是一个从图像到数据的过程；这里的数据可以是目标特征的测量结,果，或是基于测量的符号表示它们描述了目标的特点和性质。,图像理解,图像理解的重点是在图像分析的基础上，进一步研究图像中各目标的性质,和它们之间的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解,释，从而指导决策；如果说图像分析主要是以观察者为中心研究客观世界，那么,图像理解在一定程度上就是以客观世界为中心，借助知识经验等来把握整个客,观世界,(,包括没有直接观察到的事物）。,图像处理,71,可见，图像处理、图像分析和图像理解是处在三,个抽象程度和数据量各有特点的不同层次上，图像,处理是比较低层的操作，它主要在图像像素级上进,行处理，处理的数据量非常大，图像分析则进入了,中层，分割和特征提取把原来以像素描述的图像转,变成比较简洁的非图像形式的描述。图像理解主要,是高层操作，基本上是对从描述抽象出来的符号进,行运算，其处理过程和方法与人的思维推理有许多,类似之处。,可见，图像处理、图像分析和图像理解是处在三,72,图像理解,输入的是图像，输出的是一种描述。利用客观世界的知识使计算机进行联想、思考及推论，从而理解图像所表现的内容,这是一辆敞车,这是一辆罐车,图像理解输入的是图像，输出的是一种描述。利用客观世界的知识使,73,图像分析,对图像中的不同对象进行分割、分类、特征提取和表示，从而有利于计算机对图像进行分类、识别和理解。,轮廓提取示例,图像分析对图像中的不同对象进行分割、分类、特征提取和表示，从,74,二值图像和灰度图像,二值图像,灰度图像,二值图像和灰度图像二值图像灰度图像,75,彩色图像和灰度图像,彩色图像和灰度图像,76,相关学科和领域,数据,图像,图像,人,符号,图像理解,计,算机图形 学,图像,分析,X,光照片,图像质量的改善,图像处理,对复杂图像的,组成进行说明,图像理解,计算机视觉,用计算机实现人的视觉功能，它是其它几门学科的综合应用。,图像分割，边缘提出输出简单的图像和数据,模式识别,将图像进行,区别分类,数据、符号,描述了图像目标的特点和性质，变成比较简单的非图形式的描述。,计算机图形学（,Computer Graphics,）,模式识别（,Pattern Recognition,）,计算机视觉（,Computer Vision,）,相关学科和领域数据图像图像人符号图像理解计算机图形 学图像X,77,视频信号数字化,就是将图像或视频,(,模拟信号,),转换成计算机软件可以“理解”的数字格式,(,数字信号,),。,图像采集卡的工作原理图,A/D,转换,格式转换,缓冲,PCI,接口,采样,视频信号数字化 就是将图像或视频(模拟信号)转换成计算机软件,78,图像采集基本概念,A/D,转换,视频信号量化处理是指将相机所输出的模拟视频信号转换为,PC,所能识别的数字信号的过程，即,A/D,转换。视频信号的量化处理是图像采集处理的重要组成部分。,模拟采集卡的数字化精度：,像素抖动,像素抖动是由图像采集卡的,A/D,转换器的采样时钟的误差产生的像元位置上的微小的错误从而导致对距离测量的错误,。,传输速率：,指图像由采集卡到达内存的速度。,图像格式（像素格式）：黑白图像,：通常，图像灰度等级可分为256级，即以8位表示。在对图像灰度有更精确要求时，可用10位，12位等来表示。,彩色图像,：彩色图像可由,RGB(YUV)3,种色彩组合而成。,图像采集基本概念A/D转换,79,模拟采集卡的数字化精度,像素抖动,图像采集基本概念,模拟采集卡的数字化精度 图像采集基本概念,80,图像存储数据量的计算,帧图像大小,(Image Size),：,W,idth,H,eight(,长,宽,),颜色深度,(,D,epth,，比特数,),：,8/16/24/32Bit,帧率,(,F,ps),： 标准,PAL,制是,25,帧,/s,，标准,NTSC,制是,30,帧,/s,数据量,Q,(MB),：,图像信号每秒的数据量,Q = WHfd/8,例：,PAL,单路视频最大数据量：,Q = 7685762532/8 = 42.1875(MBytes/s),图像存储数据量的计算 帧图像大小(Image Size)：,81,图像传输数据量的计算,单路采集传输速率（全分辨率）：,8,位黑白方式：,15Mbyte/s,；,16,位方式：,30Mbyte/s,24,位方式：,45Mbyte/s,；,32,位方式：,60Mbyte/s,多路采集时传输速率成倍增加,如,QP300,在,24,位颜色深度时，传输数据量达到,454=180Mbyte/s,，远大于,PCI,总带宽,图像出现拉道现象，主要是主板带宽不够,一个关键的指标是：主机板的桥路与,DMA,通道的速度，在这方面的表现，,INTEL,芯片组一般要好于,VIA,芯片组，且与,CPU,速度无关。,图像传输数据量的计算 单路采集传输速率（全分辨率）：,82,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域中的每一点的数值,黑白图像,灰度值（,Gray Level,）,某一点的灰度值，也是物理世界上这一点的光强弱信息的表示。,灰度值为真实世界图像量化的表现方法。通常灰度值从最黑到最白为,0,255,。光线进入,CCD,后,，如果光强达到,CCD,感应的极限，此像素为纯白色。对应于内存中该像素灰度值为,255,。如果完全没有光线进入,CCD,像素，此像素为纯黑色。对应于内存中该像素灰度值为,0,。,视觉系统图像表达,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域,83,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域中的每一点的数值,黑白图像,灰度值（,Gray Level,）,8bit10bit16bit,8,bit：,灰阶范围25610,bit：,灰阶范围1024,灰阶越高图像的细节更多，层次更分明。,视觉系统图像表达,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域,84,模拟信号经,A/D,转换，传输至内存的图像,相机“看”到的图像,视觉系统图像表达,模拟信号经A/D转换，传输至内存的图像相机“看”到的图像视觉,85,由于,windows,目前的限制，能够显示的灰度最多为256个，显示10,bit,或更高的灰度图像可以通过：,软件,LUT,的方式，和医疗影像中的窗宽窗位的概念类似,显示高8位,的方式,视觉系统图像表达,由于windows目前的限制，能够显示的灰度最多为256个，,86,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域中的每一点的数值,彩色图像,RGB,值,视觉系统图像表达,相机信号经采集卡进入计算机内存，表现为一个矩形区域，区域,87,总线知识介绍,PCI,X86,结构常见总线,32,位总线标准,理论极限带宽,133MBytes/s,平均带宽,90-100MBytes/s,左右,多个,PCI,设备共享带宽,可以扩展为,64,位,PCI,总线,总线知识介绍PCI,88,总线知识介绍,PC-104/Plus,紧凑型,PCI,总线,32,位总线标准,理论极限带宽,133MBytes/s,平均带宽,90-100MBytes/s,左右,多至三个,PC-104/Plus,设备共享带宽,与,PC-104,总线（,16,位）差别极大，不能通用,总线知识介绍PC-104/Plus,89,总线知识介绍,PCI-E,64,位总线标准,1x,的理论极限带宽,266MBytes/s,平均带宽,220MBytes/s,左右,每个,PCI-E,设备独占带宽,可以有,x1, x2, x4, x8, x16 , x32,等扩展方式，提高传输带宽,x2, x4, x8, x16 , x32,等扩展向下兼容,总线知识介绍PCI-E,90,总线知识介绍,Mini PCI,紧凑型,PCI,总线,32,位总线标准,理论极限带宽,133MBytes/s,平均带宽,90-100MBytes/s,左右,多个,Mini PCI,设备共享带宽,总线知识介绍Mini PCI,91,规范化,速度,适应性,Camera Link,Channel Link,LVDS,RS-422,GigE,IEEE1394,USB,数字信号,接口,规范化速度适应性Camera LinkChannel Lin,92,传统数字信号（,RS-422, LVDS),CameraLink,IEEE1394(Firewire),USB,Gigabit Ethernet,数字信号,接口,传统数字信号（RS-422, LVDS)数字信号接口,93,LVDS,是一个低波动、差分,I/O,技术的高速接口。,LVDS,采用很低的电压350,mV,降低了噪声，提高了速率，低辐射，低功耗0.93,W，,最重要的是差分信号可以使接收机滤除噪声。这是因为依靠同时用两根线来传信号，两条线的电压相反。通过两根线上的强度差来得到最终的数据。如果出现噪声，那么噪声会同时出现在这两根线上，而信号信息并不受其影响。因为信号的抗噪声能力的提高，电压随之降低而速度得到提高。,每线对最大传输率为655,Mb/s。,数字信号,LVDS,LVDS 是一个低波动、差分I/O技术的高速接口。 数字信,94,优点：高速，可靠性高，传输距离远，支持多相机连接。,缺点：管脚定义不统一，兼容性差，电缆成本高。,数字信号,LVDS,优点：高速，可靠性高，传输距离远，支持多相机连接。 数字信,95,DATA,(,8，10，12，14)：多通道数据输出,例：12位数据总线。,DATA,011是相机输出的、分别对应目标某个像元灰度的12位图像数据。,STROBE/PLCK,像元时钟信号。,STROBE,是图像数据的像元时钟。它的频率与数据速率相同，即使数据无效，,STROBE,仍然连续交变。为了获得有效的图像数据，采集卡一般在,FVAL,和,LVAL,为高电平时，在,STROBE,的下降沿进行数据锁存。,FVAL,帧同步信号。一般,FVAL,高电平表明相机正输出一帧有效数据。,LVAL,行同步信号。当,FVAL,为高电平时，,LVAL,高电平表明相机正输出一个有效的像元行。,数字信号,LVDS,DATA(8，10，12，14)：多通道数据输出 数字信号,96,数字信号,CameraLink,13对线（其中有,6,线对数据线），使得接插件的尺寸更加的小巧。允许相机设计的体积更小。,更高的传输速率。采用,Channel Link,芯片组( 支持速率达2.3,Gb/s ),满足对数据传输速率越来越高的要求。,集成有串口通讯协议。,数字信号CameraLink13对线（其中有 6线对,97,数字信号,CameraLink,数字信号CameraLink,98,数字信号,USB,接口是4芯，其中2根为电源线、2根为信号线，接口体积小，可热拔插，可真正实现即插即用，适合传送多媒体数据的传送模式，连接方便。,USB 2.0,向下兼容,USB 1.1、USB 1.0，,数据的传 输率可以达到120,Mbps480Mbps。,传输距离短，0.6米。,数字信号USB接口是4芯，其中2根为电源线、2根为信,99,数字信号,IEEE1394,两种接口标准，一种是6针接口，另一种是4针接口。6针接口可以从端口获得电源，以给那些无法自己供电的产品提供电源。,1394A,传输速率为,400Mb/s，1394B,可达 800,Mb/s。,不需要控制器，可以实现对等传输，最大连线4.5米，大于4.5米可采用中继设备。,支持即插即用。它是目前唯一支持数字摄录机的总线。,数字信号IEEE1394两种接口标准，一种是6针接口,100,数字信号,Gigabit Ethernet,带宽可达到1000,Mbps，,图像可以无损失实时传输。,最远可传输100米,。,标准的网络连接器，电缆线成本低。,带宽易于升级，包括10,M,100M,1000M,等，在工业机器视觉中将被广泛应用。,数字信号Gigabit Ethernet带宽可达到1,101,数字信号,Gigabit Ethernet,数字信号Gigabit Ethernet,102,数字信号,比较,数字信号比较,103,图像采集卡附加功能,触发功能 (,Trigger),灯源控制功能 (,Strobe),基本,I/O,功能 (,I/O),相机复位功能 (,Asynchronous Reset),时序输出功能 (,Timing Out),串口通讯功能 (,RS232),电源输出功能 (,Power out),图像采集卡基本概念,图像采集卡附加功能图像采集卡基本概念,104,Matrox,的,Odyssey XCL,图像采集卡基本概念,Matrox 的 Odyssey XCL图像采集卡基本概念,105,Matrox,的,Odyssey XA,图像采集卡基本概念,Matrox 的 Odyssey XA图像采集卡基本概念,106,MUX,：,通道选择,Decoder,：,视频解码器,A/D,V,RGB,YUV,VIA,：,视频接口芯片,Bridge,Controls,图像采集卡基本概念,图像采集卡基本结构硬件图,MUX：通道选择图像采集卡基本概念图像采集卡基本结构硬件图,107,视野（,FOV）,或视场是相机及光学系统“看”到的真实世界的具体部分。,CCD,芯片将光能转化为电能。,相机将此信息以模拟信号的格式输出至图像采集卡。,A/D,转换器将模拟信号转换成8位（或多位）的数字信号。每个像素独立地把光强以灰度值（,Gray Level）,的形式表达。这些光强值从,CCD,芯片的矩阵中被转移存储在内存的矩阵数据结构中。,图像采集卡原理及过程,视野（FOV）或视场是相机及光学系统“看”到的真实世界的具体,108,标准信号,(标准模拟信号),非标准,彩色：,NTSC/PAL,黑白：,RS170/CCIR,非标准模拟信号,数字：,LVDS/1394/RS422/Camera Link/USB/GigaBit,如何选用图像采集卡,依据,信号标准,可以分为:,视频信号分类,标准信号非标准彩色：NTSC/PAL非标准模拟信号如何选用图,109,依据,输入信号类型,可以分为:,模拟图像采集卡,数字图像采集卡,板卡分类,模拟图像采集卡,Morphis,数字图像采集卡,Solios-XCL,依据输入信号类型可以分为:板卡分类模拟图像采集卡数字图像采集,110,依据,功能,可以区分为:,单纯功能的图像采集卡,集成图像处理功能的采集卡,板卡分类,图像采集处理卡,Matrox,的,Odyssey XCL,依据功能可以区分为:板卡分类图像采集处理卡 Matrox的,111,如何选用图像采集卡,原始信号,RGB,YUV,分量信号,Y/C,信号,(彩色降频方式),复合视频,Composite,(彩色全电视信号),Y=0.39R+0.5G+0.11B(PAL),U、V,进一步合成色度信号,C,Y、C,进一步合成,画面质量依次下降,亮度,Y,色差,U(B-Y),饱和度,V(R-Y),依据,信号记录方式,可以分为:,视频信号分类,如何选用图像采集卡原始信号 RGBYUVY/C信号复合视频C,112,相机速度(,Frame Rate or Line Rate),相机像素分辨率(,Pixel Size),面阵或线阵(,Area Scan or Line Scan),颜色（,Mono,Color),相机视频信号类型与硬件连接接口,Analog( BNC ),Digital( LVDS/CameraLink/1394/USB/Ethernet ),相机的各项参数,如何选用图像采集卡,相机速度(Frame Rate or Line Rate),113,视频信号接口,模拟信号接模拟采集卡；数字信号接数字采集卡。,如：,CameraLink- CameraLink；1394-1394,采集卡选择的主要因素,如何选用图像采集卡,要求相机与采集卡的视频信号类型一致,视频信号接口 采集卡选择的主要因素如何选用图像采集卡要求相机,114,数据采集能力(,MHz),要求采集卡的数据采样频率大于或等于相机信号数据输出频率。采集卡的数据率必须满足的要求可按下式计算：,Data Rate(Grabber),为采集卡的数据率；,Data Rate(Camera),为相机的数据率；,R,为相机的分辨率；,f,为相机的帧频。,采集卡选择的主要因素,如何选用图像采集卡,模拟,Data Rate (Grabber),1.2R*f,数字,Data Rate (Grabber),Data Rate (Camera),数据采集能力(MHz) 采集卡选择的主要因素如何选用图像采集,115,软件开发包(,SDK)：,稳定、简单、易用,功能强大,移植性好,技术支持能力（,Support)：,快速完成系统的开发,便于系统的维护,品牌及产品线(,Product Line)：,保证采集卡的质量,产品升级换代,采集卡选择的其它因素,如何选用图像采集卡,软件开发包(SDK)： 采集卡选择的其它因素如何选用图像采集,116,传统图像采集卡(,A/D,转换)最终将被淘汰；,CameraLink、Firewire(1394)、LVDS,等数字接口采集卡已被广泛使用；,智能相机(,Smart Camera),会应用于工业现场控制与嵌入式系统；,带网络接口(,Gigabit Ethernet),的图像设备将成为主流；,如：,Pleora,公司数据采集盒,Basler,公司的,Scout-g,相机,板卡硬件发展趋势,传统图像采集卡(A/D转换)最终将被淘汰；板卡硬件发展趋势,117,图像采集卡的使用,相关设备,模拟摄像机,视频线,台式计算机或工控机,图像采集卡的使用 相关设备,118,图像采集卡的应用,道路交通,医学成像,多媒体监控,安检系统,办公自动化,照片颜色管理,其他,图像采集卡的应用 道路交通,119,