图像处理与计算机视觉技术综述课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,PPT课件,*,图像处理与计算机视觉技术综述,主要参考书,张广军，,机器视觉,岗萨雷斯，,数字图像处理,章毓晋,图像工程,计算机视觉,一种现代方法,林学訚等译，,机器视觉算法与应用,杨少荣等译，,1,PPT课件,图像处理与计算机视觉技术综述 主要参考书 1PP,课程介绍,基础知识,数学：线性代数、概率与统计,计算机科学：软件编程,电子学：信号处理,2,PPT课件,课程介绍基础知识2PPT课件,视觉重要？,古语,百闻不如一见,一目了然,眼见为实，耳听为虚。,人类信息的主要传递手段,视觉，听觉，味觉，触觉等,视觉占,60,以上,人机交互,字符、图形,计算机接收信息手段单一（键盘，鼠标）,3,PPT课件,视觉重要？古语3PPT课件,图像处理重要？,两大应用需求,对图像信息的改进,机器自动理解：使计算机具有视觉,4,PPT课件,图像处理重要？两大应用需求4PPT课件,主要学科,图像处理、计算机视觉和模式识别,计算机图形学,5,PPT课件,主要学科计算机图形学5PPT课件,1.1,图像处理与计算机视觉的发展及系统构成,1.,图像（,Image,）,可以看作是对物体或场景的一种表现形式,抽象定义：二维函数,f,(,x,y,),(,x,y,):,点的空间坐标（实数）,f,:,点,(,x,y,),的幅度（亮度、强度或灰度）,英文单词,Image,：一般指用镜头等科技手段得到的视觉形象,Picture,：强调手工描绘的人物或景物画,Drawings,：人工绘制的工程图,Lenna,1.1.1,图像处理与计算机视觉的概念,6,PPT课件,1.1 图像处理与计算机视觉的发展及系统构成 1.图像（I,图像实例,光学图像,Lenna,IKONOS,卫星,光学图像,423mile,高,16000miles/h,1m,分辨率,EP,3,海南陵水,01-4-4,大脑断层图像,遥感图像,7,PPT课件,图像实例光学图像IKONOS卫星大脑断层图像遥感图像7PPT,2.,数字图像,数字化：对,x,，,y,和,f,进行离散化,-,其中的每个点称为图像元素，即像素。,8,PPT课件,2.数字图像8PPT课件,分类（根据,f,的性质）,灰度图像（特殊：二值图像）,彩色图像,9,PPT课件,分类（根据 f 的性质）9PPT课件,3.,数字图像处理,DIP,（,Digital Image Processing,）,广义：与图像相关的处理（图像分析、理解和计算机视觉等）,狭义（从输入和输出内容）：对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程,广义上分为三种类型：低、中、高级处理,图像处理主要是低级处理及部分中级处理,10,PPT课件,3.数字图像处理10PPT课件,3.,数字图像处理,低级处理：输入输出都是图像,中级处理：图像分割及目标的描述，输出是目标的特征数据,高级处理：目标物体及相互关系的理解，输出是更抽象的数据,11,PPT课件,3.数字图像处理11PPT课件,4.,图像处理与计算机视觉的区别与联系,图像处理主要集中在二维图像分析、识别和理解，如光学字符识别、工件表面、显微图片和航空照片的分析和解释等。,计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析，图像可以由单个或多个传感器获取，也可以是单个传感器在不同时刻获取的图像序列。分析是对目标物体的识别，确定目标物体的位置和姿态，对三维景物进行符号描述和解释。,机器视觉：计算机视觉技术工程化，能够自动获取和分析特定的图像，以控制相应的行为。,计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和实现手段。,12,PPT课件,4.图像处理与计算机视觉的区别与联系图像处理主要集中在二维图,1.1.2,图像处理与计算机视觉的发展,1.20,世纪,20,年代：报纸业,图像的编码与重构技术,Bartlane,电缆图片传输系统：从伦敦到纽约传送一幅图片从,1,周减少到,3,小时,色调质量和分辨率改善,1921,年，电报打印机，,5,个灰度级,1922,年，穿孔纸带，,5,个灰度级,1929,年，,15,级灰度,13,PPT课件,1.1.2 图像处理与计算机视觉的发展1.20世纪20年代,2.1964,年：航天技术,60,年代初作为一门学科，主要目的是改善图像质量，采取的方法有图像增强和复原技术,美国,JPL,（喷气推进）实验室处理卫星发射回来的月球表面的照片,应用图像畸变的校正、,灰度变换、去除噪声,14,PPT课件,2.1964年：航天技术14PPT课件,3.20,世纪,70,年代：遥感卫星和医学,图像增强和图像识别,利用遥感图片，进行地质资源探测，农作物估产，水文气象监测 等,图像重构,X,光断层图像重构技术，英国,G.N.Hounsfield,第一台脑断层摄像仪应用,15,PPT课件,3.20世纪70年代：遥感卫星和医学15PPT课件,4.20,世纪,70,年代末：人工智能兴起，开始计算机视觉研究，由,2D,获取,3D,空间信息,16,PPT课件,4.20世纪70年代末：人工智能兴起，开始计算机视觉研究，,5.80,年代末到今：多媒体技术,高速计算机和大规模集成电路的发展：图像压缩和多媒体技术；文本图像的分析和理解，文字的识别取得重大的进展；图像通讯和传输等的广泛应用,17,PPT课件,5.80年代末到今：多媒体技术17PPT课件,1.1.3,图像处理与计算机视觉的系统构成,系统构成框图,18,PPT课件,1.1.3 图像处理与计算机视觉的系统构成系统构成框图18P,采集,装置：两部分,(1),传感器：能产生与所接受到的电磁能量成正比的模拟电信号（,CCD,，,CMOS,）,(2),高速图像采集系统：它能将上述（模拟）电信号转化为数字（离散）的形式,输入设备,具备上述两种装置,如：数码相机，数码摄像机，扫描仪,19,PPT课件,采集19PPT课件,图像输入输出设备,20,PPT课件,图像输入输出设备20PPT课件,处理,装置：两部分,专用图像处理系统：是计算机的辅助处理器，主要采用专用集成芯片（,ASIC),、数字信号处理器,(DSP),或者,FPGA,等设计的全硬件处理器。,计算机：是整个系统的核心，除了控制整个系统的各个模块的正常运行外，还承担最后结果运算和输出。,21,PPT课件,处理21PPT课件,数字图像处理的关键步骤,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,22,PPT课件,数字图像处理的关键步骤图像采集图像复原形态学处理分割对象识别,数字图像处理的关键步骤：图像采集,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,23,PPT课件,数字图像处理的关键步骤：图像采集图像采集图像复原形态学处理分,数字图像处理的关键步骤：图像增强,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,24,PPT课件,数字图像处理的关键步骤：图像增强图像采集图像复原形态学处理分,数字图像处理的关键步骤：图像复原,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,25,PPT课件,数字图像处理的关键步骤：图像复原图像采集图像复原形态学处理分,数字图像处理的关键步骤：形态学处理,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,26,PPT课件,数字图像处理的关键步骤：形态学处理图像采集图像复原形态学处理,数字图像处理的关键步骤：分割,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,27,PPT课件,数字图像处理的关键步骤：分割图像采集图像复原形态学处理分割对,数字图像处理的关键步骤：,表示&描述,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,28,PPT课件,数字图像处理的关键步骤：表示&描述图像采集图像复原形态学处理,数字图像处理的关键步骤：对象识别,图像采集,图像复原,形态学处理,分割,对象识别,图像增强,表示&描述,问题域,彩色图像处理,图像压缩,29,PPT课件,数字图像处理的关键步骤：对象识别图像采集图像复原形态学处理分,数字图像处理的关键步骤：图像压缩,表示&描述,彩色图像处理,图像压缩,图像采集,图像复原,形态学处理,分割,图像增强,对象识别,问题域,30,PPT课件,数字图像处理的关键步骤：图像压缩表示&描述彩色图像处理图像压,数字图像处理的关键步骤：彩色图像处理,表示&描述,彩色图像处理,图像压缩,图像采集,图像复原,形态学处理,分割,图像增强,对象识别,问题域,31,PPT课件,数字图像处理的关键步骤：彩色图像处理表示&描述彩色图像处理图,存储,数据量度单位,比特（,bit,），字节（,byte=8 bit,）,千字节（,K byte,）,兆（,10,6,）字节（,M byte,）,吉（,10,9,）字节（,G byte,）,太（,10,12,）字节（,T byte,）,图像信息量大,10241024,，灰度图：,1M,字节（不压缩）,10241024,，真彩图：,3M,字节（不压缩）,32,PPT课件,存储32PPT课件,存储,图像存储器,(1),处理过程中使用的快速存储器,计算机内存，帧缓存,(2),较快的在线或联机存储器,磁盘，磁光盘,(3),不经常使用的数据库（档案库）存储器,磁带，光盘，光盘塔,33,PPT课件,存储33PPT课件,存储,格式（表示格式和文件格式）,(1),矢量格式,用线段或线段的组合体来表示图像,(WMF),(2),光栅格式,用许多像素点的集合来表示图像,BMP,格式，,GIF,格式，,TIFF,格式，,JPEG,格式,34,PPT课件,存储34PPT课件,1.2,图象理解理论框架,1.2.1,马尔视觉计算理论,1.2.2,对马尔理论框架的改进,1.2.3,关于马尔重建理论的讨论,1.2.4,新理论框架的研究,35,PPT课件,1.2图象理解理论框架 35PPT课件,1.2.1,马尔视觉计算理论,马尔,1982,年出版了,视觉,一书,Marr D.1982.Vision,A Computational Investigation into the Human Representation and Processing of Visual Information.W.H.Freeman,一个理解视觉信息处理的框架,要先理解视觉目的再去理解其中细节,36,PPT课件,1.2.1马尔视觉计算理论马尔1982年出版了视觉一,1.2.1,马尔视觉计算理论,1.,视觉是一个复杂的信息加工过程,视觉是一个远比人所想象更为复杂的信息加工任务和过程，而且其难度常不为人们所正视,为理解视觉这个复杂的过程，要解决两个问题,视觉信息的表达问题：某些信息是突出的和明确的，另一些信息则是隐藏的和模糊的,视觉信息的加工问题：对信息处理、分析、理解，将不同表达形式转换，逐步抽象,37,PPT课件,1.2.1马尔视觉计算理论1.视觉是一个复杂的信息加工过,1.2.1,马尔视觉计算理论,2.,视觉信息加工的三个要素,计算理论；算法实现；硬件实现,计算理论,可计算性问题,：一个任务要用计算机完成，它应该是可以被计算的,一般对于某个特定的问题，如果存在一个程序，对于给定的输入，这个程序都能在有限步内给出输出，这个问题就是可计算的,38,PPT课件,1.2.1马尔视觉计算理论2.视觉信息加工的三个要素38,1.2.1,马尔视觉计算理论,2.,视觉信息加工的三个要素,计算理论,目前视觉的可计算性常指对计算机给定输入，能否得到人类视觉可获得的类似结果,两方面的研究内容：计算的是什么以及为什么要计算它们；提出一定的约束条件，它们可唯一地确定最终得到的运算结果,39,PPT课件,1.2.1马尔视觉计算理论2.视觉信息加工的三个要素39,1.2.1,马尔视觉计算理论,2.,视觉信息加工的三个要素,算法实现,需要给加工所操作的实体选择一种合适的表达,选择加工的输入和输出表达,确定完成表达转换的算法,一般情况下可以有许多可选的表达,算法的确定常取决于所选的表达,给定一种表达，可有多种完成任务的算法,40,PPT课件,1.2.1马尔视觉计算理论2.视觉信息加工的三个要素40,1.2.1,马尔视觉计算理论,2.,视觉信息加工的三个要素,硬件实现,有了表达和算法在物理上如何实现算法也是必不可少的,算法的确定常依赖于物理上实现算法硬件的特点,同一个算法也可由不同的技术途径实现,41,PPT课件,1.2.1马尔视觉计算理论2.视觉信息加工的三个要素41,1.2.1,马尔视觉计算理论,2.,视觉信息加工的三个要素,计算理论：如何由系统的输入求出输出。视觉系统输入的是二维图像，输出则是三维物体的形状、位置和姿态，任务是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。,算法实现：如何表达输入和输出信息，如何实现计算理论所对应的功能算法，以及如何由一种表示变换成另一种表示。,硬件实现：用硬件实现上述表达和算法的问题。,42,PPT课件,1.2.1马尔视觉计算理论2.视觉信息加工的三个要素42,视觉信息加工三要素的含义,1.2.1,马尔视觉计算理论,43,PPT课件,1.2.1马尔视觉计算理论43PPT课件,2.,视觉信息加工的三个要素,它们之间有一定的逻辑因果联系，但并无绝对的依赖关系,实际上看成两个层次更恰当,一旦有了计算理论，表达和算法与硬件实现是互相影响的,1.2.1,马尔视觉计算理论,44,PPT课件,2.视觉信息加工的三个要素1.2.1马尔视觉计算理论44,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,(1),基素表达（,primal sketch,）,一种,2-D,表达，它是图象特征的集合，描,述了物体上属性发生变化的轮廓部分,只用基素表达不能保证得到对场景的唯一解释,45,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 4,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,(2),2.5-D,表达（,2-D sketch,）,将物体可见面正交,投影分解成单元表面,用法线代表单元表,面的取向,将各法线画出，叠加,于物体轮廓内可见面上,46,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 4,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,(2),2.5-D,表达（,2-D sketch,）,本征图，表示了物体表面面元的朝向,可将,2.5-D,图转化成（相对）深度图,既表达了一部分物体轮廓的信息（这与基素表达类似）表达了以观察者为中心、可观察到的物体表面的取向信息,与人所理解的,3-D,物体一致（可见物体轮廓以内目标的,3-D,信息，如边界、深度，反射特性等）,47,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 4,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,(2),2.5-D,表达（,2-D sketch,）,将,2.5-D,图转化成（相对）深度图,给定,z,(,x,y,),对,x,和,y,的偏导,p,和,q,，理论上讲可通过在平面上沿任意曲线的积分来恢复,z,(,x,y,),为最小化误差可选择,z,(,x,y,),满足,48,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 4,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,(3),3-D,表达（,3-D representation,）,以物体为中心（即也包括了物体不可见部分）的表达形式,在以物体为中心的坐标系中描述,3-D,物体的形状及其空间组织,空间占有数组，单元分解，几何模型,广义圆柱体表达方法,49,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 4,1.2.1,马尔视觉计算理论,3.,视觉信息的三级内部表达,从计算机或信息加工的角度来说，视觉可计算性问题可分成几个步骤，步骤之间是某种表达形式，而每个步骤都是把前后两种表达形式联系起来的计算,/,加工方法,50,PPT课件,1.2.1马尔视觉计算理论3.视觉信息的三级内部表达 5,3.,视觉信息的三级内部表达,1.2.1,马尔视觉计算理论,51,PPT课件,3.视觉信息的三级内部表达 1.2.1马尔视觉计算理论5,1.2.2,对马尔理论框架的改进,四个有关整体框架的问题：,(1),框架中输入是被动的,(2),框架中加工目的不变，总是恢复场景中物体的位置和形状等,(3),框架未足够重视高层知识的指导作用,(4),整个框架中信息加工过程基本自下而上，单向流动，没有反馈,52,PPT课件,1.2.2对马尔理论框架的改进四个有关整体框架的问题：5,1.2.2,对马尔理论框架的改进,四个方面的相应改进：,(1),增加了图象获取模块,(2),根据视觉目的进行决策,(3),利用高层知识可解决低层信息不足的问题,(4),增加了反馈控制流向,图像获取,早期处理,中期处理,后期处理,视觉目的,高层知识,53,PPT课件,1.2.2对马尔理论框架的改进四个方面的相应改进：图像获,1.2.3,关于马尔重建理论的讨论,马尔重建理论,不同视觉任务,/,工作的共同的概念核心被假定为表达，共同的处理目标是根据视觉刺激恢复场景并结合进表达中,视觉被看作一个由刺激开始，顺序的获取和积累的重建过程,54,PPT课件,1.2.3关于马尔重建理论的讨论马尔重建理论54PPT课件,1.2.3,关于马尔重建理论的讨论,2.,重建理论的问题,随着高层视觉信息的心理学研究成果和对高层视觉区域的解剖和功能组织的知识的增加,(1),在所有可能对场景进行解释的方法中，包含重建的方法兜的圈子最大，因为重建并不对解释有直接贡献,55,PPT课件,1.2.3关于马尔重建理论的讨论2.重建理论的问题55P,1.2.3,关于马尔重建理论的讨论,2.,重建理论的问题,(2),仅靠从原始图象中进行重建来实现表达在实际中也很难实现,(3),概念上的问题,具有一个普遍统一的表达是否值得,?,最好的表达应该是最适合工作的表达,对给定计算问题选择正确表达,56,PPT课件,1.2.3关于马尔重建理论的讨论2.重建理论的问题56P,1.2.3,关于马尔重建理论的讨论,3.,不需重建的表达,特征检测器构成了视觉世界中的某种特征存在性的表达：青蛙的眼睛,空间分辨率的表达，一组覆盖观察区域的模式可以确定偏移信息，不需要重建,57,PPT课件,1.2.3关于马尔重建理论的讨论3.不需重建的表达 57,1.2.4,新理论框架的研究,1.,基于知识的理论框架,（感知特征群集）,(1),利用对感知组织的处理过程，从图象特征中提取相对于观察方向在大范围内保持不变的分组和结构,(2),借助图象特征构建模型，在这个过程中利用概率排队的方法减小搜索空间,(3),通过求解未知的观察点和模型参数寻找空间对应关系，使得,3-D,模型的投影直接与图象特征相匹配,58,PPT课件,1.2.4新理论框架的研究1.基于知识的理论框架（感知,1.2.4,新理论框架的研究,2.,主动视觉理论框架,(1),选择注意机制,(2),注视控制,59,PPT课件,1.2.4新理论框架的研究2.主动视觉理论框架 59PP,1.3,图像处理与计算机视觉的应用领域及面临问题,主要相关学科,计算机图形学：原指用图形、图表、绘图等形式表达数据信息的科学，而计算机图形学研究的就是如何利用计算机技术来产生这些形式,模式识别：试图把图像分解成可用符号较抽象地描述的类别,计算机视觉：主要强调用计算机实现人的视觉功能，目前的研究内容主要与图像理解相结合,60,PPT课件,1.3图像处理与计算机视觉的应用领域及面临问题 主要相关学,1.3.1,图像处理与计算机视觉的应用领域,图像增强/恢复,艺术级效果,医学可视化,工业检验,法律执行,人机交互,1.3,图像处理与计算机视觉的应用领域及面临问题,61,PPT课件,1.3.1 图像处理与计算机视觉的应用领域图像增强/恢复1.,举例：图像增强,DIP,技术最常见的用处是：提高质量，消除噪音等等,62,PPT课件,举例：图像增强DIP技术最常见的用处是：提高质量，消除噪音,举例：,Hubble,望远镜,1990年发射的“哈勃”号太空望远镜能够拍摄超远距离的物体，但是由于镜子出现误差，拍摄到的图像就失去了价值，而借助于图像处理技术便可以修复,63,PPT课件,举例：Hubble 望远镜1990年发射的“哈勃”号太空望,举例：艺术效果,艺术效果是指通过特效或者图像合成等方法，使得图像具有更强的视觉效果,64,PPT课件,举例：艺术效果艺术效果是指通过特效或者图像合成等方法，使,举例：医学,通过,MRI,（核磁共振）扫描到的犬类心脏切片，我们可以找出其中各种组织的边界线,:,灰度图表示组织密度,使用合适的滤波器来增强边缘,取自狗心脏的原始,MRI,图像,边缘检测图像,65,PPT课件,举例：医学通过MRI（核磁共振）扫描到的犬类心脏切片，我们可,举例：,GIS,地理信息系统（,Geographic Information Systems，GIS)，,数字图像处理技术广泛用于：,气象学,地形分类,操作卫星图像,66,PPT课件,举例：GIS地理信息系统（Geographic Inform,举例：,GIS(,续),全球夜间灯光数据集,可以提供全球人类居住区的汇总情况,不难想象这些数据需要进行分析和处理,67,PPT课件,举例：GIS(续)全球夜间灯光数据集67PPT课件,举例：,GIS(,续),遥感图像：,农业普查,森林覆盖计算,水利工程等的客观估计计算,森林火灾监护客观反映火灾情况、面积,68,PPT课件,举例：GIS(续)遥感图像：68PPT课件,举例：工业检验,操作人员需要花费大量的精力，却又慢又不可靠；,使用机器代替；,工业可视化系统广泛应用于各类产业,69,PPT课件,举例：工业检验操作人员需要花费大量的精力，却又慢又不可靠；,举例：印刷电路板检测,印刷电路板检测(,Printed Circuit Board inspection,PCB),使用机器检测零件是否完整以及焊接是否合格,常规成像和,X,光成像相结合,70,PPT课件,举例：印刷电路板检测印刷电路板检测(Printed Circ,举例：法律执行,图像处理技术被法律执行者广泛采用,高速相机或者自动收费系统用于牌照识别,指纹识别,闭路电视(,Close Circuit Television,CCTV),中图像的增强,71,PPT课件,举例：法律执行图像处理技术被法律执行者广泛采用71PPT课件,举例：,HCI,使得人机交互（,Human Computer Interaction,）变得更加自然,面部识别,手势识别,72,PPT课件,举例：HCI使得人机交互（Human Computer In,如何准确、高速地识别出目标,2.,如何有效地增大存储容量，容纳足够细节的目标图像；,3.,如何有效地构造和组织出可靠的识别算法,目前，所建立的系统绝大多数只适用于某一特定环境或应用场合的专用系统，建立一个可与人类的视觉系统相比拟的通用视觉系统是非常困难的。,1.3.2,图像处理与计算机视觉的面临问题,73,PPT课件,如何准确、高速地识别出目标1.3.2 图像处理与计算机视觉的,相关的工具,浏览图像,ACDSee,图像处理,Photoshop,应用与研究,MatLab,基本操作：读写、显示、几何变换,图像变换（傅立叶，小波等）,图像增强（直方图，对比度，平滑，锐化）,图像分割,74,PPT课件,相关的工具浏览图像74PPT课件,