数字图像处理

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数字图像处理,1,课程性质：,专业选修课,课程的地位和意义：,数字图像处理是一门新兴的跨学科,的前沿高科技，在军事、工业、科研、医学等领域获得,了广泛应用，是国内外高校和科研院所的研究生教育中,一个重要的研究方向，具有广阔的发展前景。,教学安排,:,课堂教学：,26,学时 实验：,6,学时,教材,:,计算机图像处理与识别技术,王耀南,李树涛,毛建旭编著,参考教材,:,1.,数字图像处理及分析,张弘等,机械工业出版社,2.,数字图像处理与分析,龚声蓉等,清华大学出版社,2,3.,图像处理和分析基础,章毓晋,高等教育出版社,4.,图像工程,章毓晋,清华大学出版社,5.,数字图像处理,陈天华,清华大学出版社,6.,实用数字图像处理,陈书海等,科学出版社,7.,数字图像处理,(,第二版,),Rafael C. Gonzalez,等著,阮秋琦等译,3,第一章 数字图像处理综述,1.1,概论,人类传递信息的媒介,:,语言、文字和图像,图像：,二维或三维景物呈现在视网膜上的影像。,图像处理：,模拟图像处理、数字图像处理,模拟图像处理：,包括光学透镜处理、摄影、广播级电视制作等，属于实时处理。速度快且能并行作业，但精度低、灵活性差，基本上无判断功能和非线性处理功能。,数字图像处理：,一般指用计算机进行的图像处理，也称计算机图像处理或计算机数字图像处理。精度高、处理内容丰富、可进行复杂的非线性处理，但处理速度较慢。,数字图像处理技术的发展历史：,里程碑：,1964,年美国加利福尼亚的喷气推进实验室用计算机处理“旅行者,7,号”传送的月球图像。,60,年代末,70,年代初：,医学图像、地球遥感监测和天文学等领域。,4,图像识别：,对处理后的图像进行分类，确定类别名称。,图像处理与识别技术是一门跨学科的高新科学技术。,1.2,计算机数字图像处理系统,数字图像处理系统是执行处理图像、分析理解图像信息任务的计算机系统。主要含有：图像输入设备、执行处理分析与控制的计算机及图像处理机、输出设备、存储系统中的图像数据库、图像处理程序库与模型库。,数字图像处理与其它数据处理的不同之处是其庞大的数据处理量和存储量，以及对图像的显示。因此，无论从硬件的配置还是软件环境上看，计算机图像处理系统都有别于其它的计算机系统，从而形成了专门的图像处理计算机系统。,5,扫描仪,摄像机,CD-ROM,高档微机系统,图像 图像处,采集卡 理软件,图像数据库,绘图仪,打印机,显示器,监视器,图像通信接口,通信网络,硬盘、光盘等,图,1.2.1,微机图像处理系统示意图,1.2.1,计算机图像处理系统的分类,按系统的层次分,:,高、中、低图像处理系统,按图像传感器的敏感区域分：可见光、红外、近红外、,X,射线、雷,达、伽玛射线、超声波等图像处理系统,按采集部件与景物的距离分：遥感、宏观、微观图像处理系统,按应用场所分：通用图像处理系统和专用图像处理系统,6,1.2.2,微机图像处理系统的基本构成,微机图像处理系统由图像的采集部件、主机和图像的输出,部件三部分构成。,1.,图像采集部件,作用,:,采集原始的模拟图像数据并将模拟信号转换成数字信号。,常用的图像采集部件：摄像机,+,视频图像采集卡，图像扫,描仪，数码摄像机,（,1,）摄像机和视频图像采集卡,摄像机：,电子管式摄像机、固体器件摄像机。,电子管式摄像机：,光电子发射效应式、光导效应式。体积,大。,固体器件摄像机：,电荷耦合器件阵列（,CCD,摄像机）、,电荷注入器件（,CID,）阵列、光电二极管阵列。,CCD,摄像机：,由电荷耦合元件组成的图像探测器。它是,7,将景物通过物镜成像在一块,电荷感应光板（电荷耦合探测,器）上，用感应光板上的感应电压模拟,景物的亮度变化。,体积小，重量轻，结构紧凑。,CCD,摄像机的分类,:,按传感器的有效工作范围分,:,可见光、近红外、红外、,X,射线,CCD,摄像机,按快门速度分,:,静止和实时,CCD,摄像机,视频图像采集卡,:,将摄像机摄取的模拟图像信号转换成数,字图像信号。,视频图像采集卡的分类,:,中速采集卡、实时单帧采集卡、,实时采集卡,中速采集卡：,1,帧,/,秒,实时单帧采集卡： 瞬时采集,1,帧图像,实时采集卡：,40,帧,/,秒，连续采集多帧图像,8,（,2,）图像扫描仪,适合于薄片介质的图像数字化设备。,图像扫描仪的分类,:,按灰度分辨率分：黑白,64,级灰度扫描仪、黑白,256,级灰度,扫描仪、彩色图像扫描仪,按面幅大小分：手提式扫描仪、平板式扫描仪、滚桶式扫,描仪,按扫描仪结构分：透射式扫描仪、反射式扫描仪,分辨率：,空间分辨率,灰度分辨率,空间分辨率：,数字图像的空间分辨率取决于像素尺寸的大小。像,素（,Pixel,）是构成数字图像的基本单元。如果把数字图像放大许多,倍，会发现这些连续图像其实是由小点组成。把一幅图像按行与列,分割成,mn,个网格，就可用一个,mn,的矩阵来表达该图像,就说该图像的空间分辨率为,mn,。每一格即为一个像素，,m,与,n,数值越大，像素量就越大，单个像素的尺寸就越小，图像就越细腻,，空间分辨率就越高。,9,（,3,）数码摄像机,数码摄像机将图像采集和数字化部件集成在统一设备中，,其输出的信号能直接为计算机所接受。适合于现场数据,采集。,灰度分辨率：,是指在灰度级别中可分辨的最小变化,取决于,灰度的模数转换位数。每个像素的亮度称为灰度（对彩色,图像则是颜色），可用一个有限长度的二进制数值表示。,位数越长，灰度级别就越多，层次就越丰富（或颜色就越,逼真），灰度分辨率就越高。如果是,8,位模,/,数转换，则灰,度可分为,2,8,=256,个级别；如果是,16,位模,/,数转换，则灰度,可分为,2,16,=65536,个级别。,所以说,空间分辨率是指数字化图像的大小，以水平的和垂直的象素数的乘积来表示，反映了图像中可辨别的最小细节。,10,2.,图像处理部件,微机,3.,识别结果的输出部件,从广义的角度讲,图像的输出形式分为两种,:,一种是根据图像处理的结果作出判断,给出提示供人或机器,作出选择。,另一种是以图像为输出形式，它包括中间过程的监视和结,果图像的输出。,图像输出方式有屏幕输出、打印输出、视频硬拷贝输出。,1.3,数字图像的形成,图像的数字化,:,抽样、量化,抽样,:,把在时间上和空间上连续的图像转换成为离散的抽样,点,(,即象素,),集的一种操作。,具体做法：先沿垂直方向抽样，再沿水平方向抽样两步完,成抽样操作。,11,若抽样结果每行（即横向）象素为,M,个，每列（即纵向）,象素为,N,个，则整幅图像大小为,M* N,个象素。,量化：,把抽样后所得的连续量表示的象素值离散化为整数,值的操作。,Z,i+1,Z,i,Z,i-1,连续的,灰度值,.,.,.,量化值,(,整数值,),q,i+1,q,i,q,i-1,黑,灰,白,从白到黑的,连续变化,.,.,.,.,.,.,.,.,.,黑,灰,白,.,.,.,灰度标度,255,128,0,255,128,0,灰度级的分配,(a),量化,(b),把从白到黑灰度量化为,8,位值,图,1.3.5,量化,12,1.4,数字图像的数学描述形式,1.4.1,数字图像的矩阵表示,数字图像在计算机内部是一个灰度值的二维数组的集合。,该数组若用,f(x,y),来表示时，其含义是位于坐标,(x,y),处的,象素，其灰度值是,f(x,y),。,表,1.4.1,数字图像的类别,13,一幅,N1* N2,个象素的数字图像,其象素灰度值可用,N1,行,N2,列的矩阵,F,来表示。,1,2,.,.,.,.,N1,1,.,.,2,N2,数字图像,N1* N2,个象素,图,1.4.1,数字图像的矩阵表示,1.4.2,二维数组和图像的关系,一幅,M* N,个象素的数字图像,在算法语言中可以用一个,M* N,的二维数组,F,来表示。数字图像的各象素的灰度值可,按一定的顺序存放在,F,数组中。习惯上把图像左上角的象,素定为（,1,，,1,）个象素，右下角的象素定为（,M,，,N,）,个象素。这样，从左上角开始，横向第,I,列，纵向第,J,行,14,的第（,I,，,J,）个象素值就存储到数组,F,（,I,，,J,）中。,F,（即,FORTRAN,）型表示： （,I,，,J,），,I,为列数，,J,为行数,M,（即,MATRIX,）型表示：,（,I,，,J,），,I,为行数，,J,为列数,1.5,数字图像的数据结构,图像数据常用的结构：二维数组、一维数组、分层结构,树状结构,15,1.6,数字图像处理的基本方法,1.6.1,基本处理过程,对图像进行扫描,并在扫描过程中逐点对各象素进行处理,.,顺向扫描,:,对图像按照由左到右,由上到下的顺序进行扫描,.,逆向扫描,:,对图像按照由下到上,由右到左的顺序进行扫描,.,1.6.2,基本运算形式,(1),点运算,在对图像各象素进行处理时,只输入该象素本身灰度的运算,方式称为点运算,.,g(i,j)=p(f(i,j),其中,f(i,j),为输入的原图像在,(i,j),处的灰度值,g(i,j),为经点运算后得到的输出图像在,(i,j),处的灰度值,.,(2),邻域运算,在对图像各象素进行处理时,不仅输入该象素本身的灰度,还,要输入以该象素为中心的某局部区域,(,即邻域,),中的一些象素,的灰度进行运算的方式,称为邻域运算,.,16,(3),并行运算,并行运算,:,对图像上各象素同时进行相同处理的运算方式,.,优点,:,速度快,缺点,:,只能用于处理的结果与处理的顺序无关的场合,.,点运算可采用并行运算方式,.,(4),串行运算,串行运算,:,在图像上按照规定的顺序逐个对象素进行处理的,运算方式,.,凡是对象素的处理是在邻域象素处理的基础上进行的处理,方法,都必须采用串行运算形式,并同时规定处理顺序,.,(5),迭代运算,迭代运算,:,反复多次进行相同处理的运算,.,(6),窗口运算,窗口运算,:,对图像特定的矩形区域进行某种运算的形式,.,一般,矩形区域由矩形左上角象素点的坐标和矩形所包含的,行数和列数确定,.,17,(7),模板运算,模板运算,:,对图像中特定形状的区域进行某种运算的方式,.,这里的模板就是指特定形状的区域,它常常是与图像中存,在的对象物有相同特征的一个局部的子图像,因此,模板实,质上就是一个二维数组,.,模板与窗口的区别,:,1.,形状不同,2.,窗口是划定一个处理范围,而模板是子图像,.,(8),帧运算,帧运算,:,在两幅或多幅图像之间进行运算产生一幅新图像,的处理,.,18,1.7,数字图像处理与识别及图像理解所研究的内容,1.7.1,图像处理技术,1.,图像数字化,其目的是将模拟形式的图像通过数字化设备变为计算机可,用的离散的图像数据,.,2.,图像变换,为了便于后续的工作,改变图像的表示域和表示数据,.,3.,图像增强,以便于人或机器分析、理解图像内容为主要目标的改善图,像质量的方法。,增强是用以改善供人观看的图像的主观质量，而不一定,追究图像降质的原因。,4 .,图像恢复,对失真的图像进行处理，使处理后的图像尽量接近原始的,未失真的图像。,19,图像恢复需找出图像降质的原因，并尽可能消除它，使图,像恢复本来面目。,5.,图像分割,根据选定的特征将图像划分成几个有意义的部分，从而使,原图像在内容表达上更为简单明了。,6 .,图像重建,利用,X,射线、超声波等手段取得物体的多幅来自不同角度,的二维投影图（它们反映了物体的内部情形），通过计算,可得出物体内部部位的图像；或者利用明暗、运动、体视,等图像信息恢复三维物体形状的技术。,7 .,图像数据压缩与编码,在数字图像的传输或存储时，通过某种方式的编码，可删,除其中相关信息，实现不失真压缩；或在容许失真限度内,进行有失真压缩，以换取更大压缩率。,20,8 .,图像通信,电视电话、会议电视、电缆电视（,CATV,）、传真通信、,图文电视（,Teletext,）、可视图文（,Videotex,）、智能用,户电报（,Teletex,）、电子邮政、多媒体图像等。,9 .,图像存储,包括图像的格式化、编码和解码、数据结构、索引等，其,作用是把图像数据存储在给定的存储介质中。,10 .,图像检索,使用索引或更灵活的相似检索技术，或以某种查询语言来,从图像数据库中检索图像。,11 .,图像分析,图像分析主要是研究图像分割、特征提取、测量、表达、,纹理分析、运动等。,21,1.7.2,图像识别,图像识别以研究某些对象或过程,(,统称图像,),的分类与描述,为主要内容,.,被识别图像,图像信息获取,处理、特征抽取,识别判断,结果,图,1.7.2,图像识别系统框图,1.,图像识别方法,(1),统计方法,(,数学方法,):,以数学上决策理论为基础,根据这种理论建立统计学识别,模型以得到反映图像本质特点的特征进行识别,.,(2),句法结构识别方法,(,语言学方法、结构学方法）,它是立足于分析图像的结构，一幅图像可以模仿语言构造,，用一些语句来表达，然后，制定一组可以描述对象各部,分之间关系的语法规则进行识别。,（,3,）模糊识别方法,22,（,4,）神经网络识别方法,2.,文字识别,光学文字识别（,OCR,）：识别字母、数字和符号。,文字,图形,检,测,预处,理,特征,提取,识别,判断,文字,种类,图,1.7.3,文字识别装置框图,1.7.3,图像理解,图像理解是在图像处理的基础上,结合人工智能和认知理论,进一步研究图像中各目标的性质和它们之间的相互关系,并理解图像内容的含义及解释原来的客观场景,从而指导和,规划行动,.,图像理解是要用计算机系统来帮助解释图像的含义,从而实,现利用图像信息解释客观世界,.,23,1.8,图像处理与图像识别及图像理解的关系,1.8.1,图像处理和图像识别,图像处理包括图像编码、图像增强、图像压缩、图像复原,、图像分割等。,输入是图像，输出也是图像。,图像识别是对图像进行分类，确定类别名称。,输入是图像（一般是经过处理的图像），输出是类别和图,像的结构分析，而结构分析的结果则是对图像做描述，从,而对图像的重要信息得到一种理解和解释。,图像处理和图像识别是相互交叉的。,1.8.2,图像理解,所谓图像理解是一个总称，它是在图像处理及图像识别的,基础上，再根据分类作结构句法分析，去描述图像和解释,图像。因而图像理解包括图像处理、图像识别和结构分析,。对理解部分来说，输入是图像，输出则是对图像的描述,24,与解释。,图像处理（编码压缩,、增强、分割、复原）,图像,输入,图像,输出,图像识别（特征提,取、分类、分析）,图像,输入,类别,+,结构分析,图像理解,图像,输入,(a),图像处理示意图,(b),图像识别示意图,(c),图像理解示意图,图,1.8.1,图像处理、识别及理解示意图,图像描述,+,解释,25,1.8.3,图像识别与图像处理及图像理解的关系,表,1.8.1,图像处理、识别及理解间的关系,输入,输出,图像,输入,图像预,处理,图像,分割,图像特,征提取,图像,分类,图像结,构分析,客观世界模型,图像描述,和解释,图,1.8.2,图像理解系统关系图,增强复原,图像处理,图像识别,句法结构分析,26,1.9,计算机视觉,(,机器视觉,),计算机视觉就是用计算机模拟人眼的视觉功能,从图像或,图像序列中提取信息,对客观世界的三维景物和物体进行,形态和运动识别,.,计算机视觉研究的目的之一就是要寻找人类视觉规律,从,而开发出从图像输入到自然景物分析的图像理解系统,.,Marr,的视觉计算理论,:,(1),三个层次,Marr,认为,视觉是一个信息处理系统,对此系统研究应分为,三个层次,:,计算理论层次,表示与算法层次,硬件实现层次,.,表,1.9.1,视觉研究的三个层次,计算理论,表示和算法,硬件实现,计算的目的是什么,为何这一计算是合适的,执行计算的策略是什么,如何实现这个计算理论,输入、输出的表示是什么,表示与表示之间的变换是什么,在物理上如何实现,这些表示和算法,27,按照,Marr,的理论，计算视觉理论要回答视觉系统的计算目的和策略,是什么，或视觉系统的输入和输出是什么，如何由系统的输入求出,系统的输出。在这个层次上，信息系统的特征是将一种信息（输入,）映射为另一种信息（输出）。例如，系统输入是二维灰度图像，,输出则是三维物体的形状、位置和姿态，视觉系统的任务就是研究,如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物,体的三维信息。,表示与算法层次是要进一步回答如何表示输入和输出信息，如何实,现计算理论所对应的功能的算法，以及如何由一种表示变换成另一,种表示。,最后一个层次是解决用硬件实现上述表示和算法的问题，比如计算,机体系结构及具体的计算装置及其细节。,从信息处理的观点来看，至关重要的乃是最高层次，即计算理论层,次。通过正确理解待解决问题的本质，将有助于理解并创造算法。,如果考虑解决问题的机制和物理实现，则对理解算法往往无济于事。,28,（,2,）视觉表示框架,视觉过程划分为三个阶段。,第一阶段（早期视觉），是将输入的原始图像进行处理，抽取图像,中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集,合称为基元图。,第二阶段（中期视觉），是指在以观测者为中心的坐标系中，由输,入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这,些信息包含了深度信息，但不是真正的物体三维表示，因此，称为,二维半图。,第三阶段（三维阶段），是指在以物体为中心的坐标系中，由输,入图像、基元图、二维半图来恢复、表示和识别三维物体的过程。,29,第二章,MATLAB,语言基础,2.1 MATLAB,简介,MATLAB,（,Matrix Laboratory),语言是由,MathWorks,公司推出的计算机软件，是一种直译式的语言，主要功能是做矩阵的数值运算，广泛流行于图像处理、自动控制、语音处理、生物医学工程、信号分析等领域。,工具箱,(Toolbox),：,图像处理工具箱（,Image Processing Toolbox,）,通信工具箱（,Communications Toolbox,）,符号数学工具箱（,Symbolic Math Toolbox,）,统计工具箱（,Statistics Toolbox,）,神经网络工具箱（,Neural Network Toolbox,）,小波理论工具箱（,Wavelet Toolbox,）,模糊逻辑工具箱（,Fuzzy Logic Toolbox,）,金融工具箱（,Financial Toolbox,）,样条工具箱（,Spline Toolbox,）,控制系统工具箱（,Control System Toolbox,）,30,第三章 图像预处理,图像预处理,:,改善图像质量的处理,主要指按需要对图像进,行适当的变换突出某些有用的信息,去除或削弱无用的信,息,如改变图像对比度,去除噪声或强调边缘的处理等,.,也称为,图像增强,.,图像预处理的基本方法,:,图像变换、直方图变换、灰度变,换、图像平滑、图像锐化、伪彩色和假彩色处理等。,3.1,图像变换,图像变换,:,图像的二维正交变换,常用的图像变换,:,傅里叶变换,(Fourier Transform),、离散余,弦变换,(Discrete Cosine Transform),、沃尔什,-,哈达玛变换,(,Walsh-Hadamard Transform),、离散卡,-,洛变换,(Discrete K,-L Transform),31,3.1.1,傅里叶变换,1.,一维连续函数的傅里叶变换,傅里叶变换,:,其中,f(x),为实变量,x,的连续函数,傅里叶反变换,:,如果,f(x),是连续的和可积的,且,F(u),是可积的,则称式,(3.1.1),和,(3.1.2),为傅里叶变换变换对,.,式中,32,傅里叶变换的幅度或频率谱,傅里叶变换的相角或相位谱,傅里叶变换的能量或功率谱,u,频率变量,2.,二维连续函数的傅里叶变换,如果,f(x,y),是连续的和可积的,且,F(u,v),是可积的,则存在下,式的傅里叶变换对,.,33,二维傅里叶变换的幅度或频率谱,二维傅里叶变换的相角或相位谱,二维傅里叶变换的能量或功率谱,u,v,频率变量,34,3.,一维离散傅里叶变换,设,式中,x,为离散值,0,1,N-1.,离散傅里叶变换对,:,式中,u=0,1,2,N-1.,式中,x=0,1,N-1.,35,4.,二维离散傅里叶变换,离散傅里叶变换对,:,式中,x=0,1,M-1,y=0,1,N-1.,式中,u,=0,1,M-1,v,= 0,1, N-1.,36,当图像抽样成方形阵列时,M=N,这时离散傅里叶变换对,:,式中,x=0,1,N-1,y=0,1,N-1.,式中,u,=0,1,N-1,v,= 0,1, N-1.,一维和二维离散函数的频谱、相位谱和能量谱分别由式,（,3.1.4)(3.1.6),和（,3.1.11)(3.1.13),给出。唯一的差别,是独立变量是离散的。,37,表,3.1 MATLAB,与傅里叶变换有关的部分命令,命令,含义,FFT,离散傅里叶变换,FFT2,二维离散傅里叶变换,FFTN,N,维离散傅里叶变换,IFFT,逆离散傅里叶变换,IFFT2,二维逆离散傅里叶变换,3.1.2,离散余弦变换,(DCT),一维离散余弦变换,一维离散余弦变换的定义如下,:,其中,u=1,2,N-1,38,一维离散余弦逆变换的定义如下,:,2.,二维离散余弦变换,二维函数,f(x,y),的离散余弦变换的定义如下,:,式中,u,=0,1,N-1,v,= 0,1, N-1.,二维离散余弦反变换的定义如下,:,式中,x=0,1,N-1,y=0,1,N-1.,39,MATLAB,中的离散余弦变换命令,:B=DCT2(A),MATLAB,中的离散余弦逆变换命令,:B=IDCT2(A),3.2,灰度变换,灰度变换是图像增强的一种重要手段,它可使图像动态范,围加大,使图像对比度扩展,图像更加清晰,特征更加明显,.,3.2.1,灰度线性变换,1.,全域线性变换,令原图像,f(m,n),的灰度范围为,a,b,线性变换后图像,g(m,n),的灰度范围为,a,b,g(m,n),与,f(m,n),存在以下关系,:,图,3.2.1,全域线性变换示意图,f(m,n),g(m,n),b,a,a,b,F,F,40,另一种情况,:,图像中大部分象素的灰度级在,a,b,范围内,少,部分象素分布在小于,a,和大于,b,的区间内,.,则可做下列的截,取式线性变换,:,g(m,n),f(m,n),a,b,F,a,F,b,图,3.2.1,截取式线性变换示意图,2.,分段线性变换,将图像灰度区间分成两段乃至多段分别做线性变换称为,分段线性变换。,41,3.2.2,灰度非线性变换,对数变换：,指数变换：,其中，,a,b,c,是可调参数。,42,3.3,直方图变换,3.3.1,灰度直方图,直方图,:,用于表达图像灰度分布情况的统计图表。其横坐,标是灰度值,r,，纵坐标是出现这个灰度值的概率密度,p(r),(,对连续图像,f(x,y),而言），或者是出现这个灰度值的概率,值,p(r,i,)(,对数字图像,f(m,n),而言）。,p(r),r,0,p(r),r,0,(a),f(x,y),的直方图,(b),f(m,n),的直方图,图,3.3.1,灰度直方图,43,设图像象素的灰度值为,r,0,r,1,r,L-1,则概率,p(r,i,),为：,且有：,MATLAB,中计算和绘制直方图的命令：,imhist(I,N)-,在长度为,N,的灰度条上显示灰度图像,I,的直方图，对于灰度图像，,N,的缺省值为,256,，对于黑白二值图像，,N,的缺省值为,2,。,图,3.3.3 lena,图像的灰度直方图,44,3.4,空间域图像平滑,图像平滑,(,滤波,):,消除图像噪声的工作。,平滑的目的：改善图像质量、抽取对象特征。,平滑可以在空间域进行也可以在频率域进行。,3.4.1,邻域平均法,设噪声,是加性白噪声,其均值为,0,方差,(,噪声功率,),为,而且噪声与图像,f(m,n),不相关。其有噪声的图像,f(m,n),为：,经邻域平均法处理后的图像,g(m,n),为：,其中,s,是,(m,n),点的邻域内的点集。,45,设,E.,和,D .,分别表示求统计平均和方差的运算,则,:,上式表明邻域平均之后,残余噪声的平均值仍为,0,而方差,则下降为由原来的,1/N,噪声被抑制,但图像,g(m,n),中目标,的轮廓或细节变模糊了。,可用模板反映邻域平均算法的特征，四邻域和八邻域可用,下述模板：,46,3.4.2,选择平均法,选择平均法是以邻域平均法为基础的。它只对灰度值相同,或相近的象素进行平均,或者按照灰度特殊的程度加权之,后再求和,以免造成目标边缘的模糊。,1.,阈值法,其中,S,是点,(m,n),的一个邻域,N,是所取邻域内的象素数,T,是预先设定的阈值。,2.,半邻域法,设在,3*3,局部区域内图像为：,47,半邻域法的具体算法为：,（,1,）对,A,i,排序，灰度值较大的前,5,点构成,B,组，灰度值较,小的后,3,点构成,A,组。,（,2,）设定门限值,T,。,（,3,）求,A,、,B,两组的平均值,（,4,）若,，认为无边缘通过，进行,9,点局部平均；,若,，则认为有边缘通过，,P,与,B,组中的,5,点,进行,6,点平均。,48,3.4.3,中值滤波,中值滤波是一种非线性处理技术,能抑制图像中的噪声。,它是基于图像的这样一种特性：噪声往往以孤立的点的,形式出现，这些点对应的象素数很少，而图像则是由象,素数较多、面积较大的小块构成。,在一维的情况下，中值滤波器是一个含有奇数个象素的,窗口。在处理之后，位于窗口正中的象素的灰度值，用,窗口内各象素灰度值的中值代替。,中值滤波不影响阶跃函数和斜坡函数，因而对图像边界,有保护作用；但是，对于持续期小于窗宽的,1/2,的脉冲将,进行抑制，因而可能损坏图像中某些细节。,若以,Med.,表示中值滤波，,K,为常数，则对窗口,W,内的点,集进行中值滤波具有下述性质：,49,但是：,在二维的情况下，窗口的形式可以是正方形的、近似圆形,的或十字形的。,MATLAB,中二维中值滤波函数：,medfilt2,3.4.4,空间域低通滤波,噪声的频谱一般位于空间频率较高的区域,而图像本身的频,率分量则处于较低的空间频率区域之内,因此,可以用低通,滤波的方法来实现平滑。采用离散卷积可以实现滤波作用。,式中,g(m,n),为输出的平滑图像，,f(i,j),为输入图像，而,H,为,L*L,脉冲响应阵列。,50,用于平滑噪声的低通形式的算子阵列,H,：,MATLAB,中噪声的加入：,其中，,I,为欲加噪声的原图像，,J,为加噪声后的图像。,TYPE,为噪声类型。,gaussian,-,高斯白噪声,salt & pepper-,-,椒盐噪声,speckle,-,乘法性噪声,51,52,53,3.5,空间域图像锐化,图像锐化：增强图像边缘和线条，使图像边缘变得清晰,的处理。,3.5.1,梯度法,对一个连续图像函数,f(x,y),它的梯度是一个向量,定义为,:,在,(,x,y,),点处的梯度,其方向是函数,f(x,y),在这点变化率最大,的方向,而其长度,(,记作,Gf(x,y),则等于,函数,f(x,y),的最,大变化率,即,:,梯度长度是一个正的标量,为方便起见,常将梯度长度简称,为梯度。,对于数字图像，则用差分来近似微分。,54,典型的差分算法：,Roberts,梯度,差分算法：,为了加快速度，使用以上两种梯度的绝对差算法：,梯度法锐化图像的第一种方法：,梯度法锐化图像的第二种方法：,式中,T,是一个非负门限值,55,梯度法锐化图像的第三种方法：,式中,L,G,是根据需要而指定的一个灰度级。,梯度法锐化图像的第四种方法：,式中,L,B,是给背景指定的灰度级。,梯度法锐化图像的第五种方法：,这一算法给出二值图像，轮廓和背景分别用两个不同的,灰度级来显示。,56,57,3.5.2,空域高通滤波法,图像边缘与高频分量相对应。高通滤波器让高频分量畅通,无阻，而对低频分量则充分限制，从而达到图像锐化目的,建立在离散卷积基础上的空间域高通滤波：,式中,g(m,n),为,锐化输出，,f(i,j),为输入图像，,H(m-i+1,n-j+1),为冲激响应阵列（卷积阵列）。,几种常用的归一化卷积阵列：,58,59,3.5.3,掩模匹配法,掩模匹配法,:,事先准备好,8,个方向,(,如图,3.5.4),、大小为,3*3,的,掩模，锐化时顺序作用于同一图像窗口，对每一个掩模，,将窗口各象素灰度值分别乘以该掩模相应的阵列元素，对,积求累加和并以,NUM,i,(i=0,1,2,7),表示。将,NUMi,排序，最大的作为窗口中心象素的锐化输出。,典型空间域图像锐化模板有：,Robison,模板、,Prewitt,模板和,Kirsch,模板。,M,0,M,1,M,2,M,3,M,4,M,5,M,6,M,7,图,3.5.4,掩模方向定义图,60,3.6,频域图像平滑和锐化,3.6.1,频域低通滤波法,在一给定的图像变换中，通过频域对一定范围的高频分量,的衰减能够达到平滑化。,式中,F(u,v),是欲平滑图像,f(m,n),的变换。函数,H(u,v),称,为滤波器传递,函数。,1.,理想低通滤波器,式中,D,0,是一个规定的非负的量。,H(u,v),D(u,v),0,D,0,图,3.6.1,理想低通滤波器特性曲线,61,2.,巴特沃思,(Butterworth),滤波器,n,阶巴特沃思低通,滤波器,(BLPF),的传递函数,:,3.,指数,滤波器,4.,梯形低通,滤波器,62,第四章 图像分割,图像分割是指把图像分成各具特性的区域并提取出感兴,趣目标的技术和过程。这里,特性可以是灰度、颜色、纹,理等，目标可以对应单个区域，也可以对应多个区域。,图像分割的方法大致可以分为基于边缘检测的方法和基,于区域生长的方法两大类。,基于边缘检测的分割方法首先检出局部特性的不连续性，,再将它们连成边界，这些边界把图像分成不同的区域。,基于区域生长的方法是将象素分成不同的区域。,以上两种方法互为对偶，相辅相成，有时还要将它们结,合起来，以得到更好的分割效果。,63,4.1,边缘检测,图像边缘是图像局部特性不连续性（灰度突变、颜色突,变、纹理结构突变等）的反映，它标志着一个区域的终,结和另一个区域的开始。,边缘,提取,首先检测出图像局部特性的不连续性，然后再,将这些不连续的边缘象素连成完备的边界。边缘,的特性,是沿,边缘,走向的,象素,变化平缓,而垂直于,边缘,走向的,象素,变化剧烈。所以，从这个意义上说，提取,边缘,的算法就,是检测出符合,边缘,特性的,边缘象素,的数学,算子,。,目前，常采用,边缘算子法、曲面拟合法、模板匹配法等。,4.1.1,边缘,算子法,1.,差分算子,边缘,与差分值的关系可归纳为,2,种,:,其一是,边缘,发生在差分最大值,(,图,4.1.1(b),或最小值处,(,图,4.1.1(f);,其二是,边缘,发生在过零点处,(,图,4.1.1(c),、图,4.1.1(e),。,64,(a),阶梯状边缘,(d),脉冲状边缘,(,b,),阶梯状边缘的一阶差分,一,阶,差,分,二,阶,差,分,(,c,),阶梯状边缘的二阶差分,一,阶,差,分,(e),脉冲,状边缘的一阶差分,二,阶,差,分,(f),脉冲,状边缘的,二,阶差分,图,4.1.1,常见边缘的一阶差分和二阶差分概念,65,（,1,）梯度算子,在点,(,m,n,),处,梯度,Gf(m,n),的幅度为：,对数字图像，式,（,4.1.1,）可写成：,式中,也可简化为：,或：,取适当的门限,T,，如果,Gf(m,n)T,则,(m,n),为阶跃状边,缘点,66,（,2,）罗伯特（,Robert,）梯度,(3)Laplacian,算子,式中，,s,可以是,f(m,n),为中心上、下、左、右,4,邻点的集合,，也可以是,8,邻点的集合，或者是对角线,4,邻点的集合。,67,2. Laplacian-Gauss,算子,梯度算子和,Laplacian,算子对噪声比较敏感。对此，一方,面可在运用这两种算子作边缘提取前，先用邻域平均法,等作平滑处理，另一方面可先用高斯形二维低通滤波器,对图像进行滤波，然后再对图像作,Laplacian,边缘提取，,这种方法被称为,Laplacian-Gauss,算子法。具体是，令,g(m,n),为高斯低通滤波后的图像，,表示边缘提取,后的图像，则有：,式中,参数,W,为正瓣宽度,68,4.1.2,模板匹配法,模板是为了检测某些区域特征而设计的阵列。,设有一个,3*3,模板窗口,W,，其元素,W,ij,的位置如图,4.1.6(a),所示，一幅图像,F,的各元素,f(m,n),的位置如图,4.1.6(b),所示。模板匹配的过程是求乘积和的过程。,式中，,g(m,n),为边缘检测模板输出，,l=L/2,L,为窗口宽度,，,对于,3*3,窗口，,l=-1,，,0,，,1,。,W,-1,-1,W,-1,0,W,-1,1,W,0,-1,W,0,0,W,0,1,W,1,-1,W,1,0,W,1,1,(a),f(m-1,n-1),f(m-1,n),f(m-1,n+1),f(m,n-1),f(m,n),f(m,n+1),f(m+1,n-1),f(m+1,n),f(m+1,n+1),(b),图,4.1.6,模板,W,及图像,F,的各元素,69,1.,点模板,点模板如图,4.1.7(a),所示,一般用于背景强度恒定、目标,图像灰度相同或基本相同的图像（如二值图像）。,(a),点模板,W,1,W,2,W,3,W,4,(b),线模板,图,4.1.7,匹配滤波器模板,70,2.,线模板,线模板如图,4.1.7(b),所示，线模板能有效地检出线型类图,像结构。图,4.1.7(b),中，,W,1, W,4,分别是,0,、,45,、,90,、,-45,度四个方向的线模板。,71,3.,边缘模板,(a)j,方向模板（,h,1,i,j,）,(b)k,方向模板（,h,2,i,j,）,图,4.1.10 sobel,梯度模板,72,4.1.3,曲面拟合法,曲面拟合法的基本思路是用一个平面或曲面去逼近一个,图像面积元，然后用这个平面或曲面的梯度代替点的梯,度，从而实现边缘检测。,(a)4,点,面积元,(b)9,点,面积元,图,4.1.11,面积元示意图,1.,一次平面拟合,令图像面积元由图,4.1.11 (a),所示的,4,个相邻象素组成。,用一次平面,ax+by+c,去拟合该面积元上,4,个相邻象素，即,用：,去逼近,f(x,y),。,73,g(x,y),与,f(x,y),之间的均方误差：,为达到最佳吻合，应使均方误差最小。这时，需,根据梯度定义，,平面,ax+by+c,上的梯度幅度为：,74,也可进一步表示为：,由式,(4.1.31),、式,(4.1.32),可知，,a,是两列的平均值的差,分，,b,是两行的平均值的差分。由于这里的差分是建立在,平滑基础上，所以对噪声就不像直接使用微分算子那样,敏感。,把平面的梯度看作是邻域中心（,m+1/2,n+1/2),点处图像,梯度的近似值。,2.,二次曲面拟合,设检测象素处于图,4.1.11 (b),所示的面积元上，用二次,曲面：,去拟合面积元，并产生均方误差：,75,欲使,最小，需用,分别对,a,b,c,d,e,f,g,求偏导，并令其,为,0,，从而解得系数,a,b,c,d,e,f,g,。再根据式：,求得曲面梯度幅度。,76,4.2,灰度阈值分割,灰度阈值分割是利用象素的灰度值,通过取阈值进行分类,的过程。它基于下列假设：每个区域是由许多灰度值相,近的象素构成的。物体和背景之间或不同物体之间的灰,度值有明显的差别，可以通过取阈值来区分。待分割图,像的特性愈接近于这个假设，用此方法分割的效果愈好。,若图像中存在背景,S,0,和,n,个不同意义的部分,S,1,、,S,2, S,n,并设背景的灰度值最小,则可在各区域的灰度差异,处设置,n,个阈值,T,0,、,T,1,、,、,T,n-1,(T,0, T,1, T,n-1,),并进行如下分割处理。,77,在简单的图像中常常只出现背景和一个有意义部分两个,区域,这时只需设置一个阈值,就能完成分割处理,并形成,仅有两种灰度值的二值图像。,图像中区域的范围常常是模糊的，因此，如何选取,阈值便成为区域分割处理中的关键问题。,4.2.1,双峰法,在一些简单图像中,背景和各个对象物在图像的灰度直方,图上各自形成一个波峰,即区域和波峰一一对应,.,由于每两,个波峰间形成一个低谷,因而选择双峰间低谷处所对应的,灰度值为阈值,可将两个区域分离。,4.2.2,p,参数法,设图像的灰度直方图有,3,个明显的波峰，且,3,个区域的灰,度分布互有重叠。若各区域面积占图像总面积的比例,p,是,大致清楚的或预先设定的，令灰度低端的区域,1,的面积比,78,为,p,1,，由于,p,1,为直方图中代表该区域部分的频率累加值，,因此，当从灰度,0,到,f,j,(j=0,1,G-1),计算,累加直方图函,数值：,并在某,f,j,处满足下式关系：,则此时的,f,j,为从图像中分离出区域,1,的阈值,T,1,：,式中,表示由面积比,p,1,近似等于累加直方图函数来,确定相应灰度值的反变换关系。,79,若从图像中分离灰度高端的面积比为,p,2,的区域,2,，则方法,同上，这时：,80,4.3,区域生长法,区域生长的基本思想是将具有相似性质的象素集合起来,构成区域。区域生长法可以分为简单连接、混合连接、,中心化连接等。,简单连接区域生长法是把每个象素看成是连接图中的一个,节点，然后把单个象素和空间相邻象素的特性进行比较,，把特性相似的象素所对应的节点之间用弧把它们连接,起来，从而进行区域的生长。,混合连接区域生长法的总过程与上述过程类似，但是，对,每个节点，它用该节点对应的象素周围,k*k,邻点的灰度值,来表示其特性，这就提高了抗干扰性。,中心化连接区域生长法是从满足检测准则的点开始，在,各个方向上“生长”物体。一般地说，在物体中同一区域,的各象素的灰度级不会相差很远。设,O,为已接受的一小,81,块物体，检查它的全部邻点，并把满足跟踪接受准则的,任何邻点并入上述小块中。此接受准则可以根据邻点的,灰度级相对于,O,的平均灰度级接近程度来确定。当邻近,点被接受后，“生长”成新的,O,，用所得的新,O,重复上述过,程。当没有可接受的邻近点时，生长过程终止。,82,第五章 图像数据压缩编码,图像编码与压缩从本质上说就是对要处理的图像源数据,按一定的规则进行变换和组合,从而达到以尽可能少的代,码,(,符号,),来表示尽可能多的信息。压缩通过编码来实现，,或者说编码带来压缩的效果。所以，一般把此项处理称,为压缩编码。,5.1,概述,5.1.1,图像编码压缩的必要性,图像数据的特点之一是信息量大。如一幅,512*512,、,灰度等级为,8,位的图像，其数据量为,56KB,。要保存这些,数据需要很大的存储空间。,在多媒体中，海量图像数据的存储和处理是难点之,一。一张,600MB,的光盘，仅能存放,20s,左右的,640*480,象,素的图像画面信息。如不进行编码压缩处理，多媒体信息,83,的保存将遇到很大的困难。,在现代通信中，图像传输已成为重要内容。在工作,中除要求设备可靠、图像保真度高以外，实时性将是重,要技术指标之一。在信道带宽、通信链路容量一定的前,提下，采用编码压缩技术，减少传输数据量，是提高通,信速度的重要手段。,没有编码压缩技术，大容量图像信息的存储与传输,是难以实现的，多媒体等新技术在实际中的应用也会遇,到困难。,5.1.2,图像编码压缩的可能性,数据压缩技术最初始于信息论。,20,世纪,80,年代前，,研究的主要内容是有关信息熵、编码方法及数据压缩比,，即通过某种算法，对源数据进行编码，使编码后的数,据流长度小于源数据流长度，从而达到减少存储空间和,84,提高信息传输速度的目的。其中，对图像压缩的研究只,限于静止图像。,20,世纪,80,年代后，对图像压缩的研究,由静止图像扩展到运动图像。,组成图像的各象素之间，无论是在行方向还是在列,方向，都存在着一定的相关性。,例如，背景常取同样的,灰度，某种特征中象素灰度相同或相近。,应用某种编码,方法提取或减少这些相关性，便可达到压缩数据的目的。,从信息论观点看，描述图像信源的数据是由有效信,息量和冗余量两部分组成的，去除冗余量能够节省存储,和传输中的开销，同时又不损害图像信源的有效信息量。,在有些场合，一定限度的失真是允许的。如人的眼,睛对图像灰度分辨的局限性，监视器显示分辨率的限制，,都可以对图像信源作一定程度有时甚至是很大程度的压,缩。,85,5.1.3,图像编码压缩的分类,根据信息保真度可分为：,（,1,）,冗余,度压缩法,该方法的核心是基于统计模型，减少或完全去除,源,数据,流中的,冗余,，同时保持信息不变。,冗余,编码压缩又称为无损压缩或无失真压缩。哈夫,曼（,Huffman,）编码、香农（,Shannon,）编码。,（,2,）熵压缩法,这是一种以牺牲部分信息量为代价而换取缩短平均码,长的编码压缩方法。又称为有损压缩。,若以具体编码技术来考虑，又可分为：预测编码、,变换编码、统计编码、轮廓编码、模型编码。,86,5.1.4,图像编码压缩技术简介,1.,图像熵与平均码字长度,令图像象素灰度级集合为,其对应的概率分别为,图像熵定义为,:,单位为比特,/,字符。图像熵表示图像灰度级集合的比特数,均值，或者说描述了图像信源的平均信息量。,平均码长度,R(d):,式中，,为灰度级,所对应的码字的长度。,87,2.,编码效率,3.,压缩比,式中，,为源代码长度,为压缩后代码长度,为压缩比,(,百分数,),压缩比的物理意义是被压缩掉的数据占源数据的百分比,.,88,5.2,预测编码,预测编码是根据过去时刻的样本序列,运用一种模型,预测当前的样本值。分线性预测和非线性预测两类。,预测编码通常不直接对信号编码，而是对预测误差,编码。当预测比较准确，误差较小时，即可达到编码压,缩的目的。这种编码称为差分脉冲编码调制,（,DPCM,）。,输入,x,N,e,N,量化器,e,N,编码器,解码器,预测器,预测器,输出,X,N,X,N,X,N,e,N,X,N,图,5.2.1 DPCM,原理框图,89,5.3,正交变换编码,5.3.1,变换编码的基本原理,变换编码就是对正交变换得到的系数矩阵进行量化编码。,整个变换系统由三部分组成，即图像输入与变换、编码,、逆变换。在变换阶段，系统将原图分成若干子块，对,每个子块进行某种正交变换。通过变换，降低或消除相,邻象素之间或相邻扫描行之间的相关性，提供用于编码,压缩的变换系数矩阵。编码过程实现图像信息的压缩。,统计表明，在变换域中，图像信号的绝大部分能量集中,于低频部分，编码中如果略去那些能量很小的高频分量，,或者给这些高频分量分配合适的比特数，就可明显减少,图像传输或存储的数据量。,90,原始图像输入,二维正交变换,量化编码,信道传输,解码,逆变换,F(m,n),F(i,i),F(i,i),F(i,i),F(m,n),图,5.3.1,正交变换编码系统框图,91,5.3.2,正交变换编码特性评价,评价变换编码特性的准则,(1),残余相关准则,变换域内变换系数具有的相关性称为残余相关性,它代表,经过正交变换后帧内图像相关性被削弱的程度。,（,2,）均方差准则,（,3,）主观评价准则,主观评价：以人的眼睛感觉出来的优劣作为评价指标。,92,