数字图像处理课件(冈萨雷斯第三版)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数字图像处理,Digital Image Processing,合肥工业大学理学院,信息与计算科学系,二零零九年,内容提要,八周教学内容依次如下：,第,1,、,2,章 绪论、图象处理的基本概念。,第,3,、,4,章 空域和频域变换,第,5,、,8,章 图象增强和图象复原。,第,6,章 图象编码,第,7,、,9,章 图象分割和形态学。,第,10,章 其他,第,1,章 绪论,1.1,从图象到图像工程,图象和数字图象,图象技术和图象工程,相关学科和领域,1.2,图象处理和分析,图象处理和分析系统,图象采集、显示、存储、通讯、处理和分析模块,图象处理,图象分析,图象理解,抽象程度,数据量,图象基础,1.1.1,图,象和数字图象,什么是图象？,图象,(image),是泛指照片、动画等等形成视觉景象的事物。图象与计算机图形学中的图形的区别是：计算机图形学是从建立数学模型到生成图形，而图象通常是指从外界产生的图形。,客观世界是三维空间，但一般图象是二维的。二维图象在反映三维世界的过程中必然丢失了部分信息。即使是记录下来的信息也可能有失真，甚至于难以识别物体。因此，需要从图象中恢复和重建信息，分析和提取图象的数学模型，以至于形成人们对于图象记录下的事物有正确和深刻的认识。这个过程就成为图象处理过程。,1.1,从图,象,到图像工程,为什么需要数字图,象,(digital image ),？,普通图象包含的信息量巨大，需要使用计算机对图象进行处理。因此，需要把普通图象转变成计算机能处理的数字图象。现在的数码相机可以直接地把视觉图象变成数字图象。数字图,象类似于光栅图形，由有限行和有限列组成。每个基本单元叫做一个象素,(pixel),。三维图象的象素又叫做体素,(voxel),。通常的二维数字图像是一个矩型，可以用一个二维数组,I,(,x,y,),来表示，其中,x,y,是二维空间中的某坐标系的坐标，,I,(,x,y,),表示图像在该点处的灰度值等性质。彩色可以是红绿蓝三个单色的一定灰度值的合成。一般来说，这,些坐标和灰度值是实数，不仅依赖于坐标系的选取，而且依赖于灰度值的度量单位。但是，数字计算机只可能表示有限字长的有限个数字。所以必须把灰度值离散化。简单地说，数字图象等同于一个整数值的有限矩阵。数字图像是数字图像处理和分析的对象。,左边的图象是图象处理技术,中常用来检验计算机算法的,实际效果的标准图象。,这幅图象的名称是,lenna,。它,是由一组数字组成的。原图象,的宽和高都是,256,个象素，每,象素有八位。它在,BMP,格式下,有约,66K,字节的大小。,数字图象处理的简史,数字图象的产生远在计算机出现之前。最早有电报传输的数字图象。六、七十年代，随着计算机硬件的发展和快速傅立叶变换算法的发现使得用计算机能够处理图象。八十年代开始处理三维图象，九十年代以来，随着计算机性能的大幅提高和广泛使用，图象处理技术已经涉及社会的各个角落。图象逐渐在传播媒体中占据了主导地位，产生的许多的新行业新商机。未来图象处理的发展是不可限量的。数字图象处理属于计算机科学，但是它的,90%,依赖于数学。从这个特点来看，对于本专业的学生来说，数字图象处理技术是一个十分理想的发展方向。,1.1.2,图,象技术和图象工程,哪些属于图象技术？,图象技术是与图象有关部门的技术的总称。它是一类综合技术工程。它包括图象的采集、获取、编码、存储和传输、图象的生成、显示和输出、图象的变换、增强、恢复和重建、图象的分割、目标的检测、表达和描述、特征的提取、图象的分类、识别、图象模型的建立和匹配、图象和场景的理解。,狭义的数字图象处理是指图象的增强、恢复和重建，操作的对象是图象的象素，输出的是图象。,什么是图像工程？（广义的数字图像处理）,它是由图像处理、图像分析和图像理解三个系统所组成。图像处理包括图像采集和从图像到图像的变换，以改善主观的视觉效果和为图像分析和图像理解作初步的处理。图像分析是从图像中取出感兴趣的数据，以描述图像中目标的特点。图像理解是在图像分析的基础上研究各目标的性质和相互关系，以得出图像内容的理解和对原场景的解释。图像处理、图像分析和图像理解是处在从低到高的三个不同的抽象程度上的过程。本课程着重于图像处理和分析系统。,图像处理,图像理解,图像分析,抽,象,程,度,数,据,量,图像,数据,符号,1.1.3,相关学科和领域,图象工程是一门系统地研究各种图象理论、技术和应用的交叉学科。,从它的研究方法看，它与数学、物理学、生物学、心理学、电子学、计算机科学可以互相借鉴，从它的研究范围看，它与模式识别、计算机视觉、计算机图形学等学科交叉。,1.2,图,象处理和分析,1.2.1,图象处理和分析系统,图像处理和分析系统包括如下模块：图像采集模块、图像显示模块、图像存储模块、图像通讯模块和图像处理和分析模块。,1.2.2,模块,图象采集模块,CCD,图象显示模块,CRT,，,LCD,图象存储模块,内存、帧缓存、硬盘,图象通讯模块,LAN,、,WAN,图象处理和分析模块,图象文件的数据结构,一个完整的图象处理程序的基本功能有,:,打开图象文件、显示图象、对图象文件进行指定的处理、存储图象文件。由于图象文件比较大，通常需要在储存前进行压缩。所以打开和存储图象文件涉及到文件的格式。,图象文件的格式,图像文件指包含图像数据的文件。文件内除图像数据本身以外，一般还有图像的描述信息，以便图像的读取和显示。表示图像常用矢量形式或光栅形式。,矢量形式中图像用一系列线段或线段的组合体来表示，线段的灰度可以不同，组合体的各部分可用不同的灰度来填充。矢量形式文件中有一系列的命令和数据，执行的结果是画出图像来。,图像数据文件主要是用光栅形式,即图像是一些图像点的集合，比较适合变化复杂的图像。它的主要缺点是缺少对象和像素点之间的联系,且在伸缩图像的过程中图像会改变。例如，常见的图象文件类型有,bmp,jpg,等等。图象处理的程序必须考虑图象文件的格式，否则无法正确地打开和保存图象文件。,pgm,格式,美国的许多大学用,pgm,格式，避免使用压缩文件格式，对初学者来说是很方便的。下面是一幅该格式的图象。,这是一幅,pgm,格式的彩色照片,这是,pgm,格式彩色照片,16,进位制部分代码。原代码是不分行的字符串。这里写成分行的形式,(,注意：,LF=,换行；,SP=,空格；,#=,注解行,),：,0x50,0x35,0x0A,表示,P5,(LF);,0x23 0x20 0x20 0x49 0x0A,表示,#(SP)(SP)I(LF) ;,0x36 0x34 0x30 0x20 0x34 0x38 0x30 0x0A,表示,640(SP)480(LF);,0x32 0x35 0x35,0x0A,表示,255(LF),0x27 0x27 ,表示,23, 23,(,像素灰度值,),这幅图象文件的解码,:,P5,640 480,255,0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27,0x27 0x27 0x26 0x27 0x27 0x27 0x28 0x27 0x27 0x27 0x27,0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27 0x27,0x27 0x27 0x26 0x27 0x26 0x27 0x28 0x27 0x27 0x26 0x27,0x27 0x27 0x28 0x27 0x27 0x27 0x27 0x27 0x27 0x28 0x28,0x27 0x28 0x29 0x28 0x27 0x28 0x28 0x28 0x27 0x27 0x27,0x27 0x27 0x27 0x27 0x28 0x27 0x28 0x28 0x28 0x28 0x28,0x28 0x28 0x28 0x28 0x29 0x29 0x29 0x28 0x28 0x28 0x28,.,pgm,格式,的数字图像文件是美国计算机科学专业图像处理教学和研究的常用格式，虽然文件体积比较大，但是像素直接与数字相联系，易于检查和修改。它由两部分组成：,1,、第一部分是文件头，它由若干行组成：,第一行说明文件的类型，例如，,P2,（表示黑白图像）或,P5,（表示彩色图像）；,接着是以,#,开头的注解行，在软件打开图像时不执行注解行，可以没有注解行，或有多个以,#,开头的注解行；,注解行后的第一行指定数字图像的大小，例如，,640 480,（宽,640,个像素，高,480,个像素，中间有一个空格）；,接下来的一行指定图像的灰度等级，例如，,255,。各行的结尾没有标点符号。,2,、第二部分是不再分段的,位图列阵，例如,，在,256,灰度的场合，,P2,类型是一个像素一个字节（,8,位），,P5,类型是一个像素三个字节（,R,、,G,、,B,各,8,位）。,bmp(Bitmap),格式,BMP(Bitmap-File),图形文件是,Windows,采用的图形文件格式，在,Windows,环境下运行的所有图象处理软件都支持,BMP,图象文件格式。,Windows,系统内部各图像绘制操作都是以,BMP,为基础的。,Windows 3.0,以前的,BMP,图文件格式与显示设备有关，因此把这种,BMP,图象文件格式称为设备相关位图,DDB(device-dependent bitmap),文件格式。,Windows 3.0,以后的,BMP,图象文件与显示设备无关，因此把这种,BMP,图象文件格式称为设备无关位图,DIB(device-independent bitmap),格式（注：,Windows 3.0,以后，在系统中仍然存在,DDB,位图，象,BitBlt(),这种函数就是基于,DDB,位图的。,bmp(Bitmap),格式,bmp,格式又称位图文件。由三部分组成：位图文件头、位图信息和位图列阵。位图文件头有,54,个字节长，它给出文件的类型、大小和位图的起始位置等。位图信息给出图像的长、宽和每个像素的位数（,1,，,4,，,8,，,24,）、压缩方法、目标设备的水平和垂直分辨率。位图列阵给出原始像素的值。另外，有一些常用的压缩文件格式，如：,GIF(8,位,),、,TIFF,、,JPEG,等等。,下面是一个,Matlab,程序,%,打开蝴蝶图象,进行,Fourier,变换,h=imread(butterfly.jpg);% open an image,figure;imshow(h);,%,因为图像的格式,uint8,不能做加减法,%,所以需要把格式,uint8,变成格式,double,h=double(h); m,n,p=size(h);,hf=fftshift(fft2(h); % 2D Fourier,变换,得到,2D,复数值图像,hfa=log(abs(hf);%,模的图像,用,log,来调整灰度的对比度,%,求出模的灰度最大值，从而把其灰度的值域变为,0,，,255,m=max(max(max(hfa); hfa=hfa*255/m;,figure; imshow(uint8(hfa);,Imwrite(uint8(hfa),butterfly_fft.jpg,jpg);,补充：图象和视觉基础,2.1,概论和综述,2.2,人眼与亮度视觉,2.3,颜色视觉,2.4,光度学和成象模型,2.5,成象变换,2.6,采样和量化,2.7,象素间联系,2.8,算术和逻辑运算,2.9,坐标变换,第,2,章 图象和视觉基础,2.1,概论和综述,该基础包括视觉基础、成像基础和图像基础三部分：,视觉基础（人眼与亮度视觉，颜色视觉）,成像基础（模型、几何和采样量化）,图像基础（像素间联系、图像运算和图像坐标变换）,注意：,视觉：指光对感官的刺激和视觉系统的感觉。,视知觉：指如何通过视觉形成关于外部世界的表象。,2.2,人眼与亮度视觉,2.2.1,人眼成象,人的眼球是一个复杂的视觉器官。眼球的前部有晶状体，相当于照相机的镜头。眼球内侧的后部有视网膜。视网膜表面分布着两种感光细胞：锥细胞和柱细胞。眼内有六、七百万的锥细胞，它们对明亮的光和颜色很敏感。人眼借助于锥细胞来区分细节，因为每个锥细胞都连到神经末梢。锥细胞的视觉称为适亮视觉。眼内有,75,万到,150,万柱细胞。它们分布面大，且几个柱细胞连到一个神经末稍。分辨率低，主要提供整体视觉印象。虽然它们对颜色不敏感，但是对弱光较敏感。柱细胞的视觉称为适暗视觉。,视网膜的中心是中央凹，面积约,1.5,1.5mm,2,，锥细胞的密度达到,150000,个,/mm,2,是眼内最敏感的区域。,人眼的构造,人眼成像,锥细胞和柱细胞的密度和分布,2.2.2,亮度适应和区分,主观亮度和主观适应性,由于数字图象以客观亮度显示图象，人眼以主观亮度感受取得视觉，所以人眼的亮度适应性影响了图象处理的结果。人眼的视觉系统能适应的光的亮度等级从可以看见的昏暗到眩目相差能达到,10,10,等级。但是人眼并不能同时在这么大的范围内看清物体，而只能在同一时间内适应一个小的亮度变化范围（,10,6,等级）。,在一定条件下，一个视觉系统当前的敏感度叫做亮度适应级。这个敏感度是用实验来验证的。在实验中，逐渐增加光照射的强度,I,，改变量为,I,，达到多个观察者能感知的程度， 当有一半的人感知增加时的,I/I,成为,Weber ratio,作为视觉系统当前的敏感度。在很强的光下，需要改变较强的光照射才能使多个观察者感知；相反，在某强度光照下，些微的光强度变换就会使人感知。,人眼的主观亮度是非线性的，例如,Mach,带,人眼的光学错觉,2.3,颜色视觉,根据人眼的,结构，所有,的颜色是三,种基本颜色,的不同组合,所有的颜色可以,看作是三种基本,颜色的迭加，也,可以看作三种补,色（从白色中除,去某种颜色）的,迭加,颜色的三种基本,特征：灰度、色,调和饱和度，后,两者又称色度。,灰度与物体的反,射率成正比；色,调与光照中主要,光譜有关；饱和,度与色调的纯度,有关。组成颜色,C,的三个刺激量,X,，,Y,，,Z,所占的,百分比数为,x,y,z,x = X/(X+Y+Z),y = Y/(X+Y+Z),z = 1 x y.,2.5,成像变换,设,W(X,Y,Z),是,3D,空间中的任意点的坐标,Z,.,根据相似三角形的性质，,x/ = X/(-Z),y/ = Y/(-Z),x = X/(-Z),y = Y/(-Z),利用点,w,h,齐次坐标,(kX, kY, kZ, k),令,1 0 0 0,P= 0 1 0 0,0 0 1 0,0 0 -1/,1,c,h,= Pw,h,= P,(kX, kY, kZ, k),=(,kX, kY, kZ,-(,k,/,)Z+k,）,= (x,y,z,1),x = kX/(,-,k,/,Z+k)=X/(-Z),同理求得,y,和,z,x,Z,(X,Y,Z),0,w,h,= P,-1,c,h,1 0 0 0,P,-1,= 0 1 0 0,0 0 1 0,0 0 1/,1,w,h,= P,-1,(x,y,0,1) = (x,y,0,1).,其中没有坐标分量,z,，所以无法表示,3D,的点,如果能知道额外的深度信息,z,那么就能表示,3D,的点，,(X,Y,Z,1) = w,h,= P,-1,(x,y,z,1) = (x,y,z, z/,+1,).,其中，,X =,x/(+z),Y =,y/(+z),Z =,z/(+z),2.6,采样和量化,一幅图像需要经过离散化成为数字图像后才能被计算机处理。图像的空间坐标的离散化叫做空间采样,灰度的离散化叫做灰度量化。采样分为均匀采样和量化和非均匀采样和量化。假设图像是一个长方形。在平面上取,M,N,个大小相同的网格，并把灰度分成,G,个等级。取各网格中的某点处的灰度值最接近的整数作为该网格的灰度。通常，取,M=2,m, N=2,n,和,G=2,k,。则存储一幅图像的需要的位数等于,b=MNk,。例如，一幅,128128,、,64,个灰度等级的图像需要,2,20,位，,512512,、,256,个灰度等级的图像需要,2,26,位。采样的个数和灰度等级的选取与分辨率和储存的能力两者有关，需要综合考虑。例如：,图像空间分辨率变化产生的效果。,图像灰度分辨率变化产生的效果。,图像空间和灰度分辨率同时变化产生的效果。,图像空间分辨率变化产生的效果,图像灰度分辨率变化产生的效果,图像灰度分辨率变化产生的效果（,2,）,非均匀采样和量化,对给定的空间分辨率，图像的质量可以根据图像特性利用自适应的采样过程来改进。例如，在灰度变化显著的有很多细节的区域应当采用较密的采样。又例如，可以计算所有灰度值出现的频率。若某范围内的灰度值出现频繁，而在其他范围内灰度值出现较稀，则在该范围内量化灰度就要较密，在其他范围内较稀。,2.7,像素间联系,像素有四邻域,N,4,和八邻域,N,8,。,像素的,连通,有,4-,连接、,8-,连接和混合连接,(m-,连接,),。称点,r,和,p,是混合连接，如果,r,和,p,是,4-,连接的，或者,r,与,p,是,8-,连通的但不是,4-,连通的。混合连接避免了,8-,连通所产生的歧义。,等价关系和传递闭包,定义：在集合,A,上的二元关系,R,记为,aRb,，,a,b,A,称为,等价关系，如果,R,具有如下性质：,自反性 对每个,a,成立,aRa;,对称性,aRb,当且仅当,bRa;,传递性,aRb,和,bRc,蕴涵着,aRc,。,可以记,aRb,为,(a,b).,例如用,R,表示,4-,连接。则自反性蕴涵,对角元都是一。,例如,R=(a,a), (a,b), (b,d),(d,b),(c,e),可以得到二值矩阵的表示。由传,递性，,(a,b),和,(b,d),蕴涵,(a,d),。包涵,这些隐含关系的集合称为传递闭包,记为,R,+,a b c d e,1 1 0 0 0a,0 0 0 1 0b,R= 0 0 0 0 1c,0 1 0 0 0d,0 0 0 0 0e,a b c d e,1 1 0 1 0a,0 1 0 1 0b,R,+,= 0 0 0 0 1c,0 1 0 1 0d,0 0 0 0 0e,例如,R=(a,a), (a,b), (b,d),(d,b),(c,e),时，,R,+,=R,(a,d),(b,b),(d,d),一般地说，,R,+,= R + RR + R(RR) + + R,n,距离量度,设有三个像素,p,q,r,，坐标分别为,(x,y), (s,t), (u,v),。,D,是距离，满足：,（,1,）,D(p,q), 0, D(p,q) = 0,当且仅当,p = q,。,（,2,）,D(p,q) = D(q,p),（,3,）,D(p,r) D(o,q) + D(q,r),欧氏空间距离,E,(p,q) = (x-s),2,+ (y-t),2,),1/2,4-,连通空间距离,D,4,(p,q) = |x-s| + |y-t|,8-,连通空间距离,D,4,(p,q) = max|x-s|, |y-t|,m-,连通空间距离,D,m,(p,q),与路径有关。,2.8,算术和逻辑运算,图像的四则运算中是逐个像点进行的。加法常用来去除噪音，减法常用在医学成像，乘除法常用来矫正图像中的灰度阴影。,常用的逻辑运算有,（,1,）与（,AND,）,（,2,）或（,OR,）,（,3,）补（,NOT),以上运算既可用于整幅图像的运算，也可以用于邻域运算。例如，一点及其,-,邻域的算术平均作为该点的新值。现在常用算术和逻辑运算的单元,ALU,来加速运算。,2.9,坐标变换,请复习已学过的教材,第,3,章 象素空间关系,图象是由象素组成。图象以象素为单位建立坐标系。通常是,x,轴向左，,y,轴向下。,图象的坐标变换就是象素的坐标变换。所谓空间变换就是把象素从一个空间变换到另一个空间的坐标变换。,坐标变换的一个应用是对图象的几何失真进行校正。,一个象素,的邻域是指该象素周围的象素集合。,一个象素,p,的周围有八个象素，它们共同组成了该象素的,8-,邻域,N,8,(p),。一个象素与上下左右的四个象素组成了,4-,邻域,N,4,(p),。一个象素与四个角上的象素组成了对角邻域,N,D,(p),。,同类灰度的象素间的邻接，连接和连通问题：,两个象素彼此落在对方的,4-,邻域内，称为,4-,连接,两个象素彼此落在对方的,8-,邻域内，称为,8-,连接,如果两个象素或者是,4-,连接，或者不是,4-,连接但落在对方的对角邻域,N,D,(p),内，那么称为混合连接（,m-,连接）。,3.1,象素间联系,混合连接可以避免,8-,连接造成的多路问题。,两个象素集合的连通是指它们在指定的邻域内有一条通路。,例如图中的左上角和右下角,按,4-,连接是不连通的；,按,m-,连接是连通的；,按,8-,连接是连通的,但是道路不是唯一的。,两个象素,p,和,q,之间的距离即满足下列三个条件的一个函数,D,：,D(p,q), 0,，,当且仅当,p=q,时,D(p,q)=0.,D(p,q)= D(q,p),D(p,q) +D(q,r), D(p,r).,D,E,(p,q),表示,p=(x_p,y_p),和,q =(x_q,y_q),之间的欧氏距离,D,E,(p,q) = (x_p x_q),2,+ (y_p y_q),2,1/2,D,4,(p,q),表示,1-,范数下的距离,D,4,(p,q) = |x_p x_q|+,|y_p y_q|.,D,8,(p,q),表示,-,范数下的距离,D,4,(p,q) = max|x_p x_q|,|y_p y_q|.,1,0,1,1,1.4,1,1.4,1.4,1.4,0,1,1,1,1,2,2,2,2,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,最右边的图中象素到边界的距离是多少？,各象素到中心的距离,D,：,3.2,基本坐标变换,在计算机图形学中已经讲过。基本的坐标变换是平移、伸缩、旋转。,复杂坐标变换是它们的级连。,错切是三种基本变换的乘积吗？,3.3,形态变换,3.3.1,变换体系,1,、形态变换及其分类,形态变换是将平面区域映射到平面区域的变换。,形态变换,表、规则,解析式,非连续,连续,不光滑,光滑,线性,非线性,仿射变换,欧氏变换,刚体变换,相似变换,平移变换,旋转变换,放缩变换,点,p,到,q,的投影变换,可以写成,其中,A,是,2,2,矩阵。,投影变换可以写成非奇异三阶齐次矩阵的形式。注意：一般地说，投影是二阶的非线性变换，但是都可以写成三阶矩阵的齐次形式。,仿射变换是一个非奇异的线性变换接上一个平移变换：,或写成,仿射变换的性质,仿射变换把原点映射为,(t,1,t,2,1),，一般不再是原点。所以一般的仿射变换不是线性变换。如果做一个平移变换，使上面公式中的,t = 0,，那么仿射变换就是任何的非奇异矩阵,A,。另一方面，仿射变换的形式也说明它不包含投视投影。因此，它是三种基本变换的连乘，而具有如下的性质。,（,1,）仿射变换将有限点映射成有限点。,（,2,）仿射变换将直线变成直线。,（,3,）仿射变换将平行直线映射成平行直线。,（,4,）当区域,P,和,Q,是没有退化的三角形时，有唯一的仿射变换,A,将,P,变成,Q,。,特殊的,仿射变换：相似变换,当上述仿射变换中,A=sR,时称为相似变换，其中，,s,是实数，,R,是旋转变换。,当,s=,1,和,R,为,正交矩阵时上述仿射变换称为刚体变换，属于等距变换。,当,s=,1,和,R,为,正交矩阵,时,上述仿射变换称为欧氏变换。,仿射变换的另一种说法：一个经过平移的非奇异线性变换。,3.4,几何失真校正,采样的过程中图象中象素之间的空间位置可能发生变化，产生几何失真。我们需要校正几何失真。,设原图象在,(x,y),处的灰度为,f(x,y),，失真后变成在,(x,y,),处的灰度,g(x,y,),。因此，校正几何失真包括两部分：,（,1,）空间变换 把点,(x,y,),恢复到位置,(x,y),（,2,）灰度插值 把灰度,g(x,y,),恢复到,f(x,y),。,空间变换,设点,(x,y,),与,(x,y),的关系是,最简单的情况是线性：,较复杂的情况是二次的：,如果知道,s(x,y),和,t(x,y),的解析表达式，就可以通过求,反函数来得到,x,和,y,。,对于一个四边形的空间变换，可以首先确定四个对应顶点，,然后用双线性插值的方法：,问题：怎样用两次线性插值来作呢？,如果几何失真的面积比较大，那么如果用分块来,提高校正的效果呢？,灰度插值,尽管,(x,y,),坐标分量是整数值，但是计算出来的新坐标,(x,y),未必有整数分量，而且确定新坐标处的灰度值。,有两种方案：前向映射和后向映射,前向映射：把从实际采集的失真图象的象素灰度值赋给原始,不失真图象的象素。如果失真图象的象素,P,映射到,Q,，,Q,落在,四个原始不失真图象的象素之间，就,取这四点处的灰度值作,双线性插值，作为,象素,Q,的灰度值,。,后向映射：把灰度值从原始不失真图象的象素,P,映射到实际采集的失真图象的象素,P,上。如果实际采集的象素,Q,落在,四个象素,P,（,非整数点）之间，就,取这四点,P,的灰度值作双线性插值，作为,象素,Q,的灰度值,。,插值灰度的计算：,-,零阶插值：取最近的点的灰度,-,双线性插值：,-,三次线性插值：,双线性插值：,设,(x,i,y,i,),i=1,2,3,4,是按反时针方向包围,Q,的矩形的四个象素。,先作,然后，,第,4,章 空域增强技术,图象增强技术是使图象的某种指定效果更好。例如，使,X,透视照片更清晰。,分成两大类：空域增强技术和频域增强技术。其中，空域指象素组成的空间。,空域增强技术直接作用于象素。可以表示为,g(x,y) = E,H,(f(x,y),其中,f,和,g,分别是增强前后的图象,.,这个变换不改变象素的位置，仅改变象素的灰度,f(x,y),。,4.1,空间技术分类,如果变换,E,H,仅用一个点，称,E,H,为点运算（点处理）。如果变换,E,H,还用到点,(x,y),邻域内的点,那么记变换,E,H,为,g(x,y)=E,H,(f(x,y),，,n),，,称为模板处理。,点操作可以分为灰度操作和集合操作,它们仅根据该点的灰度和位置,分别改变原灰度为新灰度,(,称为灰度变换或灰度映射,),和原位置为新位置的象素,.,灰度操作可以把不同的灰度变成同一个灰度,集合操作可以把不同位置变成同一个位置,.,因此,它们可能不是可逆的变换,.,4.2,图象间运算,4.2.1,算术和逻辑运算,算术运算一般用于两个象素,p,q:,p+q,p-q,p*q,和,p/q.,应用,:,图象之间,f(x,y),和,h(x,y),的差异用减法求出,g(x,y) = f(x,y),h(x,y).,图象之加法可以消去噪音,e(x,y),。设图象信号为,f(x,y),加上噪音后变成,g,i,(x,y) = f(x,y)+e,i,(x,y).,假设噪音,e,i,互不相关和,E(e,i,)=0,那么,n,幅图象的平均将压制噪音,:,逻辑运算,补,NOT,与,AND,或,OR,异,XOR,应用,:,检测目标的边界,向右移动一个象素后,依次作与运算、差运算得到左边界。类似做出上、下、左边的边界。,直接灰度映射,4.3.1,灰度映射原理,将图象中的灰度值按某种规律映射成新灰度。在对于彩色图象做灰度映射时应注意保持色调和饱和度相同，只改变亮度。（,HSV,）,t,0,原灰度,新灰度,s,典型灰度映射,图象求反,对图象求,反是将原图象的灰度值反转。例如，黑底的照片变成白底的照片。设灰度有,L,个等级。原灰度是,d,新灰度是,L-1-d,。,L-1,L-1,0,原灰度,新灰度,d,增强对比度,增加图象的各部分的反差。例如，图象落在灰度,s,1,和,s,2,之间的部分是感兴趣的部分，而其他部分不重要。那么可以把灰度,s,1,和,s,2,之间的部分的灰度反差变大。,S,1,S,2,L-1,0,L-1,动态范围压缩,原图象的灰度范围过大，因此，,需要压缩到可以显示的堆度范围。例如，,t = C log(1+|s|). C,为尺度比例常数。,s,t,灰分切分,把某部分的灰度变得突出。,s,t,直方图变换,直方图和积累直方图,图象的,灰度统计称为直方图。假设图象有,n,个象素，灰度等级有,k,= 0,1,L-1,个。,s,k,为第,k,个等级的象素的灰度，设该象素在图象中共有,n,k,个，那么该象素出现的频率是,为了规范化，,把,s,k,限制在,0,到,1,内,。当,k,跑遍,0,1,L-1,时，就给出了一个函数图形，称为直方图。直方图是一个,1D,的离散函数。,积累直方图就是由前,k,等级之和所生成的积累直方图。,L-1,L-1,P,s,(,s,k,),E,H,(,s,k,),k,k,直方图均衡化,设,p,s,(,s,k,) =,n,k,/n,，,0,s,k,1,k,=0,1,L,-1.,即灰度,s,k,的象素占全体象素的比例是,p,s,(,s,k,),。,令,E,H,(,s,k,),是单调增加函数，它等于灰度在,s,k,以下的象素所占的比例。可以写出反函数：,s,k,t,k,s,k,t,k,假设,t,k,= E,H,(s,k,)=1/4,，那么，,灰度,s,k,映射到,t,k,意味着,t,k,=1/4,以下的灰度占象素总数的,1/4,。,如果,t,k,= E,H,(s,k,)=1/2,，那么,t,k,=1/2,以下的灰度占象素总数的,1/2,。,即,t,k,的直方图是均匀分布。,直方图的计算,直方图均衡化的计算：假设,原图象有,L,个灰度，不妨记,s,k,就是灰度,k,。,依次计算频率,p,(,k,),n,k,/,n,k,=0,1,L,-1.,计算积累直方图,E,H,(,k,),k,=0,1,L,-1.,用下式计算,t,k,的近似值：,由于,t,k,在零与一之间，应该把,t,k,映射到在,0,L,-1,范围内的一个整数，所以用,L,-1,乘以,t,k,后取整,即,(,L,-1),t,k,。由此来确定灰度,k,到,(,L,-1),t,k,的灰度映射关系。,的,p,k,直方图的规定化,规定化即把图象的直方图变成指定的直方图。,作法是先把它们都变成均衡化的直方图，再把第一步得到的变换反转过来使用。,变换反转需要确定对应的规则。,SML,选使下式最小的,k,和,l:,GML,使用组映射规则，设有一个整数函数,(,l,),l,=0,N-1,，使得,0,I(0) I(1) I(N-1) M-1.,现在确定能使,最小的,I(,l,),。如果,l,，将,i=0,I(0),的,p,s,(s,i,),对应到,p,u,(u,0,),否则，将,i=I(,l,-1)+1,I(,l,),的,p,s,(s,i,),对应到,p,u,(u,l,).,.5,线性,滤波器,技术分类和实现原理,技术分类根据功能分成平滑滤波和锐化滤波。,平滑滤波减弱和消除高频分量，使图象灰度平滑。,锐化滤波减弱和消除低频分量，是图象反差增大。,.,模板卷积,方形模板在图象中漫游，中心对准一个象素。,4.5.2,线性平滑滤波器,1.,邻域平均,g(x,y) =,模板中象素灰度的平均,.,加权平均,g(x,y) =,模板中象素灰度的加权平均。,常用高斯分布来计算各系数值。常用小模板。,可选模板,M=2n+1, n=2,+1,。也有用,3,作为窗口半径。,4.6,非线性滤波,分,成三个发展方向：逻辑、几何和代数，分别基于集合、形状和排序。下面介绍基于排序的方向。,4.6.1,非线性平滑滤波器,1-D,中值滤波原理,非线性、基于模板。设模板尺寸,2r+1,r,为半径。,给定一维信号,f,i, I=1,2,N.,则中值滤波的输出为,g,j,=,数组,f,j-r,f,j-r+1,f,0,f,j+r-1,f,j+r,的中值。,其中，,f,j,的下标在,0,到,N,之间。这意味着对该数组排序，然后,输出一个数， 使它既不大于又不小于其中的,r+1,个数,。,中值滤波能完全消除孤立的脉冲（零脉冲响应）和不影响理想的阶跃响应。,能被中值滤波完全除去的脉冲的最大长度依赖于滤波器的模板长度。,.,-D,中值滤波原理,取模板尺寸,n,n,，,对数组排序，然后取一个数，使它,使它既不大于又不小于其中的,n,2,/2,个数。实际操作时，让模板在图象中游动。中值滤波能消除孤立的脉冲。,邻域平均滤波器在去掉孤立脉冲时模糊了图象，中值滤波器在去掉孤立脉冲时不影响图象。但是，中值滤波不能去掉服从高斯分布的噪音。,.,中值滤波的模板,效果与模板的大小有关，也与模板中参与运算的象素个数有关。用稀疏模板运算速度较快。,.,均值、中值和最频值,最频值是出现频率最高的值。如果图象有单个峰值的对称直方图，那么均值、中值和最频值相等。如果图象有单个峰值的直方图，那么最频值对应最高峰，而中值比均值更接近最频值。,.,序统计滤波器,中值滤波是,序统计滤波器的特例，例如，最大值滤波器和最小值滤波器也是序统计滤波器。中点滤波器是最大值滤波器和最小值滤波器的平均。,4.6.2,非线性锐化滤波器,.,微分方法可以锐化图象。,用两个差商来代替微分：,分别用范数、 范数和,范数计算时,.,锐化滤波器的通用性质,(1),零位移。,锐化滤波器不改变边缘的位置。应具有反对称性。,(2),消除均值。锐化滤波器均值为零。,(3),无选择性的微分。微分操作只对象素灰度敏感。,(4),对称性质。,.,最大最小锐化变换,最大最小锐化变换的迭代实现：,局部增强,对图象的一部分进行增强,例如,将图象分成一系列子图象,并对子图象进行直方图等操作,利用局部的均值,m,和均方差,g(x,y) = A(x,y)f(x,y)-m(x,y)+m(x,y),其中,A(x,y)=kM/,(x,y),称为局部增益函数,M,为平均灰度,k,为比例系数,.g(x,y),右边的第一项能放大图象的局部变化,第二项恢复均值,.,第,5,章 基本图象变换,5.1,基本图象变换,5.2,可分离和正交图象变换,5.3,傅里叶变换,5.4,沃尔什,/,哈达玛变换,5.5,离散余弦变换,5.6 Radon,变换,图象变换,可分离变换,统计变换,傅氏变换,其他变换,霍特林变换,5.2,可分离和正交图象变换,1D,变换,:T(u),是,f(x),的变换,.,g(x,u),称为正向变换核,.,反变换是,h(x,u),称为反向变换核,.,2D,变换,:T(u,v),是,f(x,y),的变换,.,如果核具有下列性质,则称,g,是可分离核,:,如果,g,1,= g,2,那么,2D,对称可分离变换可以写成两个相继的,1D,变换,:,分别记,S(x,v),f(x,y),g(y,v),和,T(u,v),组成的矩阵为,S,F,A,和,T,那么,S(x,v),是,A,的第,u,行与,F,的第,y,列的乘积,即,S=AF,而,T(u,v),是,S,的第,u,行与,G,的第,v,列的乘积,即,T=SA.,T = SA = AFA.,其中,F,是,N,N,图象,A,是,N,N,对称,.,取,B,为,A,的逆矩阵,那么,BTB = BAFAB = F.,如果,B,不等于,A,-1,那么,F,*,= BAFAB,是,F,的一个近似,.,5.3,傅里叶,变换,离散的傅里叶变换和性质,1,、由,1,维傅里叶变换（,FT,）和逆变换的公式,离散的,1,维傅里叶变换（,DFT,）和逆变换的公式是,，,u = 0, 1, N-1;,，,x=0,1,N-1,.,这里把,f,(,x,),理解为一个离散函数，,其中，,除了,x=0,1,N-1,处以外,f(x),等于零。,因为,F(u),是周期函数，,u,取值,0,1,N-1,时，,exp-2ju/N,以,N,为周期。所以,F(u),是在整个频率域内有定义的。取且仅取一个周期就包含了足够的原来,f(x),的信息。特别地，,离散的,2,维傅里叶变换（,DFT,）和逆变换的公式。,其中记,u=0,1, M-1, v=0,1,N-1; x=0,1,M-1, y=0,1,N-1.,分别为,这些公式的推导如下。以间隔,x,和,y,，从图像中取,M,N,个样本，,x = 0,1,M; y = 0,1,N,。同样地，在图像的傅里叶变换的像中，以间隔,u,和,v,，取,M,N,个样本，,u = 0,1,M; v = 0,1,N,；使得,x,u = 1/M,和,y,v = 1/N,。,这就完成了证明,.,另一方面,傅里叶变换的像是一个二维复数矩阵。它是,值得注意的是：显示器不能正确地显示,F(u,v),。这是因为傅里叶变换的像是一个复数矩阵。必须分别显示它的实部和虚部，或它的模和幅角。,二,维,DFT,的性质：,1,、,分离性,因此，二维,DFT,可以用相继的两个一维的,DFT,来计算：,2,、平移性,傅里叶变换象在零频率处为，它的模反映了背景光照的强度，通常是比较亮的。但是，由于空间坐标是从左上角的,(0,0),开始的，对应零频率的点也就落在频率窗口的左上角，造成左上角比较亮。再由于傅里叶变换的周期性，在窗口的四个角处都比较亮。其实这四个角的顶点是同一个点。因此，希望把傅里叶变换象的中心（零频率）移到窗口中心去。注意到傅里叶变换的,u,和,v,是从低频到高频排列的。当取,(u,0,v,0,),为图像作傅里叶变换后的像的中心时，即,u,0,= M/2, v,0,= N/2,时，根据上面的性质，,所以，只要先对,f(x,y),作变换,f(x,y)(-1),x+y,，然后作傅里叶变换，就可以把傅里叶变换象的零频率移到窗口中心去。反过来，当把这样的傅里叶变换后的像变回到原时间函数时，需要把所得到的,f(x,y),再作变换,f(x,y)(-1),x+y,。这里有一个问题：图象,f(x,y),是灰度值，总是不小于零的。但是，,f(x,y)(-1),x+y,会交替的变号。如果用显示器来显示变号的灰度图象，那么显示的结果依赖于设备的设置。通常，显示时负的灰度值自动取为零。进一步，一幅灰度范围在,0-100,内的图形未必比灰度范围在,0-255,内的图形暗淡。这是因为在前一种情况下，显示器可能自动地把最高的亮度赋予,100,灰度。换句话说，显示器的自动设置可能会改变图象的显示结果。,1,3,、,周期性和共扼对称性,设,M,和,N,分别是横纵轴的周期。,如果,f,是实函数，那么,事实上，,如果,f,是实函数，那么,4,、旋转性质,做变换,x = r cos, y = r sin,和,u = w cos,，,v = w cos,，,那么,事实上，,5,分配律,6,尺度变换,7,平均值,是,8,一维卷积,的平均值。,例如，设,f(z) =,0,1,(z), g(z)=0.5,0,1,(z),。那么，,f(z)g(x-z) = 0.5,0,1,(z),0,1,(x-z),中，当且仅当,z,和,x-z,都落在区间,0,1,内的时候才是一，否则是零。,0,z,1,和,0,x-z,1,。即,当,0,x,1,时,0,z,x,；当,1 x,2,时,x-1,z,1,。,当,0,x,2,时，,f(z)g(x-z) = 0.5,，否则等于零。,它们的卷积等于,0,x,卷积有下列性质：设,F,和,G,分别是,f,和,g,的傅里叶变换。则,事实上，卷积经过傅里叶变换，,离散采样的两个函数的卷积问题需要考虑到周期的长度影响。假设两个函数,f,和,g,有相同的周期,M,。根据卷积,f,*,g,的定义，该卷积也有相同的周期,M,。计算卷积时，只能使用,f,的一个周期内的数值和,g,的一个周期内的数值。如果,f,采样,A,个,f(0),f(1),f(A-1),，,g,采样,B,个,g(0),g(1),g(B-1),，随着,x,的变化，乘积,f(z)g(x-z),不等于零的长度是,A+B-1,。当,M,A+B-1,时，该乘积才不会越出一个周期的范围而造成重叠取样。此时，为了便于使用离散卷积公式，补充规定,f(x) = 0,当,A,x,M-1,g(x) = 0,当,B,x,M-1,。,离散卷积公式是,：,x = 0,1,M-1,。,相关性,例如，设,f(z) =,0,1,(z), g(z)=0.5,0,1,(z),。那么，,f(z)g(x+z) = 0.5,0,1,(z),0,1,(x+z),，,当且仅当,0 ,z,1,和,0 ,x+z,1,时才是一，否则是零。即,当,-1 ,x,0,时,-x ,z,1,；,当,0 1),bw(:,:)=(h(:,:,1)+h(:,:,2)+h(:,:,3)/3;,h=bw/3;,end,%,调整灰度到,0,到,255,之间。否则,maxValue=max(max(h);,h1=h*255/maxValue;,figure;,imshow(uint8(h1);,% 2D Fourier,变换和平移频率,0,到中心,得到,2D,复数值图像,hf=fftshift(fft2(h);,%,画出其模的图像。如果直接用,imshow(uint8(hf),将得到下面的图象,.,hfa=log(abs(hf);,maxValue=max(max(hfa);,h2=hfa*255/maxValue;,figure;,imshow(uint8(h2);,%,低通滤波器（半径平方在,1000,以内）,a=m/2; b=n/2;,for i=1:m,for j=1:n,if(i-a)*(i-a)+(j-b)*(j-b)1000),hf(i,j)=0;,end,end,end,hfa=log(abs(hf);,maxValue=max(max(hfa);,h3=hfa*255/maxValue;,figure;,imshow(uint8(h3);,ih=ifft2(fftshift(hf);,hfa=log(abs(ih);,ma