第三章-图像变换课件

数字图像处理数字图像处理 (Digital Image Processing）湖北师范学院教育信息与技术学院湖北师范学院教育信息与技术学院第三章第三章 图像变换图像变换3.1 引言引言3.2 空域变换空域变换3.3 图像的频域变换图像的频域变换3.4 离散傅立叶变换离散傅立叶变换3.5 离散余弦变换离散余弦变换3.6 KL变换变换3.7 其他正交变换其他正交变换 3.1 引言引言图像的数学变换的特点在于其有精确的数学背景，是许多图像处理技术的基础。在这些变换中，一种是在空间域上进行的，这些变换根据处理操作的特点，可以分为图像的代数运算和几何运算，它们都是利用对输入图像进行加工而得到输出图像。另一种重要的数学变换则是将原定义在图像空间的图像以某种形式转换到另外一些空间，并利用输入图像在这些空间的特有性质有效而快速地对图像进行处理和分析。最典型的变换有离散傅立叶变换，它把空域中的图像信号看作二维时间序列，将其变换到频率域来分析图像的频谱特性。空域变换有如加法、减法等的代数变换，也有如旋转、拉伸等的几何变换；频域变换除了傅立叶变换外，常用的非空域的变换还有离散余弦变换等。无论是在空域中的数学变换还是频域中的数学变换，它们在图像分析、滤波、增强、压缩等处理中都有着非常典型而重要的应用。3.2 空域变换空域变换1.代数变换代数变换图像的代数变换是指对两幅图像进行点对点的四则运算而得到一幅新的输出图像。图像的代数运算在图像处理中有着广泛的应用，它除了可以实现自身所需要的算术操作，还能为许多复杂的图像处理提供准备。1）加法运算）加法运算2）减法运算（差分）减法运算（差分）+=线性变换非线性变换3）其他灰度变换）其他灰度变换灰度变换的变换函数曲线如下图：(1)图象求反图象求反0255255(2)对比度拉伸对比度拉伸(3)动态范围压缩动态范围压缩02552552.几何变换几何变换图像在生成过程中，由于系统本身具有非线性或拍摄角度不同，会使生成的图像产生几何失真。几何失真一般分为系统失真和非系统失真。系统失真是有规律的、能预测的；非系统失真则是随机的。几何变换可以改变图像中物体之间的空间关系。这种运算可以看成是图像内的各物体在图像内移动的过程。例如，物体的转动、扭曲、倾斜、拉伸等等，都是几何运算的结果。如下图：1）平移）平移2）放缩）放缩3）旋转）旋转0,0 xy0,0 xy4）水平镜像）水平镜像0,0 xy5）垂直镜像）垂直镜像6）一般的几何变换）一般的几何变换下图显示了在失真和相应的校正图像中的四边形区域，四边的顶点是相应的“控制点”。假设四边形区域中的几何形变过程用双线性方程对来建模，即：FDCBAFDCAB7）几何变换中灰度插值）几何变换中灰度插值对图像作定量分析时，就要对失真的图像进行几何校正（即将存在几何失真的图像校正成无几何失真的图像），以免影响分析精度。基本方法是先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。通常分为两步：(1)图像空间的坐标变换；(2)确定校正空间各象素的灰度值。输出象素通常被映射到输入图像中的非整数位置，即位于四个输入象素之间。因此，为了决定与该位置相对应的灰度值，必须进行插值运算。常用的插值方法有3种：(1)最近邻插值(NearestNeighborInterpolation)(2)双线性插值(BilinearInterpolation)(3)三次立方插值(1)最近邻插值(NearestNeighborInterpolation)最简单的插值方法是最近邻插值，即选择离它所映射到的位置最近的输入象素的灰度值为插值结果。数学表示为：(2)双线性插值(BilinearInterpolation)双线性插值法是对最近邻法的一种改进，即用线性内插方法，根据点的四个相邻点的灰度值，分别在x和y方向上进行两次线性插值插值。如下图：首先，在x方向上作线性插值，对上端的两个顶尖进行线性插值得：类似的，对于底端两个顶点进行线性插值有：y方向上作线性插值，以确定：最后得到双线性插值插值公式为：(3)三次立方插值该方法利用三次多项式来逼近理论上的最佳插值函数，其数学表达式为：上式中的是周围象素沿方向离原点的距离。待求象素的灰度值由其周围16个点的灰度值加权内插得到。可推导出待求象素的灰度值计算式为：其中：.2 .1 0 1 2S(x)x三次立方插值原理图0uv(x,y)(i,j)(i+1,j)(i+1,j+1)(i,j+1)(i.1,j.1)(i.1,j+2)(i+2,j.1)(i+2,j+2)3.3 图像频域变换图像频域变换线性系统线性系统 系统的定义：接受一个输入，并产生相应输出的任何实体。系统的输入是一个或两个变量的函数，输出是相同变量的另一个函数。线性系统定义线性系统定义对于特定的系统，有：X1(t)y1(t)X2(t)y2(t)该系统是线性的当且仅当：1.图像的频域变换的理论基础图像的频域变换的理论基础x1(t)+x2(t)y1(t)+y2(t)从而有：ax1(t)ay1(t)线性系统线性系统移不变性移不变性的定义的定义对于某线性系统，有：x(t)y(t)当输入信号沿时间轴平移T，有：x(t-T)y(t-T)则称该线性系统具有移不变性移不变性。卷积的定义卷积的定义对于一个线性系统的输入f(t)和输出y(t)，其间必定存在关系：h(t)称为线性系统的单位冲激响应函数单位冲激响应函数，其含义为：当线性系统输入f(t)为单位脉冲函数时，线性系统的输出响应线性系统的输出响应。上式称之为卷积积分。上式称之为卷积积分。脉冲函数的极限定义：脉冲函数可以看成是一系列函数的极限，这些函数的振幅逐渐增大，持续时间逐渐减少，而保持面积不变。脉冲函数的定义脉冲函数的定义(也叫函数):离散一维卷积离散一维卷积二维卷积的定义二维卷积的定义离散二维卷积离散二维卷积相关相关的定义的定义 任意两个信号的相关函数定义为：相关与卷积的关系：相关与卷积的关系：2.正交变换正交变换正交变换正交变换连续函数集合的正交性 当C=1时，称集合为归一化正交函数集合,即每一个向量为单位向量 其物理意义为多维空间坐标的基轴方向互相正交。正交函数集合的完备性若f(x)是定义在t0和t0+T区间的实值信号，平方可积。可以表示为：对任意小的0，存在充分大的N，用N个有限展开式估计f(x)时：可有：则称函数U集合是完备的。正交函数集合完备性的物理意义任何数量的奇函数累加仍为奇函数任何数量的偶函数累加仍为偶函数因此为了能用累加展开式来表示一个任意函数，就要求这个函数集合中既有奇函数又有偶函数正交函数集合完备性图例(a)完备(b)不完备正交函数的离散情况N个正交向量当C1时，成为归一正交化归一正交化正交函数的离散情况N个正交向量矩阵必满足：一维正交变换对于一维向量f，用上述正交矩阵进行运算：若要恢复f，则以上过程称为正交变换正交变换。一般范式酉变换若A为复数矩阵，正交的条件为：其中A*为A的复数共轭矩阵，满足这个条件的矩阵为酉矩阵(unitary matrix)。对于任意向量f的运算称为酉变换(unitary transform)：二维酉变换 NN 二维函数可以类似于一维用正交序列展开和恢复。变换核的可分离性为一维完备正交基向量的集合。用矩阵表示：通常选择A=B。二维酉变换，A=B时，二维酉变换正变换表示为：用矩阵表示：类似的，对于MN的二维函数f(x,y)基图像对反变换可看成是基图像权因子酉变换的性质1.酉矩阵是正交阵4.酉变换能量的紧缩正交酉变换往往趋于将信号能量压缩到相,对少的变换系数中，由于总能量保持不变，因此许多变换系数将包含很少的能量KL变换可以达到最大的能量紧缩。变换可以达到最大的能量紧缩。5.酉变换去相关当输入向量元素间高度相关时，变换系数趋向于去相关，这意味着协方差矩阵的非对角项和对角项相比趋于变小。KL变换可以达到完全的去相关。变换可以达到完全的去相关。则F(u,v)的均值为：F(u,v)的协方差为：7.其他性质：(1)A为酉阵，则其行列式值|A|=1(2)若a为向量，则作酉变换后向量模保持不变：b=Aa，则|b|=|a|。将图像看成是线性叠加系统；图像在空域上具有很强的相关性；图像变换是将图像从空域变换到其它域如频域的数变换；借助于正交变换的特性可使在空域上的复杂计算转换到频域后得到简化；借助于频域特性的分析，将更有利于获得图像的各种特性和进行特殊处理。图像变换定义图像变换定义可进行图像变换的基本条件可进行图像变换的基本条件满足正交、完备两个条件的函数集合或矩阵才能用于图象的分析。常用的几种变换：傅里叶变换、常用的几种变换：傅里叶变换、WALSH变换、哈达玛变换、变换、哈达玛变换、K-L变换等，都变换等，都满足正交性和完备性两个条件。满足正交性和完备性两个条件。3.离散图像变换离散图像变换将离散图象的正交变换为图象信号在一组二维离散完备正交基上的展开,这种正交基展示具有无损重构的性质,以及图象能量的集中和图象信号元素的去相关性能,在图象处理中具有重要的作用。若离散图象f(m,n)及其在离散完备正交基a(u,v;m,n)上的展开系数为g(u,v)，即：离散图像的正交变换离散图像的正交变换1、二维离散完备正交基a(u,v;m,n)的正交性满足离散图像正交变换的特性离散图像正交变换的特性正交性保证变换后图象的紧缩性，图象的去相关性和保证任何被截断的级数展开将使均方误差和为最小。2、二维离散完备正交基a(u,v;m,n)的完备性满足完备性保证变换后图象无失真的重构，即保证了当包括了全部系数时，重构误差将为零。3.4 离散傅立叶变换离散傅立叶变换调谐信号(欧拉公式)：傅立叶积分：其中t代表时间，f代表频率。基本数学概念基本数学概念1.连续傅立叶变换连续傅立叶变换f(x)为连续可积函数，其傅立叶变换定义为：R(u)，I(u)分别称为傅里叶变换F(u)的实部和虚部。傅立叶变换的定义(一维)其反变换为：通常f(x)的傅里叶变换为复数，可有通用表示式为：可进一步写为指数形式：其中：称之为f(x)的幅度谱、振幅谱或富里叶谱。称之为f(x)的相位谱、相位角。变换分析的直观说明：把一个信号的波形分解为许多不同频率正弦波之和。一维傅立叶变换举例：方波信号：经过傅立叶变换后：几种特殊函数的傅里叶变换：矩形函数：矩形函数的傅里叶变换：sin(x)/x类函数：sin(x)/x类函数的傅里叶变换：常数函数：常数函数的傅里叶变换：脉冲函数：脉冲函数的傅里叶变换：余弦函数：余弦函数的傅里叶变换：一维离散傅立叶变换(DFT)一维离散傅立叶变换公式为：逆变换为：二维离散傅立叶变换(2DFT)二维傅立叶变换由一维傅立叶变换推广而来：2 2）2D2D傅立叶傅立叶变换变换 傅立叶变换可推广到二维函数。如果二维函数f(x,y)满足狄里赫莱条件，那么存在下面的二维傅立叶变换对：类似于一维傅立叶变换，二维傅立叶变换的幅度谱和相位谱：2.2.离散离散傅立叶傅立叶变换变换 如果x(n)为一数字序列，0nN-1,则其离散傅立叶变换定义如下：其中，u,m均取0,1,M-1；v,n均取0,1,N-1；W1=exp(-j2/M)；W2=exp(-j2/N)）。二维离散傅立叶变换二维离散傅立叶变换：3.3.离散离散傅立叶傅立叶变换的性质变换的性质 傅立叶变换有许多重其要的性质，这些性质为实际应用提供了诸多便利。下面以二维傅立叶变换为例，介绍几个主要的性质。1 1）可分离性）可分离性令：令：则：则：2 2）线性）线性 傅立叶变换是线性变换，满足线性变换的叠加性：3 3）共）共轭轭对称性对称性 如果F(u,v)是f(x,y)的傅立叶变换，F*(-u,-v)是傅立叶变换的共轭函数，那么：4 4）旋转性）旋转性 如果空间域函数旋转的角度为0,那么在变换域中此函数的傅立叶变换也旋转同样的角度，即：5 5）比例变换性）比例变换性 如果如果是的傅立叶变换，a和b是两个标量，那么：6 6）ParsevalParseval定理定理 这个性质也称为能量保持定理。如果F(u,v)是f(x,y)的傅立叶变换，那么有下式成立：这个性质说明变换前后的能量保持不变。7 7）相关定理）相关定理 两个二维函数f(x,y),g(x,y)的相关函数定义如下：符号“”表示相关运算。傅立叶变换的一个重要性质是相关定理：8 8）卷积定理）卷积定理 两个二维函数f(x,y),g(x,y)的卷积运算定义如下：符号“*”表示卷积运算。根据上面的定义，傅立叶变换的卷积定理如下：4.快速傅立叶变换快速傅立叶变换 1965年，库利图基提出把原始的N点序列依次分解成一系列短序列，然后求出这些短序列的离散傅立叶变换，以此来减少乘法运算，这就是快速傅立叶变换（FastFourierTransform,FFT）。对于一个有限长序列x(n)，0nN-1,按n的奇偶把x(n)分解为两个N/2点的子序列:其傅立叶变换为：前一半的值前一半的值后一半的值后一半的值复乘：复加：一次分解后一次分解后的运算量的运算量：点DFT点DFT每个每个 点点DFT 分解成两个分解成两个 点点DFT。点DFT点DFT点DFT点DFT第一级第一级第二级第二级第三级第三级所需的所需的运算量运算量：上面称为DIT-FFT算法。也可以在频域进行分解，相应算法是DIF-FFT，其蝶形分解图如下：5.离散傅立叶变换的显示离散傅立叶变换的显示下图是一个图的DFT频谱图：离散傅立叶变换的显示对称平移后离散傅立叶变换对称平移方法离散傅立叶变换对称平移后频谱其他几个图像的频谱图：其他几个图像的频谱图：注意观察对应关系Jean Buptiste Joseph Fourier和他的付立叶变换(a)输入图像(b)幅值谱(c)相位谱(d)由幅值谱重构的图象(e)由相位谱重构的图象结论：相位谱可能具有相位谱可能具有更重要的应用更重要的应用3.5 离散余弦变换离散余弦变换1.1D离散余弦变换的正变换离散余弦变换的正变换余弦变换为：余弦变换为：其中，其中，反变换为：反变换为：2.2D离散余弦变换的正变换离散余弦变换的正变换正变换为：正变换为：其中，其中，a(v)与a(u)定义类似。反变换为：反变换为：3.2D DCT基图像基图像二维DCT基图像DCT变换举例：变换举例：3.6 KL变换变换1.离散离散KL变换变换 KL（Karhunen-Loeve）或（）或（DKT），也称为），也称为Hotelling变换、特征向量变换(Eigenvector-BasedTransform)、主分量（PCA）变换等。它是一种利用图像的统计性质/统计模型的变换。常用在数据压缩、特征提取等方面。1）定义）定义设图像f NN(x,y),采样了M次，得到集合fi(x,y),i=1,2,M。对每个图像按行或按列依次排列，得采样图像：Xi=(xi1,xi2,xiN2)T,则有：Mx为均值向量：Mx=EX，CX为协方差矩阵：CX=E(X-Mx)(X-Mx)T,近似表示：令ei,i,i=1,2,N2分别表示矩阵的特征矢量与特征值，将i减序排列，1 i2N2,构造变换矩阵：KL变换：KL反变换：变换后均值为0，方差为：2）性质）性质2.应用应用1）压缩 CX实对称矩阵，总可以找到标准正交的特征向量集合构成A，A-1=A，由Y利用 X=AY+MX 重建X。压缩时，取k个大的i，并构造出Ak,，则离散K-L变换在最小平方误差的意义上最优。特点：1）比其它方法图像压缩的效率高；2）图像标准化（旋转）。其缺点是：1）非分离，需要计算CX，及其特征值、特征向量；2）无快速算法。2）图像旋转第一基向量与数据中最大变化的方向相对应。若目标已抽出，希望与某个标准的、或不变的方向对准。需要处理目标中各像素的坐标。如下图所示：x1(a)y1y2x20e1e2(b)y1y1(c)y1y1二维目标的旋转。(a)原始数据的散布指明单位特征向量的方向；(b)利用变换Y=AX作数据旋转；(c)利用变换Y=A(X-MX)作数据旋转和中心化减少数据量、运算量人脸图像样本库人脸特征样本库待识人脸图像变换矩阵特征变化特征匹配K-L变换身份确认3）KL变换用于图像压缩变换用于图像压缩-人脸识别人脸识别，称为，称为特征脸特征脸1正交变换的一般形式正交变换的一般形式2.Walsh-Hadamard 变换变换3Haar 变换变换4斜变换斜变换5.DST 变换变换6.Hartley 变换变换3.7 其他正交变换其他正交变换1正交变换的一般形式正交变换的一般形式在图像处理技术中，离散图像的正交变换被广泛地应用于图像的特征提取、增强、复原、分割和描述，以及图像的编码和压缩中。这种变换一般是线性的，其基本运算是严格可逆的，并满足一定的正交条件，有时候也称为酉变换。而傅立叶变换、余弦变换就是正交变换的两种，除此之外，还有其他类型的正交变换。正交变换的一般形式为：其反变换为：其中，分别是正变换核函数和反变换核函数。对于2D，有：如果正变换核是可分离的，则有：如果反变换核是可分离的，则有：如果，则称此核是加法对称的。离散傅立叶变换中，因此，傅立叶变换是正交对称变换。2Walsh-Hadamard 变换变换正交变换可写成矩阵形式：其中F是图像，Ac是g1元素构成的行变换矩阵，AR是由g2元素构成的列变换矩阵。T是变换的结果。反变换矩阵形式：Walsh 变换矩阵为：变换矩阵为：Hadamard 变换矩阵为：变换矩阵为：递推式为：递推式为：3Haar 变换变换 Haar变换的核函数为：44的Haar变换矩阵为：88的Haar变换矩阵为：4斜（斜（Slant）变换）变换其变换矩阵为：由22矩阵，通过下面的方式产生NN矩阵：其中，5DST 变换变换其正变换为：反变换为：核函数为：6Hartley 变换变换反变换为：其中，正变换为：核函数为：