小波分析基础

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,College of Mathematics and Computer Science,Hebei University,小波分析基础,1,一、认识小波,1、预备知识,从数学的角度讲，小波是构造函数空间正交基的基本单元，是在能量有限空间,L,2,(,R,) 上满足允许条件的函数，这样认识小波需要,L,2,(,R,) 空间的基础知识，特别是内积空间中空间分解、函数变换等的基础知识。,从信号处理的角度讲，小波(变换)是强有力的时频分析(处理)工具，是在克服傅立叶变换缺点的基础上发展而来的，所以从信号处理的角度认识小波，需要傅立叶变换、傅立叶级数、滤波器等的基础知识。,2,(1.1),一个信号从数学的角度来看，它是一个自变量为时间,t,的函数,f,(,t,)。因为信号是能量有限的，即,满足条件(1.1)的所有函数的集合就形成,L,2,(,R,),图像是二维信号，同样是能量有限的。实际上任何一幅数字图像都是从真实的场景中经过采样和量化处理后得到的。从数学上看，图像是定义在,L,2,(,R,2,)上的函数。,3,如图1所示的LENA图像,f,(,x,y,)，假设图像的大小是512x512，量化级是256，即,x,y,4,2、,L,2,(,R,)空间的正交分解和变换1,对,f,(,t,),L,2,(,R,)，存在,L,2,(,R,) 的一组标准正交基,g,i,(,t,)，,t,R,，,i,=1,2,使得,其中,(1.2),(1.3),5,对于给定信号,f,(,t,)，关键是选择合适的基,g,i,(,t,),，使得,f,(,t,)在这组基下的表现呈现出我们需要的特性，但是如果某一个基不满足要求，可通过变换将函数转换到另一个基下表示，才能得到我们需要的函数表示。常用的变换2有：,(1) K-L变换,(2) Walsh变换,(3) 傅立叶变换,(4) 小波变换,如图所示,是信号,f,(,t,)的傅立叶变换示意图。信号,f,(,t,)经傅立叶变换由时域变换到频域，基底不同得到大变换也不同。,在信号处理中，有两类非常重要的变换即傅立叶变换和,小波变换,。目前，可简单地将小波理解为满足以下两个条件的特殊信号：,小波必须时振荡的；,小波的振幅只能在一个很短的一段区间上非零，即是局部化的。,6,1、Daubechies小波,一些著名的小波3：,7,2、Coiflets小波,3、Symlets小波,8,4、Morlet小波 5、Mexican Hat小波,6、Meyer小波,SKIP,9,不是小波的例,10,RETURN,11,3、傅立叶变换与时频分析4,我们知道，任何复杂的周期信号,f,(,t,)可以用简单的调和振荡函数表示成如下形式：,这就是著名的傅立叶级数，,都是简单的调和,振荡函数，直观讲都是正弦波。,是函数,f,(,t,)的傅立叶系数，,可由以下公式计算：,(1.4),12,于是，周期函数,f,(,t,) 就与下面的傅立叶序列产生了一一对应，即,从数学上已经证明了，傅立叶级数的前N项和是原函数,f,(,t,) 在给定能量下的最佳逼近：,(1.5),(1.6),(1.7),13,对于,L,2,(,R,),上的非周期函数,f,(,t,) ，有,(1.8),(1.9),称,为,f,(,t,)的傅立叶变换，反变换公式为,(1.10),14,有了傅立叶变换，我们可以很容易地将时域信号,f,(,t,)转换到频域 上，于是信号的频率特性一目了然，并且与傅立叶级数一样，傅立叶变换将一段信号的主要低频能量都集中在频率信号的前面几项，这种能量集中性有利于进一步的处理。在过去200年里，傅立叶分析在科学与工程领域发挥了巨大的作用，但傅立叶分析也有不足，主要表现在以下两点：,傅立叶分析不能刻画时域信号的局部特性；,傅立叶分析对非平稳信号的处理效果不好。,下面通过两个例子来说明这两点。,15,例1、歌声信号,歌声是一种声音震荡的波函数，其傅立叶变换就是将这个波函数转化成某种乐谱。但遗憾地是，傅立叶变换无法反映信号在哪一时刻有高音，在哪一时刻有低音，因此结果是所有的音符都挤在了一起，如图所示。,16,小波变换有效地克服了傅立叶变换的这一缺点，信号变换到小波域后，小波不仅能检测到高音与低音，而且还能将高音与低音发生的位置与原始信号相对应，如图所示。,17,例2、信号逼近：如图(a)和(b)是原始信号，其余的是逼近信号。,18,19,因此我们需要这样一个数学工具：既能在时域很好地刻画信号的局部性，同时也能在频域反映信号的局部性，这种数学工具就是“小波”。从函数分解的角度，希望能找到另外一个基函数,(,t,) 来代替sin,t。,(,t,) 应满足以下三个特性：,任何复杂的信号,f,(,t,)，,都能由一个母函数,(,t,),经过伸缩和平移产生的基底的线性组合表示；,信号用新的基展开的系数要能反映出信号在时域上的局部化特性；,新的基函数,(,t,),及其伸缩平移要比三角基,sin,t,更好地匹配非平稳信号。,历史上，,Haar,第一个找到了这样一个基函数，这就是非常著名但又及其简单的,Haar,小波。,(1.11),20,数学上已经证明：,小波级数、信号的小波逼近,构成,L,2,(,R,),的一个正交基，通过规范化处理，,(1.12),构成,L,2,(,R,),的一个规范正交基。故任何一个能量有限信号,f,(,t,),L,2,(,R,) 可以分解为,(1.13),(1.14),(1.15),21,二、小波变换的定义及特点,定义1,1函数,(,t,),L,2,(,R,) 称为基本小波，如果它满足以下的“允许”条件：,(2.1),如果,是连续的，易得：,(2.2),22,(,t,)又称为母小波，因为其伸缩、平移可构成,L,2,(,R,)的一个标准正交基：,同傅立叶变换一样，连续小波变换可定义为函数与小波基的内积：,将,a,b,离散化，令,可得离散小波变换：,(2.3),(2.4),(2.5),23,总结：,小波,即小区域的波，是一种特殊的长度有限、平均值为零的波形。它有两个特点：一是“小”，即在时域具有紧支集或近似紧支集；二是正负交替的“波动性”，也即支流分量为零。,傅立叶分析是将信号分解成一系列不同频率的正弦波的叠加，同样小波分析是将信号分解为一系列小波函数的叠加，而这些小波函数都是由一个母小波函数经过平移和尺度伸缩得来的。,(2.6),(2.7),24,小波分析优于傅立叶分析的地方是，它在时域和频域同时具有良好的局部化性质。而且由于对高频成分采用逐渐精细的时域或频域取样步长，从而可以聚焦到对象的任何细节，所以被称为“数学显微镜”。小波分析广泛应用与信号处理、图像处理、语音识别等领域。,25,可以这样理解小波变换的含义：打个比喻，我们用镜头观察目标信号,f,(,t,)，,(,t,),代表镜头所起的所用。,b,相当于使镜头相对于目标平行移动，a的所用相当于镜头向目标推进或远离。由此可见，小波变换有以下特点：,多尺度/多分辨的特点，可以由粗及细地处理信号；,可以看成用基本频率特性为,(,),的带通滤波器在不同尺度,a,下对信号做滤波。,适当地选择小波，使,(,t,),在,时域上为有限支撑,(,),在,频域上也比较集中，就可以使,WT,在时、频域都具有表征信号局部特征的能力。,26,小波变换的思想来源于伸缩和平移方法。,尺度伸缩,对波形的尺度伸缩就是在时间轴上对信号进行压缩和伸展，如图所示。,27,28,时间平移,时间平移就是指小波函数在时间轴上的波形平行移动，如图所示。,29,小波运算的基本步骤：,(1) 选择一个小波函数，并将这个小波与要分析的信号起始点对齐；,(2) 计算在这一时刻要分析的信号与小波函数的逼近程度，即计算小波变换系数C，C越大，就意味着此刻信号与所选择的小波函数波形越相近，如图所示。,30,(3) 将小波函数沿时间轴向右移动一个单位时间，然后重复步骤(1)、(2)求出此时的小波变换系数C，直到覆盖完整个信号长度，如图所示；,31,(4) 将所选择的小波函数尺度伸缩一个单位，然后重复步骤(1)、(2)、(3)，如图所示；,(5) 对所有的尺度伸缩重复步骤(1)、(2)、(3)、(4)。,32,尺度与频率的关系,尺度与频率的关系如下：,小尺度,a,压缩的小波,快速变换的细节,高频部分,大尺度,a,拉伸的小波,缓慢变换的粗部,低频部分,33,三、多分辨分析,由母小波按如下方式的伸缩平移可构成,L,2,(,R,)空间的标准正交基,如何构造母小波呢？1989年，Mallat和Meyer提出了按多分辨分析的思想来构造母小波，其基本思想是：,现构造一个具有特定性质的层层嵌套的闭子空间序列,V,j,j,Z,，,这个,闭子空间序列充满了整个,L,2,(,R,),空间。,在,V,0,子空间找一个函数,g,(,t,)，,其平移,g,(,t-k,),k,Z,构成,V,0,子空间的,Riesz,基。,对函数,g,(,t,),进行正交化，得到函数称为正交尺度函数,(,t,)。,由,(,t,),计算出小波函数,(,t,)。,1、多分辨分析(MRA)的概念5,(3.1),34,Riesz基,定义 令H是Hilbert空间，H中的一个序列g,j,j,Z,是,Riesz基，如果它满足以下的条件：,A和B分别称为Riesz基的上下界，Riesz基又称为稳定基。,(3.2),(3.3),35,定义,1,空间,L,2,(,R,)中的多分辨分析是指,L,2,(,R,)中的满足如下条件的一个子空间序列,36,多分辨空间的关系可用下图来形象地说明。,37,如果,g,(,t-k,),k,Z,是V,0,的Riesz基，可通过正交化得到,V,0,空间的函数(,t,),V,0,，使得,(,t-k,),k,Z,构成,V,0,空间的规范正交基。由伸缩性和平移不变性可知，,j,k,(,t,),j,k,Z,构成,V,j,空间的一个规范正交基。,于是,(3.4),(3.5),38,注意：,(,t,)并不是,L,2,(,R,)空间的小波函数，而是与其紧密相关的尺度函数，,j,k,(,t,),j,k,Z,称为尺度基，多分辨空间序列,V,j,j,Z,称为尺度空间，在MRA意义下，可由尺度基导出小波基。,由MRA的单调性可以看出：,V,j,是,V,j+,1,的严格子空间，设,W,j,是,V,j,关于,V,j+,1,的正交补(子空间)，即,(3.6),39,对于一幅图像，量化级数决定了图像的分辨率，量化级数越高，图像就越清晰，即图像的分辨率高。对于任意一幅图像，都可以用不同的量化空间来表示，细节比较丰富的部分用高分辨率来表示，细节比较单一的部分可用低分辨率来表示。,我们可以将不同的量化级数构成的空间看成不同的多分辨空间,V,j,，显然这些量化空间是相互嵌套的，,(3.7),40,从图像处理的角度，多分辨空间的分解可以理解为图像的分解，假设有一幅256级量化的图像，不妨将它看成量化空间,V,j,中的图像，则 可理解为,V,j,空间中的图像有一部分保留在,V,j-,1,空间中，还有一部分放在,W,j-,1,空间，,如图所示,。,与尺度函数的产生一样，若存在,(,t,),W,0,，使得(,t-k,),k,Z,构成空间,W,0,的一个规范正交基，则,构成,L,2,(,R,)空间的一个规范正交基。 称为小波基，,(,t,),称为母小波。,(3.8),SKIP,41,V,j,W,j,-1,V,j-,1,RETURN,42,MRA非常抽象，但是它给出了构造小波的一般框架。在实践中很难通过小波空间直接构造小波，但通过MRA可推导出一个非常重要的关系：双尺度方程，通过求解该方程，使我们有可能求出尺度函数和小波函数。,2、双尺度方程,由前面的分析，我们知道：,(3.9),(3.10),43,方程(3.9)和(3.10)称为双尺度方程。由,(,t,) 的正交性可得：,对双尺度方程两边取傅立叶变换，可得频域上的的双尺度方程：,(3.12),(3.11),(3.14),(3.13),44,(3.16),(3.15),从信号处理的角度，,h,是与,(,t,)对应的低通滤波器，g是与(,t,) 对应的高同滤波器，,h,，,g,既可以表示为时域上的离散序列形式,h,k,，,g,k,k,Z,，也可以表示为频域上的2周期函数,h,()，,g,()。两者本质上是一样的。,45,若,k,N,时，,h,k,=0，这样的滤波器称为有限脉冲响应滤波器(FIR)，FIR滤波器具有好的局部化特性。此时，,(,t,)只在有限区间0，,N,上取值，所以(,t,)是紧支的，其支集supp=0，N，,(3.9)式变为：,(3.17),此时,(,t,)也是紧支的。所以只要滤波器的长度是有限的，我们称对应的小波(,t,)是紧支小波。,46,由(3.13)式得：,(3.18),(3.19),47,结论：,只要找到满足双尺度方程(3.9)的序列,h,k,k,Z,，通过公式(3.15)就可以计算出2周期函数,h,()，再由公式(3.19)就可以计算出 ，经过傅立叶反变换，最终可得尺度函数(,t,)，有了尺度函数就可以计算出小波函数(,t,) 。,通过解双尺度方程(3.9)，我们希望得到满足MRA的尺度函数,(,t,),，并最终构造出小波函数,(,t,),，但有两个问题必须解决：,问题1：,双尺度方程(3.9)是否有解？解的唯一性如何？,问题2：,双尺度方程(3.9)的解是否满足MRA？,关于问题1，I. Daubechies和Lagarias7在1991年给出了证明。,48,解决问题2却是一件非常困难的事情。这里牵涉到尺度函数,(,t,),与滤波器系数,h,k,k,Z,之间的关系问题：,如果有一个,L,2,(,R,),空间的尺度函数,(,t,)，,一定能构造出双尺度方程(3.9),，,从而找到一组满足(3.9)的滤波器,h,k,k,Z,；,反过来，如果有一组滤波器,h,k,k,Z,满足某个双尺度方程，由此求解得到的函数却不一定是满足,MRA,的尺度函数，这样无法保证双尺度方程解的平移构成,L,2,(,R,),Riesz,基,若(,t,),是正交的，则相应的滤波器,h,有什么性质呢？,定理1,3,若(,t,),是正交的，则相应的滤波器,h,k,必须满足条件：,(3.20),(3.21),但是，如果,h,k,仅仅满足,(3.20),和,(3.21),，并不能保证由双尺度方程构造出的函数,(,t,),是正交尺度函数。,(3.20),和,(3.21),称为构造正交小波的,必要条件,。,49,仅有必要条件是不够的，即,h,k,k,Z,除了满足条件,(3.20),和,(3.21),外，还应满足其他条件。S. Mallat4，W. Lawton6等都在这方面作出了重大的贡献，并给出了一些有意义的结论。下面给出W. Lawton的充分条件。,定理x2,设,h,(,)是FIR滤波器，若满足,若矩阵A的特征值1是非退化的，则,(,t-k,),k,Z,是标准正交的。,50,算法：,构造紧支小波基,步骤1,寻找满足双尺度方程(3.9)和(3.10)的滤波器,h,k,g,k,k,0,1,N,步骤2,利用公式,(3.15),计算2,周期函数,h,(,)；,步骤3,验证,h,(,)是否满足条件,通过傅立叶反变换求出,(,t,),步骤5,验证矩阵A的特征值1是否非退化；,步骤6,(,t-k,),k,Z,是正交的尺度函数，对应的紧支小波由公式(3.10)计算。,步骤4,计算,51,3、小波与共轭镜像滤波器4,我们知道尺度函数和小波函数,(,t,),(,t,),t,R,是在时域刻画信号的性质，对应的滤波器,h,(),g,(),R,从频域上刻画信号的性质。实际上，,(,t,),(,t,),t,R,大量的性质都可以由对应的,h,(),g,(),R,从频域上反映出来，甚至离散小波变换都可以借助滤波器来实现，因此小波与滤波器具有紧密的关系。,3.1 正交尺度函数产生共轭镜像滤波器,定义,若尺度函数(,t,)是正交的，则它所对应的滤波器,h,()称为,共轭镜像滤波器。,h,()满足以下条件：,52,滤波器,h,k,k,Z,称为低通滤波器。所谓低通是指：当信号,f,(,t,)被,h,k,k,Z,作用后，其低频成分能被保留下来，而高频成分(=)却被滤掉了。,对应的小波滤波器,g,()也是,共轭镜像滤波器。,也满足条件,(3.22),另外，由于,(,t-k,),k,Z,与,(,t-k,),k,Z,分别是,V,0,空间和,W,0,空间的规范正交基，而,V,0,W,0,，则,(3.23),公式,(3.23),反映了低通滤波器,h,(,)和高通滤波器,g,(,)之间的关系。,RETURN,53,S. Mallat4同时给出了这样的结论：若高通滤波器,g,(,),满足公式,(3.22)和(3.23),，则由公式,产生的小波基,(,t-k,),k,Z,构成,W,0,空间的规范正交基。因此当尺度函数(,t,)已经确定时，只要能找到一个满足公式,(3.22)和(3.23)的,g,(,)，就一定能找到对应的小波,(,t,)，但是这样的解并不是唯一的。例如可取,(3.24),可以验证,g,(,)满足,(3.22)和(3.23)，对应的共轭镜像滤波器为：,(3.25),54,因此当找到低通共轭镜像滤波器,h,k,k,Z,后，利用公式(3.25)马上可得高通共轭镜像滤波器,g,k,k,Z,。,总结：,在一个MRA下的正交尺度函数和小波函数,(,t,),(,t,),t,R,，产生一组共轭镜像滤波器,h,g,，满足：,(3.26),公式(3.26)还有几个等价形式，下面以定理的形式给出。,55,定理,设,h,g,是由正交尺度函数和小波函数产生的共轭镜像滤波器，则以下几个条件等价：,在频域上(3.26)式成立；,在时域上以下公式成立：,(3.27),定义调制矩阵：,(3.28),56,则,(3.29),3.2 利用共轭镜像滤波器实现快速正交小波变换4,L,2,(,R,) 空间的一个MRA产生了两个子空间：尺度空间,V,j,j,Z,和小波空间,W,j,j,Z,。,j,k,j,k,Z,和,j,k,j,k,Z,分别是两个空间的规范正交基，信号,f,(,t,),L,2,(,R,) 在两个空间上都可以做正交投影：,(3.30),57,信号在小波空间的展开为,(3.31),但实践中不可能进行无穷次逼近，不妨设,f,(,t,),V,J,，则因为,所以,表示从尺度2,-,J,到2,-,j,进行了(,J-j,)次小波分解(jJ),58,实际计算时，可以一次一次地进行小波分解，然后递推实现(,J-j,)次小波分解，不妨记一次小波分解的尺度系数和小波系数为,(3.32),59,而,因为,代入(3.32)式得,故,60,从而,我们得到如下的递推公式：,(3.33),61,现在来求,d,j,k,的递推公式，,(3.34),而,62,因为,代入(3.34)式得,故,63,从而,我们得到如下的递推公式：,(3.35),64,通过公式(3.33)和(3.35)，可以很快计算出尺度系数和小波系数,c,j,k,d,j,k,，这就是著名的Mallat算法：,因此，只要确定,V,J,空间的初始序列,c,J,k,k,Z,，就可以算出任意空间,V,j,(,j,J,)的所有尺度系数和小波系数。公式(3.33)和(3.35)称为离散小波变换的分解公式。,65,又由于,V,j+,1,=,V,j,W,j,，,V,j,W,j,，因此,V,j,上的标准正交基与,W,j,上的标准正交基是相互正交的。它们共同构成,V,j+,1,上的标准正交基，则,V,j+,1,上的函数,j,+1,n,j,n,Z,可以由这两个基共同表示：,有前面的计算可知：,故,66,从而,这就是Mallat重构算法：,67,小波的应用1,4,8,9,小波的应用主要是信号的处理，其中最典型的应用是小波图象压缩。另外，小波在诸如信号去噪、特征提取等多方面均有成功的应用。下面以图象去噪为例说明小波应用策略。小波的各种应用均可分为以下三步：,1）对原始信号作小波变换，将信号由空域变换到频域；,2）对小波系数做相应处理；,3）对处理后的小波系数做小波逆变换，还原原信号。,68,小波信号去噪一,69,小波信号去噪二,70,图像融合,71,小波图像去噪8,因为噪声信号多包含在具有较高频率的细节中，所以小波去噪首先对图像信号进行小波,分解，可利用门限阈值对所分解的小波系数进行处理，然后对图像信号进行小波重构，抑制图像信号中的无用部分，恢复图像信号中的有用部分。具体步骤为：,图像信号的小波分解：选择合适的小波及恰当的分解层次,N,，,对目标图像进行,N,层的小波分解；,对分解后的高频系数进行阈值量化：对于分解的每一层，选择恰当的阈值，对该层高频系数进行阈值量化处理；,重构图像：根据小波分解后的第,N,层近似的低频系数和经过阈值量化处理后的,细节高频系数，重构图像。,72,73,参考文献,1 唐远炎,王玲.小波分析与文本文字识别,科学出版社,2004,2 李弼程,彭天强,彭波.智能图像处理技术,电子工业出版社,2004,3 I. Daubechies,Ten Lectures on Wavelets.,Philadelphia: SIAM, 1992.,4 S. Mallat. A wavelet tour of signal processing. Academic Press, USA, 1998,5 S. Mallat, “A theory for multiresolution signal decomposition: The wavelet representation,”,IEEE Trans. Pattern Anal. Machine Intell.,vol.11, pp. 674693, 1989.,6 W. Lawton. Tight frames of compactly supported wavelets, J. Math. Phys., 31: 18981901, 1990.,74,7 I. Daubechies, J. C. Lagarias. Two-scale difference operations I: existence and glogal regularity of solutions, SIAM J. Math. Anal., 22: 13881410,1991.,8 D. Donoho, “De-noising by soft-thresholding,”,IEEE Trans. Inform.Theory,vol. 41, pp. 613627, 1995.,9 B.JAWERTH,etc. “an overview of wavelet based multiresolution analyses,” SIAM REVIEW,vol. 36,No.33,pp.377-412,September,1994.,75,谢谢！,76,