小波分析基础学习

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,College of Mathematics and Computer Science,Hebei University,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,(1.1),一个信号从数学的角度来看，它是一个自变量为时间,t,的函数,f,(,t,)。因为信号是能量有限的，即,满足条件(1.1)的所有函数的集合就形成,L,2,(,R,),图像是二维信号，同样是能量有限的。实际上任何一幅数字图像都是从真实的场景中经过采样和量化处理后得到的。从数学上看，图像是定义在,L,2,(,R,2,)上的函数。,如图1所示的LENA图像,f,(,x,y,)，假设图像的大小是512x512，量化级是256，即,x,y,2、,L,2,(,R,)空间的正交分解和变换1,对,f,(,t,),L,2,(,R,)，存在,L,2,(,R,) 的一组标准正交基,g,i,(,t,)，,t,R,，,i,=1,2,使得,其中,(1.2),(1.3),对于给定信号f(t)，关键是选择适宜的基gi(t) ，使得f(t)在这组基下的表现呈现出我们需要的特性，但是如果某一个基不满足要求，可通过变换将函数转换到另一个基下表示，才能得到我们需要的函数表示。常用的变换2有：,(1) K-L变换,(2) Walsh变换,(3) 傅立叶变换,(4) 小波变换,如下图是信号f(t)的傅立叶变换示意图。信号f(t)经傅立叶变换由时域变换到频域，基底不同得到大变换也不同。,在信号处理中，有两类非常重要的变换即傅立叶变换和小波变换。目前，可简单地将小波理解为满足以下两个条件的特殊信号：,小波必须时振荡的；,小波的振幅只能在一个很短的一段区间上非零，即是局部化的。,1、Daubechies小波,一些著名的小波3：,2、Coiflets小波,3、Symlets小波,4、Morlet小波 5、Mexican Hat小波,6、Meyer小波,SKIP,不是小波的例,RETURN,3、傅立叶变换与时频分析4,我们知道，任何复杂的周期信号,f,(,t,)可以用简单的调和振荡函数表示成如下形式：,这就是著名的傅立叶级数，,都是简单的调和,振荡函数，直观讲都是正弦波。,是函数,f,(,t,)的傅立叶系数，,可由以下公式计算：,(1.4),于是，周期函数,f,(,t,) 就与下面的傅立叶序列产生了一一对应，即,从数学上已经证明了，傅立叶级数的前N项和是原函数f(t) 在给定能量下的最正确逼近：,(1.5),(1.6),(1.7),对于,L,2,(,R,),上的非周期函数,f,(,t,) ，有,(1.8),(1.9),称,为,f,(,t,)的傅立叶变换，反变换公式为,(1.10),有了傅立叶变换，我们可以很容易地将时域信号,f,(,t,)转换到频域 上，于是信号的频率特性一目了然，并且与傅立叶级数一样，傅立叶变换将一段信号的主要低频能量都集中在频率信号的前面几项，这种能量集中性有利于进一步的处理。在过去200年里，傅立叶分析在科学与工程领域发挥了巨大的作用，但傅立叶分析也有不足，主要表现在以下两点：,傅立叶分析不能刻画时域信号的局部特性；,傅立叶分析对非平稳信号的处理效果不好。,下面通过例子来说明这两点。,例、歌声信号,歌声是一种声音震荡的波函数，其傅立叶变换就是将这个波函数转化成某种乐谱。但遗憾地是，傅立叶变换无法反映信号在哪一时刻有高音，在哪一时刻有低音，因此结果是所有的音符都挤在了一起，如下图。,小波变换有效地抑制了傅立叶变换的这一缺点，信号变换到小波域后，小波不仅能检测到高音与低音，而且还能将高音与低音发生的位置与原始信号相对应，如下图。,因此我们需要这样一个数学工具：既能在时域很好地刻画信号的局部性，同时也能在频域反映信号的局部性，这种数学工具就是“小波。从函数分解的角度，希望能找到另外一个基函数(t) 来代替sint。(t) 应满足以下三个特性：,任何复杂的信号f(t)，都能由一个母函数(t) 经过伸缩和平移产生的基底的线性组合表示；,信号用新的基展开的系数要能反映出信号在时域上的局部化特性；,新的基函数(t) 及其伸缩平移要比三角基sint更好地匹配非平稳信号。,历史上，Haar第一个找到了这样一个基函数，这就是非常著名但又及其简单的Haar小波。,(1.11),数学上已经证明：,小波级数、信号的小波逼近,构成,L,2,(,R,),的一个正交基，通过规范化处理，,(1.12),构成,L,2,(,R,),的一个规范正交基。故任何一个能量有限信号,f,(,t,),L,2,(,R,) 可以分解为,(1.13),(1.14),(1.15),二、小波变换的定义及特点,定义1 1函数(t)L2(R) 称为根本小波，如果它满足以下的“允许条件：,(2.1),如果,是连续的，易得：,(2.2),(,t,)又称为母小波，因为其伸缩、平移可构成,L,2,(,R,)的一个标准正交基：,同傅立叶变换一样，连续小波变换可定义为函数与小波基的内积：,将,a,b,离散化，令,可得离散小波变换：,(2.3),(2.4),(2.5),总结：小波即小区域的波，是一种特殊的长度有限、平均值为零的波形。它有两个特点：一是“小，即在时域具有紧支集或近似紧支集；二是正负交替的“波动性，也即支流分量为零。傅立叶分析是将信号分解成一系列不同频率的正弦波的叠加，同样小波分析是将信号分解为一系列小波函数的叠加，而这些小波函数都是由一个母小波函数经过平移和尺度伸缩得来的。,(2.6),(2.7),小波分析优于傅立叶分析的地方是，它在时域和频域同时具有良好的局部化性质。而且由于对高频成分采用逐渐精细的时域或频域取样步长，从而可以聚焦到对象的任何细节，所以被称为“数学显微镜。小波分析广泛应用与信号处理、图像处理、语音识别等领域。,可以这样理解小波变换的含义：打个比喻，我们用镜头观察目标信号f (t)， (t)代表镜头所起的所用。b 相当于使镜头相对于目标平行移动，a的所用相当于镜头向目标推进或远离。由此可见，小波变换有以下特点：,多尺度/多分辨的特点，可以由粗及细地处理信号；,可以看成用根本频率特性为()的带通滤波器在不同尺度a下对信号做滤波。,适当地选择小波，使(t)在时域上为有限支撑,()在频域上也比较集中，就可以使WT在时、频域都具有表征信号局部特征的能力。,小波变换的思想来源于伸缩和平移方法。,尺度伸缩,对波形的尺度伸缩就是在时间轴上对信号进展压缩和伸展，如下图。,时间平移,时间平移就是指小波函数在时间轴上的波形平行移动，如下图。,小波运算的根本步骤：,(1) 选择一个小波函数，并将这个小波与要分析的信号起始点对齐；,(2) 计算在这一时刻要分析的信号与小波函数的逼近程度，即计算小波变换系数C，C越大，就意味着此刻信号与所选择的小波函数波形越相近，如下图。,(3) 将小波函数沿时间轴向右移动一个单位时间，然后重复步骤(1)、(2)求出此时的小波变换系数C，直到覆盖完整个信号长度，如下图；,(4) 将所选择的小波函数尺度伸缩一个单位，然后重复步骤(1)、(2)、(3)，如下图；,(5) 对所有的尺度伸缩重复步骤(1)、(2)、(3)、(4)。,尺度与频率的关系,尺度与频率的关系如下：,小尺度a 压缩的小波快速变换的细节高频局部,大尺度a 拉伸的小波缓慢变换的粗部低频局部,谢谢！,三、多分辨分析,由母小波按如下方式的伸缩平移可构成,L,2,(,R,)空间的标准正交基,如何构造母小波呢？1989年，Mallat和Meyer提出了按多分辨分析的思想来构造母小波，其根本思想是：,现构造一个具有特定性质的层层嵌套的闭子空间序列VjjZ，这个闭子空间序列充满了整个L2(R)空间。,在V0子空间找一个函数g(t)，其平移g(t-k)k Z构成V0子空间的Riesz基。,对函数g(t)进展正交化，得到函数称为正交尺度函数(t)。,由(t)计算出小波函数(t)。,1、多分辨分析(MRA)的概念5,(3.1),Riesz基,定义 令H是Hilbert空间，H中的一个序列g,j,j,Z,是,Riesz基，如果它满足以下的条件：,A和B分别称为Riesz基的上下界，Riesz基又称为稳定基。,(3.2),(3.3),定义,1,空间,L,2,(,R,)中的多分辨分析是指,L,2,(,R,)中的满足如下条件的一个子空间序列,多分辨空间的关系可用以下图来形象地说明。,如果g(t-k)kZ是V0的Riesz基，可通过正交化得到V0空间的函数(t)V0，使得(t-k)kZ 构成V0空间的标准正交基。由伸缩性和平移不变性可知， j,k(t)j,kZ构成Vj空间的一个标准正交基。,于是,(3.4),(3.5),注意： (t)并不是L2(R )空间的小波函数，而是与其严密相关的尺度函数，j,k(t)j,kZ称为尺度基，多分辨空间序列VjjZ称为尺度空间，在MRA意义下，可由尺度基导出小波基。,由MRA的单调性可以看出： Vj是Vj+1的严格子空间，设Wj是Vj关于Vj+1的正交补(子空间)，即,(3.6),对于一幅图像，量化级数决定了图像的分辨率，量化级数越高，图像就越清晰，即图像的分辨率高。对于任意一幅图像，都可以用不同的量化空间来表示，细节比较丰富的局部用高分辨率来表示，细节比较单一的局部可用低分辨率来表示。,我们可以将不同的量化级数构成的空间看成不同的多分辨空间Vj，显然这些量化空间是相互嵌套的，,(3.7),从图像处理的角度，多分辨空间的分解可以理解为图像的分解，假设有一幅256级量化的图像，不妨将它看成量化空间,V,j,中的图像，则 可理解为,V,j,空间中的图像有一部分保留在,V,j-,1,空间中，还有一部分放在,W,j-,1,空间，,如图所示,。,与尺度函数的产生一样，假设存在(t)W0，使得(t-k)kZ构成空间W0的一个标准正交基，那么,构成,L,2,(,R,)空间的一个规范正交基。 称为小波基，,(,t,),称为母小波。,(3.8),SKIP,V,j,W,j,-1,V,j-,1,RETURN,MRA非常抽象，但是它给出了构造小波的一般框架。在实践中很难通过小波空间直接构造小波，但通过MRA可推导出一个非常重要的关系：双尺度方程，通过求解该方程，使我们有可能求出尺度函数和小波函数。,2、双尺度方程,由前面的分析，我们知道：,(3.9),(3.10),方程(3.9)和(3.10)称为双尺度方程。由,(,t,) 的正交性可得：,对双尺度方程两边取傅立叶变换，可得频域上的的双尺度方程：,(3.12),(3.11),(3.14),(3.13),(3.16),(3.15),从信号处理的角度，,h,是与,(,t,)对应的低通滤波器，g是与(,t,) 对应的高同滤波器，,h,，,g,既可以表示为时域上的离散序列形式,h,k,，,g,k,k,Z,，也可以表示为频域上的2周期函数,h,()，,g,()。两者本质上是一样的。,假设kN时，hk=0，这样的滤波器称为有限脉冲响应滤波器(FIR)，FIR滤波器具有好的局部化特性。此时，(t)只在有限区间0，N上取值，所以(t)是紧支的，其支集supp=0，N，(3.9)式变为：,(3.17),此时,(,t,)也是紧支的。所以只要滤波器的长度是有限的，我们称对应的小波(,t,)是紧支小波。,由(3.13)式得：,(3.18),(3.19),结论：,只要找到满足双尺度方程(3.9)的序列,h,k,k,Z,，通过公式(3.15)就可以计算出2周期函数,h,()，再由公式(3.19)就可以计算出 ，经过傅立叶反变换，最终可得尺度函数(,t,)，有了尺度函数就可以计算出小波函数(,t,) 。,通过解双尺度方程(3.9)，我们希望得到满足MRA的尺度函数,(,t,),，并最终构造出小波函数,(,t,),，但有两个问题必须解决：,问题1：,双尺度方程(3.9)是否有解？解的唯一性如何？,问题2：,双尺度方程(3.9)的解是否满足MRA？,关于问题1，I. Daubechies和Lagarias7在1991年给出了证明。,解决问题2却是一件非常困难的事情。这里牵涉到尺度函数(t)与滤波器系数hkkZ之间的关系问题：,如果有一个L2(R)空间的尺度函数(t)，一定能构造出双尺度方程(3.9) ，从而找到一组满足(3.9)的滤波器hkkZ；,反过来，如果有一组滤波器hkkZ满足某个双尺度方程，由此求解得到的函数却不一定是满足MRA的尺度函数，这样无法保证双尺度方程解的平移构成L2(R) Riesz基,假设(t)是正交的，那么相应的滤波器h有什么性质呢？,定理13 假设(t)是正交的，那么相应的滤波器hk必须满足条件：,(3.20),(3.21),但是，如果,h,k,仅仅满足,(3.20),和,(3.21),，并不能保证由双尺度方程构造出的函数,(,t,),是正交尺度函数。,(3.20),和,(3.21),称为构造正交小波的,必要条件,。,仅有必要条件是不够的，即hkkZ除了满足条件(3.20)和(3.21) 外，还应满足其他条件。S. Mallat4，W. Lawton6等都在这方面作出了重大的奉献，并给出了一些有意义的结论。下面给出W. Lawton的充分条件。,定理x2 设h()是FIR滤波器，假设满足,假设矩阵A的特征值1是非退化的，那么(t-k)kZ是标准正交的。,算法：,构造紧支小波基,步骤1,寻找满足双尺度方程(3.9)和(3.10)的滤波器,h,k,g,k,k,0,1,N,步骤2,利用公式,(3.15),计算2,周期函数,h,(,)；,步骤3,验证,h,(,)是否满足条件,通过傅立叶反变换求出,(,t,),步骤5,验证矩阵A的特征值1是否非退化；,步骤6,(,t-k,),k,Z,是正交的尺度函数，对应的紧支小波由公式(3.10)计算。,步骤4,计算,3、小波与共轭镜像滤波器4,我们知道尺度函数和小波函数(t),(t)tR是在时域刻画信号的性质，对应的滤波器h(),g()R从频域上刻画信号的性质。实际上，(t),(t)tR大量的性质都可以由对应的h(),g()R从频域上反映出来，甚至离散小波变换都可以借助滤波器来实现，因此小波与滤波器具有严密的关系。,3.1 正交尺度函数产生共轭镜像滤波器,定义 假设尺度函数(t)是正交的，那么它所对应的滤波器h()称为共轭镜像滤波器。,h()满足以下条件：,滤波器hkkZ称为低通滤波器。所谓低通是指：当信号f(t)被hkkZ作用后，其低频成分能被保存下来，而高频成分(=)却被滤掉了。,对应的小波滤波器g()也是共轭镜像滤波器。也满足条件,(3.22),另外，由于(t-k)kZ与(t-k)kZ分别是V0空间和W0空间的标准正交基，而V0W0，那么,(3.23),公式,(3.23),反映了低通滤波器,h,(,)和高通滤波器,g,(,)之间的关系。,RETURN,S. Mallat4同时给出了这样的结论：假设高通滤波器g()满足公式(3.22)和(3.23)，那么由公式,产生的小波基(t-k)kZ构成W0空间的标准正交基。因此当尺度函数(t)已经确定时，只要能找到一个满足公式(3.22)和(3.23)的g()，就一定能找到对应的小波(t)，但是这样的解并不是唯一的。例如可取,(3.24),可以验证,g,(,)满足,(3.22)和(3.23)，对应的共轭镜像滤波器为：,(3.25),因此当找到低通共轭镜像滤波器,h,k,k,Z,后，利用公式(3.25)马上可得高通共轭镜像滤波器,g,k,k,Z,。,总结：,在一个MRA下的正交尺度函数和小波函数,(,t,),(,t,),t,R,，产生一组共轭镜像滤波器,h,g,，满足：,(3.26),公式(3.26)还有几个等价形式，下面以定理的形式给出。,定理 设h,g是由正交尺度函数和小波函数产生的共轭镜像滤波器，那么以下几个条件等价：,在频域上(3.26)式成立；,在时域上以下公式成立：,(3.27),定义调制矩阵：,(3.28),则,(3.29),3.2 利用共轭镜像滤波器实现快速正交小波变换4,L2(R) 空间的一个MRA产生了两个子空间：尺度空间VjjZ和小波空间WjjZ。j,kj,kZ和j,kj,kZ 分别是两个空间的标准正交基，信号f(t)L2(R) 在两个空间上都可以做正交投影：,(3.30),信号在小波空间的展开为,(3.31),但实践中不可能进展无穷次逼近，不妨设f(t)VJ，那么因为,所以,表示从尺度2-J到2-j进展了(J-j)次小波分解(jJ),实际计算时，可以一次一次地进展小波分解，然后递推实现(J-j)次小波分解，不妨记一次小波分解的尺度系数和小波系数为,(3.32),而,因为,代入(3.32)式得,故,从而,我们得到如下的递推公式：,(3.33),现在来求,d,j,k,的递推公式，,(3.34),而,因为,代入(3.34)式得,故,从而,我们得到如下的递推公式：,(3.35),通过公式(3.33)和(3.35)，可以很快计算出尺度系数和小波系数,c,j,k,d,j,k,，这就是著名的Mallat算法：,因此，只要确定,V,J,空间的初始序列,c,J,k,k,Z,，就可以算出任意空间,V,j,(,j,J,)的所有尺度系数和小波系数。公式(3.33)和(3.35)称为离散小波变换的分解公式。,又由于Vj+1=VjWj， VjWj，因此Vj上的标准正交基与Wj上的标准正交基是相互正交的。它们共同构成Vj+1上的标准正交基，那么Vj+1上的函数j+1,nj,nZ可以由这两个基共同表示：,有前面的计算可知：,故,从而,这就是Mallat重构算法：,小波的应用1,4,8,9,小波的应用主要是信号的处理，其中最典型的应用是小波图象压缩。另外，小波在诸如信号去噪、特征提取等多方面均有成功的应用。下面以图象去噪为例说明小波应用策略。小波的各种应用均可分为以下三步：,1对原始信号作小波变换，将信号由空域变换到频域；,2对小波系数做相应处理；,3对处理后的小波系数做小波逆变换，复原原信号。,小波信号去噪一,小波信号去噪二,图像融合,小波图像去噪8,因为噪声信号多包含在具有较高频率的细节中，所以小波去噪首先对图像信号进展小波分解，可利用门限阈值对所分解的小波系数进展处理，然后对图像信号进展小波重构，抑制图像信号中的无用局部，恢复图像信号中的有用局部。具体步骤为：,图像信号的小波分解：选择适宜的小涉及恰当的分解层次N，对目标图像进展N层的小波分解；,对分解后的高频系数进展阈值量化：对于分解的每一层，选择恰当的阈值，对该层高频系数进展阈值量化处理；,重构图像：根据小波分解后的第N层近似的低频系数和经过阈值量化处理后的细节高频系数，重构图像。,参考文献,1 唐远炎,王玲.小波分析与文本文字识别,科学出版社,2004,2 李弼程,彭天强,彭波.智能图像处理技术,电子工业出版社,2004,3 I. Daubechies, Ten Lectures on Wavelets. Philadelphia: SIAM, 1992.,4 S. Mallat. A wavelet tour of signal processing. Academic Press, USA, 1998,5 S. Mallat, “A theory for multiresolution signal decomposition: The wavelet representation, IEEE Trans. Pattern Anal. Machine Intell., vol.11, pp. 674693, 1989.,6 W. Lawton. Tight frames of compactly supported wavelets, J. Math. Phys., 31: 18981901, 1990.,7 I. Daubechies, J. C. Lagarias. Two-scale difference operations I: existence and glogal regularity of solutions, SIAM J. Math. Anal., 22: 13881410,1991.,8 D. Donoho, “De-noising by soft-thresholding, IEEE Trans. Inform.Theory, vol. 41, pp. 613627, 1995.,9 B.JAWERTH,etc. “an overview of wavelet based multiresolution analyses, SIAM REVIEW,vol. 36,No.33,pp.377-412,September,1994.,精品课件,！,精品课件,！,谢谢观赏！,2020/11/5,76,