小波分析课件

小波分析概论1小波分析概论数学显微镜1目录0.0.傅里叶分析与小波分析发展史傅里叶分析与小波分析发展史1.1.波与小波波与小波2.2.小波分析的应用小波分析的应用3.3.小波定义及基本小波变换小波定义及基本小波变换4.4.哈尔函数哈尔函数5.5.哈尔小波变换哈尔小波变换2目录0.傅里叶分析与小波分析发展史20.Fourier分析发展简史 Fourier生于生于17681768年的法国。年的法国。17801780年进入年进入Auxerre皇家皇家军校学习。军校学习。1313岁时岁时对数学十分着迷对数学十分着迷，常常一个人爬进教，常常一个人爬进教室，点着蜡烛研究数学问题到深夜。当时的学术成就引室，点着蜡烛研究数学问题到深夜。当时的学术成就引起了当地学术界的关注。起了当地学术界的关注。Fourier分分析析的的起起源源应应当当首首推推他他本本人人。他他是是逻逻辑辑上上的的起起始始人人物物，他他对对数数学学、科科学学以以及及我我们们当当代代生生活活的的影影响响是是不不可可估估量量的的，然然而而他他并并不不是是一一位位职职业业数数学学家家或或科科学学家家，它它所所做做的的巨巨大大贡贡献献都都是是忙忙里里偷偷闲闲完完成成的的，但但人人们们认认为为他他是世界上至少是法国最伟大的科学家之一。是世界上至少是法国最伟大的科学家之一。30.Fourier分析发展简史 Fourier生法国革命暴发，法国革命暴发，Fourier于于1793年参加年参加Auxerre革命委员会，革命委员会，1795年先后两次被捕。年先后两次被捕。革命结束后，他到巴黎教书，后随拿破仑到埃及并成为埃及研革命结束后，他到巴黎教书，后随拿破仑到埃及并成为埃及研究院的长久负责人。在那里写了一本关于埃及的书。直到今天，仍究院的长久负责人。在那里写了一本关于埃及的书。直到今天，仍然有人认为他是一位埃及学家，并不知道他对数学和物理学的重大然有人认为他是一位埃及学家，并不知道他对数学和物理学的重大贡献。贡献。1802年，回到法国，拿破仑任命他为巴黎警察局长达年，回到法国，拿破仑任命他为巴黎警察局长达14年之久。年之久。他工作十分出色，在政界享有祟高威望。他工作十分出色，在政界享有祟高威望。1817年，进入法国科学院，从此步入正规的学术研究阶段。年，进入法国科学院，从此步入正规的学术研究阶段。0.Fourier分析发展简史4法国革命暴发，Fourier于1793年参加Auxerre革一首数学史诗 多年的政治生涯及颠簸不定的生活，并没有使他放弃研究数学的强多年的政治生涯及颠簸不定的生活，并没有使他放弃研究数学的强烈兴趣事实上，早在烈兴趣事实上，早在1807年他就研究了现在称之为年他就研究了现在称之为Fourier分析的核分析的核心内容心内容 1822年，正式出版推动世界科学研究进展的巨著年，正式出版推动世界科学研究进展的巨著热的解析理热的解析理论论(The Analytic Theory of Heat)由于这一理论成功地求解了困扰由于这一理论成功地求解了困扰科学家科学家150年之久的牛顿二体问题微分方程，因此年之久的牛顿二体问题微分方程，因此Fourier分析成为几分析成为几乎每个研究领域科学工作者乐于使用的数学工具，尤其是理论科学家。乎每个研究领域科学工作者乐于使用的数学工具，尤其是理论科学家。目前，目前，Fourier的思想和方法被广泛用于线性规划、大地测量以及电的思想和方法被广泛用于线性规划、大地测量以及电话、收音机、话、收音机、x射线等难以计数的科学仪器中，是基础科学和应用科射线等难以计数的科学仪器中，是基础科学和应用科学研究开发的系统平台。所以物理学家学研究开发的系统平台。所以物理学家Maxwell称赞称赞Fourier 分析是一分析是一首伟大的数学史诗首伟大的数学史诗。5一首数学史诗 多年的政治生涯及颠簸不定的生活，并没有使他Fourier分析的核心内容 用数学语言提出任何一个周期函数都能用数学语言提出任何一个周期函数都能表示为一组正弦函数和表示为一组正弦函数和余弦函数之和余弦函数之和。这一无限和现称之为。这一无限和现称之为FourierFourier级数。也就是说，级数。也就是说，任何一条周期曲线，无论多么跳跃或不规则，都能表示成一组光任何一条周期曲线，无论多么跳跃或不规则，都能表示成一组光滑的曲线之和，见图。滑的曲线之和，见图。实际上是将信实际上是将信号投影在由正号投影在由正弦和余弦函数弦和余弦函数组成的组成的正交基正交基上，对其实施上，对其实施Fourier变换。变换。6Fourier分析的核心内容 用数学语言提出任何一个周期Fourier分析的核心内容 他解释了为什么这一数学论断是有用的。他解释了为什么这一数学论断是有用的。18071807年，他显示任何周年，他显示任何周期函数期函数(最下图形最下图形)是由正弦和余弦函数叠加而成。是由正弦和余弦函数叠加而成。Fourier Fourier分析分析从本质上改变了数学家对函数的看法他提供了某些微分方程的从本质上改变了数学家对函数的看法他提供了某些微分方程的直接求解方法，为计算机和直接求解方法，为计算机和CDCD等数字技术的实现铺平了道路。等数字技术的实现铺平了道路。这两点是针对周期信这两点是针对周期信号而言的，对于非周号而言的，对于非周期函数，通过期函数，通过Fourier变换或周期延拓转化变换或周期延拓转化为周期函数即可为周期函数即可。7Fourier分析的核心内容 他解释了为什么这一数学论断是从从本质本质上讲，上讲，Fourier Fourier变换就是一个棱镜变换就是一个棱镜(Prism)(Prism)，它把一个，它把一个信号分解为众多的频率成分，这些频率又可以重构原来的信号。信号分解为众多的频率成分，这些频率又可以重构原来的信号。该变换是可逆的且保持能量不变。该变换是可逆的且保持能量不变。Fourier Fourier 棱镜与自然棱镜的原理是一样的，只不过后者是棱镜与自然棱镜的原理是一样的，只不过后者是将自然光分解为多种颜色的光而已，其比较分析见下图。将自然光分解为多种颜色的光而已，其比较分析见下图。Fourier分析的核心内容8从本质上讲，Fourier变换就是一个棱镜(Prism)，Fourier变换Fourier变换理论描述为：变换理论描述为：f f(t t)显示了信号的显示了信号的时间信息时间信息而隐藏了频率信息；而隐藏了频率信息；F F()显示了信号的显示了信号的频率信息频率信息而隐藏了时间信息。而隐藏了时间信息。Fourier Fourier分析将待研究的内容从分析将待研究的内容从一个空间变换到另一个一个空间变换到另一个空间研究的思想和方法是彻底重大的创新空间研究的思想和方法是彻底重大的创新，随着后来量子，随着后来量子力学的发现，力学的发现，FourierFourier分析理所当然成为描述和求解自然分析理所当然成为描述和求解自然科学的语言。科学的语言。9Fourier变换Fourier变换理论描述为：Fourier变换FourierFourier分析理论是十分完善的，但实现尤其是数值实现并非分析理论是十分完善的，但实现尤其是数值实现并非易事。易事。Shannon Shannon提出的提出的采样定理采样定理打开了数字技术研究的大门，于是打开了数字技术研究的大门，于是离散离散FourierFourier变换变换(DFTDFT)成为计算机实现成为计算机实现FourierFourier变换的第一种形式。变换的第一种形式。DFTDFT的计算量为的计算量为O(N2)，当，当N很大时，很大时，O(N2)是计算机无法接受是计算机无法接受的。的。1965 1965年，美国两位工程师提出了年，美国两位工程师提出了O(NlgN)计算量的快速计算量的快速FourierFourier变换变换(FFTFFT)。正是有了正是有了FFT FFT，Fourier Fourier分析才真正成为人分析才真正成为人们认识自然、改造自然的流行工具。们认识自然、改造自然的流行工具。但但FFT FFT 的本质还是的本质还是FourierFourier变换。变换。10Fourier变换Fourier分析理论是十分完善的，但实现Fourier变换的缺点 Fourier Fourier分析分析对非线性问题感到力不从心对非线性问题感到力不从心。Fourier Fourier变换公式变换公式没有反映出随时间变化的频率没有反映出随时间变化的频率。实际。实际工作中需要能够确定时间间隔，使在任何希望的频率范工作中需要能够确定时间间隔，使在任何希望的频率范围上产生频谱信息。围上产生频谱信息。因为非线性系统因为非线性系统具有高度不可预测性具有高度不可预测性，输入端微小的，输入端微小的变化会对输出端产生重大影响。例如牛顿定律方程是非线变化会对输出端产生重大影响。例如牛顿定律方程是非线性的，若用它来预测空间三个物体之间较长时间的行为是性的，若用它来预测空间三个物体之间较长时间的行为是十分困难的，甚至是不可能的，原因是该系统高度不稳定。十分困难的，甚至是不可能的，原因是该系统高度不稳定。正如著名科学家正如著名科学家KornerKorner指出：指出：“1919世纪的伟大发现是证明世纪的伟大发现是证明自然方程是线性的自然方程是线性的，2020世纪的伟大发现是证明自然方程是世纪的伟大发现是证明自然方程是非线性的。非线性的。”11Fourier变换的缺点 Fourier分析对非线性问题感Fourier变换的缺点 在在L L2 2以外空间，变换系数不能刻画出以外空间，变换系数不能刻画出f(t)f(t)所在的空间。所在的空间。也就是说也就是说需要一个灵活可变的时间需要一个灵活可变的时间频率窗频率窗，使得在，使得在高高“中心频率中心频率”时自动变窄，而在低时自动变窄，而在低“中心频率中心频率“时自动时自动变宽。这就是时变宽。这就是时-频局部化分析，而频局部化分析，而FourierFourier变换对无法做变换对无法做到这一点。到这一点。为从信号为从信号f f(t t)中提取频谱信息中提取频谱信息F(F()，就要取无限的时就要取无限的时间量间量。因为一个信号的频率与它的周期长度成反比，由此得因为一个信号的频率与它的周期长度成反比，由此得到，对于高频信息，时间间隔要相对小，以到，对于高频信息，时间间隔要相对小，以给出较好给出较好的精度的精度；而对于低频谱的信息，时间间隔要相对的宽，；而对于低频谱的信息，时间间隔要相对的宽，以以给出完全的信息给出完全的信息。12Fourier变换的缺点 在L2以外空间，变换系数不能刻画Gabor变换 在充分剖析在充分剖析FourierFourier变换上述不足以后，因发明全息变换上述不足以后，因发明全息照相技术而获得诺贝尔奖的照相技术而获得诺贝尔奖的Dennis GaborDennis Gabor于于19461946年提出年提出了了加窗加窗Fourier Fourier 变换变换(又称又称GaborGabor变换变换)：Gabor Gabor变换后又进一步发展为变换后又进一步发展为短时博里叶变换短时博里叶变换(Short(Short Time Fourier TransformTime Fourier Transform，STFTSTFT)。式中式中 称为窗函数称为窗函数(又称又称GaborGabor函数函数)。Gabor Gabor的的加窗加窗FourierFourier变换，对弥补傅氏变换的五点不足起到一变换，对弥补傅氏变换的五点不足起到一定的作用，但由于定的作用，但由于 时频窗大小固定，故时频窗大小固定，故并没有并没有很好地解决时频局部化问题很好地解决时频局部化问题。13Gabor变换 在充分剖析Fourier变换上述不足以Gabor变换 由于由于STFTSTFT的定义决定了其窗函数的大小和形状均与时间的定义决定了其窗函数的大小和形状均与时间和频率无关而和频率无关而保持固定保持固定不变，这对于分析时变信号来说是不不变，这对于分析时变信号来说是不利的。利的。高频信号一般持续时间很短，而低频信号持续时间高频信号一般持续时间很短，而低频信号持续时间较长，因此，我们期望较长，因此，我们期望对于高频信号采用小时间窗，对对于高频信号采用小时间窗，对于低频信号则采用大时间窗进行分析于低频信号则采用大时间窗进行分析。这种变时间窗的。这种变时间窗的要求同要求同STFTSTFT的固定时窗的固定时窗(窗不随频率而变化窗不随频率而变化)的特性是相的特性是相矛盾的，表明矛盾的，表明STFTSTFT在处理这一类问题时已无能为力了。在处理这一类问题时已无能为力了。14Gabor变换 由于STFT的定义决定了其窗函数的大小Gabor变换此外，在进行数值计算时，希望将基函数离散化以节约计算此外，在进行数值计算时，希望将基函数离散化以节约计算时间及存储量，但时间及存储量，但GaborGabor基无论怎样离散，都基无论怎样离散，都不能构成一组正交基不能构成一组正交基，因而给数值计算带来了不便。因而给数值计算带来了不便。小波分析正是为了克服小波分析正是为了克服FourierFourier变换、加窗变换、加窗FourierFourier变换的这些不足而提出来的。变换的这些不足而提出来的。小波变换不仅继承和发小波变换不仅继承和发展了展了STFTSTFT的局部化思想，而且克服了的局部化思想，而且克服了窗口大小不随频率窗口大小不随频率变化，缺乏离散正交基的缺点变化，缺乏离散正交基的缺点，是一种比较理想的信号，是一种比较理想的信号处理的数学工具。处理的数学工具。15Gabor变换此外，在进行数值计算时，希望将基函数离散化以节0.小波分析发展简史小小波波分分析析的的发发展展历历程程充充分分体体现现了了辩辩证证法法思思想想。不不同同学学科科、不不同同研研究究者者的的相相互互碰碰撞撞的的火火花花点点燃燃了了小小波波分分析析。这这一一理理论论是是科科学学家家、工工程程师师和和数数学学家家们们共共同同创创造造的的，反反映映了了大大科科学学时时代代学学科科之之间间相相互互综综合合、相相互互渗渗透透的强烈趋势。的强烈趋势。小小波波分分析析的的历历史史始始于于Fourier分分析析的的历历史史，是是Fourier分分析析的的发发展展和和重重大大突突破破，这这两两种种分分析析都都属属于于描描述自然界的述自然界的时频分析时频分析大家庭。大家庭。160.小波分析发展简史小波分析的发展历程充分体现了辩证法思想。0.1 小波分析的起源小小波波分分析析的的起起源源可可以以追追溯溯到到非非常常遥遥远远的的时时代代，说说法法至至少少有有15种种以以上上。虽虽然然1910年年Haar提提出出了了最最早早的的小小波波规规范范正正交交基基，但但当当时时并并没没有有出出现现“小小波波”这这个个词词。Meyer认认为为，小小波波分分析析思思想想萌萌芽芽于于1930年年至至1980年年，但但真真正正起起锤锤炼炼作作用用的的是是法国地质物理学家法国地质物理学家Jean Morlet。20世世纪纪60年年代代，由由于于工工业业发发展展需需要要,寻寻找找地地下下石石油油成成为为法法国国的的一一项项重重大大项项目目。地地下下找找油油的的标标准准方方法法是是向向地地下下打打炮炮或或发发射射脉脉冲冲波波，通通过过反反射射的的信信号号分分析析粗粗略略构构架架地地下下岩岩石石油油层层分分布布，其其重重要要参参数数是是密密度度。一一般般情情况况下下，地地下下结结构构非非常常复复杂杂，回回收收的的反反射射信信号号也也十十分分繁繁多多，如如何何从从反反射信号中提取有用的石油信息射信号中提取有用的石油信息是是Morlet的主要工作。的主要工作。170.1 小波分析的起源小波分析的起源可以追溯到非常遥远的时代0.1 小波分析的起源1981年年，Morlet仔仔细细研研究究了了Gabor变变换换方方法法，对对Fourier变变换换与与加加窗窗Fourier变变换换的的异异同同、特特点点及及函函数数构构造造做做了了创创造造性性研研究究，首首次次提提出出了了“小小波波分分析析”概概念念，建建立立了了以以他他的的名名字字命命名名的的Morlet小小波波，见见图图。此此方方法法在在Morlet的的地质数据处理中取得巨大成功。地质数据处理中取得巨大成功。加窗加窗Fourier变换变换Morlet小波小波180.1 小波分析的起源1981年，Morlet仔细研究了Ga0.1 小波分析的起源意意外外的的成成功功极极大大地地鼓鼓舞舞了了Morlet，他他很很想想对对这这一一方方法法进进行行系系统统研研究究,但但作作为为工工程程师师出出身身的的他他自自感感数数学学理理论论修修养养不不够够，于于是是Morlet找找到到他他的的同同学学、物物理理学学家家Balian，Balian又推荐理论物理学家又推荐理论物理学家Grossmann联合研究。联合研究。1985年年，一一个个非非常常偶偶然然的的机机会会，Grossmann结结识识了了大大数数学学家家Meyer。Meyer凭凭借借自自己己深深厚厚的的数数学学功功底底对对Morlet方方法法进进行行系系统统性性的的、高高屋屋建建瓴瓴的的研研究究,为为小小波波分分析析学科的诞生和发展作出了最重要的贡献。学科的诞生和发展作出了最重要的贡献。190.1 小波分析的起源意外的成功极大地鼓舞了Morlet，他0.1 小波分析的起源19861986年年，Meyer在在证证明明不不可可能能存存在在时时频频域域都都具具有有一一定定正正则则性性的的正正交交小小波波基基时时，却却意意外外发发现现了了具具有有一一定定衰衰减减性性的的光光滑滑性性函函数数，使使 的的伸伸缩缩、平平移移系系列列构构成成L2(R)的的规规范范正正交交基基，从从而而证证明明了了确确实实存存在在小小波波正正交交系系。后后来来Lemarie和和Battle又分别独立地构造了具有指数衰减纳小波函数。又分别独立地构造了具有指数衰减纳小波函数。19871987年年，Mallat将将计计算算机机视视觉觉领领域域内内的的多多尺尺度度分分析析思思想想引引入入到到小小波波分分析析中中，提提出出多多分分辨辨率率分分析析概概念念，统统一一了了在在此此之之前前的的所所有有具具体体正正交交小小波波基基的的构构造造，并并且且提提出出相相应应的的分分解与重构快速算法。解与重构快速算法。19881988年年，Daubecies在在美美国国NSF/CBMS主主办办的的小小波波专专题题研研讨讨会会上上进进行行了了10次次讲讲演演，引引起起了了广广大大数数学学家家、观观察察学学家家、物物理理学学家家甚甚至至某某些些企企业业家家的的重重视视，由由此此将将小小波波分分析析的的理论发展与实际应用推向了一个高潮。理论发展与实际应用推向了一个高潮。200.1 小波分析的起源1986年，Meyer在证明不可能存在0.2 多分辨分析及Mallat算法的建立如如果果说说小小波波分分析析是是一一门门新新的的语语言言，那那么么多多分分辨辨分分析析及及其其相相应应的的快快速速小小波波算算法法就就是是这这门门新新语语言言的的语语法法，Meyer和和Mallat是该语法的主要创立者。是该语法的主要创立者。Mallat曾曾是是Ecole Poltytechnique大大学学的的学学生生，当当时时Meyer是是该该大大学学的的数数学学教教授授，但但俩俩人人并并不不认认识识。后后来来，Mallat成为成为Pennsylvania的博士，研究计算机视觉。的博士，研究计算机视觉。一一个个偶偶然然的的机机会会，Mallat从从朋朋友友那那里里得得知知Meyer关关于于小小波波分分析析的的思思想想，尤尤其其是是正正交交小小波波基基的的工工作作，并并阅阅读读了了Meyer的的论论文文。Mallat认认为为Meyer的的方方法法与与他他本本人人的的方方法法有些相似，并可用于图像处理，但有些困难需要克服。有些相似，并可用于图像处理，但有些困难需要克服。210.2 多分辨分析及Mallat算法的建立如果说小波分析是一0.2 多分辨分析及Mallat算法的建立1986年年秋秋，Mallat多多次次电电话话求求见见已已在在美美国国的的Meyer。后后来来，Meyer与与Mallat在在美美国国芝芝加加哥哥大大学学见见面面。两两人人充充分分交交换换意意见见，共共同同研研究究难难点点问问题题，在在三三天天时时间间里里，他他们们解决了所有问题，宣告多分辨分析正式形成。解决了所有问题，宣告多分辨分析正式形成。由由于于Meyer已已是是知知名名数数学学教教授授，而而Mallat是是年年仅仅2323岁岁的的研研究究生生。在在Meyer的的坚坚持持下下，他他们们俩俩人人共共同同研研究究形形成成的的著名论文著名论文11以以Mallat个人名义发表。个人名义发表。220.2 多分辨分析及Mallat算法的建立1986年秋，Ma之之后后，Mallat将将多多分分辨辨分分析析用用于于图图像像处处理理，取取得得巨巨大大成成成成功功。文文献献1,21,2和和他他的的博博士士论论文文33使使得得Mallat成成为为小小波分析研究领域的著名学者，此时波分析研究领域的著名学者，此时Mallat年仅年仅2626岁。岁。这这段段历历史史体体现现了了学学术术研研究究的的传传、帮帮、带带作作用用，再再次次验验证证了了名名师师出出高高徒徒的的道道理理，20多多岁岁也也能能取取得得重重大大研研究究成成果果。Meyer与与Mallat的的联联手手研研究究成成为为学学术术界界一一段段佳佳话。话。0.2 多分辨分析及Mallat算法的建立23之后，Mallat将多分辨分析用于图像处理，取得巨大成成功。Mallat的三篇著名论文：的三篇著名论文：1.Mallat S.Multiresolution approximations and wavelet orthonormal bases of L2(R).Trans.Amer.Math.Soc.,1989,315:69-872.Mallat S.A theory of multiresolution signal decomposition:the wavelet representation.IEEE Trans.PAMI,1989,11:674-6933.Mallat S.Multiresolution representation and wavelets.Ph.D.Thesis,Univ.of Pennsylvania,Philadelphia,198824Mallat的三篇著名论文：240.3 Daubecies小波的提出Mallat首首 次次 提提 出出 快快 速速 小小 波波 算算 法法(Fast Wavelet Algorithm,FWA)使使用用的的是是无无限限长长Battle-Lemarie小小波波的的截截断断函函数数，截截断断必必然然带带来来误误差差，而而一一种种新新型型小小波波紧支集正交小波能避免截断，从而消除误差。紧支集正交小波能避免截断，从而消除误差。这这种种小小波波的的一一个个例例子子就就是是著著名名的的Daubecies小小波波，它它是是有有限限长长的的，即即只只在在有有限限区区间间内内取取非非零零值值。不不同同于于Morlet小小波波与与Meyer小小波波，Daubecies小小波波是是计计算算机机时代的产物。时代的产物。250.3 Daubecies小波的提出Mallat首次提出快速0.3 Daubecies小波的提出Daubecies小小波波不不能能用用解解析析公公式式给给出出，只只能能通通过过迭迭代代方方法法产产生生，是是迭迭代代过过程程的的极极限限。研研究究表表明明，基基于于两两个个或或两两个个以以上上的的尺尺度度函函数数可可以以解解析析构构造造紧紧支支集集正正交交小小波波。而而多多分分辨辨分分析析不服从不服从Daubecies小波的极限过程。小波的极限过程。迭代方法是解方程的一种重要手段，也是计算机最迭代方法是解方程的一种重要手段，也是计算机最擅长的基本操作。然而，许多数学家并不喜欢或不擅长擅长的基本操作。然而，许多数学家并不喜欢或不擅长使用迭代方法，因为迭代方法无法产生使用迭代方法，因为迭代方法无法产生显式函数显式函数。对于。对于搞工程的人来说，迭代方法是他们使用的最自然、最主搞工程的人来说，迭代方法是他们使用的最自然、最主要的方法。要的方法。260.3 Daubecies小波的提出Daubecies小波不0.3 Daubecies小波的提出作作 为为 研研 究究 计计 算算 机机 视视 觉觉 的的 Mallat，基基 于于 Burt和和Adelson的的金金字字塔塔算算法法，提提出出了了如如何何利利用用选选代代方方法法构构造造紧支集正交小波的思想，并使数百人为此忙碌。紧支集正交小波的思想，并使数百人为此忙碌。然然而而，Mallat本本人人在在与与Meyer合合作作建建立立多多分分辨辨分分析析后后，虽虽然然站站在在构构造造紧紧支支集集正正交交小小波波的的门门口口，却却把把进进门门的的良机让给了良机让给了Daubecies 。Daubecies是是比比利利时时人人，从从小小就就想想成成为为一一名名数数学学物物理理学学家家，并并为为此此努努力力奋奋斗斗。在在法法国国攻攻读读博博士士学学位位时时与与Grossmann共共过过事事。而而后后在在美美国国研研究究量量子子力力学学，是是五五年年制制MacArthur研研究究员员，后后又又在在Courant研研究究所所、ATT公公司做过研究工作。司做过研究工作。270.3 Daubecies小波的提出作为研究计算机视觉的M0.3 Daubecies小波的提出Daubecies 很很早早就就知知道道Meyer和和Mallat的的工工作作，并并对对他他们们的的工工作作非非常常感感兴兴趣趣。她她用用Meyer的的无无限限长长小小波波计计算算小小波波系系数数时时，发发现现需需要要很很大大的的计计算算工工作作量量。于于是是，她她想想能能否否构构造造紧紧支支集集正正交交小小波波呢呢?这这样样，一一方方面面可可以以避避免免误差，同时可以节省许多计算工作量。误差，同时可以节省许多计算工作量。在在对对Mallat思思想想充充分分研研究究后后，Daubecies凭凭借借自自己己数数学学、物物理理和和计计算算机机等等多多学学科科的的综综合合知知识识，用用迭迭代代方方法法建建立立了了著著名名的的Daubecies小小波波，这这种种小小波波是是目目前前应应用用最最广广泛的一种小波。泛的一种小波。280.3 Daubecies小波的提出Daubecies 很早0.3 Daubecies小波的提出Grossmann认认为为：“Daubecies的的工工作作不不仅仅作作出出了了十十分分重重要要的的贡贡献献，而而且且她她还还制制作作了了适适合合各各种种通通信信的的有有用用的的小小波波传传输输方方式式。她她既既是是一一名名数数学学家家，又又是是一一名名物物理理学家，还是一名工程师。学家，还是一名工程师。”Morlet小小波波、Mexican帽帽子子小小波波、Meyer小小波波、Daubecies小小波波及及其其对对应应的的尺尺度度函函数数与与Fourier变变换换图图形形见下图。见下图。虽虽然然Daubecies小小波波不不能能解解析析构构造造出出来来，但但其其滤滤波波器器系系数数却却可可以以由由三三角角参参数数解解析析构构造造出出来来，请请参参考考有有关关书书籍。籍。290.3 Daubecies小波的提出Grossmann认为：几种小波及其对应的尺度函数与 Fourier变换Morlet小波小波Mexican帽小波帽小波Meyer 小波小波（4阶阶）尺度尺度 函数函数2阶阶小小波波尺尺度度函函数数7阶阶小小波波尺尺度度函函数数DaubeciesDaubecies小波小波30几种小波及其对应的尺度函数与 Fourier变换MorletMeyerMeyer认认为为小小波波分分析析是是人人们们对对变变化化敏敏感感体体会会的的一一种种方方法法，正正如如对对速速度度的的反反应应一一样样，人人体体仅仅对对加加速速度度有有反反应应，而而对对速速度度没没有有感感觉觉。只只要要火火车车或或飞飞机机的的速速度度是是常常数数，就就感感觉觉不不到到它它们们在在动动，这这就就是是小小波波分分析析的的基基本本思思想想，它它与与人人类类体体验验反反应应、思思维维方方式式、视视觉觉工工程程等等十十分分类类似似。小小波波分分析析这这一一特特性性便便于于我我们们区区分分信信号号的的敏敏感感部部分分和和平平坦坦部部分分，实实施施对对信信号的压缩和传输。号的压缩和传输。1.波与小波31Meyer认为小波分析是人们对变化敏感体会的一种方法，正如对1.波与小波唐远炎的介绍浅显易懂唐远炎唐远炎:博士博士,教授，教授，博士导师博士导师 重庆大学计算机科学学院重庆大学计算机科学学院 院长院长 香港浸会大学计算机科学系讲座教授香港浸会大学计算机科学系讲座教授(Chair Professor)加拿大康可迪亚大学计算机科学系教授加拿大康可迪亚大学计算机科学系教授 321.波与小波唐远炎的介绍浅显易懂唐远炎:博士,教授，333334343535363637373838Wave/Wavelet Transform39Wave/Wavelet Transform3940404141424243434444454546464747484849495050515152525353545455555656575758585959 FourierFourier分析适合处理非常平稳的周期信号，而小波分析适合处理非常平稳的周期信号，而小波分析适合处理急剧变化的高度不稳定信号。分析适合处理急剧变化的高度不稳定信号。对于次稳定性信号对于次稳定性信号，即在某段时间内是可以预测的，即在某段时间内是可以预测的，就必须综合这二种分析的特点方能有效处理。就必须综合这二种分析的特点方能有效处理。对于长时间内处于规则稳定变化的信号对于长时间内处于规则稳定变化的信号，使用小波，使用小波分析就没有太大必要，分析就没有太大必要，传统小波传统小波在提取和识别高频方面在提取和识别高频方面不一定比不一定比STFTSTFT精确。精确。STFT STFT无法满足正交性，且其窗口无法满足正交性，且其窗口大小固定，缺乏小波分析窗口的柔软可调性。大小固定，缺乏小波分析窗口的柔软可调性。60 Fourier分析适合处理非常平稳的周期信号，而小2.小波分析的应用 小波分析的应用领域十分广泛，它包括：数学领域小波分析的应用领域十分广泛，它包括：数学领域的许多学科；信号分析、图象处理；量子力学、理论物的许多学科；信号分析、图象处理；量子力学、理论物理；军事电子对抗与武器的智能化；计算机分类与识别；理；军事电子对抗与武器的智能化；计算机分类与识别；音乐与语言的人工合成；医学成像与诊断；地震勘探数音乐与语言的人工合成；医学成像与诊断；地震勘探数据处理；大型机械的故障诊断等方面据处理；大型机械的故障诊断等方面.例如，例如，在数学方面，它已用于数值分析、构造快速数值方法、曲在数学方面，它已用于数值分析、构造快速数值方法、曲线曲面构造、微分方程求解、控制论等。线曲面构造、微分方程求解、控制论等。在信号分析方面的滤波、去噪声、压缩、传递等。在信号分析方面的滤波、去噪声、压缩、传递等。在图象处理方面的图象压缩、分类、识别与诊断，去污等。在图象处理方面的图象压缩、分类、识别与诊断，去污等。在医学成像方面的减少在医学成像方面的减少B B超、超、CTCT、核磁共振成像的时间，、核磁共振成像的时间，提高分辨率等提高分辨率等。612.小波分析的应用 小波分析的应用领域十分广泛，2.2.小波分析的应用小波分析的应用622.小波分析的应用62小波分析的主要内容小小波波分分析析框架元素框架元素-展开逼近基展开逼近基尺度函数尺度函数-尺度正交基尺度正交基Malvar小波小波小波包小波包小波函数小波函数-正交小波基正交小波基构造方法构造方法高通滤波器高通滤波器连续变换：不需要连续变换：不需要其它变换：需要其它变换：需要构造方法构造方法低通滤波器低通滤波器多分辨分析多分辨分析(MRA)：一维和高维：一维和高维快速小波算法快速小波算法(FWA)：一维和高维：一维和高维数量积小波变换：连续小波变换、离散时间变换、数量积小波变换：连续小波变换、离散时间变换、离散参数变换、离散小波变换离散参数变换、离散小波变换矢量积小波变换：连续小波变换、离散时间变换、矢量积小波变换：连续小波变换、离散时间变换、离散参数变换、离散小波变换离散参数变换、离散小波变换应用配备：有限长低通滤波器系数应用配备：有限长低通滤波器系数h(n)、FWA(Mallat算法算法)应用场合：一维、二维，与应用场合：一维、二维，与Fourier配合可处理任意信号配合可处理任意信号基本元素基本元素语法规则语法规则变换种类变换种类应用种类应用种类一维小波一维小波高维小波高维小波63小波分析的主要内容小波分析框架元素-展开逼近基尺度函数-尺度3 3 小波定义及基本小波变换小波定义及基本小波变换3.1 小波定义小波定义3.2 连续小波变换连续小波变换3.3 离散小波变换离散小波变换643 小波定义及基本小波变换643.1 小波定义定义定义 函数函数(t t)是小波函数，如果它满足是小波函数，如果它满足 (t t)称为称为母小波函数母小波函数(Mother Wavelet Function)(Mother Wavelet Function)或者或者小波是定义在有限间隔而且平均值为零的一种函数。小波是定义在有限间隔而且平均值为零的一种函数。653.1 小波定义定义 函数(t)是小波函数，如果它满足 6666对对(t t)函数作伸缩、平移得函数作伸缩、平移得 变变量量a a为为尺尺度度(或或宽宽度度)函函数数，变变量量b b检检测测沿沿t t轴轴的的平平移移位位置置。a,ba,b(t t)构构成成了了L L2 2(R R)的的一一组组正正交交小小波波基基，称称为为小小波波函函数数，简称小波。简称小波。因此选择了小波函数就等于选择了一组小波基。因此选择了小波函数就等于选择了一组小波基。67对(t)函数作伸缩、平移得 母小波经过拉伸和压母小波经过拉伸和压缩尺度因子达到调节缩尺度因子达到调节信号分析的目的。信号分析的目的。大尺度小波反应信号大尺度小波反应信号总体框架变化趋势总体框架变化趋势小尺度小波反应信号小尺度小波反应信号的细节信息的细节信息 小波的缩放小波的缩放 68母小波经过拉伸和压缩尺度因子达到调节信号分析的目的。小波的缩 可以这样理解小波变换的含义：打个比喻，我们可以这样理解小波变换的含义：打个比喻，我们用镜头观察目标信号用镜头观察目标信号f f(t t)，(t t)代表镜头所起的代表镜头所起的所用。所用。b b 相当于使镜头相对于目标平行移动，相当于使镜头相对于目标平行移动，a a的作的作用相当于镜头向目标推进或远离。由此可见，小波变用相当于镜头向目标推进或远离。由此可见，小波变换有以下特点：换有以下特点：多尺度多尺度/多分辨多分辨的特点，可以由粗及细地处理信号；的特点，可以由粗及细地处理信号；适当地选择小波，使适当地选择小波，使(t t)在时域上为有限支撑在时域上为有限支撑,()在频域上也比较集中，就可以使在频域上也比较集中，就可以使WT在时、频域都具有表在时、频域都具有表征信号征信号局部特征局部特征的能力。的能力。69 可以这样理解小波变换的含义：打个比喻，我们用镜头观察3.2 连续小波变换Continuous wavelet transform CWT小波变换是信号f(t)与被缩放和平移的小波函数之积在信号存在的整个期间里求和CWT变换的结果是小波系数C，这些系数是缩放因子（scale）和位置（position）的函数频率时间703.2 连续小波变换Continuous wavelet t(a)CWT二维图二维图71(a)CWT二维图71(b)三维图三维图连续小波变换分析图连续小波变换分析图72(b)三维图72小波变换的思想来源于小波变换的思想来源于伸缩和平移伸缩和平移方法。方法。73小波变换的思想来源于伸缩和平移方法。73 对波形的尺度伸缩就是在时间轴上对信号进行对波形的尺度伸缩就是在时间轴上对信号进行压缩和伸展。压缩和伸展。尺度伸缩尺度伸缩74尺度伸缩74小波的小波的尺度伸尺度伸缩缩 75小波的尺度伸缩 时间平移就是指小波函数在时间轴上的波形平行时间平移就是指小波函数在时间轴上的波形平行移动。移动。时间平移时间平移76 时间平移就是指小波函数在时间轴上的波形平行移动。时间平(1)(1)选择一个小波函数，并将这个小波与要分析的选择一个小波函数，并将这个小波与要分析的信号起始点对齐；信号起始点对齐；(2)(2)计算在这一时刻要分析的信号与小波函数的逼计算在这一时刻要分析的信号与小波函数的逼近程度，即计算小波变换系数近程度，即计算小波变换系数C C，C C越大，就意味着越大，就意味着此刻信号与所选择的小波函数波形越相近。此刻信号与所选择的小波函数波形越相近。3.2 连续小波变换77(1)选择一个小波函数，并将这个小波与要分析的信号起始点对(3)(3)将小波函数沿时间轴向右移动一个单位时间，然将小波函数沿时间轴向右移动一个单位时间，然后重复步骤后重复步骤(1)(1)、(2)(2)求出此时的小波变换系数求出此时的小波变换系数C C，直到，直到覆盖完整个信号长度；覆盖完整个信号长度；78(3)将小波函数沿时间轴向右移动一个单位时间，然后重复步骤(4)(4)将所选择的小波函数尺度伸缩一个单位，然后重复将所选择的小波函数尺度伸缩一个单位，然后重复步骤步骤(1)(1)、(2)(2)、(3)(3)；(5)(5)对所有的尺度伸缩重复步骤对所有的尺度伸缩重复步骤(1)(1)、(2)(2)、(3)(3)、(4)(4)。79(4)将所选择的小波函数尺度伸缩一个单位，然后重复步骤(18080v 尺度与频率的关系尺度与频率的关系尺度与频率的关系如下：尺度与频率的关系如下：小尺度小尺度a a压缩的小波压缩的小波快速变换的细节快速变换的细节高频部分高频部分 大尺度大尺度a a拉伸的小波拉伸的小波缓慢变换的粗部缓慢变换的粗部低频部分低频部分81 尺度与频率的关系尺度与频率的关系如下：81(a)CWT二维图二维图82(a)CWT二维图82(b)三维图三维图连续小波变换分析图连续小波变换分析图83(b)三维图833.3 离散小波变换Discrete Wavelet Transform(DWT)将连续小波变换的缩放将连续小波变换的缩放因子因子a离散离散化，得到化，得到二进小波变换二进小波变换；再将其平移因子再将其平移因子b b也离散化，就得到也离散化，就得到离散小波变换离散小波变换,一般一般缩放因子和平移参数都选择缩放因子和平移参数都选择2 2j j（j0j0的整数）的倍数，称为的整数）的倍数，称为双尺度小波变换双尺度小波变换。843.3 离散小波变换Discrete Wavelet Tran执行离散小波变换的有效方法是使用滤波器执行离散小波变换的有效方法是使用滤波器u该方法是该方法是MallatMallat在在19881988年开发的，叫做年开发的，叫做MallatMallat算法算法u这种方法实际上是一种信号的分解方法，在数字信号处这种方法实际上是一种信号的分解方法，在数字信号处理中称为双通道子带编码理中称为双通道子带编码DWT变换方法变换方法85执行离散小波变换的有效方法是使用滤波器DWT变换方法85n用滤波器执行离散小波变换的概念如图所示用滤波器执行离散小波变换的概念如图所示uS S表示原始的输入信号，通过两个互补的滤波器产生表示原始的输入信号，通过两个互补的滤波器产生A A和和D D两个信号两个信号uA A表示信号的近似值表示信号的近似值(approximations)(approximations)uD D表示信号的细节值表示信号的细节值(detail)(detail)DWT变换方法变换方法86用滤波器执行离散小波变换的概念如图所示DWT变换方法86小波分解树小波分解树(a)信号分解信号分解 (b)系数结构系数结构(c)小波分解树小波分解树87小波分解树(a)信号分解 87小波包分解树小波包分解树小波分解树表示只对信号的低频分量进行连续分解。如果小波分解树表示只对信号的低频分量进行连续分解。如果不仅对信号的低频分量连续进行分解，而且不仅对信号的低频分量连续进行分解，而且对高频分量也对高频分量也进行连续分解进行连续分解，这样不仅可得到许多分辨率较低的低频分，这样不仅可得到许多分辨率较低的低频分量，而且也可得到许多分辨率较低的高频分量。这样分解量，而且也可得到许多分辨率较低的高频分量。这样分解得到的树叫做小波包分解树得到的树叫做小波包分解树(wavelet packet decomposition tree)，这种树是一个完整的二进制树。，这种树是一个完整的二进制树。更加精细88小波包分解树小波分解树表示只对信号的低频分量进行连续分解。如表示不表示不唯一唯一89表示不唯一89 多分辨分析多分辨分析(MRA)(MRA)：是小波分析的核心内容之一，其系统：是小波分析的核心内容之一，其系统和过程符合人类视觉和思维方式，故称为和过程符合人类视觉和思维方式，故称为“数学显微镜数学显微镜”。快速小波算法快速小波算法(FWA)(FWA)：又称：又称MallatMallat算法，基于算法，基于MRAMRA。FWAFWA通通过调节尺度因子实施对信号由细至粗过调节尺度因子实施对信号由细至粗(Fine to Coarse)(Fine to Coarse)的分解和由粗至细的分解和由粗至细(Coarse to Fine)(Coarse to Fine)的重构。的重构。90 多分辨分析(MRA)：是小波分析的核心内容之一，其系统和对小波分析的辩证认识另外，另外，选择何种小波变换方式选择何种小波变换方式(如连续、离散、框架、如连续、离散、框架、正交、双正交等正交、双正交等)，选取多少阶消失矩，正则性如何，频选取多少阶消失矩，正则性如何，频率选择性怎样率选择性怎样等等，是很难综合协调。因此，我们在欣赏等等，是很难综合协调。因此，我们在欣赏小波分析优良性能的同时，应当看到小波分析的一些不足，小波分析优良性能的同时，应当看到小波分析的一些不足，并努力想办法解决它。并努力想办法解决它。小波分析的优越性在于小波分析的优越性在于它是一个普遍性的分析工具它是一个普遍性的分析工具，并已在许多领域取得卓越成效。无数的小波函数和小波并已在许多领域取得卓越成效。无数的小波函数和小波-傅氏杂交型函数为人们自由地选择小波提供了广阔的空间，傅氏杂交型函数为人们自由地选择小波提供了广阔的空间，但是，但是，学术界在面向某一具体问题时学术界在面向某一具体问题时怎样合理地选择小怎样合理地选择小波，并没有取得共识，至今仍是一个开放性的课题波，并没有取得共识，至今仍是一个开放性的课题。91对小波分析的辩证认识另外，选择何种小波变换方式(如连续、离散4 4 哈尔函数哈尔函数4.1 4.1 哈尔基函数哈尔基函数4.2 4.2 哈尔小波函数哈尔小波函数924 哈尔函数4.1 哈尔基函数924.1 哈尔基函数基函数是一组线性无关的函数，可以用来构造任意给定的基函数是一组线性无关的函数，可以用来构造任意给定的信号。信号。哈尔基函数是最简单的基函数。哈尔基函数是最简单的基函数。哈尔基函数是一组分段常值函数组成的函数集合。哈尔基函数是一组分段常值函数组成的函数集合。这个函数集定义在半开区间这个函数集定义在半开区间0,1)上，每一个分段常值函数上，每一个分段常值函数的数值在一个小范围里是的数值在一个小范围里是“1”，其他地方为，其他地方为“0”。934.1 哈尔基函数基函数是一组线性无关的函数，可以用来构造任矢量空间矢量空间V0及其基及其基2 20 0=1=194矢量空间V0及其基20=194矢量空间矢量空间V1及其基及其基2 21 1=2=295矢量空间V1及其基21=2952 22 2=4=4矢量空间矢量空间V2及其基及其基9622=4矢量空间V2及其基96n为了表示矢量空间中的矢量，每一个矢量空间V j 都需要定义一个基(basis)n为生成矢量空间 而定义的基函数也叫做尺度函数(scaling function)，这种函数通常用符号 表示。哈尔基尺度函数 定义为 其中，j 为尺度因子，改变j 使函数图形缩小或者放大；i为平移参数，改变i使函数沿轴方向平移。97为了表示矢量空间中的矢量，每一个矢量空间V j 都需要定义一空间矢量空间矢量V j定义为定义为其中，表示线性生成其中，表示线性生成(linear span)(linear span)98空间矢量V j定义为其中，表示线性生成(linear spa4.2 哈尔小波函数基本哈尔小波函数哈尔小波函数用小波函数构成的矢量空间用用小波函数构成的矢量空间用W j表示为，表示为，994.2 哈尔小波函数基本哈尔小波函数用小波函数构成的矢量空间生成矢量空间生成矢量空间W0的哈尔小波函数的哈尔小波函数100生成矢量空间W0的哈尔小波函数100生成矢量空间生成矢量空间W1的哈尔小波函数的哈尔小波函数101生成矢量空间W1的哈尔小波函数101生成矢量空间生成矢量空间W2的哈尔小波函数的哈尔小波函数102生成矢量空间W2的哈尔小波函数102请自己写出生成矢量空间W3和W4的哈尔小波函数103请自己写出生成矢量空间W3和W4的哈尔小波函数1035 5 哈尔小波变换哈尔小波变换 小波变换就是用一组小波函数或者基函数来表示一个函数或者信号。5.1 5.1 一维哈尔小波变换一维哈尔小波变换5.2 5.2 二维哈尔小波变换二维哈尔小波变换1045 哈尔小波变换 小波变换就是用一组小波函数或105105例题：假设有一幅分辨率只有4个像素的一维图像，对应的像素值分别为 9 7 3 5计算它的哈尔小波变换系数5.1 一维哈尔小波变换106例题：假设有一幅分辨率只有4个像素的一维图像，对应的像素值107107分辨率分辨率平均值平均值V j细节系数细节系数W j4V 2:(9,7,3,5)W 2:无2V 1:(8,4)W 1:(1,-1)1V 0:(6)W 0:(2)9 7 3 5 6 2 1 1小波变换的最后结果仍然是小波变换的最后结果仍然是4个系数，但个系数，但系数的幅系数的幅度减少度减少。108分辨率平均值V j细节系数W j4V 2:(9,7,3求均值和差值的过程实际上就是一维小波变换的过程。109求均值和差值的过程实际上就是一维小波变换的过程。109说明：说明：变变换换过过程程中中没没有有丢丢失失信信息息，因因为为能能够够从从所所记记录录的的数数据据中中重重构出原始图像。构出原始图像。对对这这个个给给定定的的变变换换，我我们们可可以以从从所所记记录录的的数数据据中中重重构构出出各各种种分分辨辨率率的的图图像像。例例如如，在在分分辨辨率率为为1 1的的图图像像基基础础上上重重构构出出分分辨辨率率为为2 2的的图图像像；在在分分辨辨率率为为2 2的的图图像像基基础础上上重重构构出出分分辨辨率率为为4 4的图像。的图像。通通过过变变换换之之后后产产生生的的细细节节系系数数的的幅幅度度值值比比较较小小，这这就就为为图图像像压压缩缩提提供供了了一一种种途途径径，例例如如去去掉掉一一些些微微不不足足道道的的细细节节系系数数并并不影响对重构图像的理解。不影响对重构图像的理解。110说明：变换过程中没有丢失信息，因为能够从所记录的数据中重88885.2 二维哈尔小波变换111885.2 二维哈尔小波变换1111.求均值和求差值（对每一行）求均值和求差值（对每一行）1121.求均值和求差值（对每一行）1122.求均值和求差值（对每一列）求均值和求差值（对每一列）1132.求均值和求差值（对每一列）113 左上角的元素表示整个图像块的像素值