毕业设计（论文）频域自适应滤波算法及应用

本科毕业设计 频域自适应滤波算法及应用 华 南 理 工 大 学 毕 业 设 计 （论文） 任 务 书 兹发给 级 班学生毕业设计（论文）任务书，内容如下： 1.毕业设计（论文）题目：频域自适应滤波算法及应用 2.应完成的项目： （1）学习并深刻理解自适应滤波器的基本原理 （2）了解通信中自适应滤波器的几种典型应用（回波抵消、信道均衡、系统辨识、噪声消除） （3）了解语音信号或者图像信号的基本特点 （4）掌握并设计一种自适应信号处理的频率域滤波算法、熟悉Matlab软件并编程实现 （5）完成一篇相关学术论文并争取投稿发表 3.参考资料以及说明： （1）通信中的自适应信号处理邱天爽、魏东兴等编，电子工业出版社 （2）自适应滤波算法与实现（英）Paulo S. R. Diniz 著，刘郁林等译，电子工业出版社 （3）信号处理中自适应理论谢胜利、何昭水、高鹰 著，科学出版社 （4）数字信号处理教程Matlab释义与实现陈怀琛著，电子工业出版社 （5） （6） （7） 4.本毕业设计（论文）任务书于 年 月 日发出，应于 年 月 日前完成，然后提交毕业考试委员会进行答辩。 专业教研组（系）、研究所负责人 审核 年 月 日 指导教师 签发 年 月 日毕业设计（论文）评语：自适应滤波算法是近30年来研究发展的一个热点内容，特别是在现代电脑技术和通信技术的不断发展，自适应滤波起着不可或缺的作用。自适应滤波在信道均衡、回波抵消、谱线增强、噪声抑制、雷达杂波抵消、相参检测、系统辨识、系统建模及生物医学电子等方面有着极其广泛的应用，所以研究自适应滤波算法具有极大的意义。而频域自适应滤波相对时域自适应滤波来说又具有速度快、收敛性能好、易于分块处理等优点，更具研究意义。作者从熟悉自适应滤波基本原理入手，收集、阅读了一定的相关文献资料，较详细地分析、描述和归纳了自适应滤波技术的特性。然后作者在简单介绍各种自适应滤波算法的基础上，详细地介绍了当前最为广泛和简便的最小均方误差自适应算法（LMS算法），还研究了改算法的各种参数的影响。最后还对算法进行了实际例子的matlab仿真，对仿真结果进行了详细的分析，说明了自适应滤波算法既有良好的效果和易于实现。论文略显不足的是没有重点突出几种算法的频域形式。该论文数据、资料的收集比较详细，基本符合本科毕业设计要求，该生在论文答辩过程中讲述清晰，语速适中，回答问题正确。 综上表明该生具有较好的专业基础知识和独立科研工作能力，建议授予学士学位。毕业设计（论文）总评成绩： 毕业设计（论文）答辩负责人签字： 年 月 日摘 要 自适应滤波算法的研究是当今自适应信号处理中最为活跃的研究课题之一。寻求收敛速度快，计算复杂性低，数值稳定性好的自适应滤波算法是研究人员不断努力追求的目标。本文简单的介绍了自适应滤波算法的发展历史，和未来的发展前景。在论述自适应滤波基本原理的基础上，简单介绍了目前几种典型的自适应滤波算法，对时域和频域滤波的特点和区别稍作分析。重点对LMS自适应滤波算法的推理过程和参数进行了比较深入的理论分析。LMS算法是最简单、应用最为广泛的自适应算法之一。LMS算法通过自适应调节滤波器参数，使得残余回波或平方误差的期望值达到最小。自适应滤波算法是信号处理的重要基础，近年来发展速度很快，在各个领域取得了广泛的应用。介绍了几种自适应滤波器的典型应用：回波抵消、信道均衡、系统辨识和噪声消除。最后还简单介绍了matlab软件的功能特点，对自适应算法进行了matlab仿真，验证出自适应滤波的明显效果。关键词:自适应滤波，LMS算法，自适应噪声消除，matlabIAbstract Abstract: The research of adaptive filtering algorithm is one of the most activity tasks. The goal that researchers want to pursue is to find an adaptive filtering algorithm that converge fast and computer simple. This article simply describes the historical development of adaptive filtering algorithms, and future prospects.Based on basic principles of adaptive filtering, this paper gives a brief introduction of the current typical adaptive filtering algorithms , also Simple analysis the characteristics and differences between time domain and frequency domain filtering. Focus on the LMS adaptive filter algorithm, In-depth analysis of the process and parameters of this algorithm. LMS algorithm is the simplest, most widely used one of the adaptive algorithm. LMS adaptive algorithm adjusting filter parameters, so the residual echo or minimize the expected squared error. Adaptive signal processing filter algorithm is an important basis for rapid development in recent years, in various areas have a wide range of applications Describes several typical applications of Adaptive Filter: Echo Cancellation, Channel Equalization, System Identification and Noise Cancellation.Finally, gives a brief introduction of matlab software, and the adaptive algorithm matlab simulation proved that the apparent adaptive filtering effect.Keyword： Adaptive filter ，LMS algorithm， Adaptive noise Cancellation, Matlab目 录摘 要IAbstractII第一章 绪论11.1自适应算法的研究背景11.2 自适应算法的现状21.3 频域算法和时域算法的比较21.4自适应算法的发展前景3第二章 自适应滤波的各种算法52.1 自适应算法的基本原理52.2 基于维纳滤波理论的方法562.3基于卡尔曼滤波理论的方法72.4基于最小二乘准则的方法72.5几种具体常用自适应滤波算法简介82.5.1 RLS自适应滤波算法82.5.2变换域自适应滤波算法82.5.3仿射投影算法92.5.4共辆梯度算法92.5.5基于子带分解的自适应滤波算法92.5.6基于QR分解的自适应滤波算法102.6本章小结10第三章LMS自适应算法113.1引言113.2 LMS自适应算法具体算法123.3 LMS自适应算法性能分析163.3.1自适应收敛性163.3.2 平均MSE学习曲线173.3.3 失调系数183.4 频域LMS自适应算法的算法研究与实现183.4.1 基本原理193.4.2 收敛特性213.4.3 失调213.4.4 实现频域滤波的Matlab源程序223.5 本章小结22第四章 自适应滤波的应用234.1 引言234.2回波抵消234.3信道均衡244.4系统辨识254.5噪声消除264.6 本章小结26第五章 自适应滤波算法的Matlab仿真实现275.1 Matlab语言的基本介绍275.2 仿真算法与结果275.2.1 自适应噪声消除仿真275.2.2 自适应自适应陷波器仿真28第六章 总结29参考文献31致谢33- 33 -第一章 绪论第一章 绪论1.1自适应算法的研究背景早在20世纪40年代，就对平稳随机信号建立了维纳滤波理论1，根据有用信号和干扰噪声的统计特性（自相关函数或功率谱），以线性最小均方误差估计准则所设计的最佳滤波器，称为维纳滤波器。这种滤波器能最大程度地消除干扰噪声，提取有用信号，但是，当输入信号的统计特性偏离涉及条件，则它就不再是最佳的了，这在实际应用中受到了限制。到了60年代，由于空间技术的发展，出现了卡尔曼滤波理论，即利用状态变量模型对非平稳、多输入输出随机序列作最优估计。现在，卡尔曼滤波器已成功地应用到许多领域，它既可以对平稳和非平稳的随机信号作线性最佳滤波，也可以作非线性滤波，实质上，维纳滤波器也是卡尔曼滤波器的一个特例。然而，再设计卡尔曼滤波器的时候，必须知道产生输入过程的系统的状态方程和测量方程，即要对信号和噪声的统计特性有先验知识。但是在实际中，往往难以预知这些统计特性，因此实现不了真正的最佳滤波2。Widrow B 等于1967年提出的自适应滤波理论，可使自适应滤波系统的参数自动地调整而达到最佳，而且在设计时，只需要很少或者根本不需要任何关于信号与噪声的先验统计知识。这种滤波器的实现差不多像维纳滤波器那样简单，而滤波性能几乎如卡尔曼滤波器一样好。因此近几十年来，自适应滤波里理论和方法得到了迅速发展。在最近几十年中，数字信号处理技术取得了飞速发展。数字信号处理技术的巨大发展，使得其中的某些研究方向已经独立出来，成为了新的领域。如果可以准确得到待处理信号的信息，则设计者就可以很容易地选择最合适的算法来对信号进行处理。如果待处理信号的统计特性是未知的，那么采用固定的算法就不能有效地处理信号。解决方法是采用自适应滤波器，这种滤波器可以通过其内部参数的最优化来自动改变其特征。自适应滤波算法在统计信号处理的许多应用中都是非常重要的。所以，30多年以来，自适应信号滤波器一直都是研究的热点，也是近30年以来发展起来的一种最佳滤波方法。它是在维纳滤波，Kalman滤波等线性滤波基础上发展起来的一种最佳滤波方法。由于它具有更强的适应性和更优的滤波性能。从而在工程实际中，尤其在信息处理技术中得到广泛的应用。自适应滤波的研究对象是具有不确定的系统或信息过程。“不确定”是指所研究的处理信息过程及其环境的数学模型不是完全确定的。其中包含一些未知因数和随机因数。任何一个实际的信息过程都具有不同程度的不确定性，这些不确定性有时表现在过程内部，有时表现在过程外部。从过程内部来讲，描述研究对象即信息动态过程的数学模型的结构和参数是我们事先不知道的。作为外部环境对信息过程的影响，可以等效地用扰动来表示，这些扰动通常是不可测的，它们可能是确定的，也可能是随机的。此外一些测量噪音也是以不同的途径影响信息过程。这些扰动和噪声的统计特性常常是未知的。面对这些客观存在的各种不确定性，如何综合处理信息过程，并使某一些指定的性能指标达到最优或近似最优，这就是自适应滤波所要解决的问题。31.2 自适应算法的现状自适应滤波器理论与技术是50年代末发展起来的，它对复杂信号的处理具有独特的功能。自适应滤波器在信道均衡、回波抵消、谱线增强、噪声抑制、雷达杂波抵消、相参检测、系统辨识、系统建模及生物医学电子等方面有着极其广泛的应用。有限冲击响应滤波器的自适应算法主要包括递归最小平方算法（RLS）和最小均方自适应算法（LMS）。RLS算法尽管在系统辨识和时间序列分析领域中有广泛的应用，但由于计算工作量太大，在信号处理的应用上仍然受到了一定的限制。相对而言，在许多对计算量要求并不是很大的情况下，LMS算法得到了相当程度的普及.1.3 频域算法和时域算法的比较对图像或是各种信号的表达方法一般有两种：时域和频域。所谓时域，即时间域（time domain）自变量是时间,即横轴是时间,纵轴是信号的变化。其动态信号x（t）是描述信号在不同时刻取值的函数。时域内容可以用我们常用的示波器来查看。而频域，即频率域（frequency domain）自变量是频率,即横轴是频率,纵轴是该频率信号的幅度,也就是通常说的频谱图。频谱图描述了信号的频率结构及频率与该频率信号幅度的关系。频域内容可以用频谱仪来查看。对信号进行时域分析时，有时一些信号的时域参数相同，但并不能说明信号就完全相同。因为信号不仅随时间变化，还与频率、相位等信息有关，这就需要进一步分析信号的频率结构，并在频率域中对信号进行描述。动态信号从时间域变换到频率域主要通过傅立叶级数和傅立叶变换等来实现。很简单时域分析的函数是参数是t，也就是y=f(t)，频域分析时，参数是w，也就是y=F(w)两者之间可以互相转化。时域函数通过傅立叶或者拉普拉斯变换就变成了频域函数。1.4自适应算法的发展前景随着电脑技术，通信技术的不断发展，特别是现在的第三代移动通信技术的发展，通信智能化，数据的大量化，高速实时的多媒体应用需求不断增加4。处理信号的类型已经不仅仅局限于对常规数据的处理，还要处理大量的语音信号和视频信号等。这类信号的特点是数字化，宽频化，大数据量。自适应滤波算法的发展前景非常好。特别是一些改进的快速自适应算法和频域算法，由于其处理数据的速度比较快，目前研究的人员不断增多，有着相当广阔的发展前景。第二章 自适应滤波的各种算法第二章 自适应滤波的各种算法2.1 自适应算法的基本原理所谓的自适应滤波，就是利用前一时刻以获得的滤波器参数的结果，自动的调节现时刻的滤波器参数，以适应信号和噪声未知的或随时间变化的统计特性，从而实现最优滤波。自适应滤波器实质上就是一种能调节其自身传输特性以达到最优的维纳滤波器。自适应滤波器不需要关于输入信号的先验知识，计算量小，特别适用于实时处理。由于无法预先知道信号和噪声的特性或者它们是随时间变化的，仅仅用FIR和IIR两种具有固定滤波系数的滤波器无法实现最优滤波。在这种情况下，必须设计自适应滤波器，以跟踪信号和噪声的变化。自适应滤波器的特性变化是由自适应算法通过调整滤波器系数来实现的。一般而言，自适应滤波器由两部分组成，一是滤波器结构，二是调整滤波器系数的自适应算法。自适应滤波器的结构采用FIR或IIR结构均可，由于IIR滤波器存在稳定性问题，因此一般采用FIR滤波器作为自适应滤波器的结构。图2.1显示出了自适应滤波器的基本原理图。图2.1自适应滤波原理图图中，x(n)为输入信号，y(n)为输出信号，d(n)为参考信号或期望信号，e(n)则是d(n)和y(n)的误差信号。自适应滤波器的滤波器系数受误差信号e(n)控制，根据e(n)的值和自适应算法自动调整。自适应滤波器可以分为线性自适应滤波器和非线性自适应滤波器。非线性自适应滤波器包括Voherra滤波器和基于神经网络的自适应滤波器。非线性自适应滤波器具有更强的信号处理能力。但是，由于非线性自适应滤波器的计算较复杂，实际用得最多的仍然是线性自适应滤波器。2.2 基于维纳滤波理论的方法5所谓维纳滤波理论，所要解决的是最小均方误差准则下的线性滤波问题。维纳滤波器（Wiener filter）是由数学家维纳（Rorbert Wiener）提出的一种以最小平方为最优准则的线性滤波器。在一定的约束条件下，其输出与一给定函数（通常称为期望输出）的差的平方达到最小，通过数学运算最终可变为一个托布利兹方程的求解问题。维纳滤波器又被称为最小二乘滤波器或最小平方滤波器，目前是基本的滤波方法之一。 20世纪40年代，维纳奠定了关于最佳滤波器研究的基础。即假定线性滤波器的输入为有用信号和噪声之和，两者均为广义平稳过程且知它们的二阶统计特性，维纳根据最小均方误差准则(滤波器的输出信号与需要信号之差的均方值最小)，求得了最佳线性滤波器的参数，这种滤波器被称为维纳滤波器。在维纳研究的基础上，人们还根据最大输出信噪比准则、统计检测准则以及其他最佳准则求得的最佳线性滤波器。实际上，在一定条件下，这些最佳滤波器与维纳滤波器是等价的。因而，讨论线性滤波器时，一般均以维纳滤波器作为参考。 维纳滤波器(wiener filter)是一种早期所提出的滤波器。其中的输入u(0),u(l)，u(2)，分别表示时间上的输入序列，而滤波器本身的特性则由脉冲响应，来表示，在某个时间点n，线性滤波器产生一个输出信号y(n)，此输出信号是为了用来估测某一个我们想要估测的信号d(n)，因此所要估计的信号和滤波器输出信号之差便称为估测误差e(n)。换句话说e(n)=d(n)-y(n)，而滤波器输出信号y(n)，我们将其定义为滤波器脉冲响应及输入序列的线性卷积(linearconvolutionsum): (2-1) 其中*为共扼复数符号。我们假设滤波器输出y(n)和d(n)为联合广义静止随机程序，并假设两者均值皆都为零。因此，我们可以估测误差e(n)变为一个随机变数的取样值。 维纳滤波器的优点是适应面较广，无论平稳随机过程是连续的还是离散的，是标量的还是向量的，都可应用。对某些问题，还可求出滤波器传递函数的显式解，并进而采用由简单的物理元件组成的网络构成维纳滤波器。维纳滤波器的缺点是，要求得到半无限时间区间内的全部观察数据的条件很难满足，同时它也不能用于噪声为非平稳的随机过程的情况，对于向量情况应用也不方便。因此，维纳滤波在实际问题中应用不多。 实现维纳滤波的要求是：输入过程是广义平稳的；输入过程的统计特性是已知的。根据其他最佳准则的滤波器亦有同样要求。然而，由于输入过程取决于外界的信号、干扰环境，这种环境的统计特性常常是未知的、变化的，因而难以满足上述两个要求。这就促使人们研究自适应滤波器。2.3基于卡尔曼滤波理论的方法为了使自适应滤波器能工作在平稳的或非平稳的环境下，可以借助于卡尔曼滤波器来推导自适应滤波算法。卡尔曼滤波是线性无偏最小方差递推滤波，它的估计性能是最优的，而递推计算形式又能适应实时处理的需要。对于一个线性动态系统的卡尔曼滤波问题，可以用状态方程与测量方程来描述，前者以状态矢量来刻划系统的动态，后者表述系统中的测量误差。根据估计理论，可知最小误差嫡估计准则与最小方差估计准则等价，而卡尔曼滤波是线性无偏最小方差估计，故有不同的方法推演卡尔曼的递推公式。但由于所学知识有限，在这里不进行深入的研究于讨论。仅作为一个知识点。在此考虑理论的完备性而进行简单的介绍。对于平稳情况，可使用固定状态模型，它的权矢量或状态矢量等于一常数。对于非平稳情况，可使用噪声化状态模型，它的权矢量或状态矢量围绕着某均值作随机游程变化。据此，可利用卡尔曼滤波的递推求解法导出自适应滤波器更新权矢量的不同递推算法。这些算法比起LMS算法有极快的收敛速率;同时，在收敛过程具有好的坚韧性，因其收敛速率对特征值扩展度不灵敏。但是，这些算法的主要限制是其计算复杂度，因要求解卡尔曼滤波问题的矩阵公式，计算量大。2.4基于最小二乘准则的方法前面有维纳滤波器与卡尔曼滤波器所导出的自适应滤波算法的理论是基于统计概念的。而最小二乘估计算法是以最小误差平方和为优化目标，这里误差就是自适应滤波器的期望响应d(n)与真实滤波输出y(n)之差，故这类自适应滤波性能优化的准则是 (2-2) 根据这类自适应滤波器的实现结构，可以得到以下三种不同的最小二乘自适应滤波算法:(l)自适应递归最小二乘算法6这种自适应滤波算法是指横向滤波器结构的递归最小二乘算法(简称RLS算法)，它的推导是依赖于线性代数中矩阵的反演引理，与卡尔曼滤波算法有密切的关系。为了减少RLS算法的计算量，现已开拓出快速RLS算法和快速横向滤波器(FTF)算法等。(2)自适应最小二乘格型算法(3)QR分解最小算法2.5几种具体常用自适应滤波算法简介2.5.1 RLS自适应滤波算法基于最小二乘准则，RLS算法决定自适应滤波器的权系数向量W（n）使估计误差的加权平方和 最小。RLS算法对输入信号的自相关矩阵R（n）的逆进行递推估计更新，收敛速度快，其收敛性能与输入信号的频谱特性无关。但是，RLS算法的计算复杂度很高，所需的存储量极大，不利于适时实现;倘若被估计的自相关矩阵R（n）的逆失去了正定特性，这还将引起算法发散。为了减小RLS算法的计算复杂度，并保留RLS算法收敛速度快的特点，产生了许多改进的RLS算法。如快速RLS (FastRLS)算法，快速递推最小二乘格型算法等。这些算法的计算复杂度低于RLS算法，但它们都存在数值稳定性问题。改进的RLS算法着重于用格型滤波器的RLS算法，快速RLS算法就是在RLS格型算法基础上得到的。格型滤波器与直接形式的FIR滤波器可以通过滤波器系数转换相互实现。格型参数称为反射系数，直接形式的FIR滤波器长度是固定的，一旦长度改变则会导致一组新的滤波器系数，而新的滤波器系数与旧的滤波器系数是完全不同的。而格型滤波器是次序递推的，因此，它的级数的改变并不影响其它级的反射系数，这是格型滤波器的一大优点。RLS格型滤波器算法就是将最小二乘准则用于求解最佳前向预测器系数、最佳后向预测器系数，进行时间更新、阶次更新及联合过程估计。格型RLS算法的收敛速度基本上与常规RLS算法的收敛速度相同，因为二者都是在最小二乘的意义下求最佳。但格型RLS算法的计算复杂度高于常规RLS算法。格型RLS算法的数字精度比常规RLS算法的精度高，对舍入误差的不敏感性甚至优于LMS算法。2.5.2变换域自适应滤波算法对于强相关的信号,LMS算法的收敛性能降低,这是由于LMS算法的收敛性能依赖于输入信号自相关矩阵的特征值发散程度。输入信号自相关矩阵的特征值发散程度越小,LMS算法的收敛性能越好。于是,Dentino等1979年首先提出了变换域自适应滤波7的概念,其基本思想是把时域信号转变为变换域信号,在变换域中采用自适应算法。Narayan等对变换域自适应滤波算法作了全面的总结。变换域自适应滤波算法的一般步骤是:(1)选择正交变换,把时域信号转变为变换域信号;(2)变换后的信号用其能量的平方根进行归一化;(3)采用某种自适应算法进行滤波。此外,小波变换也被用于变换域自适应滤波。在小波变换自适应滤波中,通常采用两种形式:一种是小波子带自适应滤波,它相当于把输入信号和期望响应信号在多分辨率空间进行自适应滤波后,再变换为时域输出信号;另一种是小波变换域自适应滤波,它是把输入信号用小波的多分辨率空间的信号来表示,作为自适应滤波器的输入,而期望响应信号并不作小波变换。2.5.3仿射投影算法 仿射投影算法最早由K.ozeki和T.Umeda8提出，它是能量归一化最小均方误差(NLMS)算法的推广。仿射投影算法的性能介于LMS算法和RLS算法之间，其计算复杂度比RLS算法低。能量归一化最小均方误差困LMs)算法是LMS算法的一种改进算法，NLMS算法可以看作是一种时变步长因子的LMS算法，其收敛性能对输入信号的能量变化不敏感。仿射投影算法是NLMS算法的多维推广，假定尸为投影阶数，仿射投影算法中权系数向量的修正量由下述方程组的最小二范解决定:其中：利用矩阵的广义逆可求得W(k-l)，因此，仿射投影算法可表示为:仿射投影算法的计算复杂度为 量级，比RLS算法低一个数量级，但比NLMS算法高很多。Gay等提出的快速仿射投影算法大大降低了仿射投影算法的计算复杂度。在快速仿射投影算法中，采用滑动窗快速横向滤波器算法计算预滤波向量，避免了矩阵求逆运算。快速仿射投影算法的计算复杂度虽然降低了，但其内嵌的滑动窗快速横向滤波器算法的实现相对复杂，并且存在数值稳定性问题。为解决快速仿射投影算法的数值稳定性问题，Douglas等提出了正交变换的快速仿射投影算法的近似算法，避免了采用复杂的滑动窗快速横向滤波器算法，改善了快速仿射投影算法在有限精度运算时的数值稳定性。2.5.4共辆梯度算法虽然RLS算法收敛速度快,但其计算复杂度很高,因为它需要估计逆矩阵。假如被估计的逆矩阵失去正定性,就会引起算法发散;并且算法实现所需的存储量极大,不利于实现。一些快速RLS算法虽降低了RLS算法的计算复杂度,但都存在数值稳定性问题。共扼梯度自适应滤波算法9不含有RLS算法中的矩阵运算,也没有某些快速RLS算法存在数值稳定性问题,它保留了RLS算法收敛速度快的特点。Alan 10等提供和分析了共辘梯度法在自适应滤波中的两种实现方法,这两种方法对原始的共扼梯度法作了一些修改,并且对这两种算法的收敛性能和失调作了比较,建立了算法的稳定范围。2.5.5基于子带分解的自适应滤波算法.基于子带分解自适应滤波的基本原理是将输入信号与参考信号经过分解滤波器组抽取进行子带分解,对信号按频带划分,然后在各个子带上分别进行自适应滤波,再将子带信号内插后通过合成滤波器组得到最后的合成信号。其中,由于对信号进行了抽取,使完成自适应滤波所需的计算量得以减小;而在子带上进行自适应滤波使收敛性能又有所提高。在信号的子带分解中,存在着由于分解滤波器组的非理想特性引起的子带信号混叠的问题为了避免混叠对自适应滤波的影响,Gilloire 11采用加入子带间滤波的方法,而Peraglia等采取在抽取时过采样的方法。一般来说,信号的子带分解处理有如下优点:采样间隔增大引起滤波器抽头数目减少,减小了计算复杂性;采样间隔扩大后,输入信号本身的自相关也减弱,可以提高算法的收敛性能为了提高信号子带分解自适应滤波器的收敛速度Deleon等认为,经过子带分解后,抽取引起部分信号的浪费,采用Multirate Reoeating Method可以利用那些被浪费的信号成分,通过增加单位时间内对权值的更新次数,获得更快的收敛速度。2.5.6基于QR分解的自适应滤波算法基于QR分解的递推最小二乘自适应滤波算法首先采用Givens旋转变换把加权输入信号矩阵变换为上三角矩阵,然后再利用回代求解三角矩阵方程,计算自适应滤波器权系数向量。QR分解类自适应滤波算法有以下一种:1)QR-RLS算法;2)Extended QR-RLS算法;3)In verse QR-RLS算法。基于QR分解的自适应滤波算法对输入信号矩阵直接进行更新,因此在有限精度运算条件下,具有良好的数值稳定性。各种QR分解的快速自适应滤波算法可以直接计算估计误差,并不需要更新权系数向量。而基于逆QR分解的递推最小三乘自适应滤波算法可以直接更新权系数向量,并且避免了复杂的回代运算。2.6本章小结本章对各种类型的自适应滤波算法进行了简单的总结分析。维纳滤波算法的优点是适应面较广，无论平稳随机过程是连续的还是离散的，是标量的还是向量的，都可应用。但是同样要求得到半无限时间区间内的全部观察数据的条件很难满足，同时它也不能用于噪声为非平稳的随机过程的情况，对于向量情况应用也不方便。卡尔曼滤波算法的应用相当广泛，它既可以对平稳和非平稳的随机信号作线性最佳滤波，也可以作非线性滤波。变换域类算法也是通过作某些正交变换使输入信号自相关矩阵的特征值发散程度变小,提高收敛速度。信号的子带分解能降低输入信号的自相关矩阵的特征值发散程度,从而加快自适应滤波算法的收敛速度,同时便于并行处理,带来了一定的灵活性。基于矩阵的QR分解的自适应滤波算法具有良好的数值稳定性。而仿射投影算法的性能介于LMS算法和RLS算法之间。共轭梯度自适应滤波算法的提出是为了降低RLS类算法的复杂性和克服某些快速RLS算法存在的数值稳定性问题。第三章 LMS自适应算法第三章LMS自适应算法3.1引言自适应滤波器实际上是一种能够自动调整本身参数的特殊维纳滤波器12，在设计时不需要预先知道关于输入信号和噪声的统计特性，它能够在工作过程中逐步“了解”或估计出所需的统计特性，并以此为依据自动调整自身的参数，以达到最佳滤波效果。一旦输入信号的统计特性发生变化，它又能够跟踪这种变化，自动调整参数，使滤波器性能重新达到最佳。自适应滤波器由参数可调的数字滤波器(或称为自适应处理器)和自适应算法两部分组成，参数可调数字滤波器可以是FIR数字滤波器或IIR数字滤波器，也可以是格型数字滤波器。输入信号x(n)通过参数可调数字滤波器后产生输出信号(或响应) y(n)，将其与参考信号(或称期望响应) d(n)进行比较，形成误差信号e(n)，并以此通过某种自适应算法对滤波器参数进行调整，最终使e(n)的均方值最小。尽管自适应滤波器具有各种不同的算法和结构，但是，其最本质特征是始终不变的。这种最本质的特征可以概括为：自适应滤波器依据用户可以接受的准则或性能规范，在未知的而且可能是时变的环境中正常运行，而无须人为的干预。 在这一章，我们研究一种现在最为广泛使用的算法理论，该算法是有其创始人Widrow 和Hoff（1960）命名的最小均方（LMS,Least-mean-square）算法。LMS算法是随机梯度算法族中的一员。使用“随机梯度”一词是为了将LMS算法与最速下降算法区别开来。该算法在随机输入维纳滤波器递归计算中使用确定性梯度。LMS算法的一个显著特点是它的简单性。此外，它不需要计算有关的相关函数，也不需要矩阵求逆运算。事实上，正是因为LMS算法的简单性，使得他成为其他线性自适应滤波算法的参照标准。3.2 LMS自适应算法具体算法 LMS算法是线性自适应滤波算法13。一般来说，它包含两个基本过程： （1）滤波过程 包括：1、计算线性滤波器输出对输入信号的响应； 2、通过比较输出结果与期望响应产生估计误差。 （2）自适应过程 根据估计误差自动调整滤波器参数这两个过程一起工作组成一个反馈环，如图3-1所示。图 3-1 自适应横向滤波器框图首先，我们有一个横向滤波器（围绕它构造LMS算法）；该部件的作用在于完成滤波过程。其次，我们有一个横向滤波器抽头权值进行自适应控制过程的算法，即图中标明的“自适应控制算法”部分。横向滤波器的各部分的细节如图3-2所示。图3-2 横向滤波器结构框图抽头输入 u(n),u(n-1), u(n-M+1)为M*1抽头输入向量u(n)元素，其中M-1 是延迟单元的个数；这些输入张成一个多维空间。响应地，抽头权值 为M*1抽头权值w(n)的元素。通过LMS算法计算这个向量所得的值表示一个估计，当迭代熟趋近无穷时，该估计的期望值可能接近维纳解。（对于广义平稳过程） 在滤波过程中，期望响应d(n)与抽头输入向量U(n)一道参与处理。在这种情况下，给定一个输入，横向滤波器产生一个输出d(n) 作为期望响应的估计。因此，我们可把估计误差e(n)定义为期望响应与实际滤波器输出之差，如图3-2所示。估计误差e(n与抽头输入向量u(n)都被加到自适应控制部分，因此围绕抽头权值的反馈环市闭环的。 图3-3表示自适应权值控制机制的详细结构。特别地，首先对k=0,1,M-2，M-1，求估计误差e(n)，与抽头输入u(n-k)的内积。所以结果定义了校正量，它将在第n+1次迭代中应用于w(n)。用在计算中所用的标度因子用正数表示，称为步长参数，如图3-3图3-3 权值自适应控制算法模型 LMS算法使用作为梯度向量的第k个元素的估计，而体现了最速下降算法的特点。换句话说，图3-3的所有路径都移走了一个期望算子。因此，LMS算法中每个抽头权值的迭代计算都不可避免地受到梯度噪声的影响。我们假设抽头输入向量u(n)的期望响应d(n)都取自联合广义平稳过程。特别地，期望相应d(n)与输入向量u(n)之间的线性关系是通过回归模型建立起来的，改模型参数向量未知，从而需要自适应滤波。在这个环境下，由于最速下降算法根据确定性轨迹沿着误差性能曲面计算抽头权向量w(n),最后终止于维纳解。另外一方面，由于梯度噪声的存在，LMS算法的表现将有所不同：它不是终止于维纳解，由LMS算法得到的抽头权向量w(n)，围绕误差性能曲面极小点随机移动。后面我们将看到，当较小时这种运动是布朗运动的一种形式。 最小均方(LMS)自适应算法就是一种以期望响应和滤波输出信号之间误差的均方值最小为准的14，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。自适应滤波器最普通的应用就是横向结构。滤波器的输出信号y(n)是 (3-1)T表示转置矩阵，n是时间指针，N是滤波器次数。这个例子就是有限脉冲响应滤波器的形式，为x(n)和w(n)两个矩阵卷积。这种自适应算法使用误差信号:e(n)=d(n)-y(n) (3-2)为了方便起见，将上述式子表示为向量形式，则上述式子表示为: (3-3)误差序列可以写为： （3-4）其中d(n)是期望信号，y(n)是滤波器的输出。使用输入向量x(n)和e(n)来更新自适应滤波器的最小化标准的相关系数。显然，自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数wi(n)，i=1，2，N进行调节的，最终使自适应滤波的目标(代价)函数最小化，达到最佳滤波状态。本节所用的标准是最小均方误差(MSE)。 （3-5）E表示算子期望。假如公式中的y(n)被公式(3.3)取代，公式(3.5)就可以表示为： （3-6）是NxN自相关矩阵，是输入信号的自相关矩阵。是Nxl互相关向量，也指出了期望信号d(n)和输入信号向量x(n)的相互关矢量。由式(3.6)可见，自适应滤波器的代价函数是延迟线抽头系数的二次函数。当矩阵R和矢量P己知时，可以由权系数矢量w直接求解最优解 最小化MSE，直接求其解。源自解这个公式:（3-7）将式(3.6)对w求其偏导数，并令其等于零，假设矩阵R满秩(非奇异)，可得代价函数最小的最佳滤波系数 (3-8)这个解称为维纳解，即最佳滤波系数值。因为均方误差(MSE)函数是滤波系数w的二次方程，由此形成一个多维的超抛物面，这好像一个碗状曲面又具有唯一的碗底最小点，通常称之为自适应滤波器的误差性能曲面。当滤波器工作在平稳随机过程的环境下，这个误差性能曲面就具有固定边缘的恒定形状。自适应滤波系数的起始值wi(0)，i=1，2，N是任意值，位于误差性能曲面上某一点，经过自适应调节过程，使对应于滤波系数变化的点移动，朝碗底最小点方向移动，最终到达碗底最小点，实现了最佳维纳滤波。 自适应过程是在梯度矢量15的负方向接连的校正滤波系数的，即在误差性能曲面的最陡下降法方向移动和逐步校正滤波系数，最终到达均方误差为最小的碗底最小点，获得最佳滤波或准最优工作状态。广泛使用的LMS算法是一种选择性算法适应采样和采样基础。这个方法可以避免复杂的计算。LMS算法是最陡下降法，在这个算法中，向量w(n+1)通过改变对最小均方误差性能的负梯度比例来增强。 对于LMS算法梯度通过假设平方误差作为公式3.8的MSE来预测。因此，梯度预测可以单一化表示为: （3-9）在实际应用中，2u经常用来代替u。瞬间梯度预测产生的Widrow一HoffLMS算法，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+l)可以用下列简单递归关系来计算: （3-10）u是自适应步长来控制稳定性和收敛率。这种瞬时估计是无偏的，因为它的期望值E等于最陡下降法的梯度矢量。以任意初始向量w(0)来开始，向量w(n)集中在最佳解决方法w0假如选择u (3-11)为矩阵R的最大特征值，受限制于(3-12)为指示矩阵的轨迹，是平均输入功率。对于自适应信号处理应用，最重要的实际考虑是收敛速度，决定滤波器跟踪不稳定型号的能力。总体来说，权向量要获得收敛只有当最缓慢的权集中一点。这个最慢的时间: (3-13)这个指出时间连续相反的以u的比例收敛，并且依靠输入矩阵的自相关特征值。具有全异的特征值，规定时间是受最慢模式的限制。以梯度预测为基础的自适应导致噪声矩阵的权向量，因此会有性能的损失。这个自适应处理的噪声导致稳态权向量随意的改变为最适宜的权向量。稳态权向量的精度通过超额的最小均方误差来测量。这个LMS算法超过EMS的是: （3-14）是MSE在稳态的最小值。公式(3-13)和(3-14)产生LMS算法基本协定:为了在稳态获得高精度(低超额MSE)，需要u的最小值，但是也会降低收敛率。后面会有进一步关于LMS算法特征的讨论。 对于N维更新u*e(n)是常数，误差信号e(n)乘以u得到u*e(n)。这个常数首先计算，然后乘以x(n)来更新w(n)。自适应LMS算法如同最陡下降法，利用时间n=0的滤波系数矢量为任意的起始值w(0)，然后开始LMS算法的计算，其步骤如下:l)由现在时刻n的滤波器滤波系数矢量估值w(n)，输入信号矢量x(n)及期望信号d(n)，计算误差信号e(n):e(n)=d(n)-y(n)2)利用递归法计算滤波系数矢量的更新估值。3)将时间指数n增加1，回到第一步骤，重复上述计算步骤，一直到达稳定状态为止。由此可见，自适应LMS算法简单，它既不需要计算输入信号的相关函数，又不要求矩阵之逆。因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量的瞬时估计，它有大的方差，以致不能获得最优滤波性能。3.3 LMS自适应算法性能分析3.3.1自适应收敛性自适应滤波系数矢量的初始值w(0)是任意的常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程。通常为了简化LMS算法的统计分析，假设算法连续迭代之间存在以下的充分条件16:(1)每个输入信号样本矢量的起始值w(0)与其过去全部样本矢量是统计独立的，不相关的，即有 (2)每个输入信号样本矢量x(n)与全部过去的期望信号也是统计独立的，不相关的，即有(3)期望信号样本矢量d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立的。(4)滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量。由式(3-10)可知，自适应滤波器在n+1时刻的滤波系数矢量w(n+1)依赖于三个输入:输入过程的过去样本矢量;期望信号的以前样本值;滤波系数矢量的起始值w(O)。按照均方误差(MSE)准则定义的目标函数是 （3-15）现将系数误差矢量代人公式（3-15）得到： （3-16）式中，是最佳滤波系数矢量，是误差矢量。如将移至等式右边，则等于系数误差矢量的更新值，于是上式就可以写成： （3-17） 对上式两边取数学期望，得到 （3-18）通过计算可以得到，要使LMS算法收敛于均值，必须使自适应收敛系数参数满足下列的条件： （3-19）这里是相关矩阵R的最大特征值。在此条件下，当迭代次数n接近于8时，自适应滤波系数矢量w(n)近似等于最佳维纳解。通过matlab仿真可以得到： LMS算法收敛曲线图 3-4 LMS算法收敛曲线由上图可以看出来LMS算法是收敛的。3.3.2 平均MSE学习曲线最陡下降法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0，这时滤波器均方误差(MSE)为最小，即 （3-20）上式中，是期望信号d(n)的方差。学习曲线定义为均方误差随迭代计算次数n的变化关系，如下所描述的包含指数项之和：（3-21）上式中每个指数项对应的固有模式，模式的数目等于滤波加权数。其中，故当时，则最陡下降法均方误差。但LMS算法用瞬时值估计梯度存在误差的噪声估计，结果使滤波权矢量估值w(n)只能近似于最佳维纳解。这意味着滤波均方误差随着迭代次数n的增加而出现小波动地减少，最后，不是等于而是稍稍大于其值。3.3.3 失调系数