5无线通信信号处理_第3讲(自适应滤波)

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,第三讲,自适应滤波器,南京邮电大学 郑宝玉,2015.8.20,2,一种典型的自适应滤波器,3,维纳滤波,设信号,s,(,k,),或,s,(,k,),及观测过程,x,(,k,),或,x,(,k,),是广义平稳的,且已知其功率谱,或自相关函数的知识,则基于观测过程,x,(,k,),或,x(,k,),按,线性,最小均方误差,准则,信号,s,(,k,),或,s,(,k,),所作的最优估计称为维纳滤波,适用,平稳,随机环境。,卡尔曼滤波,设已知信号的动态模型测量方程，则基于过程,x(,k,),及初始条件，按,线,性,无偏最小方差递推准则,对,状态,s(,k,),所作的最优估计称为卡尔曼滤波,适用于,非平稳,随机环境下的最优滤波。,前 言,维纳滤波、卡尔曼滤波与自适应滤波,只有在信号和噪声,统计特性先验已知,的情况下,上述滤波器才能获得最优滤波。在信号和噪声,统计特性先验未知,的情况下,则需用自适应滤波器才能够提供卓越的滤波性能。,自适应滤波,4,本讲内容,正交性原理,Wiener,滤波器,梯度下降算法,LMS,滤波器,RLS,滤波器,Kalman,滤波器,格型滤波器,自适应滤波器应用,5,1.,正交性原理,根据滤波器原理，,n,时刻的滤波器输出表示为：,定义代价函数为均方误差的平方,期望信号响应用 表示，定义估计误差为,：,6,1.,正交性原理（续）,定义函数对复变量的求导,：,其中,a,b,分别为,w,变量的实部与虚部,不难有,，,7,1.,正交性原理（续）,上述表明，使得均方误差代价函数最小时的均方误差与输入向量正交。这就是著名的,正交性原理,。,8,1.,正交性原理（续）,由正交性原理,最优滤波器的输出与输入误差也正交,9,1.,正交性原理的几何解释,最优滤波器的输出误差与其之前的输入正交，滤波器的输出由输入子空间张成，这输出误差与输入误差也正交,。,10,FIR,型的,Wiener,滤波器,+,-,11,根据最优滤波器的正交性原理有下式,：,等价于,，,上式左边的数学期望代表滤波器输入的自相关函数,：,右边的数学期望代表滤波器输入与期望输出的互相关函数,：,12,2. Wiener,滤波理论,则（,X,）式可以重新写为,：,这就是著名的,Wiener-Hopf,方程，该方程定义了最优滤波器必须服从的条件,。,定义输入向量,13,定义输入信号的自相关矩阵,：,定义输入与期望响应的互相关向量,：,2. Wiener,滤波理论（续）,14,Wiener,-Hopf,方程,的解,Wiener-Hopf,方程可以写成更紧凑的矩阵表示形式,：,若输入信号的自相关矩阵为可逆矩阵,，,15,Wiener,滤波器原理框图,16,最优滤波器实现存在的问题,1. Wiener,滤波器最优权系数可以由计算输入信号的自相关函数合输入信号与期望输出的互相关得到。实际中这两个参数是未知的，需要通过估计得到。而估计需要观测无限长信号,。,2.,求最优滤波器时需要计算矩阵求逆，其计算复杂度量级是滤波器长度的三次方,。,由于存在这些问题，实际我们实现,Wiener,滤波并不是直接计算得到最优,Wiener,滤波器的系数，而是代之以,LMS, RLS, Kalman,等自适应滤波器,。,17,自适应滤波器原理框图,自适应滤波器原理框图,(,续,),19,3.,梯度下降算法,梯度的数学表示,：,相对于,向量,的梯度算子记作,，,定义为,因此，一个实际量函数 相对于一列向量的梯度为,20,3.,梯度下降算法（续）,梯度的几何特征,梯度的及格分量给出了标量函数在该分量方向上的变化率,梯度的重要性质,指出了当变元增大时，函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础,。,21,3.,梯度下降算法（续）,极小化 取负曲率方向作搜索方向 取负共轭梯度作目标函数的更新方向,。,定理：,令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由共轭梯度向量 给出,。,22,3.,梯度下降算法（续）,梯度下降算法的迭代过程,：,候补解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题候补解的学校算法；常数 称为学校步长，它决定候补解趋向最优解的收敛速率,。,23,4. LMS,滤波器,最陡下降法,随机优化问题,Wiener,滤波器,真实梯度,24,4. LMS,滤波器（续）,梯度下降算法：,步长参数，学习速率,真实梯度,缺点：真实梯度含数学期望，不易求得。,梯度估计,近似算法,(LMS):,瞬时梯度：,先验估计误差,25,4. LMS,滤波器（续）,基本的,LMS,算法：,瞬时梯度分析：,最陡下降法,LMS,算法,搜索方向为梯度负方向，每一步更新都使目标函数值减小（,“,最陡下降含义,”,）。,搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,（图中,“,2,”,应去掉！）,4. LMS,滤波器（续）,27,4. LMS,滤波器（续）,梯度下降法要求不同时间的梯度向量（搜索方向）线性独立。,LMS,算法的独立性要求：,要求不同时间的输入信号向量 线性独立（因为随时梯度向量为,),。,28,4. LMS,滤波器（续）,自适应学习速度参数,（,3,）,“,换档变速,”,方法：固定时变,（,2,） 时变学习速度： （递减），模拟退火法则,（,1,） 固定学习速度： （常数）,缺点： 偏大 收敛快 跟踪性能差,偏小 收敛慢 跟踪性能好,29,4. LMS,滤波器（续）,例,1.,（先搜索，后收敛）,例,2.,（先固定，后指数衰减）,（,4,）自适应学习速度：,“,学习规则学习,”,和 正的常数,30,而且可以证明,LMS,自适应滤波器的权向量收敛于维纳解：,算法收敛性,前已指出，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS,算法还必须,兼顾,收敛速度和失调,它来自梯度估计误差,:,4. LMS,滤波器（续）,31,最陡下降,LMS,单次,32,最陡下降,LMS,多次平均,33,若,自适应产生，则称为自适应步长的,LMS,算法,若 常数，则称为基本,LMS,算法,若,则称为归一化,LMS,算法,结论,：这些算法通常称为,LMS,类算法梯度算法。,LMS,算法的几种变形,4. LMS,滤波器（续）,34,基本思想,把最小二乘法,(LS),推广为一种自适应算法,用来设计自适应,滤波器,利用,n,-1,时刻的滤波器抽头权系数,通过简单的更新，,求出,n,时刻的滤波器抽头权系数。这样一种自适应的最二乘,算法称为递归,(,递推,),最小二乘算法,简称,RLS,算法。,5. RLS,滤波器,35,X,5. RLS,滤波器（续）,因为,在更新过程中,滤波器特性总是越来越好,即如何时刻,总是,且有,代价函数,取为误差函数的加权平方和形式：,36,5. RLS,滤波器（续）,由此得到下面的关系式,：,即,37,5. RLS,滤波器（续）,记,38,5. RLS,滤波器（续）,得到,利用矩阵求逆引理,：,由关系式,注,：,矩阵求逆引理的一般表达式,：,39,5. RLS,滤波器（续）,记,则,40,5. RLS,滤波器（续）,41,5. RLS,滤波器（续）,42,5. RLS,滤波器（续）,RLS,算法,44,5. RLS,滤波器（续）,非平稳,45,Kalman,滤波器是一种序贯估计问题，导自：,Bayes,方法,新息方法,(,Innovations approach,),Kalman,滤波器本质上与,RLS,滤波器有相同的表达式，其区别仅在于其基础假设不同。,6. Kalman,滤波器,46,Kalman,滤波器通常表示为,:,给定一噪声观测序列，估计由噪声激励的线性系统状态向量序列,（,Given a sequence of noisy observations to estimate the sequence of state vectors of a linear system driven by noise,）,状态空间方程,6. Kalman,滤波器（续）,47,Kalman,滤波器与,RLS,滤波器有如下对应关系,状态空间,RLS,状态更新矩阵,状态噪声方差,观测矩阵,观测数据向量,状态估计向量,6. Kalman,滤波器（续）,48,LMS,、,RLS,、,Kalman,算法比较,（,1,）,计算复杂度,：,LMSRLSKalman,相差不大,（,2,）,RLS,算法是“无激励”状态空间模型下的,Kalman,滤波算法,（,3,）,收敛速率,：,LMS,： 越大，学习步长越大，收敛越快,RLS,： 遗忘因子 越大，遗忘作用越弱，收敛越慢,时变学习速率、时变遗忘因子,Kalman,：无收敛问题，无收敛参数,49,7.,格型滤波器,7.1,格型滤波器原理,7.2,LMS,格,-,梯型滤波器,7.3,RLS,格,-,梯型滤波器,考虑信号序列值,：,前向预测,后向预测,前向预测误差,：,后向预测误差,：,其中 分别为,p,阶前、后向预测系数,。,前向预测与后向预测,7.1,格型滤波器原理,根据前面的基本概念，可知,m,阶前向预测误差为,类似地，,m,阶后向预测误差为,再利用,Levinson,关系式,：,有,其中,7.1,格型滤波器原理（续）,对称的格型结构,n,时刻的前向和后向预测误差,(,残差,),服从如下递推关系,:,其初值为,：,则,前向和后向预测误差滤波器传递函数递推公式为,其中,如,令,7.1,格型滤波器原理（续）,容易推出前、后向滤波器传递函数的一般关系式,：,由式,(4a),知,:,为了使前向滤波器物理可实现，前向滤波器传递函数,A,m,(,z,),必须是最小相位多项式，即,的零点必须全部在单位圆内，亦即,从而,这就是格型滤波器时各级反射系数必须满足的条件。,7.1,格型滤波器原理（续）,由式,(4b),即由下式,可见,格型滤波器的设计归结为前向滤波器的设计,。,可知，后向滤波器的权系数与前向滤波器的权系数之间存在以下关系,：,7.1,格型滤波器原理（续）,格型滤波器设计准则,现在讨论前向滤波器,A(,z,),的设计准则。,(3),可等价写作,相应的时域表达式为,7.1,格型滤波器原理（续）,定义前、后向滤波器的残差能量,容,易证明,上式表明,在格型滤波器设计中有如下三种等价表述：,i),使前向预测滤波器,A,m,(z,),残差能量均方误差,F,m,最小,ii),使后向预测滤波器,B,m,(z,),残差能量均方误差,G,m,最小,iii),使前后向预测滤波器残差能量均方误差,(,F,m,+,G,m,)/2,最小,7.1,格型滤波器原理（续）,上述结论构成格型滤波器的设计基础，而且由此有,1),完全可以仅根据前向残差能量,F,m,设计格型滤波器，,2),后向预测误差（残差）正交,这表明，不同级滤波器的后向残差正交,这一特性意味着格型滤波器的前后级是解耦的，故可,独立设计每一级滤波器。,3),阶数越大,前向残差,F,m,越小,。,当前向残差能量不再减小,时，最小的阶数即为格型滤波器的最优阶数。,7.1,格型滤波器原理（续）,格型自适应算法,令,w(n,),为滤波器在,n,时刻的权系数，并满足,现考虑采用一般能量形式的加权最小二乘法。为此，定义瞬态前后向残差能量,和,n,时刻及以前时刻前后向残差的加权总能量误差函数,7.1,格型滤波器原理（续）,可得,n,时刻发射系数,且有,这保证了前向滤波器是最小相位的,即物理可实现的。,利用,7.1,格型滤波器原理（续）,取,并引入,即得,且,服从如下递推关系式,：,7.1,格型滤波器原理（续）,步骤,1,计算预测误差功率和前后向预测误差的初始值,:,步骤,2,计算前、后向残差,步骤,3,求中间系数,步骤,4,计算反射系数,：,步骤,5,计算预测误差功率,：,步骤,6,令,重做步骤,2-5,直到预测误差功率很小为止,.,格型自适应滤波算法步骤,根据,均方误差准则,考虑格型基本表达式,：,相对于滤波器参数 最小化,得,当信号的统计特性未知时，采用,最小二乘准则,：,确定,故有,7.2 LMS,格,-,梯型滤波器,首先,考虑,格型,部分的递归,实现,问题。为此,设,从而，有如下递推公式,：,其中,及,7.2 LMS,格,-,梯型滤波器（续）,其次,考虑格型,-,梯形的,联合估计,问题。图,1,格型的总输出,:,为求 的最优值,设期望信号,d,(,n,),与,m,级格型估计信号的误差,：,或,向量 必须满足正交性条件，故有,后面将利用这个正交性表达式求,。,或,7.2 LMS,格,-,梯型滤波器（续）,利用后向误差的正交性,：,从而,有,并注意到 是对角阵，有,再注意到,其中,v,m,见式,(8),7.2 LMS,格,-,梯型滤波器（续）,梯度格,-,梯型算法,其中,:,7.2 LMS,格,-,梯型滤波器（续）,图,1,自适应格,-,梯型滤波器,+,+,+,+,+,+,+,+,+,+,+,+,+,+,Stage 1,Stage 2,Stage M-1,+,+,LMS,格,-,梯型滤波器实现抠图,格型预测器,:,从,n,=0,出发,对,m,=0,1,M,-1,计算阶更新,7.3 RLS,格,-,梯型滤波器（算法）,梯型预测器,:,从,n,=0,出发,对,m,=0,1,M,-1,计算阶更新,初始化,:,7.3 RLS,格,-,梯型滤波器（算法续）,+,+,+,+,+,+,+,+,+,+,+,+,+,+,Stage 1,Stage 2,Stage M-1,图,2,自适应,RLS,格,-,梯型滤波器,RLS,格,-,梯型滤波器实现抠图,分块矩阵求逆引理,设有分块矩阵,：,则有,或,其中,(a),(b),原,(5.3.23),原,(5.3.22),RLS,格,-,梯型滤波算法依据,数据向量与预测系数向量,-,考虑数据向量,则存在两种不同的分块方式,分别对应于前向预测和后向预测,。,-,定义前向预测系数向量和后向预测系数向量，即,RLS,格,-,梯型滤波算法依据（续）,-,应用,：,对于前向预测，用向量 来预测 预测系数向量为,对于后向预测，用向量 来预测 预测系数向量,为,自相关矩阵,a),对于前向预测,：,b),对于后向预测,：,其中，,u,(,n,),和,v,(,n,),为期望响应加权平方和,注意,:,因为矩阵,R,有两种分块形式,故其求逆用两种形式,RLS,格,-,梯型滤波算法依据（续）,互相关向量,a),对于前向预测,：,b),对于后向预测,：,c),对于联合估计,：,RLS,格,-,梯型滤波算法依据（续）,W-H,方程与,Wiener,解,a),对于前向预测,：,b),对于后向预测,：,c),对于联合估计,：,RLS,格,-,梯型滤波算法依据（续）,参考：清华大学出版社,2013.1,：统计信号处理算法,(5.3,节,),（,Proakis,著）,76,8.,自适应滤波器的应用,滤波的最终目标是在有噪声的情况下，将感兴趣的信号尽可能精确地估计出来。因此作为移赠信号处理方法在诸多领域有着广泛的应用。,生物医学,目标识别和跟踪,无线通信,图像处理,Used to provide a linear model of an unknown plant,Applications: System identification,自适应滤波器应用之一：系统辨识,Used to provide an inverse model of an unknown plant,Applications: Comm. channel Equalization,自适应滤波器应用之二：信道均衡,Used to provide a prediction of the present value of a random signal,Applications: Linear predictive coding,自适应滤波器应用之三：预测编码,Used to cancel unknown interference from a primary signal,Applications: Echo / Noise cancellation,hands-free carphone, aircraft headphones etc,自适应滤波器应用之四：干扰消除,Example:Acoustic Echo Cancellation,Adaptive Array Antenna,Adaptive Arrays,Linear Combiner,Interference,SMART ANTENNAS,Adaptive Array Antenna,A popular application of acoustic noise reduction is for headsets for pilots. This uses two microphones.,自适应噪声消除,自适应滤波器在通信工程中应用,均衡技术,Fig.3 Classification of equalizers,Linear equalizer with N-taps, and (N-1) delay elements.,Go,100,自适应均衡,用于校正通信中由于数据传输信道色散引起的信号失真。,原理框图,(a),非盲均衡器,自适应均衡（非盲均衡与盲均衡）,101,(b),盲均衡器,横向滤波器,无记忆非线性估计器,g ( . ),接收信号,r(t),y(n),LMS,自适应算法,e(n),- +,102,横向滤波器,阀值决策装置,接收信号,r(t),y(n),LMS,自适应算法,e(n),- +,(c),非线性函数取阈值,(a),的,盲均衡器,103,盲自适应算法,决策指向算法,无记忆非线性函数取为,的算法称为,决策指向算法，其均衡器框图如图,5,.,Sato,算法,g(.),取为,的算法称为,Sato,算法，,其中,104,Godard,算法,(,恒模算法,CMA,),恒模盲均衡算法适合于所有恒定包络,(,恒模,),的发射信号的均衡,.,在该算法中,式中,其中,p,是一正整数,通常,p,=,1,或,p,=,2,.,盲自适应算法（续）,105,混合均衡器,