自适应滤波课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,5.,自适应滤波,5.1,预备知识,5.1.1,自适应滤波原理,所谓自适应滤波，就是用前一时刻已获得的滤波器参数等结果，,自动地调节现时刻的滤波器参数，以适应信号和噪声未知的或,随时间变化的统计特性，从而实现最优滤波。,所谓最优是以一定的准则来衡量的，最常用的两种准则是最小,均方误差准则和最小二乘准则。,自适应滤波器的主要指标是收敛速度、失调、计算复杂度、结,构模块化和数值特征。,1,5.自适应滤波5.1 预备知识5.1.1自适应滤波原理所谓自,5.1.2,自适应滤波器的组成、分类与结构,自适应滤波器由数字结构、自适应处理器和自适应算法三部分组成。,数字结构是指自适应滤波器中各组成部分的联系。,自适应处理器即前面介绍数字滤波器，所不同的是这里的数,字滤波器是参数可变的。,自适应算法是用来控制自适应滤波器参数的变化。,自适应滤波器分类,2,5.1.2自适应滤波器的组成、分类与结构自适应滤波器由数字结,1.,按数字结构分类,自适应滤波器按其数字结构可分为开环自适应滤波器和闭环自,适应滤波器。,自适应处理器,自适应算法,输入信号,输出信号,参考信号,图,5.1,开环自适应滤波器,3,1.按数字结构分类自适应滤波器按其数字结构可分为开环自适应滤,自适应处理器,自适应算法,输入信号,输出信号,期望响应,误差,-,+,图,5.2,闭环自适应滤波器,2.,按自适应处理器分类,自适应滤波器按其自适应处理器可分为非递归自适应滤波器和递,归自适应滤波器。,4,自适应处理器自适应算法输入信号输出信号期望响应误差-+图5,3.,按自适应算法分类,自适应滤波器按其自适应算法可分为,LMS(,最小均方,),自适应滤波器,和,RLS,（递归最小二乘）自适应滤波器等。,5.1.3,自适应滤波应用举例,1.,自适应预测,2.,自适应干扰对消,3.,自适应系统辨识,5,3.按自适应算法分类自适应滤波器按其自适应算法可分为LMS(,5.2,维纳滤波器,滤波定义,:,所谓滤波,是指在含噪信号,x,(,k,)=,s,(,k,)+,v,(,k,),或其矢量信号,x,(,k,)=,s,(,k,)+,v,(,k,),中尽可能排除噪声,v,(,k,),或,v(,k,),干扰，而将有用信号,s,(,k,),或,s(,k,),分离或提取出来。,若设计的对,x,(,k,),进行滤波的滤波器能使其输出,y(k),尽可能逼近,s,(,k,),，成为,s,(,k,),的最佳估计,这种滤波器称为最佳滤波器,滤波、预测与平滑,设基于观测过程,x,(,k,),或矢量观测过程,x(,k,),，对,s,(,k+,),或,s(,k+,),作最优估计，那么,若,=0,，就是滤波问题。,若,0,，就是预测问题。,若,0,称为步长因子或收敛因子。,将上式代入*式及*式得,*,43,显然上式要成立， w0必须取负导数的方向，也即负梯度的方向,*,式即为权系数,w,0,的迭代公式。,将*式推广至多维情况，得通用迭代公式,式中 是,面上任一点的梯度。显然，要由上式迭代得维纳解,w*,，必须知道,面,上相应点的梯度 。,因为,为了便于分析，将上式改写为,*,44,*式即为权系数w0的迭代公式。将*式推广至多维情,则上式梯度为,将上式代入*得,5. 3 .2,权系数的闭式解,下面将,式迭代解化为闭式解,设正交阵,Q,为实对称阵,R,的特征向量矩阵，则,45,则上式梯度为将上式代入*得5. 3 .2权系数的闭式,由于,Q,为正交阵，有,QQ,T,=QQ,-1,=I,所以,上式两边同乘,Q,T,得,46,由于Q为正交阵，有QQT=QQ-1=I,所以上式两边同乘QT,令,w(n)=Q,T,w(n),则上式进一步写成,在旋转坐标系中的最优解,将上式表示成展开形式,47,令w(n)=QTw(n),则上式进一步写成在旋转坐标系中的,上式为旋转坐标系中最优权的表达式。,48,上式为旋转坐标系中最优权的表达式。48,将式,表示成展开形式,下面推导权系数的闭式解,由上式，令,n=0,，得,49,将式表示成展开形式下面推导权系数的闭式解49,令,n=1,，得,令 则上式写为,上式即为权系数的闭式解表达式,50,令n=1，得令,5. 3 .3,最速梯度法的收敛条件,由于经过多次迭代后，权向量将收敛于维纳最优解，即 。,可以证明，仅当 满足时，上式,收敛才能保证。式中， 为最大特征值，即为,中的最大对角元素。,经验公式,51,5. 3 .3最速梯度法的收敛条件由于经过多次迭代后，权向量,5. 3 .4,权系数的收敛规律,平移坐标系、主轴坐标系中的权向量分别表示为,主轴坐标系中任一权系数为,将,及,代入上式整理得,52,5. 3 .4权系数的收敛规律平移坐标系、主轴坐标系中的权向,稳定条件,:,上式也是主轴坐标系中的最优解。,收敛速率,滤波器参数的收敛速度决定于自适应步长的选择,在,主轴系统,中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比,r,控制。,需要注意的是，,在自然坐标系中各个参数,w,并不是独立收敛的,。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。,53,稳定条件:上式也是主轴坐标系中的最优解。收敛速率滤波器参数的,取不同值时权系数与迭代次数的关系曲线,54,取不同值时权系数与迭代次数的关系曲线54,稳定,(,收敛,),过阻尼,临界阻尼,欠阻尼,不稳定,(,不收敛,),取不同值时权系数的收敛情况,55,稳定(收敛)过阻尼临界阻尼欠阻尼不稳定 (不收敛)取不同值,收敛速度：几个时间常数,权系数衰减时间常数,权系数衰减到初始值的 需要花费的时间。,说明：收敛时间常数与步长因子和相应特征值均成反比,56,收敛速度：几个时间常数权系数衰减时间常数说明：收敛时间常数与,(2,),学习曲线时间常数,即均方误差与最小均方误差的差值下降到初始差值的 时所花费的时间。,57,(2) 学习曲线时间常数57,5. 4,最小均方（,LMS,）算法,最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。,LMS,方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的）,LMS,方法的优势在于,:,(1),计算简单方便,(2),不需要离线的梯度估计或者数据副本,如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么,LMS,方法通常是一个最好选择。,58,5. 4 最小均方（LMS）算法 最陡下降法在每次,5. 4 .1,权系数的迭代解,使用单次计算的估计误差平方代替平方误差的期望。,LMS,使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。,59,5. 4 .1 权系数的迭代解使用单次计算的估计误差平方代,将式写成展开式,稳定条件,:,60,将式写成展开式稳定条件:60,5. 4 .2 LMS,权系数的收敛性分析,最陡下降法,LMS,权向量的均值等于最速梯度法得到的权向量,61,5. 4 .2 LMS权系数的收敛性分析最陡下降法LMS权,梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在 附近随机的改变。这个,偏移量的期望值,称为超量均方误差,MSE,5. 4 .3,均方误差的收敛性分析及失调量,超量均方误差,MSE,对,最小均方误差 的归一化定义为失调量，用,M,表示,说明步长因子,和信号功率都对失调有影响,62,梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机,失调与收敛时间常数的关系,实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。,若,R,的,N,个特征值相等，则有,63,失调与收敛时间常数的关系实际应用中，失调量，收敛速度和权系数,5. 6,递归最小二乘（,RLS,）算法,基本思想,把最小二乘法,(LS),推广为一种自适应算法，用来设计自适应的横向滤波器，利用,n,-1,时刻的滤波器抽头权系数，通过简单的更新，求出,n,时刻的滤波器抽头权系数。这样一种自适应的最二乘算法称为递归,(,递推,),最小二乘算法,简称,RLS,算法,。,主要优点：,收敛速度快,主要缺点：,每次迭代需要的运算量很大，对于,N,阶横向滤波器，其计算量在,N,2,数量级。,64,5. 6 递归最小二乘（RLS）算法基本思想64,基本方程,考虑指数加权的最小二乘法，其代价函数为,式中,称为遗忘因子,其作用是对离,n,时刻越近的误差加越大的权重,而对离,n,时刻越远的误差加越小的权重,即该参数对各个时刻的误差具有某种遗忘作用。,式,(1a),中,误差函数定义为,式中,d(i),表示,i,时刻的期望响应,e(i|n),表示用,n,时刻的权,w(n),对,i,时刻的数据块进行估计所得的估计误差。,65,基本方程式中 , 称为遗忘因子, 其作用,合并,(1a),和,(1b),，令 得,记,66,合并(1a)和(1b) ，令,其解,式中,式,(4),表明,指数加权最小二乘问题,(1),的解亦为,维纳解,。,下面考虑它的自适应更新问题,。,根据上面的推导，可以得出,利用,令,67,其解式中式(4)表明, 指数加权最小二乘问题(1)的解亦为维,定义,则有,利用式,(7),、,(8),易证,68,定义则有利用式(7)、(8), 易证68,再利用,(3),、,(5b),和,(8),、,(9a),得,根据上式,有,69,再利用(3)、(5b)和(8)、(9a)得根据上式, 有69,滤波器增益矢量,:,误差信号方程,:,输入信号,:,初始化,:,权向量更新,:,下一时刻自相关矩阵逆更新,:,RLS,自适应方法,70,滤波器增益矢量:误差信号方程:输入信号:初始化:权向量更新:,