递推最小二乘辨识教学课件

递推最小二乘辨识41、实际上，我们想要的不是针对犯罪的法律，而是针对疯狂的法律。马克吐温42、法律的力量应当跟随着公民，就像影子跟随着身体一样。贝卡利亚43、法律和制度必须跟上人类思想进步。杰弗逊44、人类受制于法律，法律受制于情理。托富勒45、法律的制定是为了保证每一个人自由发挥自己的才能，而不是为了束缚他的才能。罗伯斯庇尔本讲主要讲授递推最小二乘(Recursive Least-square,RLS)法的思想及推导过程,主要内容为:递推算法递推算法加权加权RLS法和渐消记忆法和渐消记忆RLS法法1 递推算法递推算法递推算法就是依时间顺序,每获得一次新的观测数据就修正一次参数估计值,随着时间的推移,便能获得满意的辨识结果.RLS法即为上一节的成批型LS算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可。该工作是1950年由Plackett完成的。下面讨论无加权因素时的一般LS法的递推算法的推导.即将成批型算法化等效变换成如下所示的随时间演变的递推算法.新的参数估计值=旧的参数估计值+修正项 (1)递推算法具有良好的在线学习、自适应能力，在系统辨识自适应控制在线学习系统数据挖掘等方面有广泛的应用。设在k-1时刻和k时刻,系统的参数估计结果为其中 和 分别为根据前k次和前k-1次观测/采样数据得到的LS参数估计值.YL=y(1),y(2),.,y(L)T L=(0),(1),.,(L-1)T,L(na+nb)受控XAR模型：A(z-1)y(k)=B(z-1)u(k)+w(k)YL=L+WLYk-1=y(1),y(2),.,y(k-1)Tk=(0),(1),.,(k-1)T=(k-1)TYk=y(1),y(2),.,y(k)T=y(k)Tq首先,假定在第k-1次递推中,我们已计算好参数估计值在第k次递推时,我们已获得新的观测数据向量(k-1)和y(k),则记k-1=(0),(1),.,(k-2)T仔细考察上述LS法,可以知道,该算法进行递推化的关键是算法中的矩阵求逆的递推计算问题.因此,下面先讨论该逆矩阵的递推计算.1 递推算法递推算法(4/12)令 将k展开,故有为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和C为可逆方阵)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 (4)该公式可以证明如下:由于(A+BCD)A-1-A-1B(C-1+DA-1B)-1DA-1=I-B(C-1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B)-1DA-1=I-BI-C(C-1+DA-1B)+CDA-1B(C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(4)成立.q下面讨论参数估计值 的递推计算.由上一讲的一般LS估计式由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式有该乘积为标量(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1即利用公式利用公式P(k)=P-1(k-1)+(k-1)T(k-1)-1q将式(5)和(6)整理可得如下RLS估计算法表示其中的计算顺序为先计算P(k),然后再计算 .有时,为计算方便并便于理解,上述RLS估计算法又可表示为其中K(k)称为增益向量；令上述算法的计算顺序为先计算K(k-1),然后再分别计算 和P(k-1).预报误差 表示基于k-1时刻的历史数据对y(k)的预报值。值得指出的是矩阵P(k)是一个对称、非增的矩阵.若在递推计算过程中破坏了P(k)的对称性,随着递推的推进,计算(辨识)误差将越来越大,并将导致辨识不一致收敛.为了保证计算过程中P(k)矩阵始终是对称的,算法中的P(k)的计算可采用下面的计算式,以保证不破坏P(k)矩阵的对称性.q综上所述,RLS法的基本计算步骤可总结如下:1.确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;2.设定递推参数初值 ,P(0);3.采样获取新的观测数据y(k)和u(k),并组成观测数据向量(k-1);4.用式(7)(8)或(9)(11)所示的RLS法计算当前参数递推估计值 ;5.采样次数k加1,然后转回到第3步骤继续循环.q下面关于该RLS算法,有关于其实现问题的如下讨论:递推初始值选取递推初始值选取成批成批LS与与RLS的比较的比较信号充分丰富信号充分丰富与与系统充分激励系统充分激励数据饱和数据饱和A.递推初始值选取递推初始值选取q在递推辨识中,如何选取递推计算中的 和P(k)的初值是一个相当重要的问题.一般来说,有如下两种选取方法:(1)选取 各元素为零或较小的参数,P(0)=I,其中为充分大的实数（1051010）;(2)先将大于所需辨识的参数个数的L组数据,利用成批型的LS法求取参数估计值 LS和协方差阵P(L),并将这些量作为递推估计的初值.B.LS法和法和RLS法的比较法的比较qLS法和RLS法的比较LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,程序长;RLS法是递推算法,适于在线辩识和时变过程,需要记忆的数据少,程序简单;RLS法用粗糙初值时,如若N(即样本数少)较小时,估计精度不如LS法.C.信号充分丰富与系统充分激励信号充分丰富与系统充分激励对于所有学习系统与自适应系统,信号充分丰富(系统充分激励)是非常重要的.若系统没有充分激励,则学习系统与自适应系统就不能一致收敛.不一致收敛则意味着所建模型存在未建模动态或模型误差较大,这对模型的应用带来巨大隐患.如对自适应控制,未建模动态可能导致系统崩溃.为保证学习系统与自适应系统一致收敛,则所产生的系统的学习样本数据(系统输入输出信号)应具有尽可能多的模态,其频带要足够宽,而且其信号强度不能以指数律衰减.这样才能保证系统具有充分激励,所测取的信号数据是充分丰富的,相关性矩阵P(k)不为病态.D.数据饱和数据饱和在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参数估计值的修正能力.这种现象称为数据饱和.因此需要考虑修正方案,以保持新数据对参数估计值的一定的修正能力,使得能得到更准确的参数估计值,或能适应对慢时变参数的辨识.避免数据饱和,适应慢时变参数的修正方案主要有:遗忘因子法遗忘因子法通过对不同时刻的数据赋予一定的加权系数,使得对旧数据逐渐遗忘,加强新数据对当前辨识结果的影响,从而避免协方差矩阵P(k)与增益矩阵K(k)急剧衰减而失去对参数估计的修正能力,使算法始终保持较快的收敛速度.遗忘因子法在后面将重点讨论.协方差重调协方差重调即在指定的时刻重新调整协方差矩阵P(k)至某一给定值,避免协方差矩阵P(k)与增益矩阵K(k)急剧衰减而失去对参数估计的修正能力,使算法始终保持较快的收敛速度.协方差修正协方差修正为了防止矩阵P(k)趋于零,当参数估计值超过某阈值时,矩阵P(k)自动加上附加项Q,避免协方差矩阵P(k)急剧衰减.限定记忆法限定记忆法限定记忆法依赖于有限长度的数据,每增加一个新的数据信息,就要去掉一个老数据的信息,数据长度始终保持不变.限定记忆法通过两步递推过程来实现:一步递推为将需要去掉的历史数据从辨识中通过递推来将其影响去掉.另一步即为前面介绍的RLS,其作用为根据新数据进行递推辨识.2 加权加权RLS法和渐消记忆法和渐消记忆RLS法法q前面讨论了不考虑加权因素时的一般LS法的递推算法.若考虑到观测数据的可信度和重要性以及噪声分布w(k)对估计值的影响等,为得到较佳的参数估计值,在实时辨识中需引入加权加权RLS法法和渐消记忆渐消记忆RLS法法.下面将不加推导的给出上述递推算法,其具体推导过程作为作业,可仿照前面的一般RLS法的推导过程自己完成.一、加权递推最小二乘法一、加权递推最小二乘法q考虑到补偿各种因素对参数估计值的影响,设在第k次的加权因子取为k,即加权矩阵为k=diag1,2,.,k,此时加权RLS法为q加权RLS法的计算顺序为先计算K(k),然后再分别计算 和P(k).其算法步骤类似于上述的RLS法的算法步骤.其中协方差阵为二、带遗忘因子的渐消记忆递推最小二乘法二、带遗忘因子的渐消记忆递推最小二乘法q在使用RLS法的实时辨识中,随着k的增大,矩阵P(k)将逐渐趋近于零阵而出现数据饱和,即新数据将逐渐失去对参数估计值的影响力.此外,许多实际工程和社会系统的模型参数随系统环境和内外扰动而缓慢变化,为能跟踪好这些缓慢时变的参数,需逐步赐除老数据对估计值的影响.因此上一节的RLS法并不适用于这类具有时变参数的系统的参数估计.为降低老数据的影响力,增加新数据提供的信息量,下面引入带遗忘因子的渐消记忆RLS法.q在递推计算过程中。每当取得一组新数据，就把以前所有的数据都乘上一个加权因子,01,此时有：令则k=(k-1)TYk=y(k)Tq类似于本讲第一部分中的RLS法的推导,有如下带遗忘因子的渐消记忆RLS算法其中的计算顺序和算法步骤与RLS法类似.如果遗忘因子l=1,则算法退化成普通RLS法.q关于遗忘因子，有如下讨论二、带遗忘因子的渐消记忆二、带遗忘因子的渐消记忆RLS法法(4/5)q遗忘因子LS法和加权RLS算法主要的差别:加权方式不同加权方式不同加权RLS法各时刻权重是不相关的,也不随时间变化;遗忘因子法各时刻权重是有关联的,各时刻权重的大小随时间变化.加权的效果不一样加权的效果不一样加权RLS法获得的是系统的平均特性;遗忘因子法能实时跟踪系统明显的变化,对系统的时变特性具有跟踪能力.二、带遗忘因子的渐消记忆二、带遗忘因子的渐消记忆RLS法法(5/5)21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。培根22、业精于勤，荒于嬉；行成于思，毁于随。韩愈23、一切节省，归根到底都归结为时间的节省。马克思24、意志命运往往背道而驰，决心到最后会全部推倒。莎士比亚25、学习是劳动，是充满思想的劳动。乌申斯基供娄浪颓蓝辣袄驹靴锯澜互慌仲写绎衰斡染圾明将呆则孰盆瘸砒腥悉漠堑脊髓灰质炎(讲课2019)脊髓灰质炎(讲课2019)