智能控制第6章学习控制迭代学习控制

第 6章 学习控制 -迭代学习控制 智能控制基础 2/51 目录 6.1 迭代学习控制 6.2 增强学习 3/51 6.1.1 迭代学习控制的基本思想 6.1.2 线性时变系统的迭代学习控制 6.1.3 一类非线性动态系统的迭代学习控制 6.1.4 多关节机械手的迭代学习控制 6.1.5 迭代学习控制面临的挑战 6.1 迭代学习控制 4/51 6.1.1 基本思想 迭代学习 (Iterative learning)的基本思想在于 总结人类学习的方法，即通过多次的训练， 从经验中学会某种技能。 迭代学习控制是智能控制中具有严格数学描 述的一个分支。它以极为简单的学习算法， 在给定的时间区间上实现未知被控对象以任 意精度跟踪某一给定的期望轨迹的控制问题。 5/51 特点 控制器在运行过程中不需要辨识系统的参数， 属于基于品质的自学习控制。 这种控制方法特别适用于具有重复运行的场 合。它的研究对诸如机器人那样有着非线性、 强耦合、难以建模又需要高精度轨迹控制的 场合是非常有意义的。 6/51 6.1.1 迭代学习控制的基本思想 6.1.2 线性时变系统的迭代学习控制 6.1.3 一类非线性动态系统的迭代学习控制 6.1.4 多关节机械手的迭代学习控制 6.1.5 迭代学习控制面临的挑战 6.1 迭代学习控制 7/51 6.1.2线性时变系统的迭代学习控制 考虑 DC伺服驱动控制的速度控制系统。 8/51 数学模型 假设电枢电感足够小，而且忽略机械摩擦。 则系统可以简化为一阶系统。 y(t)、 v(t)分别表示电机角速度和输入控制电压； K - 力矩系数 Tm- 电机的时间常数 T dy tdt y t v t Km ( ) ( ) ( ) / 9/51 求解 简化模型 a=(1+AB/K)/Tm; b=A/KTm。 求解得： y ay bv t taat dvbeyety 0 )( )()0()( 10/51 迭代学习的引入 假设期望速度特性 足够光滑，可以由 离散数据 来拟合。 则初始控制 的系统误差为 根据 则下一次校正后的输出控制电压可取： v t v t b e t1 0 1 0( ) ( ) ( ) bvayy ( t )y-( t )y( t )e 0d0 (t)v0 tT/0 , 1 , . . . Nk t ) ,(ky d (t)yd 11/51 迭代过程 v t v t b e tk k k 1 1( ) ( ) ( ) e t y t y tk d k( ) ( ) ( ) dvbeyety kt takatk )()0()( 0 )( 12/51 收敛性分析 对于所有的 k，取 ； deea deaetetyty deaete dvab etbvyaety dvab etbvyaety tytyte t k ta t k ta kkd t k ta k t k ta kk at d t k ta kk at d kdk )( )()()()( )()( )()()0()( )()()0()( )()()( 0 1 )( 0 1 )( 11 0 1 )( 1 0 1 )( 11 0 )( ( 0 )y( 0 )y ( 0 )y kd0 13/51 其中 可见，前述条件下，迭代学习的过程是收敛的。 k k TaE dtdtdttea dtteedtate kk t t t kk k t k tta t k k 0 ! .)(. )()( 0 1 0 2 0 0 0 222 )( 0 1 2 1 1 1 2 E e tt T m a x ( )0 0 14/51 参数的替换 对于参数 b预先不知道的情况 ，可以用另一 近似值 来代替 。只要 满足以下不等式 ： 迭代学习公式仍是收敛的 。 具体证明请见定理 6-1。 1 11 b 15/51 线性时变系统的一般情况 系统模型 解 为状态转移矩阵。 ( ) ( ) ( ) ( ) ( )y t A t y t B t u t t dutHtgty 0 )(),()()( R),( rrt H 16/51 迭代学习公式 其中 是一个给定的矩阵函数。 dutHtgty t kk )(),()()( 0 e t y t y tk d k( ) ( ) ( ) u t u t t e tk k k 1 ( ) ( ) ( ) ( ) u t u t t e tk k k 1 ( ) ( ) ( ) ( ) R)( rrt 17/51 定理 6-1：收敛性定理 假设 。 若给定的任一初始输入矢量 u0(t)在 0,T区间 内连续 。 则存在正常数 和 0使得 范数 定义 ： rr的矩阵 F=(fij)范数 F定义 T 0 ,t1)t()t,t(HI g ( 0 )( 0 )y rd ，、 ,.2,1,0k10ee 0k01k )t(em a xes u pe iri1t Tt0 fm a xF r 1j ijri1 18/51 证明 定义一矢量范数 则有： W wi r i m a x1 FW F W detH t tetttHI detH t tetttH dutH t tuttHtgty dutH t tuttHtgty tytyte k t kr k t k k t kd k t kd kdk )()(),()()(),( )()(),()()(),( )(),()(),()()( )(),()(),()()( )()()( 1 0 1 1 0 1 1 0 1 0 19/51 两边同乘 e-t，并取 范数可得： )() )1( ( m a x)()( )(m a xm a x )(m a x)(),(m a x )(m a x 1 0 0 )( 0 101 0 1 0 )( 0 0 1 00 0 k T t t Tt kk t k T t Tt k t Tt r Tt k t Tt k e eh deehe deeeh teetttHI teee 20/51 其中 可知 ，所以，总可以选择较大的 ， 使得： 从而保证了 时， 。 m a x ( , ) ( ) m a x ( , ) ( ) , 0 0 0 t T r t T I H t t t h t H t 0 0 1 1 h e T( ) ( )e tk 0k 10 21/51 状态空间表示 rn RY,U,RX)t(X)t(C)t(Y )t(U)t(B)t(X)t(A)t(X d)(U)(B)()t()t(C)0(X)t()t(C)t(Y t0 1 nI)0()t()t(A)t( 如果矩阵 B， C是定常、 BC是可逆的， 只需满足以下条件： 即可满足迭代学习的收敛性。 1BCI)t()t,t(HI rr 22/51 6.1.1 迭代学习控制的基本思想 6.1.2 线性时变系统的迭代学习控制 6.1.3 一类非线性动态系统的迭代学习控制 6.1.4 多关节机械手的迭代学习控制 6.1.5 迭代学习控制面临的挑战 6.1 迭代学习控制 23/51 1. 问题的提出 考虑一个二阶非线性动力学系统 可化为一阶微分方程组 简记为： ( ) ( ( ) , ( ) , ) ( ( ) , ( ) , ) ( )x t f x t x t t g x t x t t u t1 1 1 1 1 1 1 )(),(),( 0),(),( )()( )( 211211 2 2 1 tu ttxtxgttxtxf tx tx tx ( ) ( ( ) , ) ( ( ) , ) ( )x t f x t t g x t t u t 24/51 假设 xd(t),t 0,T是系统的一个状态矢量 ， 且 属于 R2n有界闭合子集 W。 则控制的问题就是 寻找分段连续的控制输入 uj(t)序列 ,使得系统 的状态 xj(t)跟随 xd(t)， 其跟随误差小于某一给 定的精度 ， 即 其中 j表示第 j次迭代 。 T 0 , t, |( t )x-( t )x| jd 25/51 被控系统进行控制的条件 系统的运行条件如采样频率、初始的控制结 构是固定的； 系统不确定性时，在时间 0,T内是重复作业 的； 函数 f()、 g()满足 Lipshitz连续； g(x(t),t)在 t 0,T内是齐次和正定函数。 26/51 函数 f()、 g()满足 Lipshitz连续，即： 其中 (t)、 (t)为有界的正函数 ， 表示欧几 里德范数， 定义为： Lipshitz连续 f x t t f x t t t x t x t1 1 1 2 1 2( ( ) , ) ( ( ) , ) ( ) ( ) ( ) g x t t g x t t t x t x t1 1 1 2 1 2( ( ) , ) ( ( ) , ) ( ) ( ) ( ) 0s u p v v AvA 27/51 g(x(t),t)在 t 0,T内是齐次和正定函数，即 满足： 00, b2 ， v, v=a+(2+1/a)(m+m|ud|m ） x t x t a u t u t ad d f j m( ) ( ) ( ) ( ) ( ) 1 4 2 2 d a b ( ) 1 m t T t m a x ( ( ) )0 )(m a x0 tTtm 33/51 精度分析 定理 (6-3)表明了系统的最大跟踪误差 与 的大小 成正比。因此只要控制序列 在整个时间 域 0， T内收敛于 ，则系统的跟踪误 差可以达到任意精度。 这样，系统的轨迹跟踪控制问题就归结为寻 求在时间域 0， T上一致收敛于 的前 馈输入控制序列 的问题了。 |)()(| tutu jfjd )()()( txtxte jdj )(tu jf )(tud )(tud )( tu jf 34/51 梯度法 定义指标函数 应用梯度法我们得到第 j次 迭代计算的公 式： 的取值范围必须满足 00 (2-)db-1-(r0+2a/1)=l20 ( ( ) , )g x t tj 1 u t u g x t t r d m j m ( ) ( ( ) , ) 0 1 1 0 04)/11(1 3 21 2 0 l p q ll qar )(tud 38/51 其中 p=min(al1,l2)； q=(m+mu0)/1 。 则新的迭代学习策略是收敛的 ， 即： 其中 目标函数 定义为： )()(lim txtx djj )()(lim tutu djfj ,0)()()()()( 0j TtduuuudbtV t jfdTjfd )()(1 tVtV jj )(tV j 39/51 定理 6-5：如果状态误差取： xd(t)-xj+1(t) 学习规则改为： 则 a,b,d的取值满足下列不等式： (2+)db-1-2r0=l10 (2+)db-1-(r0+2a/1)=l20 系统收敛。 另一种迭代方法的收敛性 04)/11(1 3 21 2 0 l p q ll qar u t u t u tfj fj b j 1 1( ) ( ) ( ) 40/51 迭代学习控制的特点 不需要精确的模型参数，只要一些模型的极 限参数； 对周期性的系统扰动完全可以通过迭代学习 来克服，对随机扰动也有较强的抑制能力。 学习控制的结构相当简单，学习的信息只须 利用线性反馈控制量。 学习算法的收敛条件非常简单，具有有界的 不确定性。 41/51 6.1.1 迭代学习控制的基本思想 6.1.2 线性时变系统的迭代学习控制 6.1.3 一类非线性动态系统的迭代学习控制 6.1.4 多关节机械手的迭代学习控制 6.1.5 迭代学习控制面临的挑战 6.1 迭代学习控制 42/51 6.1.4多关节机械手的迭代学习控制 固定负载下的机器人迭代学习控制 负载经常变化下的机器人轨迹跟踪的迭代学 习控制方法 43/51 机械手动力学方程 D(q)： 惯量矩阵； ： 非线性哥氏力和向心力； G(q)： 重力项； a ：不确定力矩项 （ 包括磨擦力矩等 ） ； ： 各关节的输入力矩 。 D q q C q q G q a( ) ( , ) ( ) C q q( , ) 44/51 状态方程 取 )()( )()( 2 1 tqtx tqtx k k k ad DtxGtxtxCD tx tx txtx 1 121 1 2 2 1 0 )()(),( )( )( )()( 45/51 迭代学习策略 e p d k v d k k e k k k e t K q t q t K q t q t t t u t u t u t t ( ) ( ( ) ( ) ) ( ( ) ( ) ) ( ) ( ) ( ) ( ) ( ) ( ) 1 q q q q k d k d ( ) ( ) ( ) ( ) 0 0 0 0 1500 0500 0020 7000 01 5 00 0080 vp KK 75.0 46/51 10次迭代学习控制效果 期望轨迹曲线 实际系统响应 第一关节 47/51 10次迭代学习控制效果 期望轨迹曲线 实际系统响应 第二关节 48/51 10次迭代学习控制效果 期望轨迹曲线 实际系统响应 第三关节 49/51 负载经常变化下的机器人迭代学习控制 一种基于知识库的改进迭代学习算法 改进迭代学习算法的目的在于如何尽快地得 到准确的前馈补偿力矩 d，当负载发生变化 时，它的基本思想是利用一组已知的、按一 定规则排列的、与 d相关的数据库，并通过 推理机制来求得当前负载 m下准确的前馈补 偿力矩 d(m)。 能经过一个周期的运行达到高精度跟踪控制 的目的。 50/51 6.1.1 迭代学习控制的基本思想 6.1.2 线性时变系统的迭代学习控制 6.1.3 一类非线性动态系统的迭代学习控制 6.1.4 多关节机械手的迭代学习控制 6.1.5 迭代学习控制面临的挑战 6.1 迭代学习控制 51/51 6.1.5 迭代学习控制面临的挑战 向一般系统的推广问题； 学习收敛的速率问题； 要求初始状态在期望轨迹上； 如果期望轨迹发生变化，学习必须重新进行。