第一部分：最优控制剖析课件

时 间:1-8周.周一第2讲,周四第1讲地 点:X2225,X2226任课教师:汪晓宁主要内容最优控制理论系统辩识与自适应控制状态估计,LQG控制与H鲁棒控制教材及主要参考书张汉全等,K.Ogata,“Modern Control Engineering”,Prentice-Hall王远声,北航出版社张志涌,北航出版社第一部分:最优控制绪论最优化与最优控制概述最优化方法在数学上是一种求极值的方法最优控制系统是指系统在满足动态方程的条件下,应选择什么样的控制变量序列(控制函数),使系统从初始状态能以某种最优的性能指标要求转移到规定的终态最优化方法是一种数学方法,而不是工程方法,它与应用数学,计算机科学及各专业领域都有密切关系最优化包括静态最优化和动态最优化两部分动态(线性规划,整数规划,非线性规划)动态(最优控制)绪论最优控制问题举例飞船的月球软着陆问题最快拦截问题最优控制问题的提法受控动态系统的数学模型动态系统的初态与终态一个衡量”控制作用”效果的性能指标一个容许控制的集合第一章:变分法及其在最优控制中的应用变分法的基本概念泛函容许函数类(空间)泛函的极值 定义:如果泛函 在任何一条与 接近的曲线值的值不小于 ,即 ,则称泛函 在曲线 上达到极小值.“接近”泛函的极值条件变分法的基本概念泛函的极值条件宗量的变分泛函的连续性线性泛函泛函的变分若连续泛函 的增量可以表示为其中等式右边第一项是 的线性连续泛函,第二项是关于 的高阶无穷小,则就将第一项叫做泛函的变分.记为:变分法的基本概念引理:泛函 的变分第一章:变分法及其在最优控制中的应用欧拉方程古典变分学的三个基本问题拉格郎日问题 从容许函数类(空间)中求一函数 ,使泛函 取极小值的变分问题波尔扎问题 从容许函数类(空间)中求一函数 ,使泛函 取极小值的变分问题第一章:变分法及其在最优控制中的应用麦耶耳问题从容许函数类(空间)中求一函数 ,使泛函取极小值的变分问题拉格郎日和麦耶耳问题都可以看成是波尔扎问题的特殊情况拉格郎日和麦耶耳问题都可以看成是波尔扎问题的特殊情况.第一章:变分法及其在最优控制中的应用欧拉方程_泛函极值的必要条件 设已知轨线 的起点 和终点使性能泛函取极值的必要条件是轨线为二阶微分方程的解.欧拉方程注意:应有连续的二阶导数,而 则至少应有两次连续可微.欧拉方程的解 叫做极值曲线,只有在极值曲线上的泛函才可能达到极小(或极大值)对于现在讨论的两个端点固定情况,正好可以利用两个边界条件,将积分常数确定出来.欧拉方程只是确定了极值的必要条件欧拉方程的积分法求解被积函数 不依赖于 被积函数 是 的线性函数被积函数 仅依赖于 被积函数 仅依赖于 和 被积函数 仅依赖于 和横截条件横截条件-解决欧拉方程两个端点不固定问题注意:上式建立了极值曲线末态斜率 与给定约束曲线斜率 之间的关系;该横截条件是在终态时刻 可变情况的,当容许曲线的始端也不固定时,如初态 只能沿着给定曲线 变动时,同理可推出始端横截条件;当 和 固定,而 和 变化时,横截条件退化为:和横截条件总结:泛函的极值的必要条件首先应满足欧拉方程;欧拉方程通解中的两个积分常数由横截条件确定;当容许曲线的端点中任何一点为固定点时,其相应横截条件自动失效,确定积分常数的横截条件改为该点的边界条件确定.等式约束条件下的变分问题等式约束条件下的变分问题对于给定的泛函求其在等式约束对所有条件下的极值引入拉格朗日乘子法,将泛函的条件极值转化为无条件极值问题存在适当的待定m维乘子向量函数使泛函达到无条件极值.即函数 是 的解其中最优控制问题求解最优控制问题的提法寻找一容许控制使受控系统由初始状态出发,在某一末态时刻转移到目标集M:使性能指标泛函为极小.最优控制问题求解终端状态不受约束时泛函极值必要条件满足规范方程边值条件极值条件其中称为哈密顿函数终端状态不受约束分析规范方程(2n个一阶微分方程)通过极值条件(r个代数方程)成为变量互为偶合的微分方程组,其边界条件一部分是初始条件,另一部分是终端条件;哈密顿函数的一个重要性质最优控制问题求解终端状态受约束终态时刻固定终态固定终端状态受 约束最优控制问题求解终端状态受约束终态固定,终态时刻固定满足规范方程边值条件极值条件最优控制问题求解终端状态受约束终态时刻固定,终端状态受 约束满足规范方程边值条件极值条件终端状态受约束(终态时刻固定,终端状态受 约束)说明:终端约束不影响规范方程,只改变边值条件2n+k个边界条件方程,可以确定2n个边界条件和k个待定乘子最优控制问题求解终端状态受约束终态时刻未定末态固定末态受 约束末态自由终态时刻未定终端状态受约束(终态时刻未定,末态自由)满足规范方程边值条件极值条件哈密顿函数在最优轨线的末端应满足末态给定末态受约束极小值原理或:背景控制信号要求微分条件 存在 前面研究的是控制变量无约束的最优控制,即以系统的状态方程作为等式约束,或系统的末端状态受某一等式约束的最优控制.现在所要研究的是控制变量受一不等式约束的最优控制问题,解决的有效工具是庞特里亚金的极小值原理.极小值原理连续系统的极小值原理终端时刻未定,终端状态受等式约束寻找一容许控制使受控系统由初始状态出发,在某一末态时刻转移到终态:使性能指标泛函为极小.且受不等式 约束极小值原理(终端时刻未定,终端状态受等式约束)关键:如何处理控制变量的不等式约束?设法将不等式约束人为地化为等式约束,并用一个新的连续函数取代分段连续函数 .极小值原理(终端时刻未定,终端状态受等式约束)转化为三种约束:新的性能指标极小值原理(终端时刻未定,终端状态受等式约束)最优控制求解的必要条件满足规范方程边值条件在最优轨线上与最优控制对应的H函数取极小值哈密顿函数在最优轨线的末端应满足极小值原理终态的不同状态,得出对应的最优控制求解的必要条件终态时刻未定,终态固定终态时刻未定,终态自由终态时刻固定,终态自由终态时刻固定,终态固定终态时刻固定,终态受一等式约束线性二次型最优调节器概述偏差信号性能指标若则概述单输入系统:多输入系统:加权阵非负定,正定线性二次型最优调节器问题设线性时变系统不受约束为误差信号现寻找最优控制使如下二次型性能指标为最小其中非负定对称常数阵非负定对称时变阵正定对称时变阵并假设:矩阵的元是时间t的连续函数,且所有矩阵函数及都是有界的.线性二次型最优状态调节器问题令:则设线性时变系统及其初始条件为不受约束,寻找最优控制使如下二次型性能指标最小.要求称之为状态调节器(有限时间)线性二次型的核心,也是本部分讨论的重点有限时间最优状态调节器当最优控制的充分必要条件:其中:是相应于的最优控制,是如下Riccati矩阵微分方程满足边界条件的解典型的状态反馈形式BA矩阵P(t)的性质反馈增益矩阵中是已知的.闭环系统的性质决定于矩阵矩阵的性质是Riccati方程末值问题的解非负定若则对有无限时间最优状态调节器设线性时变系统及其初始条件为不受约束,寻找最优控制使如下二次型性能指标最小.称之为无限时间最优状态调节器区别:积分J只能在一定条件下才是有限值,即该系统对于每一是完全能控的无限时间最优状态调节器最优控制存在且唯一,并由下式确定其中是如下Riccati方程的非负定解线性定常状态调节器设线性定常系统及其初始条件为二次型性能指标其中矩阵A,B,Q,R是具有适当维数的常数矩阵,且Q和R分别是 非负定和正定对称阵从中确定一最优控制,使J最小.线性定常状态调节器最优控制存在且唯一地由下式确定:其中是下面代数Riccati方程的非负定对称解或者是下面Riccati微分方程的稳态解从任意初态开始的最优性能指标为动态规划贝尔曼最优性原理的应用,用一个基本的递推关系式使动态过程的状态连续地转移.基本思路:动态规划的离散形式:解决线性时间离散系统二次型性能指标最优控制问题特别有效.动态规划的连续形式:不仅是一种可供选择的求解最优控制问题的方法,而且还揭示了动态规划与变分法,极小值原理之间的关系,具有重要的理论价值.动态规划-多阶段决策问题第一阶段第二阶段第三阶段第四阶段动态规划-多阶段决策问题1310440358最优决策:最优路线:最少时间:动态规划-多阶段决策问题动态规划特点:计算量大大减少实质是将求一条极值曲线问题嵌入到求一族极值曲线的更广泛的类似问题 动态规划是将一个难于直接处理的多阶段决策问题转化为一个多次一步决策的简单问题来解决动态规划-多阶段决策问题考察代价函数(性能指标)其中过程的起始状态为已知.过程的状态方程为其中状态满足约束求允许决策(控制)序列使代价函数(性能指标)最小.动态规划-多阶段决策问题为求出最小代价将始自的待求问题嵌入到求的类似问题中.转而研究如下问题其中认为是固定的.状态方程为动态规划-多阶段决策问题始自第k级任一允许状态的最小代价现有决策剩余决策进一步递推方程动态规划-多阶段决策问题 将一个复杂的多阶段决策问题嵌入到一类相似问题,要解决两个关键问题这一类相似问题中的一个问题有比较简单的解,如求得到联系这一类问题中各组成部分的关系式 从原来的多阶段决策问题出发,导出类似于(A)和(B)这两个方程是关键动态规划-多阶段决策问题总结:用动态规划法解题要进行两次搜索逆向搜索用第K+1级的最小代价函数根据递推方程计算第k级的最小代价函数正向搜索应用第一次搜索得到的决策策略根据状态方程正向迭代,求出最优决策序列及最优轨线.动态规划-多阶段决策问题 递推关系式是动态规划的基本结果,它是贝尔曼所阐述的最优性原理的重要结论最优性原理:多级决策过程的最优策略具有这种性质,不论初始状态和初始决策如何,其余的决策对于由初始决策所形成的状态来说,必定也是一个最优策略