最优控制理论及应用课件

最优控制理论与应用最优控制理论与应用最优控制理论与应用最优控制理论与应用 2024年7月28日1第一章第一章 最优控制问题最优控制问题的一般概念的一般概念第二章第二章 最优控制的变分方法最优控制的变分方法第三章第三章 极小值原理极小值原理及其应用及其应用第四章第四章 线性二次型问题的最优控制线性二次型问题的最优控制第五章第五章 动态规划动态规划最最优优控制理控制理论论与与应应用用2023年年8月月17日日1第一章第一章 最最优优控制控制问题问题 最优控制理论与应用最优控制理论与应用2024年7月28日2一一 基本概念基本概念最优控制理论中心问题：最优控制理论中心问题：给定一个控制系统给定一个控制系统（已建立的被控对象的数学模型），选择一个容（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）给定的某一性能指标达到极小值（或极大值）第一章第一章 最优控制问题最优控制问题的一般概念的一般概念2023年年8月月17日日2一一 基本概念第一章基本概念第一章 最最优优控制控制问题问题的一般的一般 最优控制理论与应用最优控制理论与应用二二 最优控制问题最优控制问题2024年7月28日31 1 例子例子 飞船软着陆问题飞船软着陆问题 宇宙飞船在月球表面着陆宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。使燃料消耗最小。m m 飞船的质量，飞船的质量，h h 高度，高度，v v 垂直速度，垂直速度，g g 月球重力加速度常数，月球重力加速度常数，M M 飞船自身质量飞船自身质量F F 燃料的质量燃料的质量二二 最最优优控制控制问题问题2023年年8月月17日日31 例子例子 飞飞船船软软着着陆陆 最优控制理论与应用最优控制理论与应用2024年7月28日4软着陆过程开始时刻软着陆过程开始时刻t t为零为零 K K为常数为常数 ，初始状态，初始状态 末端条件末端条件 2023年年8月月17日日4软软着着陆过陆过程开始程开始时时刻刻t为为零零 K为为常数常数，最优控制理论与应用最优控制理论与应用2024年7月28日5性能指标性能指标控制约束控制约束 任务：满足控制约束条件下，求发动机推力的任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）（末态），并使性能指标达到极值（燃耗量最小）2023年年8月月17日日5性能指性能指标标控制控制约约束束 任任务务：满满足控足控 最优控制理论与应用最优控制理论与应用例例2 2 火车快速运行问题火车快速运行问题 设火车从甲地出发，设火车从甲地出发，求容许控制，使其到达乙地时间最短。求容许控制，使其到达乙地时间最短。m m 火车质量；火车质量；火车加速度；火车加速度；u u（t t）产生）产生加速度的推力且加速度的推力且火车运动方程火车运动方程2024年7月28日6例例2 火火车车快速运行快速运行问题问题 设设火火车车从甲地出从甲地出发发，求容，求容许许控制，控制，最优控制理论与应用最优控制理论与应用2024年7月28日72 2 问题描述问题描述(1)(1)状态方程状态方程 一般形式为一般形式为 为为n n维状态向量维状态向量 为为r r维控制向量维控制向量 为为n n维向量函数维向量函数 给定控制规律给定控制规律 满足一定条件时，方程有唯一解满足一定条件时，方程有唯一解 2023年年8月月17日日72 问题问题描述描述(1)状状态态方程方程 一般一般 最优控制理论与应用最优控制理论与应用2024年7月28日8(2)(2)容许控制容许控制 ：,(3)(3)目标集目标集 n维向量函数维向量函数 固定端问题固定端问题 自由端问题自由端问题 2023年年8月月17日日8(2)容容许许控制控制：,(3)目目标标集集 最优控制理论与应用最优控制理论与应用2024年7月28日9(4)(4)性能指标性能指标 对状态、控制以及终点状态的要求，复合型性能对状态、控制以及终点状态的要求，复合型性能指标指标 积分型性能指标，表示对整个状积分型性能指标，表示对整个状态和控制过程的要求态和控制过程的要求 终点型指标，表示仅对终点状态终点型指标，表示仅对终点状态的要求的要求 2023年年8月月17日日9(4)性能指性能指标标 对对状状态态、控制以及、控制以及终终点点 最优控制理论与应用最优控制理论与应用最优控制的应用类型积分型1）最小时间控制2）最小燃耗控制3）最小能量控制2024年7月28日10最最优优控制的控制的应应用用类类型型积积分型分型2023年年8月月17日日10 最优控制理论与应用最优控制理论与应用末值型复合型1）状态调节器2）输出跟踪系统2024年7月28日11末末值值型型2023年年8月月17日日11 最优控制理论与应用最优控制理论与应用最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法2024年7月28日12最最优优控制的研究方法解析法：适用于性能指控制的研究方法解析法：适用于性能指标标及及约约束条件有明束条件有明显显解析解析 最优控制理论与应用最优控制理论与应用第二章第二章 最优控制中的变分法最优控制中的变分法2024年7月28日13 2.1 2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为第二章第二章 最最优优控制中的控制中的变变分法分法2023年年8月月17日日13 2.1 最优控制理论与应用最优控制理论与应用2024年7月28日14一般来说，曲线不同，弧长就不同，即弧长依赖一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为于曲线，记为 。，称为泛函。，称为泛函。，称泛函的宗量，称泛函的宗量 泛函定义泛函定义：x(t)x(t)是自变量是自变量t t的函数，若对的函数，若对每个函数每个函数x(t)x(t)，有一个，有一个J J值与之对应，则变值与之对应，则变量量J J称为依赖于称为依赖于x(t)x(t)的泛函，记的泛函，记J(x(t)J(x(t)例举：例举：2023年年8月月17日日14一般来一般来说说，曲，曲线线不同，弧不同，弧长长就不同，即弧就不同，即弧 最优控制理论与应用最优控制理论与应用线性泛函与性泛函与连续泛函：泛函：线性泛函性泛函泛函泛函对宗量是宗量是线性的性的连续泛函泛函若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函2024年7月28日15线线性泛函与性泛函与连续连续泛函：泛函：2023年年8月月17日日15 最优控制理论与应用最优控制理论与应用2024年7月28日16泛函与函数的几何解释泛函与函数的几何解释 宗量的变分宗量的变分 泛函的增量泛函的增量 泛函的变分泛函的变分 Jd=2023年年8月月17日日16泛函与函数的几何解泛函与函数的几何解释释 宗量的宗量的变变分分 泛泛 最优控制理论与应用最优控制理论与应用2024年7月28日17定理定理 2.1 2.1 泛函的变分为泛函的变分为 2023年年8月月17日日17定理定理 2.1 泛函的泛函的变变分分为为 最优控制理论与应用最优控制理论与应用2024年7月28日18例例 2.1 2.1 求泛函的变分求泛函的变分 2023年年8月月17日日18例例 2.1 求泛函的求泛函的变变分分 最优控制理论与应用最优控制理论与应用泛函的极值2024年7月28日19定理定理 2.2 2.2 若泛函若泛函 有极值，则必有有极值，则必有泛函的极泛函的极值值2023年年8月月17日日19定理定理 2.2 若泛函若泛函 最优控制理论与应用最优控制理论与应用变分学预备定理2024年7月28日20变变分学分学预备预备定理定理2023年年8月月17日日20 最优控制理论与应用最优控制理论与应用2.2 欧拉方程欧拉方程(1)(1)无无约约束泛函极束泛函极值值的必要条件的必要条件定理定理2.3 2.3 设有如下泛函极值问题：2024年7月28日21及横截条件及横截条件2.2 欧拉方程欧拉方程(1)无无约约束泛函极束泛函极值值的必要条件的必要条件定理定理2.最优控制理论与应用最优控制理论与应用2024年7月28日22 2.2 2.2 欧拉方程欧拉方程 变分变分 分部积分分部积分 证明：证明：2023年年8月月17日日22 2.2 欧拉方程欧拉方程 变变 最优控制理论与应用最优控制理论与应用2024年7月28日23例例 2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 ，直线直线 2023年年8月月17日日23例例 2.2 求平面上两固定点求平面上两固定点间连线间连线 最优控制理论与应用最优控制理论与应用例2.3：已知边界条件为求使泛函达到极值的轨线解：2024年7月28日24例例2.3：已知已知边边界条件界条件为为 最优控制理论与应用最优控制理论与应用2.2 欧拉方程欧拉方程(2)(2)有等式有等式约约束泛函极束泛函极值值的必要条件的必要条件定理定理2.4 2.4 设有如下泛函极值问题：2024年7月28日25及横截条件及横截条件2.2 欧拉方程欧拉方程(2)有等式有等式约约束泛函极束泛函极值值的必要条件的必要条件定理定理 最优控制理论与应用最优控制理论与应用例例2.42.4：设设人造地球人造地球卫卫星姿星姿态态控制系控制系统统的状的状态态方程方程为为2024年7月28日26例例2.4：设设人造地球人造地球卫卫星姿星姿态态控制系控制系统统的状的状态态方程方程为为2023年年8 最优控制理论与应用最优控制理论与应用 2.3 2.3 横截条件横截条件2024年7月28日27 讨论：讨论：A.A.B.B.C.C.D.D.2.3 横截条件横截条件2023年年8月月17日日27 讨论讨论：A.最优控制理论与应用最优控制理论与应用2024年7月28日28左端固定右端沿曲线变动左端固定右端沿曲线变动 横截条件横截条件C的推导的推导2023年年8月月17日日28左端固定右端沿曲左端固定右端沿曲线变动线变动 横截条件横截条件C的的 最优控制理论与应用最优控制理论与应用2024年7月28日29 2023年年8月月17日日29 最优控制理论与应用最优控制理论与应用2024年7月28日30例例 2.5 2.5 设性能指标泛函 末值时刻 未定，已知 ，解：由欧拉方程得解：由欧拉方程得由由x(0)=1x(0)=1求出求出b=1b=1；由横截条件知；由横截条件知2023年年8月月17日日30例例 2.5 设设性能指性能指标标泛函泛函 末末值时值时 最优控制理论与应用最优控制理论与应用2024年7月28日312023年年8月月17日日31 最优控制理论与应用最优控制理论与应用2024年7月28日32 2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 欧拉方程欧拉方程 边界值边界值 横截条件横截条件 2023年年8月月17日日32 2.4 含有多个未知函数泛函的极含有多个未知函数泛函的极值值 最优控制理论与应用最优控制理论与应用2024年7月28日33 2.5 2.5 条件极值条件极值状态方程状态方程 泛函泛函 引进乘子引进乘子 构造新的函构造新的函数和泛函数和泛函 欧拉方程欧拉方程 约束方程约束方程 2023年年8月月17日日33 2.5 条件极条件极值值状状态态方程方程 泛函泛函 引引 最优控制理论与应用最优控制理论与应用2024年7月28日34例例 2.6 2.6 泛函泛函约束方程约束方程 边界条件边界条件 试求试求使泛函使泛函有极值。有极值。解：化为标准形式解：化为标准形式 把问题化为标准形式，令把问题化为标准形式，令2023年年8月月17日日34例例 2.6 泛函泛函约约束方程束方程 边边界条件界条件 最优控制理论与应用最优控制理论与应用2024年7月28日35约束方程可定为约束方程可定为边界条件为边界条件为2023年年8月月17日日35约约束方程可定束方程可定为边为边界条件界条件为为 最优控制理论与应用最优控制理论与应用2024年7月28日36引进乘子引进乘子构造函数构造函数欧拉方程欧拉方程 2023年年8月月17日日36引引进进乘子构造函数欧拉方程乘子构造函数欧拉方程 最优控制理论与应用最优控制理论与应用2024年7月28日37解出解出 其中，其中，和和为任意常数。为任意常数。代入约束方程，并求解可得代入约束方程，并求解可得将将利用边界条件，可得：利用边界条件，可得：2023年年8月月17日日37解出解出 其中，和其中，和为为任意常数。代入任意常数。代入约约束方束方 最优控制理论与应用最优控制理论与应用2024年7月28日38于是，极值曲线和于是，极值曲线和为：为：2023年年8月月17日日38于是，极于是，极值值曲曲线线和和为为：最优控制理论与应用最优控制理论与应用2024年7月28日39问题：确定最优控制问题：确定最优控制 和最优轨线和最优轨线 ，使系统，使系统 由已知初态转移到要求的目标集由已知初态转移到要求的目标集 2.6 2.6变分法解最优控制问题变分法解最优控制问题并使指定的目标泛函并使指定的目标泛函达到极值达到极值2023年年8月月17日日39问题问题：确定最：确定最优优控制控制 和最和最优轨线优轨线 最优控制理论与应用最优控制理论与应用2024年7月28日40 2.6.1 2.6.1末端时刻固定时最优解的必要条件末端时刻固定时最优解的必要条件（1 1）末端受约束的情况）末端受约束的情况引入拉格朗日乘子构造引入拉格朗日乘子构造广义泛函广义泛函 有有构造构造哈米顿函数哈米顿函数 2023年年8月月17日日40 2.6.1末端末端时时刻固定刻固定时时最最优优解的必解的必 最优控制理论与应用最优控制理论与应用2024年7月28日41变分变分2023年年8月月17日日41变变分分 最优控制理论与应用最优控制理论与应用2024年7月28日42定理定理2.52.5：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定固定.最优解的必要条件最优解的必要条件2023年年8月月17日日42定理定理2.5：对对于如下最于如下最优优控制控制问题问题：最优控制理论与应用最优控制理论与应用2024年7月28日43定理定理2.62.6：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)自由自由.最优解的必要条件最优解的必要条件（2 2）末端自由的情况）末端自由的情况2023年年8月月17日日43定理定理2.6：对对于如下最于如下最优优控制控制问题问题：最优控制理论与应用最优控制理论与应用2024年7月28日44定理定理2.72.7：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)固定固定.最优解的必要条件最优解的必要条件（3 3）末端固定的情况）末端固定的情况2023年年8月月17日日44定理定理2.7：对对于如下最于如下最优优控制控制问题问题：最优控制理论与应用最优控制理论与应用2024年7月28日45例例 2.7 2.7 考虑状态方程和初始条件为考虑状态方程和初始条件为的简单一阶系统，其指标泛函为的简单一阶系统，其指标泛函为，使，使其中其中，给定，试求最优控制给定，试求最优控制有极小值。有极小值。0t，2023年年8月月17日日45例例 2.7 考考虑虑状状态态方程和初始条件方程和初始条件 最优控制理论与应用最优控制理论与应用2024年7月28日46，伴随方程伴随方程 边界条件边界条件 由必要条件由必要条件 解解:引进伴随变量引进伴随变量，构造哈米顿函数，构造哈米顿函数2023年年8月月17日日46，伴随方程伴随方程 边边界条件界条件 由必要条件由必要条件 最优控制理论与应用最优控制理论与应用2024年7月28日47则最优控制为则最优控制为 得得代入状态方程求解得代入状态方程求解得令令，则有，则有2023年年8月月17日日47则则最最优优控制控制为为 得代入状得代入状态态方程求解得令方程求解得令 最优控制理论与应用最优控制理论与应用2024年7月28日48边界条件边界条件 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 ，例例 2.8 2.8 重解例重解例 2.42.4 其解为其解为 2023年年8月月17日日48边边界条件界条件 指指标标泛函泛函 哈米哈米顿顿函数函数 伴随伴随 最优控制理论与应用最优控制理论与应用2024年7月28日49 2023年年8月月17日日49 最优控制理论与应用最优控制理论与应用习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标2024年7月28日50习题2：设二阶系统方程为性能指标取为求系统由已知初态 在 转移到目标集 且使J取极小的最优控制和最优轨迹习题习题1：设设一一阶阶系系统统方程方程为为2023年年8月月17日日50习题习题2：设设二二 最优控制理论与应用最优控制理论与应用2024年7月28日51 2.6.2 2.6.2 末端时刻自由的最优解问题末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值 变分变分 2023年年8月月17日日51 2.6.2 末端末端时时刻自由的最刻自由的最优优解解问问 最优控制理论与应用最优控制理论与应用2024年7月28日52 ，必要条件必要条件2023年年8月月17日日52 ，必要条件必要条件 最优控制理论与应用最优控制理论与应用2024年7月28日53例例 2.72.7 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 必要条件必要条件 2023年年8月月17日日53例例 2.7 指指标标泛函泛函 哈米哈米顿顿函数函数 伴伴 最优控制理论与应用最优控制理论与应用 第三章第三章 最大值原理最大值原理2024年7月28日54 3.1 3.1 古典变分法的局限性古典变分法的局限性u u(t t)受限的例子受限的例子 矛盾矛盾!例例 3.13.1伴随方程伴随方程 极值必要条件极值必要条件 第三章第三章 最大最大值值原理原理2023年年8月月17日日54 3.1 古典古典变变 最优控制理论与应用最优控制理论与应用2024年7月28日55 3.2 3.2 最大值原理最大值原理且且 定理定理 3.1(最小值原理最小值原理)设为设为容许控制，容许控制，为对应的积分轨线，为使为对应的积分轨线，为使为最优控制，为最优控制，为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正则方程满足正则方程 2023年年8月月17日日55 3.2 最大最大值值原理且原理且 定理定理 3.最优控制理论与应用最优控制理论与应用2024年7月28日56最最小小值值原原理理只只是是最最优优控控制制所所满满足足的的必必要要条条件件。但但对于线性系统对于线性系统 ，最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。2023年年8月月17日日56最小最小值值原理只是最原理只是最优优控制所控制所满满足的必要条足的必要条 最优控制理论与应用最优控制理论与应用2024年7月28日57例例 3.2 3.2 重解例重解例 3.13.1，哈密顿函数哈密顿函数 伴随方程伴随方程 由极值必要条件，知由极值必要条件，知 ，又又于是有于是有2023年年8月月17日日57例例 3.2 重解例重解例 3.1，最优控制理论与应用最优控制理论与应用2024年7月28日58，协态变量与控制变量的关系图协态变量与控制变量的关系图 2023年年8月月17日日58，协态变协态变量与控制量与控制变变量的关量的关 最优控制理论与应用最优控制理论与应用2024年7月28日59,，例例 3.3 3.3 性能指标泛函性能指标泛函 哈密顿函数哈密顿函数 伴随方程伴随方程 ，2023年年8月月17日日59,，例，例 3.3 性能指性能指标标泛函泛函 哈密哈密 最优控制理论与应用最优控制理论与应用2024年7月28日60上有上有 2023年年8月月17日日60上有上有 最优控制理论与应用最优控制理论与应用2024年7月28日61协态变量与控制变量的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线 2023年年8月月17日日61协态变协态变量与控制量与控制变变量的关系量的关系图图 整个最整个最优优 最优控制理论与应用最优控制理论与应用2024年7月28日62例例 3.43.4 把系统状态在终点时刻转移到把系统状态在终点时刻转移到 性能指标泛函性能指标泛函 终点时刻是不固定的终点时刻是不固定的 哈米顿函数哈米顿函数 伴随方程伴随方程，2023年年8月月17日日62例例 3.4 把系把系统统状状态态在在终终点点时时刻刻转转移移 最优控制理论与应用最优控制理论与应用2024年7月28日63H H是是u u的的二二次次抛抛物物线线函函数数，u u在在 上上一一定定使使H H有最小值，可能在内部，也可能在边界上。有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值最优控制可能且只能取三个值 此二者都不能使状态变量同此二者都不能使状态变量同时满足初始条件和终点条件时满足初始条件和终点条件 2023年年8月月17日日63H是是u的二次抛物的二次抛物线线函数，函数，u在在 最优控制理论与应用最优控制理论与应用2024年7月28日64，最优控制最优控制 最优轨线最优轨线 最优性能指标最优性能指标 2023年年8月月17日日64，最最优优控制控制 最最优轨线优轨线 最最优优性能性能 最优控制理论与应用最优控制理论与应用2024年7月28日65例例 3.53.5 使系统以最短时间从给定初态转移到零态使系统以最短时间从给定初态转移到零态 哈米顿函数哈米顿函数 伴随方程伴随方程 2023年年8月月17日日65例例 3.5 使系使系统统以最短以最短时间时间从从给给定初定初 最优控制理论与应用最优控制理论与应用2024年7月28日66最优控制切换及最优轨线示意图最优控制切换及最优轨线示意图 2023年年8月月17日日66最最优优控制切控制切换换及最及最优轨线优轨线示意示意图图 最优控制理论与应用最优控制理论与应用2024年7月28日67 3.3 3.3 古典变分法与最小值原理古典变分法与最小值原理古古典典变变分分法法适适用用的的范范围围是是对对u u无无约约束束，而而最最小小值值原原理一般都适用。特别当理一般都适用。特别当u u不受约束时，条件不受约束时，条件就等价于条件就等价于条件2023年年8月月17日日67 3.3 古典古典变变分法与最小分法与最小值值原理古典原理古典 最优控制理论与应用最优控制理论与应用 3.4 3.4 极大值原理的应用：极大值原理的应用：快速控制系统快速控制系统2024年7月28日68在实际问题中，经常发生以时间为性能指标的在实际问题中，经常发生以时间为性能指标的控制问题。控制问题。如，当被控对象受干扰后，偏离了平衡状态，如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称凡是以运动时间为性能指标的最优控制问题称为最小时间控制。为最小时间控制。3.4 极大极大值值原理的原理的应应用：用：快速控制系快速控制系统统2023年年8月月17 最优控制理论与应用最优控制理论与应用2024年7月28日69 3.4.1 3.4.1 快速控制问题快速控制问题性能指标性能指标 时间上限时间上限是可变的是可变的 从状态从状态转移平衡状态转移平衡状态所需时间最短所需时间最短 构造哈密顿函数构造哈密顿函数 最小值原理最小值原理 分段常值函数分段常值函数 2023年年8月月17日日69 3.4.1 快速控制快速控制问题问题性能指性能指标标 最优控制理论与应用最优控制理论与应用2024年7月28日70例例 3.4.1 3.4.1 有有一一单单位位质质点点，在在 处处以以初初速速度度2 2沿沿直直线线运运动动。现现施施加加一一力力 ，使使质质点点尽尽快快返返回回原原点点，并并停停留留在在原原点点上上。力力 简简称为控制。若其它阻力不计，试求此控制力。称为控制。若其它阻力不计，试求此控制力。质点运动方程质点运动方程 状态方程状态方程 哈密顿函数哈密顿函数 伴随方程伴随方程 2023年年8月月17日日70例例 3.4.1 有一有一单单位位质质点，在点，在 最优控制理论与应用最优控制理论与应用2024年7月28日71最优控制最优控制 协态变量与控制函数协态变量与控制函数4种情况示意图种情况示意图 2023年年8月月17日日71最最优优控制控制 协态变协态变量与控制函数量与控制函数4种情况种情况 最优控制理论与应用最优控制理论与应用2024年7月28日72相轨线族示意图相轨线族示意图 开开关曲线关曲线 2023年年8月月17日日72相相轨线轨线族示意族示意图图 开关曲开关曲线线 最优控制理论与应用最优控制理论与应用2024年7月28日73开关曲线开关曲线 总时间总时间 初始状态初始状态 最优控制最优控制 状态方程状态方程 相轨线相轨线 最优控制最优控制 2023年年8月月17日日73开关曲开关曲线线 总时间总时间 初始状初始状态态 最最优优控制控制 最优控制理论与应用最优控制理论与应用2024年7月28日74 3.4.2 3.4.2 综合问题综合问题 综合是将最优控制函数表示为状态和时间的函数综合是将最优控制函数表示为状态和时间的函数即即上例之最优综合控制函数上例之最优综合控制函数 2023年年8月月17日日74 3.4.2 综综合合问题问题 综综合是将最合是将最优优 最优控制理论与应用最优控制理论与应用2024年7月28日75例例 3.4.23.4.2 求快速返回原点的开关曲线和最优综合控制函数求快速返回原点的开关曲线和最优综合控制函数 构造哈密顿函数构造哈密顿函数 伴随方程伴随方程 最优控制最优控制 2023年年8月月17日日75例例 3.4.2 求快速返回原点的开关求快速返回原点的开关 最优控制理论与应用最优控制理论与应用2024年7月28日76最优控制与协态变量的变化情况最优控制与协态变量的变化情况 控控制制是是“砰砰砰砰控控制制”，除除了了首首尾尾之之外外，在在和和上的停留时间均为上的停留时间均为 2023年年8月月17日日76最最优优控制与控制与协态变协态变量的量的变变化情况化情况 控制是控制是 最优控制理论与应用最优控制理论与应用2024年7月28日77备备选选最最优优轨轨线线族族 两族同心圆方程两族同心圆方程 2023年年8月月17日日77备选备选最最优轨线优轨线族族 两族同心两族同心圆圆方程方程 最优控制理论与应用最优控制理论与应用2024年7月28日78相点沿轨线顺时针方向运动，其速度为相点沿轨线顺时针方向运动，其速度为开关曲线开关曲线 2023年年8月月17日日78相点沿相点沿轨线顺时针轨线顺时针方向运方向运动动，其速度，其速度为为开开 最优控制理论与应用最优控制理论与应用2024年7月28日79第二段开关曲线第二段开关曲线 2023年年8月月17日日79第二段开关曲第二段开关曲线线 最优控制理论与应用最优控制理论与应用2024年7月28日80整个开关曲线整个开关曲线 2023年年8月月17日日80整个开关曲整个开关曲线线 最优控制理论与应用最优控制理论与应用2024年7月28日81最优综合控制函数最优综合控制函数 2023年年8月月17日日81最最优综优综合控制函数合控制函数 最优控制理论与应用最优控制理论与应用 第四章第四章 线性二次型性能指标的最优控制线性二次型性能指标的最优控制2024年7月28日82 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通常是时间的函数，这样的控制为开环控制通常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间上总希望应用闭环控制，即控制函数表示成时间和状态的函数。和状态的函数。求解这样的问题一般来说是很困难的。求解这样的问题一般来说是很困难的。第四章第四章 线线性二次型性能指性二次型性能指标标的最的最优优控制控制2023年年8月月17日日8 最优控制理论与应用最优控制理论与应用2024年7月28日83 但对一类线性的且指标是二次型的动态系统，但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。着广泛的应用。2023年年8月月17日日83 但但对对一一类线类线性的且指性的且指标标是是 最优控制理论与应用最优控制理论与应用2024年7月28日84 4.1 4.1 问题提法问题提法动态方程动态方程 指标泛函指标泛函 使使求求有最小值有最小值此问题称线性二次型性能指标的最优控制问题此问题称线性二次型性能指标的最优控制问题通常称通常称为综合控制函数为综合控制函数2023年年8月月17日日84 4.1 问题问题提法提法动态动态方程方程 指指标标泛泛 最优控制理论与应用最优控制理论与应用2024年7月28日85指标泛函的物理意义指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项，被积函数由两项组成，都是二次型。第第一一项项过过程程在在控控制制过过程程中中，实实际际上上是是要要求求每每个个分分量量越越小小越越好好，但但每每一一个个分分量量不不一一定定同同等等重重要要，所所以用加权来调整，当权为零时，对该项无要求。以用加权来调整，当权为零时，对该项无要求。第第二二项项控控制制能能力力能能量量消消耗耗最最小小。对对每每个个分分量量要要求求不不一一样样，因因而而进进行行加加权权。要要求求正正定定，一一方方面面对对每每个个分分量量都都应应有有要要求求，否否则则会会出出现现很很大大幅幅值值，在在实实际际工工程程中中实实现现不不了了；另另一一方方面面，在在计计算算中中需需要要有有逆逆存存在。在。指指标标中中的的第第一一项项是是对对点点状状态态的的要要求求，由由于于对对每每个个分量要求不同，用加权阵来调整。分量要求不同，用加权阵来调整。2023年年8月月17日日85指指标标泛函的物理意泛函的物理意义义 最优控制理论与应用最优控制理论与应用2024年7月28日86 4.2.1 4.2.1 末端自由问题末端自由问题构造哈密顿函数构造哈密顿函数 伴随方程及边界条件伴随方程及边界条件 最优控制应满足最优控制应满足 4.2 4.2 状态调节器状态调节器2023年年8月月17日日86 4.2.1 末端自由末端自由问题问题构造哈密构造哈密顿顿 最优控制理论与应用最优控制理论与应用2024年7月28日87求导 2023年年8月月17日日87求求导导 最优控制理论与应用最优控制理论与应用2024年7月28日88（矩阵黎卡提微分方程）（矩阵黎卡提微分方程）边界条件边界条件 令令最优控制是状态变量的线性函数最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制借助状态变量的线性反馈可实现闭环最优控制 最优控制最优控制 对称半正定阵对称半正定阵 2023年年8月月17日日88（矩（矩阵阵黎卡提微分方程）黎卡提微分方程）边边界条件界条件 令令 最优控制理论与应用最优控制理论与应用2024年7月28日89例例 4.14.1 性能指标泛函性能指标泛函 最优控制最优控制 黎卡提微分方程黎卡提微分方程 2023年年8月月17日日89例例 4.1 性能指性能指标标泛函泛函 最最优优控制控制 最优控制理论与应用最优控制理论与应用2024年7月28日90最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 解解 2023年年8月月17日日90最最优轨线优轨线 最最优优控制控制 最最优轨线优轨线的微分方的微分方 最优控制理论与应用最优控制理论与应用2024年7月28日91黎卡提方程的解黎卡提方程的解 随终点时间变化的随终点时间变化的黎卡提方程的解黎卡提方程的解 2023年年8月月17日日91黎卡提方程的解黎卡提方程的解 随随终终点点时间变时间变化的黎卡化的黎卡 最优控制理论与应用最优控制理论与应用2024年7月28日92 4.2.2 4.2.2 固定端问题固定端问题（设）（设）指标泛函指标泛函 采用采用“补偿函数补偿函数”法法 补偿函数补偿函数 惩罚函数惩罚函数 边界条件边界条件 黎卡提方程黎卡提方程 逆黎卡提方程逆黎卡提方程 2023年年8月月17日日92 4.2.2 固定端固定端问题问题（设设 最优控制理论与应用最优控制理论与应用2024年7月28日93求导求导 黎卡提方程黎卡提方程乘以乘以逆黎卡提方程逆黎卡提方程 解解 逆逆 2023年年8月月17日日93求求导导 黎卡提方程乘以逆黎卡提方程黎卡提方程乘以逆黎卡提方程 解解 最优控制理论与应用最优控制理论与应用2024年7月28日94 4.2.3 4.2.3 的情况的情况性能指标性能指标 无限长时间调节器问题无限长时间调节器问题 黎卡提方程黎卡提方程 边界条件边界条件 最优控制最优控制 最优指标最优指标 2023年年8月月17日日94 4.2.3 的情况性能指的情况性能指标标 无限无限 最优控制理论与应用最优控制理论与应用2024年7月28日95 4.2.4 4.2.4 定常系统定常系统完全可控完全可控 指标泛函指标泛函 矩阵代数方程矩阵代数方程 最优控制最优控制 最优指标最优指标 2023年年8月月17日日95 4.2.4 定常系定常系统统完全可控完全可控 指指标标 最优控制理论与应用最优控制理论与应用2024年7月28日96例例 4.24.2 黎卡提方程黎卡提方程 2023年年8月月17日日96例例 4.2 黎卡提方程黎卡提方程 最优控制理论与应用最优控制理论与应用2024年7月28日97 4.3 4.3 输出调节器输出调节器输出调节器问题输出调节器问题状态调节器问题状态调节器问题 指标泛函指标泛函 令令2023年年8月月17日日97 4.3 输输出出调节调节器器输输出出调节调节器器问题问题状状 最优控制理论与应用最优控制理论与应用2024年7月28日98 4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法 已知的理想输出已知的理想输出 偏差量偏差量 指标泛函指标泛函 寻求控制规律使性能指标有极小值。寻求控制规律使性能指标有极小值。物物理理意意义义 在在控控制制过过程程中中，使使系系统统输输出出尽尽量量趋趋近近理想输出，同时也使能量消耗最少。理想输出，同时也使能量消耗最少。2023年年8月月17日日98 4.4 跟踪跟踪问题问题问题问题的提法的提法 已知的已知的 最优控制理论与应用最优控制理论与应用2024年7月28日99指标泛函指标泛函 哈密顿函数哈密顿函数 2023年年8月月17日日99指指标标泛函泛函 哈密哈密顿顿函数函数 最优控制理论与应用最优控制理论与应用2024年7月28日100设设并微分并微分2023年年8月月17日日100设设并微分并微分 最优控制理论与应用最优控制理论与应用2024年7月28日101的任意性的任意性 最优控制最优控制 2023年年8月月17日日101的任意性的任意性 最最优优控制控制 最优控制理论与应用最优控制理论与应用2024年7月28日102最优轨线方程最优轨线方程 最优性能指标最优性能指标 2023年年8月月17日日102最最优轨线优轨线方程方程 最最优优性能指性能指标标 最优控制理论与应用最优控制理论与应用2024年7月28日103例例 4.34.3，性能指标性能指标 2023年年8月月17日日103例例 4.3，性能指性能指标标 最优控制理论与应用最优控制理论与应用2024年7月28日104最优控制最优控制 2023年年8月月17日日104最最优优控制控制 最优控制理论与应用最优控制理论与应用2024年7月28日105，最优控制最优控制 极限解极限解 2023年年8月月17日日105，最最优优控制控制 最优控制理论与应用最优控制理论与应用2024年7月28日106闭环控制系统结构闭环控制系统结构 2023年年8月月17日日106闭环闭环控制系控制系统结统结构构 最优控制理论与应用最优控制理论与应用2024年7月28日107两种方法两种方法 庞特里雅金庞特里雅金 前苏联学者前苏联学者 极大值原理极大值原理 贝尔曼贝尔曼 美国学者美国学者 动态规划动态规划 应用在过程控制、国防建设、经济规划、管理应用在过程控制、国防建设、经济规划、管理 多个分支多个分支 分分布布参参数数的的最最优优控控制制、随随机机最最优优控控制制、大大系系统统最最优控制以及多方多层次的微分对策和主从对策等优控制以及多方多层次的微分对策和主从对策等 2023年年8月月17日日107两种方法两种方法 庞庞特里雅金特里雅金 前前苏联苏联学者学者 最优控制理论与应用最优控制理论与应用 第五章第五章 动态规划动态规划2024年7月28日108动态规划是求解最优控制的又一种方动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。称贝尔曼动态规划。第五章第五章 动态规动态规划划2023年年8月月17日日108动态规动态规划是划是 最优控制理论与应用最优控制理论与应用2024年7月28日109 5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优路径问题作为例子，首先分析最优路径问题(a)(b)(c)试试分分析析(a),(b)(a),(b)和和(c)(c)三三种种情情况况的的最最优优路路径径，即即从从 走走到到 所所需需时时间间最最少少。规规定定沿沿水水平平方方向向只能前进不能后退。只能前进不能后退。2023年年8月月17日日109 5.1 多多级级决策决策过过程与最程与最优优性原理性原理 最优控制理论与应用最优控制理论与应用2024年7月28日110(a)(a)中中只只有有两两条条路路径径，从从起起点点开开始始，一一旦旦选选定定路路线线，就就直直达达终终点点，选选最最优优路路径径就就是是从从两两条条中中选选一一条条，使使路路程程所所用用时时间间最最少少。这这很很容容易易办办到到，只只稍稍加计算，便可知道，上面一条所需时间最少。加计算，便可知道，上面一条所需时间最少。(b)(b)共共有有6 6条条路路径径可可到到达达终终点点，若若仍仍用用上上面面方方法法，需需计计算算6 6次次，将将每每条条路路线线所所需需时时间间求求出出，然然后后比比较，找出一条时间最短的路程。较，找出一条时间最短的路程。(c)(c)需需计计算算2020次次，因因为为这这时时有有2020条条路路径径，由由此此可可见，计算量显著增大了。见，计算量显著增大了。2023年年8月月17日日110(a)中只有两条路径，从起点开始，中只有两条路径，从起点开始，最优控制理论与应用最优控制理论与应用2024年7月28日111逆向分级计算法逆向分级计算法 逆逆向向是是指指计计算算从从后后面面开开始始，分分级级是是指指逐逐级级计计算。逆向分级就是从后向前逐级计算。算。逆向分级就是从后向前逐级计算。以以(c)(c)为例为例 从倒数第一级开始，状态有两个，分别为从倒数第一级开始，状态有两个，分别为 和和 在在处，只有一条路到达终点，其时间是处，只有一条路到达终点，其时间是；在在 处，也只有一条，时间为处，也只有一条，时间为1。后一条时间最短，。后一条时间最短，将此时间相应地标在将此时间相应地标在 点上。点上。并将此点到终点的最优路径画上箭头。并将此点到终点的最优路径画上箭头。2023年年8月月17日日111逆向分逆向分级计级计算法算法 逆向是指逆向是指计计算从算从 最优控制理论与应用最优控制理论与应用2024年7月28日112然后再考虑第二级然后再考虑第二级 只有一种选择，到终点所需时间是只有一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4+1=54+1=5。用箭头标出。用箭头标出 也标出最优路径和时间也标出最优路径和时间 依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优路径求得最优路径 最短时间为最短时间为 13132023年年8月月17日日112然后再考然后再考虑虑第二第二级级 只有一种只有一种选择选择，到，到 最优控制理论与应用最优控制理论与应用2024年7月28日113最优路径示意图最优路径示意图 2023年年8月月17日日113最最优优路径示意路径示意图图 最优控制理论与应用最优控制理论与应用2024年7月28日114多级过程多级过程 多级决策过程多级决策过程 目标函数目标函数 控制目的控制目的 选择决策序列选择决策序列 使目标函数取最小值或最大值使目标函数取最小值或最大值 实际上就是离散状态的最优控制问题实际上就是离散状态的最优控制问题 2023年年8月月17日日114多多级过级过程程 多多级级决策决策过过程程 目目标标函数函数 最优控制理论与应用最优控制理论与应用2024年7月28日115最优性原理最优性原理 在在一一个个多多级级决决策策问问题题中中的的最最优优决决策策具具有有这这样样的的性性质质，不不管管初初始始级级、初初始始状状态态和和初初始始决决策策是是什什么么，当当把把其其中中任任何何一一级级和和状状态态做做为为初初始始级级和和初初始始状状态态时时，余下的决策对此仍是最优决策。余下的决策对此仍是最优决策。2023年年8月月17日日115最最优优性原理性原理 在一个多在一个多级级决策决策问题问题中的中的 最优控制理论与应用最优控制理论与应用2024年7月28日116指标函数多是各级指标之和，即具有可加性指标函数多是各级指标之和，即具有可加性 最优性原理的数学表达式最优性原理的数学表达式 2023年年8月月17日日116指指标标函数多是各函数多是各级级指指标标之和，即具有可之和，即具有可 最优控制理论与应用最优控制理论与应用2024年7月28日117 5.2 5.2 离散系统动态规划离散系统动态规划阶离散系统阶离散系统 性能指标性能指标 求决策向量求决策向量 使使 有最小值（或最大值），其终点可自由，有最小值（或最大值），其终点可自由，也可固定或受约束。也可固定或受约束。2023年年8月月17日日117 5.2 离散系离散系统动态规统动态规划划阶阶离散系离散系 最优控制理论与应用最优控制理论与应用2024年7月28日118引进记号引进记号 应用最优性原理应用最优性原理 可建立如下递推公式可建立如下递推公式 贝尔曼动态规划方程贝尔曼动态规划方程 2023年年8月月17日日118引引进记进记号号 应应用最用最优优性原理性原理 可建立如可建立如 最优控制理论与应用最优控制理论与应用2024年7月28日119例例 5.2 5.2 设一阶离散系统，状态方程和初始条件为设一阶离散系统，状态方程和初始条件为性能指标性能指标 求使求使 有最小值的最优决策序列和最优轨线序列有最小值的最优决策序列和最优轨线序列 指标可写为指标可写为 2023年年8月月17日日119例例 5.2 设设一一阶阶离散系离散系统统，状，状态态方方 最优控制理论与应用最优控制理论与应用2024年7月28日120代入代入 上一级上一级2023年年8月月17日日120代入代入 上一上一级级 最优控制理论与应用最优控制理论与应用2024年7月28日121代入状态方程代入状态方程 最优决策序列最优决策序列 最最优轨线优轨线 2023年年8月月17日日121代入状代入状态态方程方程 最最优优决策序列决策序列 最最 最优控制理论与应用最优控制理论与应用2024年7月28日122 5.3 5.3 连续系统的动态规划连续系统的动态规划性能指标性能指标 目标集目标集 引进记号引进记号 根据最优性原理及根据最优性原理及2023年年8月月17日日122 5.3 连续连续系系统统的的动态规动态规划性能指划性能指 最优控制理论与应用最优控制理论与应用2024年7月28日1232023年年8月月17日日123 最优控制理论与应用最优控制理论与应用2024年7月28日124由泰勒公式，得由泰勒公式，得 由中值定理，得由中值定理，得 2023年年8月月17日日124由泰勒公式，得由泰勒公式，得 由中由中值值定理，得定理，得 最优控制理论与应用最优控制理论与应用2024年7月28日125连续型动态规划方程连续型动态规划方程 实实际际上上它它不不是是一一个个偏偏微微分分方方程程，而而是是一一个个函函数数方程和偏微分方程的混合方程方程和偏微分方程的混合方程 2023年年8月月17日日125连续连续型型动态规动态规划方程划方程 实际实际上它不是一上它不是一 最优控制理论与应用最优控制理论与应用2024年7月28日126满足连续型动态规划方程，有满足连续型动态规划方程，有 设设边界条件边界条件 动动态态规规划划 动动态态规规划划方方程程是是最最优优控控制制函函数数满满足足的的充充分分条条件件；解解一一个个偏偏微微分分方方程程；可可直直接接得得出出综综合合函函数数 ；动动态态规规划划要要求求 有有连连续续偏导数偏导数最最大大值值原原理理 最最大大值值原原理理是是最最优优控控制制函函数数满满足足的的必必要要条条件件；解解一一个个常常微微分分方方程程组组；最最大大值值原原理理则则只求得只求得 。2023年年8月月17日日126满满足足连续连续型型动态规动态规划方程，有划方程，有 设边设边界界 最优控制理论与应用最优控制理论与应用2024年7月28日127例例 5.3 5.3 一阶系统一阶系统，性能指标性能指标 动态规划方程动态规划方程 右端对右端对u u求导数，令其导数为零，则得求导数，令其导数为零，则得 2023年年8月月17日日127例例 5.3 一一阶阶系系统统，性能性能 最优控制理论与应用最优控制理论与应用2024年7月28日128 5.4 5.4 动态规划与最大值原理的关系动态规划与最大值原理的关系变变分分法法、最最大大值值原原理理和和动动态态规规划划都都是是研研究究最最优优控控制制问问题题的的求求解解方方法法，很很容容易易想想到到，若若用用三三者者研研究究同同一一个个问问题题，应应该该得得到到相相同同的的结结论论。因因此此三三者者应应该该存存在在着着内内在在联联系系。变变分分法法和和最最大大值值原原理理之之间间的的关关系系前前面面已已说说明明，下下面面将将分分析析动动态态规规划划和和最最大大值值原原理理的的关关系系。可可以以证证明明，在在一一定定条条件件下下，从从动态规划方程能求最大值原理的方程。动态规划方程能求最大值原理的方程。2023年年8月月17日日128 5.4 动态规动态规划与最大划与最大值值原理的关原理的关 最优控制理论与应用最优控制理论与应用2024年7月28日129最优控制理论最优控制理论 上世纪上世纪5