1、最优控制理论及应用,主讲：董洁2013年11月,1符曦. 系统最优化及控制. 北京：机械工业出版社2解学书. 最优控制理论及应用. 北京：清华大学出版社3秦寿康. 最优控制. 北京：电子工业出版社4邢继祥等. 最优控制应用基础. 北京：科学出版社5王朝珠，秦化淑. 最优控制理论. 北京：科学出版社，20036张洪钺，王青. 最优控制理论与应用. 北京：高等教育出版社，20067胡寿松等. 最优控制理论与系统. 北京：科学出版社，2007,参考教材,第一章 绪论,第三阶段 鲁棒控制理论阶段,1. 由于现代数学的发展，结合着H2和H等范数而出现了H2和H控制，还有逆系统控制等方法。2. 20世纪7
2、0年代末，控制理论向着“大系统理论”、 “智能控制理论”和“复杂系统理论”的方向发展：,控制理论的产生和发展,第一阶段 经典控制理论,第二阶段 现代控制理论,大系统理论：用控制和信息的观点，研究各种大系统的结构方案、总体设计中的分解方法和协调等问题的技术基础理论。,复杂大系统控制,智能控制理论：研究与模拟人类智能活动及其控制与信息传递过程的规律，研制具有某些拟人智能的工程控制与信息处理系统的理论。,洗衣机智能模糊控制,机器人神经网络控制,复杂系统理论：把系统的研究拓广到开放复杂巨系统的范筹，以解决复杂系统的控制为目标。,控制理论的发展过程反映了人类由机械化时代进入电气化时代，并走向自动化、信息
3、化、智能化时代。,复杂航天器控制,最优控制属于现代控制技术的核心内容，是现代控制理论的一个研究热点和中心话题。,现代控制理论：以多变量系统控制、最优控制、系统辩识为主要内容，最优控制发展早。20世纪60年代，现代控制理论才得以迅速发展。我国著名学者：钱学森1954年编著的工程控制论直接促进了最优控制理论的发展和形成。,1最优控制理论的发展,现代控制理论是研究系统状态的控制和观测的理论，主要包括5个方面：线性系统理论最优控制系统辨识最佳滤波（卡尔曼滤波）自适应控制,线性系统理论 研究线性系统在输入作用下状态运动过程规律，揭示系统的结构性质、动态行为之间的关系。主要内容： 状态空间描述、能控性、能
4、观性和稳定性、状态反馈、状态观测器设计等。,最优控制 在给定约束条件和性能指标下，寻找使系统性能指标最佳的控制规律。主要方法：变分法、极大值原理、动态规划等极大值原理 现代控制理论的核心即：使系统的性能指标达到最优（最小或最大）某一性能指标最优：如时间最短或燃料消耗最小等。,自适应控制 在控制系统中，控制器能自动适应内外部参数、外部环境变化，自动调整控制作用，使系统达到一定意义下的最优。a.模型参考自适应控制（Model Reference Adaptive Control)b.自校正自适应控制（Self-Turning Adaptive Control),系统辨识建立系统动态模型的方法： 根
5、据系统的输入输出的试验数据，从一类给定的模型中确定一个与被研究系统本质特征等价的模型，并确定其模型的结构和参数。最佳滤波理论（最佳估计器） 当系统中存在随机干扰和环境噪声时，其综合必须应用概率和统计方法进行。即：已知系统数学模型，通过输入输出数据的测量，利用统计方法对系统状态估计。Kalman滤波器,控制理论必须回答的三个问题：（1）系统能否被控制？可控性有多大？（2）如何克服系统结构的不确定性及干扰带来的影响？（3）如何实现满足要求的控制策略？,现代控制理论与经典控制理论的差异,易于实现实时控制和最优控制,频率法的物理意义直观、实用，难于实现最优控制,其它,状态反馈和输出反馈,PID控制和校
6、正网络,设计方法,复域、实域，可控和可观测,频域(复域),频率响应和根轨迹法,分析方法,线性代数矩阵,拉普拉斯变换,研究工具,状态空间法(内部描述),传递函数法(外部描述),研究方法,多输入多输出系统(MIMO)一阶微分方程,单输入单输出系统(SISO)高阶微分方程,研究对象,现代控制理论,经典控制理论,现代控制理论的应用,比起经典控制理论,现代控制理论考虑问题更全面、更复杂,主要表现在考虑系统内部之间的耦合,系统外部的干扰,但符合从简单到复杂的规律。现代控制理论已经应用在工业、农业、交通运输及国防建设等各个领域。,导弹稳定控制,空空导弹稳定控制,地空导弹稳定控制,航天器控制,月球车控制,卫星
7、控制,机器人控制,空间机器人控制,足球机器人控制,一些常用概念,开环与闭环;调节问题，跟踪问题，随动系统;自治系统，非自治系统;状态反馈，输出反馈;,世界上对控制理论发展有特殊贡献的学者：,美国著名学者：贝尔曼（R.E.Bellman）：动态规划1953-1957原苏联著名学者：庞特里亚金：极小值原理1956-1958之后控制论得以迅速发展，发展和促进了许多新的理论学科。,最优化技术要解决的主要问题：研究和解决如何从一切可能的方案中寻找最优方案，其中包括以下任务1）根据所提出的最优化问题，建立最优化问题数学模型。确定变量，列出约束条件，确定目标函数（性能指标）2）模型分析，选择合适的最优化求解
8、方法。3）根据选定的最优化算法，编程，求解。,最优化的基本问题：就是寻找一个最优的控制方案或控制规律，使所研究的对象（或系统）能最优地达到预期的目标。,例如：1)温度控制系统，如果出现干扰而产生偏差，用什么方法最快消除偏差而使系统恢复到原来的平衡状态。2)雷达高炮随动系统,当发现敌机后,如何以最快速度跟踪目标而将敌机击落？3)电梯控制，如何以最快速度平稳到达地面。以上都涉及到：依据各种不同的研究对象以及人们预期达到的目的，寻求一个最优控制规律u(t)的问题。,拦截导弹最短时间控制,导弹最小燃料控制,航天飞机最小能量控制,弹道导弹的弹道跟踪控制,卫星的指向和稳定控制,磁悬浮列车的控制:上海两个机
9、场之间,最优控制的历史和人物,三个经典问题：等周问题，最速降线问题，测地线(短程线)问题催生了变分法二十世纪五十年代空间技术和航空技术推动产生了极大值原理，动态规划,欧拉,拉格朗日,庞特里亚金,贝尔曼,最优化与最优控制理论发展的一个概括表示,最优控制问题的发展过程 古典法50年代以前，自动控制系统设计有两种方法 解析法,这两种方法都是以传递函数为数学模型，来表征系统特征。在s域或z域内用经典控制论进行设计，对简单的线性调节系统，方法有效。 R（S） U（S） C（S）,1）古典法：（工程试凑法）根据对象G（S），确定控制器GC（S），使系统满足各项性能指标，如：超调量，上升时间，增益裕度，相位
10、裕度。特点：系统的控制结构是确定的，控制参数设计一般采用试凑方法，系统设计不是最优的，所得结果不是唯一解。改进：解析法，力求使设计的系统按一定指标要求来达到最优，从这个意义上讲，解析法比古典法更前进一步。,2）解析法：核心：目标函数为最小。设计目标：求相应得目标函数，使误差的平方积分值Je为小。,局限性：系统设计仅限于单变量系统，线性定常系统为控制对象，设计目标仅局限于使误差最小。50年代中期，随着最优控制在航空航天领域中的应用，使局限性有了突破最优控制论设计系统。,1）用状态空间法研究线性控制系统，提出了可控可观的概念。注意：若系统是不可控的，则最优控制问题的解不存在2）动态规划法和最优化原
11、理3）极大值原理,总结：最优控制是现代控制理论的核心，其主要内容是：在满足一定的约束条件下，根据控制系统的数学模型，寻求最优控制，使目标函数为极大或极小。用最优控制设计系统与传统解析法相比，特点如下：,1）适用于多变量，非线性，时变系统的设计2）初始条件可任意3）可以满足多个目标函数的要求，并可用于多个约束的情况4）便于计算机求解,先期工作1948年，维纳（N.Wiener）发表控制论，引进了信息、反馈和控制等重要概念，奠定了控制论（Cybernetics）的基础，并提出了相对于某一性能指标进行最优设计的概念。1954年，钱学森编著工程控制论，系统地揭示了控制论对自动化、航空、航天、电子通信等
12、科学技术的意义和重大影响。其中“最优开关曲线”等素材，直接促进了最优控制理论的形成和发展。,最优控制的发展简史,工程控制论Engineering Cybernetics序言（钱学森）建立这门技术科学，能赋予人们更宽阔、更缜密的眼光去观察老问题，为解决新问题开辟意想不到的新前景。,19531957年，贝尔曼（R.E.Bellman）创立“动态规划”原理。为了解决多阶段决策过程逐步创立的，依据最优化原理，用一组基本的递推关系式使过程连续地最优转移。“动态规划”对于研究最优控制理论的重要性，表现于可得出离散时间系统的理论结果和迭代算法。19561958年，庞特里亚金创立“最大值原理”。它是最优控制理
13、论的主要组成部分和该理论发展史上的一个里程碑。对于“最大值原理”，由于放宽了有关条件，使得许多古典变分法和动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优控制问题的一种最普遍的有效的方法。同时，庞特里亚金在最优过程的数学理论著作中已经把最优控制理论初步形成了一个完整的体系。此外，构成最优控制理论及现代最优化技术理论基础的代表性工作，还有不等式约束条件下的非线性最优必要条件(库恩图克定理)以及卡尔曼的关于随机控制系统最优滤波器等。,理论形成阶段,最优化（optimization）技术是研究和解决最优化问题的一门学科，它研究和解决如何从一切可能的方案中寻找最优的方案。也就是说，最优化技
14、术是研究和解决如下两个问题：（1）如何将最优化问题表示为数学模型（2）如何根据数学模型（尽快）求出其最优解最优控制（optimal control）是控制理论中的优化技术。寻找在某种性能指标要求下最好的控制。,现有产品A、B,每种产品各有两道工序，分别由两台机器完成，其所需工时如下表所示，且每台机器每周最多只能工作40小时。若产品A的单价为200元，产品B的单价为500元，应如何安排生产计划，即A、B各应生产多少可使总产值最高。解：设该车间每周应生产产品A、B的件数分别为X1、X2,由于每台机器工作时间有限制，则有约束条件：在这些约束条件下选择X1、X2,使总产值达到最大。,例1生产计划安排问
15、题,设有一盛放液体的连续搅拌槽，如下图所示。槽内装有不停地转动着的搅拌器J，使液体经常处于完全混合状态。槽中原放0的液体，现需将其温度经1小时后升高到40。为此在入口处送进一定量的液体，其温度为u(t)，出口处流出等量的液体，以便保持槽内液面恒定。试寻找u(t)的变化规律，使槽中液体温度经1小时后上升到40，并要求散失的热量最小。解：因假定槽中液体处于完全混合状态，故可用x(t)表示其温度，x(0)=0，x(1)=40。由热力学可知，槽中液体温度的变化率与温差u(t)-x(t)成正比，为简便计，令比例系数为1，于是有 在1小时内散失掉的热量可用下式表示： 其中q和r都是正的常数。因此在目前情况
16、下，最 优控制问题是：找u(t)的变化规律使槽中液体 经1小时后从0上升到40，并要求散失的热 量最小，即方程(4）中J(u)取最小值。,例2搅拌槽的温度控制,2最优化问题的分类,1）无约束与有约束的最优化问题若系统控制变量的取值范围不受限制，则为无约束的最优化问题，反之为有约束的最优化问题。实际系统大多为有约束的最优化问题,等式约束不等式约束,约束条件,例如，某公司要在规定的时间内对其产品的生产做一个计划，那么它必须根据库存量、市场对该产品的需求量以及生产率来考虑，使产品的生产成本最低。那么这个问题就是一个经济学的最优控制问题。设T是一个固定时间，x(t)表示在时刻t(0tT)时的产品存货量
17、，r(t)表示在t时刻对产品的需求率。这里假定r(t)是一个定义在时间t上的已知连续函数，u(t)表示在时刻t的生产率，函数u(t)由生产计划人员来选取，它就是生产计划或者叫做控制。取u(t)为分段连续函数，则存货量由微分方程,确定，其中x0是原来的库存量。,设该产品在单位时间内的生产成本是生产率的函数，即单位时间的生产成本是hu(t)，b0是单位时间贮藏单位商品的费用。于是，在时刻t的该公司生产这个产品的单位时间的成本是：,因此，在规定时间T内生产该产品的总成本为,对于生产计划人员来说，就是要选取一个控制u(t)使得总成本J(u)达到极小值。如果对于x(t)，r(t)和u(t)不加任何的限制
18、，那么这就是一个无约束的最优化问题。,但从x(t)的实际意义来看，公司的库存量不可能是无限的，要受一定条件的限制：0x(t)A，A为公司最大库存量生产计划u(t)是公司的生产率，要受公司生产设备的限制：0u(t)B，B为公司最大生产率产品的需求率r(t)，也不可能是无限的，也要受一定的限制：0r(t)C，C为产品的最大需求率 如果在做计划时考虑这些条件的限制，那么这个问题就是一个在不等式约束条件下的最优化问题。,2）确定性和随机性最优化问题,确定性：每个变量的取值是确定的，可知的。随机性：某些变量的取值是不确定的，但可根据大量的数据统计，知道变量服从一定的概率分布。,3）线性和非线性的最优化问
19、题,线性：目标函数和所有的约束条件式均为线性（即它们是变量的线性函数）称为线性最优化。非线性：目标函数或约束式中有一个是变量的非线性函数，称为非线性最优化。,静态最优化最优化问题的解 不随时间变化，通常又称为参数最优化问题。即：最优控制变量与时间t没关系或说在所研究的时间区域内为常数。目标函数：多元的普通函数。最优解：古典微分法对普通函数求极值方法完成。,4）静态最优化和动态最优化,动态最优化最优化问题的解 随时间变化特点：受控对象：动态系统所有变量：时间的函数最优解：古典变分法求泛函的极值问题,a.最优控制问题的变分法（第二章）b.最小值原理及应用（第三章）c.线性二次型最优控制问题（第五章
20、）d.动态规划及应用（第四章）,5）网络最优化问题 如果最优化问题的模型可以用网络图表示，则在网络图上寻优称为网络最优化问题。网络最优化问题是一种复杂系统的规划方法，在运输、通信、电路、计算机网络以及工程施工的分析、设计、规划中得到非常广泛的应用。,3最优化问题的解法,1）间接法（解析法）对于目标函数及约束条件具有简单而明确的数学解析表达式的最优化问题，通常可采用间接法（解析法）来解决。其求解方法是先按照函数极值的必要条件，用数学分析方法（求导数方法或变分方法）求出其解析解，然后按照充分条件或问题的实际物理意义间接地确定最优解。,无约束条件 有约束条件,经典微分法,经典变分法,极大值原理,库恩
21、-图克定理,解析法（间接法）,2）直接法（数值解法）对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题，通常可采用直接法（数值解法）来解决。基本思想，就是用直接搜索方法经过一系列的迭代以产生点的序列（简称点列），使之逐步接近到最优点。直接法常常是根据经验或试验而得到的。,区间消去法（一维搜索）,爬山法（多维搜索）,黄金分割法（0.618法）,函数逼近法（插值法）,菲波纳奇（Fibonacci）法,变量轮换法,步长加速法,方向加速法,单纯形法,随机搜索法,数值解法（直接法),3）以解析法为基础的数值解法。解析与数值计算相结合的方法梯度法 在求解最优化问题时，不仅要计算目标函数
22、的值，而且还要计算目标函数的一阶或高阶导数，求出目标函数的梯度并以梯度的方向作为搜索极值的方向，这种方法适合于多变量最优化问题的求解。以梯度法为基础的数值解法主要有最速下降法、牛顿法与拟牛顿法、牛顿-高斯最小二乘法、变尺度法以及共轭梯度法。,5）现代优化算法运用现代智能计算方法，如遗传算法、模拟退火算法、蚁群算法、粒子群算法等，进行直接搜索的最优化求解方法，主要解决大规模复杂优化问题中的NP-hard问题。,4）网络最优化方法。以网络图作为数学模型，用图论方法进行搜索的寻优方法。,4最优控制问题,最优控制问题的实质，就是求解给定条件下给定系统的控制规律，致使系统在规定的性能指标(目标函数)下具
23、有最优值。,建立数学模型是求解最优控制问题的第一步,确定变量（输入变量，输出变量，控制变量）列出约束条件建立目标函数,数学模型表征了受控动态系统在运动过程中所遵循的物理或化学规律。,1）最优控制问题的数学模型,建模过程包括,状态变量 控制变量,通常又表征为（线性系统）,线性时变系统,线性时不变系统,A(t)，B(t)：时变矩阵 A，B：定常矩阵,（1）数学模型的表征：状态方程,（2）有关数学模型中变量的边界条件，即系统的初态和终态，即确定： ， 。,一个动态过程，归根到底，是状态空间中的状态由初态,转移到,的过程,目标函数(性能指标，性能泛函，目标泛函)：是衡量“控制作用”效果的性能指标。为了
24、实现动态过程中状态从,可以通过不同的控制来完成，控制效果的好坏，可通过能否达到所规定的目标函数来判别。目标函数对不同的问题，有不同的表征：如：时间最短，燃料最少，成本最低等。,（3）容许控制,实际系统， 都有规定的取值范围，它对应于m维控制空间 中的某一个集合 ， 的每一个取值对应于中的一个元素 容许控制即u(t)受约束 极小值原理求解,可任意取值 经典变分法求解。,有不同的控制作用可以完成。为了评价各种控制作用的优劣，需用性能指标评价。性能指标中的形式取决于最优控制问题要完成的任务，不同的最优控制问题。不同的性能指标，采用不同的控制作用，性能指标J不同。J是控制u(t)的函数，通常表示为：,
25、（4）性能指标,(1)积分型性能指标(拉格朗日型),(2)末值型性能指标（梅耶型）,(3)综合性能指标（鲍尔扎型）,特殊情况，二次型性能指标,的几种形式,容易看出，拉格朗日问题和梅耶问题可以看成鲍尔扎问题的一种特例，鲍尔扎问题是最一般形式的变分问题。可以证明，上述3个问题可以互相转换。,比如，若令 假定初值(x(t0),t0)恒定不变，则鲍尔扎问题就可以化为一个等价的拉格朗日问题。若引进一个新的变量x0(t)，使令则又可把鲍尔扎问题化为一个等价的梅耶问题。,总结：用以下4个方程来描述,(1)给定系统的状态方程,(3)给定性能指标,(2)状态方程的边界条件,(4)容许控制u(t),确定一个最优控
26、制u*(t)，使系统从初始状态x(t0)，转移到终端状态x(tf)，并使性能指标Ju具有极大（极小）值。,2）最优控制问题的提法 数学描述,（1）给定系统状态方程：,或,式中： 为n维状态向量； ：m维控制向量( ),为n维状态向量函数，且对 连续可微,容许控制u(t)在m维的有界闭集中取值，即：,（2）给定初始条件：（3）明确终端条件：,x(t )满足目标集：S：,P1维向量函数,（4）给定性能指标：,问题提出：确定一个最优控制 ，使系统从初始状态转移到终端状态 ，并使性能指标Ju为极大（小)值，此时， 称为最优控制作用，记为 。代入所得 为最优状态轨线。J为最优性能指标。,例题分析：数学描
27、述登月火箭到达月球表面时的软着陆问题：火箭飞行的最后阶段，进入了月球的引力范围，当火箭垂直自由降落到距离月球表面为h的地方时，要求火箭速度为0，并且燃料消耗为最小。,t=t,火箭,F(制动力),月球表面,分析：在火箭速度降为0之前，,制动力,与燃料消耗成正比,其中：k：常数，m：火箭（包括燃料）的质量火箭从 开始减速，到 时速度为0，,即 x:垂直距离,过程运动方程为：,mg：月球引力,边界条件： 时：,时：,自由，自由,约束条件：燃料消耗率约束：,燃料消耗有限制，不能太多,问题提出：,确定 ，即确定系统的制动力规律，使火箭制动阶段燃料消耗最少,最优控制问题数学描述：首先选一组状态变量，将微分
28、方程化为状态方程，并确定相应的初始状态和末端状态.,由：,令：,则：,u,目标函数：,求取最优控制u*(t)，使得受控系统由初始状态转移到末端状态，所消耗的燃料最小，即J最小。,注意：1）J是u的函数2）有约束， 是容许控制最优控制问题的提法很多，实例很多，不再讲述，不论什么样的问题，其分析思路都是一样的，给出问题的描述方法也是相同的。根据系统初态，末端的不同，最优控制有以下特例。,3）最优控制的几个特例,1)终端状态给定 固定端点的最 优控制问题2)终端状态自由，可任意取值 自由端 点的最优控制问题,1）终端时刻 已知 固定端点时间的 最优控制问题2）终端时刻 未知 自由端点时间 的最优控制
29、问题,以后将分别进行讨论。,(1) 给定,(2)若初始时刻t0已知,4）动态最优控制系统的结构形式,开环,闭环,（1）开环：,控制器,Xd u*(t) x(t),X0,特点：根据被控对象的特性（状态方程或数学模型），以及控制器的初始状态，设计u*(t)，存于计算机中。随时间变化，由计算机发出控制信息，作用于被控过程从而使x*(t)按理想设计状态变化 程序控制。,存在问题：当系统受到干扰，使被控过程数学模型与理想模型发生偏离时，仍用u*(t)，则x(t)不沿理想轨线变化。解决办法：闭环控制,（2）闭环,特点：u*(t)是时变状态x(t)函数，在闭环结构中，若系统出现干扰，通过x(t)反映出来送入
30、控制器，u*(t)为控制器输出，从而可使系统修正u*(t)，使系统状态仍保持在最优轨线上,Xd,x(t),x*（t）,现代数学基础：变分法（研究泛函的极值）基础理论：最大值原理、动态规划原理典型应用：最小时间控制问题最少燃料控制问题线性二次型性能指标最优控制问题,5本课程的主要内容,欧拉：18世纪最伟大的数学家。六岁就问倒了当时的大数学家约翰贝努力。开创了拓扑学；欧拉是科学史上最多产的一位杰出的数学家。据统计，他不倦的一生，共写下了886本（篇）书籍和论文，其中分析、代数、数论占40%，几何占18%，物理和力学占28%，天文学占11%，弹道学、航海学、建筑学等占3%。彼得堡科学院为了整理他的著
31、作，足足忙碌了50多年。数学家高斯曾说：“研究欧拉的著作永远是了解数学的最好方法。”欧拉还创设了许多数学符号，一直使用至今，如，i，e，sin，cos，tg，x，f(x)等。而哥德巴赫猜想也是在他与哥德巴赫的通信中首先提出来的。欧拉还首先完成了月球绕地球运动的精确理论，创立了分析力学、刚体力学等力学学科，深化了望远镜、显微镜的设计计算理论等等。,约瑟夫拉格朗日(JosephLouisLagrange)，法国数学家、物理学家。他在数学、力学和天文学三个学科领域中都有历史性的贡献，其中尤以数学方面的成就最为突出。18岁时，拉格朗日用意大利语写了第一篇论文，是用牛顿二项式定理处理两函数乘积的高阶微商，他又将论文用拉丁语写出寄给了当时在柏林科学院任职的数学家欧拉。不久后，他获知这一成果早在半个世纪前就被莱布尼兹取得了。这个并不幸运的开端并未使拉格朗日灰心，相反，更坚定了他投身数学分析领域的信心。1755年拉格朗日19岁时，在探讨数学难题“等周问题”的过程中，他以欧拉的思路和结果为依据，用纯分析的方法求变分极值。第一篇论文“极大和极小的方法研究”，发展了欧拉所开创的变分法，为变分法奠定了理论基础。变分法的创立，使拉格朗日在都灵声名大震，并使他在19岁时就当上了都灵皇家炮兵学校的教授，成为当时欧洲公认的第一流数学家。1756年，受欧拉的举荐，拉格朗日被任命为普鲁士科学院通讯院士。,
