最优化方法及其Matlab程序设计(马昌凤).pdf-道客多多

资源描述

1、最优化方法及其 Matlab程序设计马昌凤 2009年 12月内容提要本书较为系统地介绍了非线性最优化问题的基本理论和算法及其主要算法的 Matlab程序设计 .主要内容包括 (精确或非精确 )线搜索技术 ,最速下降法与 (修正 )牛顿法 ,共轭梯度法 ,拟牛顿法 ,信赖域方法 ,非线性最小二乘问题的解法 ,约束优化问题的最优性条件 ,罚函数法 ,可行方向法 ,二次规划问

2、题的解法 , 序列二次规划法以及附录等 . 设计的 Matlab程序有精确线搜索的 0.616法和抛物线法 ,非精确线搜索的 Armijo准则 ,最速下降法 ,牛顿法 ,再开始共轭梯度法 , BFGS算法 , DFP算法 , Broyden族方法 ,信赖域方法 ,求解非线性最小二乘问题的 L-M算法 ,解约束优化问题的乘子法 ,求解二次规划的有效集法 , SQP子问题的光滑牛顿法以及求解约束优

3、化问题的 SQP方法等 . 此外 ,书中配有丰富的例题和习题 ,同时 ,作为附录介绍了 Matlab优化工具箱的使用方法 .本书既注重计算方法的实用性 ,又注意保持理论分析的严谨性 ,强调数值方法的思想和原理在计算机上的实现 . 本书的主要阅读对象是数学与应用数学和信息与计算科学专业的本科生 ,应用数学、计算数学和运筹学与控制论专业的研究生 ,理工科有

4、关专业的研究生 , 对最优化理论与算法感兴趣的教师及科技工作人员 .读者只需具备微积分、线性代数和 Matlab程序设计方面的初步知识 .前言运筹学的理论与方法广泛应用于工业与农业、交通与运输、国防与建筑以及通信与管理等各个部门各个领域 ;它主要解决最优计划、最优分配、最优决策以及最佳设计和最佳管理等最优化问题 .本书所介绍的最

5、优化方法又称为数学规划 ,是运筹学的一个重要分支 ,也是计算数学和应用数学的一个重要组成部分 . 本书系统地介绍了非线性优化的理论与方法及其 Matlab程序设计 ,其主要阅读对象是数学与应用数学和信息与计算科学专业的本科生 ,应用数学、计算数学和运筹学与控制论专业的研究生 ,理工科有关专业的研究生 ,对最优化理论与算法感兴趣的教师及科

6、技工作人员 . 读者只需具备微积分、线性代数和 Matlab 程序设计方面的初步知识 . 本书的主要内容包括 : 最优化理论基础 ; (精确或非精确 )线搜索技术 ;最速下降法与 (修正 )牛顿法 ;共轭梯度法 ;拟牛顿法 ;信赖域方法 ;非线性最小二乘问题的解法 ; (约束优化问题的 )最优性条件 ;罚函数法 ;可行方向法 ;二次规划问题的解法 ;序列二次规划法以及附

7、录等 .设计的 Matlab程序有精确线搜索的 0.616 法和抛物线法 ,非精确线搜索的 Armijo准则 ,最速下降法 ,牛顿法 ,再开始共轭梯度法 ,对称秩 1算法 , BFGS算法 , DFP算法 , Broyden族方法 ,信赖域方法 ,求解非线性最小二乘问题的 L-M算法 ,解约束优化问题的乘子法 ,求解二次规划的有效集法 ,牛顿 -拉格朗日算法 , SQP子问题的光滑牛顿法以及求解约束优化

8、问题的 SQP方法等 . 此外 ,书中配有丰富的例题和习题 ,同时 ,作为附录介绍了 Matlab优化工具箱的使用方法 .本书既注重计算方法的实用性 ,又注意保持理论分析的严谨性 ,强调数值方法的思想和原理在计算机上的实现 . 本书具有如下特点 : 1. 介绍非线性优化中最重要最基础的理论与方法 ,它们是研究各种复杂的最优化问题的基础和工具 . 2. 最优化

9、方法与 Matlab程序设计相结合 ,采用当前最流行的数学软件 Matlab编制了主要优化算法的 Matlab程序 .所有程序都在计算机上经过调试和 iii运行 ,简洁而不乏准确 . 3. 本书所给的每一程序之后都给出了相应的计算实例 . 这不仅能帮助学生理解程序里所包含的最优化理论知识 ,而且对培养学生处理数值最优化问题的能力也大有裨益 . 4. 全书每章

10、都配备了一定数量的习题 ,习题包括理论分析题和编程实验题 , 以加强学生对所学知识的理解和巩固 . 本书的编写和出版得到了国家自然科学基金项目 (编号 : 10661005)福建省自然科学基金项目 (编号 : 2009J01002)的部分资助 ,在此作者表示由衷的感谢 . 作者还要感谢福建师范大学教务处及数学与计算机科学学院给予的帮助和支持 .此外 ,本书之所

11、以能够顺利付梓 ,在很大程度上要归功于夫人刘菊庄女士给予的理解和支持 ,深表感谢 . 由于作者水平有限 ,加之时间仓促 ,书中的缺点和错误在所难免 ,敬请专家和读者批评指正 . 作者 2009年 12月于福建师范大学 iv目录第一章最优化理论基础 1 1.1 最优化问题的数学模型 . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 向量和矩阵范数

12、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 函数的可微性与展开 . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 凸集与凸函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.5 无约束问题的最优性条件 . . . . . . . . . . . . . . . . . . . . . . 10 1.6 无约束优化问题

13、的算法框架 . . . . . . . . . . . . . . . . . . . . . 12 第二章线搜索技术 16 2.1 精确线搜索及其 Matlab实现 . . . . . . . . . . . . . . . . . . . . 18 2.2 非精确线搜索及其 Matlab实现 . . . . . . . . . . . . . . . . . . . 24 2.3 线搜索法的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . . 27 第三章最速下降

14、法和牛顿法 32 3.1 最速下降方法及其 Matlab实现 . . . . . . . . . . . . . . . . . . . 32 3.2 牛顿法及其 Matlab实现 . . . . . . . . . . . . . . . . . . . . . . . 36 3.3 修正牛顿法及其 Matlab实现 . . . . . . . . . . . . . . . . . . . . 41 第四章共轭梯度法 47 4.1 共轭方向法 . . . . . . . . . . . . . . . . . . . .

15、 . . . . . . . . . . 47 4.2 共轭梯度法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3 共轭梯度法的 Matlab程序 . . . . . . . . . . . . . . . . . . . . . . 55 第五章拟牛顿法 59 5.1 拟牛顿法及其性质 . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2 BFGS算法及其 Matlab实现 . . . . .

16、. . . . . . . . . . . . . . . 63 v5.3 DFP算法及其 Matlab实现 . . . . . . . . . . . . . . . . . . . . . 67 5.4 Broyden族算法及其 Matlab实现 . . . . . . . . . . . . . . . . . . 70 5.5 拟牛顿法的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . . 75 第六章信赖域方法 83 6.1 信赖域方法的基本结构 . . . . . .

17、 . . . . . . . . . . . . . . . . . . 83 6.2 信赖域方法的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.3 信赖域子问题的求解 . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.4 信赖域方法的 Matlab程序 . . . . . . . . . . . . . . . . . . . . . . 93 第七章非线性最小二乘问题 98 7.1 Gauss-Ne

18、wton法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 7.2 Levenberg-Marquardt方法 . . . . . . . . . . . . . . . . . . . . . . 102 7.3 L-M算法的 Matlab程序 . . . . . . . . . . . . . . . . . . . . . . . 110 第八章最优性条件 114 8.1 等式约束问题的最优性条件 . . . . . . . . . . . . . . . . . . . . .

19、114 8.2 不等式约束问题的最优性条件 . . . . . . . . . . . . . . . . . . . . 117 8.3 一般约束问题的最优性条件 . . . . . . . . . . . . . . . . . . . . . 121 8.4 鞍点和对偶问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 第九章罚函数法 132 9.1 外罚函数法 . . . . . . . . . . . . . . . . . . .

20、. . . . . . . . . . . 132 9.2 内点法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 9.3 乘子法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 9.4 乘子法的 Matlab实现 . . . . . . . . . . . . . . . . . . . . . . . . 149 第十章可行方向法 155 10.1 Zoutendijk可行方

21、向法 . . . . . . . . . . . . . . . . . . . . . . . . 155 10.1.1 线性约束下的可行方向法 . . . . . . . . . . . . . . . . . . 155 10.1.2 非线性约束下的可行方向法 . . . . . . . . . . . . . . . . . 161 10.2 梯度投影法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 10.2.1 梯度投影法的理论基础

22、 . . . . . . . . . . . . . . . . . . . . 167 10.2.2 梯度投影法的计算步骤 . . . . . . . . . . . . . . . . . . . . 171 10.3 简约梯度法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 vi10.3.1 Wolfe简约梯度法 . . . . . . . . . . . . . . . . . . . . . . . 175 10.3.2 广义简约梯度法 . . . . .

23、. . . . . . . . . . . . . . . . . . . 183 第十一章二次规划 190 11.1 等式约束凸二次规划的解法 . . . . . . . . . . . . . . . . . . . . . 190 11.1.1 零空间方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 190 11.1.2 拉格朗日方法及其 Matlab程序 . . . . . . . . . . . . . . . 192 11.2 一般凸二次规划的有效

24、集方法 . . . . . . . . . . . . . . . . . . . . 195 11.2.1 有效集方法的理论推导 . . . . . . . . . . . . . . . . . . . . 196 11.2.2 有效集方法的算法步骤 . . . . . . . . . . . . . . . . . . . . 199 11.2.3 有效集方法的 Matlab程序 . . . . . . . . . . . . . . . . . . 204 第十二章序列二次规划法 211 12.1 牛顿 -拉格朗日

25、法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 12.1.1 牛顿 -拉格朗日法的基本理论 . . . . . . . . . . . . . . . . . 211 12.1.2 牛顿 -拉格朗日法的 Matlab程序 . . . . . . . . . . . . . . . 213 12.2 SQP方法的算法模型 . . . . . . . . . . . . . . . . . . . . . . . . . 216 12.2.1 基于拉格朗日函数 Hes

26、se阵的 SQP方法 . . . . . . . . . . 216 12.2.2 基于修正 Hesse阵的 SQP方法 . . . . . . . . . . . . . . . 224 12.3 SQP方法的相关问题 . . . . . . . . . . . . . . . . . . . . . . . . . 227 12.3.1 二次规划子问题的 Hesse阵 . . . . . . . . . . . . . . . . . 227 12.3.2 价值函数与搜索方向的下降性 . . . . . . . . . . . . .

27、 . . . 229 12.4 SQP方法的 Matlab程序 . . . . . . . . . . . . . . . . . . . . . . . 236 12.4.1 SQP子问题的 Matlab实现 . . . . . . . . . . . . . . . . . 236 12.4.2 SQP方法的 Matlab实现 . . . . . . . . . . . . . . . . . . 244 附录 A Matlab优化工具箱简介 252 A.1 线性规划 . . . . . . . . . . . . . . . . . . . . . .

28、 . . . . . . . . . 252 A.2 二次规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254 A.3 无约束非线性优化 . . . . . . . . . . . . . . . . . . . . . . . . . . 255 A.4 非线性最小二乘问题 . . . . . . . . . . . . . . . . . . . . . . . . . 257 A.5 约束条件的非线性优化命令 . . . . . . . . . .

29、 . . . . . . . . . . . 258 A.6 最小最大值的优化问题 . . . . . . . . . . . . . . . . . . . . . . . . 261 vii第一章最优化理论基础 1.1 最优化问题的数学模型通俗地说，所谓最优化问题，就是求一个多元函数在某个给定集合上的极值 .几乎所有类型的最优化问题都可以用下面的数学模型来描述 : min ( ), s. t. , (1.1) 这里，是

30、某个给定的集合 (称为可行集或可行域 )， ( )是定义在集合上的实值函数 .此外，在模型 (1.1)中，通常称为决策变量 , s.t.是 subject to (受限于 )的缩写 . 人们通常按照可行集的性质对最优化问题 (1.1)进行一个大致的分类 : 线性规划和非线性规划 . 可行集是有限维空间中的一个子集 ; 组合优化或网络规划 . 可行集中的元素是有限的 ; 动态规划 .

31、可行集是一个依赖时间的决策序列 ; 最优控制 . 可行集是无穷维空间中的一个连续子集 . 本书主要考虑在工程设计中有着重要应用的非线性规划，其数学模型为 min ( ), (1.2) s. t. ( ) = 0, = 1, , (1.3) ( ) 0, = 1, , (1.4) 其中， ( ), ( ) ( = 1, , )及 ( ) ( = 1, , )都是定义在 R 上连续可微的多元实值函数 ,且至少有一个是非线性

32、的 .记 = : ( ) = 0 , = : ( ) 0 . (1.5) 1第一章最优化理论基础回回回目目目录录录 S 1.2 向量和矩阵范数若指标集 = ,称之为无约束优化问题，否则称为约束优化问题 .特别地 ,把 = 且 = 的优化问题称为等式约束优化问题 ;而把 = 且 = 的优化问题称为不等式约束优化问题 . ( )称为目标函数 , ( ), ( ) ( = 1, , ; = 1, , )称为约束函数 .此外

33、，通常把目标函数为二次函数而约束函数都是线性函数的优化问题称为二次规划；而目标函数和约束函数都是线性函数的优化问题称为线性规划 . 1.2 向量和矩阵范数在算法的收敛性分析中，需要用到向量和矩阵范数的概念及其有关理论 . 设 R 表示实维向量空间， R 表示实阶矩阵全体所组成的线性空间 . 在这两个空间中，我们分别定义向量和矩

35、外，还必须具备乘法性质：（ 4） , , R . 如果一矩阵范数相对于某向量范数满足下面的不等式（ 5） , R , 则称矩阵范数和向量范数是相容的 .进一步，若存在 = 0使成立 = max =0 = max =1 , R , (1.7) 2第一章最优化理论基础回回回目目目录录录 S 1.2 向量和矩阵范数则称矩阵范数是由向量范数诱导出来的算子范数，简称算子范数，有时也

36、称为从属于向量范数的矩阵范数 . 此时向量范数和算子范数通常采用相同的符号 . 不难验证，从属于向量范数 , 1 , 2 的矩阵范数分别为 = max 1 =1 | |, 1 = max 1 =1 | |, 2 = max | ( ) , 它们分别称作行和范数、列和范数和谱范数 . 本书在讨论各种迭代算法的收敛性时，通常采用谱范数和按下述方式定义的 F-范数 : = ( =1 =1 2 ) 1

37、/2 = tr( ) (1.8) 现在我们来讨论向量序列和矩阵序列的收敛性 . 我们知道，若 ( ) =1 R ，则 lim ( ) = lim ( ) = , = 1, ,. 类似地，若 ( ) =1 ，则 lim ( ) = lim ( ) = , , = 1, ,. 为了利用范数来描述上述极限，必须建立向量范数的等价定理以及矩阵范数的等价定理 . 定理 1 (1)设和是定义在上的两个向量范数，则存在两个正数 1 ,

38、 2 ，对所有 R 均成立 1 2 . (2)设和是定义在 R 上的两个矩阵范数，则存在两个正数 1 , 2 ，对所有 R 均成立 1 2 . 3第一章最优化理论基础回回回目目目录录录 S 1.3 函数的可微性与展开下面，我们利用范数的概念来等价地定义向量序列和矩阵序列的收敛性 . 定理 2 (1)设 ( ) 为维向列序列，为定义在 R 上的向量范数，则 lim ( ) = lim ( )

39、 = 0; (2)设 ( ) 为矩阵序列，为定义在 R 上的向量范数，则 lim ( ) = lim ( ) = 0. 1.3 函数的可微性与展开本节主要介绍后文经常需要用到元函数的一阶和二阶导数以及泰勒展开式 . 定义 1设有元实函数 ( ),其中自变量 = ( 1 , , ) R .称向量 ( ) = ( ( ) 1 , ( ) 2 , , ( ) ) (1.9) 为 ( )在处的一阶导数或梯度 .称矩阵 2 ( ) = 2 ( )

40、2 1 2 ( ) 1 2 2 ( ) 1 2 ( ) 2 1 2 ( ) 2 2 2 ( ) 2 . . . . . . . . . 2 ( ) 1 2 ( ) 2 2 ( ) 2 (1.10) 为 ( )在处的二阶导数或 Hesse矩阵 .若梯度 ( )的每个分量函数在都连续 ,则称在一阶连续可微；若 Hesse阵 2 ( )的各个分量函数都连续，则称在二阶连续可微 . 若在开集的每一点都连续可微，则称在上一阶连续可微；若在开集的每一

41、点都都二阶连续可微，则称在上二阶连续可微 . 由上述定义不难发现，若在二阶连续可微，则 2 ( ) = 2 ( ) , , = 1, 2, , 即 Hesse阵 2 ( )是对称阵 . 4第一章最优化理论基础回回回目目目录录录 S 1.3 函数的可微性与展开例 1设二次函数 ( ) = + 1 2 , 其中 R , R 是对称阵 .那么，不难计算它在的梯度及 Hesse为 ( ) = +, 2 ( ) =. 例 2 (泰勒

42、展开 ).设函数 :R R连续可微，那么 ( + ) = ( ) + 1 0 ( + ) d = ( ) + ( + ) , (0, 1) = ( ) + ( ) + ( ). 进一步 ,若函数是二次连续可微的 ,则有 ( + ) = ( ) + ( ) + 1 0 (1 ) 2 ( + ) d = ( ) + ( ) + 1 2 2 ( + ), (0, 1) = ( ) + ( ) + 1 2 2 ( ) + ( 2 ) 及 ( + ) = ( ) + 1 0 2 ( + ) d = ( ) + 2 ( + ) , (0, 1) = ( ) + 2 ( ) + ( ). 下面简单介绍一下向量值函数的可微性及中值定理 . 设有向量值函数 = ( 1 , 2 , , ) :R R . 若每个分量函数都是 (连续 )可微的，则称是 (连续 )可微的 . 向量值函数在的导数 R 是指它在的 Jacobi矩阵 ,记为 ( )或 ( ),即 ( ) := ( ) := 1 ( ) 1 1 ( ) 2 1 ( ) 2 ( ) 1 2 ( )

展开阅读全文