1、1第一章 最优化问题与数学预备知识最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。又称规划论。应用最优化方法解决问题时一般有以下几个特点：1. 实用性强2. 采用定量分析的科学手段3. 计算量大，必须借助于计算机4. 理论涉及面广应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战。21.1 最优化问题实例最优化问题：追求最优目标的数学问题。经典最优化理论：（1） 无约束极值问题： ),(opt 21nxxf（ 或 ）),(min 21nxf ),(ma21nxf其中， 是定义在 n 维空间上的可微函数。),(21xf解法（求极值点）：求驻点，即满足 0),(
2、),(0112nxnxxffxn 并验证这些驻点是否极值点。（2） 约束极值问题： ),(opt 21nxxfs.t. )(,10),(21 nljxhnj 解法：采用 Lagrange 乘子法，即将问题转化为求 Lagrange 函数 ),(),(),;,( 1121121 njljnln xhxxfxxL 的无约束极值问题。近代最优化理论的实例：例 1 (生产计划问题 ) 设某工厂有 3 种资源 B1，B 2，B 3，数量各为 b1，b 2，b 3，要生产 10 种产品 A1， A10 。每生产一个单位的Aj 需要消耗 Bi 的量为 aij，根据合同规定，产品 Aj 的量不少于 dj，再3
3、设 Aj 的单价为 cj 。问如何安排生产计划，才能既完成合同，又使总收入最多？（线性规划问题）数学模型：设 Aj 的计划产量为 ，z 为总收入。 jx目标函数： max10jjcz约束条件： 10,2,3,10jdxibjjji线性规划问题通常采用单纯形法来求解。例 2 (工厂设址问题) 要在 m 个不同地点计划修建 m 个规模不完全相同的工厂，他们的生产能力分别是 （为简便起见，a,21假设生产同一种产品） ，第 i 个工厂的建设费用 。又if,有 n 个零售商店销售这种产品，对这种产品的需求量分别为，从第 i 个工厂运送一个单位产品到第 j 个零售商店的运nb,21费为 cij。试决定应
4、修建哪个工厂，使得既满足零售商店的需求，又使建设工厂和运输的总费用最小。 （混合整数规划问题）数学模型： 设第 i 个工厂运往第 j 个零售商店的产品数量为xij（ i=1， ，m；j=1，n） ，且 miiyi ,1, ,01 否 则 个 工 厂如 果 修 建 第目标函数： min11mi njijixcyfz4约束条件： njmixyjbxmiyaijimijijnjiij ,1;,1 ,0, , ,1 ,11 或整数规划问题通常可用分枝定界法或割平面法来求解。例 3 (投资计划问题) 假设某一个生产部门在一段时间内可用于投资的总金额为 亿元，可供选择的项目总共有 n 个，分别记为a1，2
5、，n。并且已知对第 j 个项目的投资总数为 亿元，而收益额ja总数为 亿元。问如何使用资金 亿元，才能使单位投资获得的收jca益最大。 （非线性规划问题）数学模型：设 njjxj ,1 , ,01否 则 个 项 目 投 资对 第目标函数： max11njjnjjxcz约束条件： njxajnjj ,1 , 01 或非线性规划问题的求解方法很多，是本课的重点。动态规划是解决“多阶段决策过程”的最优化问题的一种方法，基于“Bellman 最优性原理” ，例如：资源分配问题，生产与存储问5题。例 4 (多参数曲线拟合问题)已知热敏电阻 依赖于温度 的函RT数关系为（*）321xTeR其中， 是待定的
6、参数，通过实验测得 和 的 15 组数据列321,x R表如下，如何确定参数 ？321,xi 1 2 3 4 5 6 7 8/iT50 55 60 65 70 75 80 85kRi34.78 28.61 23.65 19.63 16.37 13.72 11.54 9.744i 9 10 11 12 13 14 15/iT90 95 100 105 110 115 120kRi8.261 7.03 6.005 5.147 4.427 3.82 3.307建立数学模型：测量点 与曲线 对应的点产生“偏差” ，),(iRT)(T即 21513i xTiieRS得如下无约束最优化问题： 2151)(
7、min3i xTiieRxf通常采用最小二乘法。61.2 最优化问题的数学模型一、 最优化问题的数学模型1. 定义 1：设向量 .T21T21 , , mmba 若 ，则记 或 ；),2( ibai 若 ，则记 或 。ii 2一般模型： ， )(max )(in ),()(opt21 ffxfxf n或（1）s.t. )3( ,1 ,0)( 2ljxhiSji 其中， ； ， ， 是关于变量T21,nx)(f)(xSi )(hj的实值连续函数，一般可假定它们具有二阶连续偏导数。nx,213向量模型： ， （1）)(max )(in )(opt ffxf或s.t. )3( ,1 ,0)( 2lj
8、hS其中， ， 称为目标函数；T21,nxxxf， 称为约束函数 ；)( Si )( j满足约束条件（2） ， （3）的点称为容许解或容许点（或可行解） ；7容许解的全体称为容许域（或可行域） ，记为 R；满足（1）的容许点称为最优点或最优解（或极小（大）点） ，记为 ； 称为最优值；*x)(f不带约束的问题称为无约束问题，带约束的问题称为约束问题；若目标函数 ，约束函数 ， 都是线性函数，则)(xf )( xSi )( hj称为线性规划；若其中存在非线性函数，则称为非线性规划；若变量只取整数，称为整数规划；若变量只取 0，1，称为 01 规划。注：因 ， ，则最优化问题一般可)( xh)(x
9、h0)(-xh写成 0)( .optxSsf二、 最优化问题的分类 一 一一一一一一 n1.3 二维问题的图解法8例 1. 32max21xz0,64 8.211xts解：1. 由全部约束条件作图，求出可行域 R：凸多边形 OABC2. 作出一条目标函数的等值线：设 ，作该直线即 63221x为一条目标函数的等值线，并确定在可行域内，这条等值线向哪个方向平移可使 值增大。z3. 平移目标函数等值线，做图求解最优点，再算出最优值。顶点 是最优点，即最优解 ，最优值 。)2,4(B Tx24 14z分析： 线性规划问题解的几种情况（1） 有唯一最优解（上例） ；（2） 有无穷多组最优解：目标函数改
10、为 42max21xz（3） 无可行解：增加约束 ，则 。52xR（4） 无有限最优解（无界解）：例 a21xz0,- 4.2121xts结论：（1）线性规划问题的可行域为凸集，特殊情况下为无界域或空集。 （2）线性规划问题若有最优解，一定可在其可行域的顶点上得到。例 2. 1)-()2min(21xx90,5 .2121xts解：目标函数等值线： 1)-()(221xC 为最优点 ，得 0521x T4定义 2：在三维及三维以上的空间中，使目标函数取同一常数的点集 称为等值面。是 常 数rxf ,)(1.4 预备知识（一） 线性代数一、 n 维向量空间 nR1. 向量的内积：设 ，T21T2
11、1 , , nn yyxx 则内积为 niinT yxyxyxyx 1212. 向量的范数（或长度或模）：设 ，若实数 具有以R下性质：（1） 当且仅当 时 ；,0x0x（2） ；R（3） .nyxxy,则称 为 上的向量的范数，简记为 。xnR10规定了向量范数的线性空间 称为线性赋范空间,记为 .nR,Rn3. 常见的向量范数向量的 范数： ，pLpniipxx11三个重要的向量范数： ， ，2注：若无特殊说明，本书中的 指的是 。2x4. 间的距离：yx, yx5. 与 正交： 0T若非零向量组 ， ， 的向量两两正交，称它们是 正交向)1(x)(kx量组。6. 标准正交基： ， 是 n
12、 个正交的单位向量，即)1(e)(ejijiT ,01)()二、 特征值和特征向量定义：设 为 n 阶方阵，存在数 和非零向量 ，使Ax，xA则称 为矩阵 的特征值，非零向量 为矩阵 属于特征值 的特 A征向量。三、 正定矩阵定义：设 为 n 阶实对称方阵，若对任意非零向量 ，均有A x，则称 为正定二次型， 为正定矩阵，记 。 ；0xTxT A0A若 ，半正定二次型， 为半正定矩阵，记 。 11类似有负定（半负定）二次型，负定（半负定）矩阵的概念。性质：实对称方阵 为正定矩阵（负） 的特征值均为正AA（负）的各阶顺序主子式均为正（奇数阶为负，偶数阶为正）实对称方阵 为半正定矩阵 的特征值均非
13、负AA的各阶顺序主子式均为非负（二） 数学分析一、 梯度和海色（Hesse）矩阵1. 多元函数的可微性可微定义：设 ， ，若存在 维向1R:nDf Dx0n量 ，对 ，总有lnpR0（1）0)()(limT00 pplxfxfp则称函数 在点 处可微。)(xf0式（1）等价于（2）plxfpxf 0)()(T00 其中， 是 的高阶无穷小。p0定理 1：（可微的必要条件）若函数 在点 处可微，则)(xf012在该点关于各个变量的偏导数存在，且)(xf T02010 )(,)(,)( nxfxffl 2. 梯度（1）概念梯度：令 T21 )(,)(,)()( nxfxffxf 则称 为 n 元函
14、数 在 处的梯度（或记为 ） 。又)(xf )(f )(gradxf称为 关于 的一阶导数。注：式（2）等价于（3）pxfxfpxf 0)()()( T000 等值面：在三维和三维以上的空间中，使目标函数取同一数值的点集 称为等值面（曲面） 。,)(Rrxf方向导数：设 在点 处可微，向量 ，1:n0xnpR0是 方向上的单位向量，则极限eptxfexft )()(lim00称为函数 在点 处沿 方向的方向导数，记作 。)(xf0ppxf)(0方向导数的几何解释：方向导数 表示函数 在点pxf)(0)(xf处沿方向的 的变化率。0xp13函数的下降（上升）方向：设 是连续函数，点1R:nf，
15、为一方向，若存在 ，对于 ，nxR0npR00),0(t都有（ ）)()(00xftxf)()(00xftpf则称 方向是函数 在点 处的下降（上升）方向；pf结论 1：若方向导数 ，则方向 是 在点 处的0)(pxf p)(xf0下降方向；若方向导数 ，则方向 是 在点 处的)(0f )(f0上升方向；（2）性质【性质 1】：梯度 为等值面 在点 处的)(0xf)()(0xff0切平面的法矢（向）量。【性质 2】：梯度方向是函数具有最大变化率的方向。定理 2：设 在点 处可微，则方向导数1R:nf 0xcos)()()( 0T00 fefpx其中， 是 方向上的单位向量， 为梯度与 的夹角。
16、ep结论 2：1）与梯度 方向成锐角的方向是上升方向； 与梯)(0xf度 方向成钝角的方向是下降方向 ；)(0xf2）梯度方向是函数值上升最快的方向，称为最速上升方向；负梯度方向是函数值下降最快的方向，称为最速下降方向。14（3）几种特殊函数的梯度公式（1） ， 为常数；0C（2） ，其中 ；bx)(TT21,nb（3） ；2（4）若 是对称方阵，则 .QQxx)(T例3. 泰勒（Taylor）公式与 Hesse 矩阵性质 1：设 具有一阶连续偏导数，则R:)(nxf（*）pfxfpT)()()其中， ，即介于 与 之间。10( px性质 2：设 具有二阶连续偏导数，则R:)nf（* ）pfp
17、xffpxf )(21)( 2TT其中 2212 2212 1212122 )()()( )()()()( nnn nnxfxfxf xfxfxf fffxf 为函数 关于 的二阶导数，称为 的海色（Hesse）矩阵。)(xf )(f结论 1：当 时，2)(Cf15（即海色矩阵对称） 。njixfxfijji ,1, )()(22 注 1：1) 设向量函数 时，T21 )(,)(,)( xgxgxm nmnn mxgxgxxxxxg )()()( )()()()(21 2221 1121 称为向量函数 在点 处的导数（梯度） 。)(g2) 向量函数 在点 处可微是T21 )(,)(,xgxgx
18、m0x指所有分量都在点 处可微。0关于向量函数常见的梯度：（1） ， ；nC0nR（2） ， ；Ix)(x（3） ,TAnm（4）设 ，其中 ， ，)()0tpxft1R:nf 11R:则，txftT0)()( ptxfpt )()(02T例：16（三） 极小点的判定条件（求 ）)(min xf一、 基本概念1. 点 的邻域：0x0, ),(00 xxN2. 局部极小点：设 . 若存在点 和数1R:nDf Dx*，对 都有 ，则称 为x),(* )()(fxf*在 上的（非严格）局部极小点；若 （ ） ，)(xfD *x则称 为 在 上的严格局部极小点。*)(xf3. 全局极小点：设 . 若存
19、在点 ，对于1R:nDf Dx*都有 ，则称 为 在 上的（非严格）Dx)()(*xf*x)(f全局极小点；若 （ ） ，则称 为 在 上的f*x)(f17严格全局极小点。性质：全局极小点必是局部极小点；但局部极小点不一定是全局极小点。类似有极大点的概念。因 ，本书主要)(min)(axxff给出极小问题。4. 驻点：设 可微， ，若 ，1R:nDf Dx* 0)(*xf则称点 为 的驻点或临界点。 *x)(f二、 极值的条件定理 1（一阶必要条件）设 具有一阶连续偏1R:nDf导数， 是 的内点，若 是 的局部极小点，则*xD*x)(0f定理 2（二阶必要条件）设 具有二阶连续偏1R:nD导
20、数，若 是 的内点且为 的局部极小点，则 是半*xD)(xf )(*2xf正定的，即对 恒有npR02Tpxf)(*例定理 3（二阶充分条件）设 具有二阶连续偏导1R:nDf数， 为 的内点，且 ，若 正定，则 为*xD0)(*x)(*2xf*x的严格局部极小点。)(f（四）凸函数与凸规划18一、凸集1. 凸集的定义：一个 n 维向量空间的点集 中任意两点的连线D仍属于这个集合，即对 ，有x21, )10( )( 则称该点集 为凸集。D2. 凸集的性质：（1）凸集的交集仍是凸集 ；)(21D（2）数乘凸集仍是凸集 ； ,xyD（3）凸集的和集仍是凸集 , ,2121 zxzyD特别规定，空集是
21、凸集。3. 超平面：设 且 ，则集合nRR ,0b称为 中的超平面， 称为该超平 ,TxbxHn面的法向量，即 ；（是凸集）xaan21:半空间：集合 称为 中的一个半空间。R ,Txx超球： 。r4. 凸组合：设 为 中的 个点，若存在lxx,21 nl且 ，使得la,21 ,01liiialxaxx2则称 为 的凸组合。xl,21若 均为正，则称为严格凸组合。la5. 顶点（或极点）：设 是凸集， ，若 不能用 内不DDxxD同两点 和 的凸组合表示，即 ，1x2 )10( )1(219则称 为 的顶点。xD二、凸函数1. 凸函数：设 ， 是凸集，若对1R:nDf Dx21,及 ，都有 0
22、 )( (1)1( 22 xfxfxxf 则称 为凸集 上的凸函数；若)(fD)10( ) ()( 2121 xfxfxx则称 为凸集 上的严格凸函数。)(f类似有凹函数的定义。2.几何意义：函数图形上连接任意两点的线段处处都在函数图形的上方。3. 性质性质 1： 为凸集 上的凸函数， ，则 也为)(xfD0k)(xkf上D的凸函数。性质 2：两个凸函数的和仍是凸函数。 )()(21xff推论 1：凸集 上有限个凸函数 的非负线性组合D)(xfi0 ,)(1 imkkxfk仍为 上的凸函数。性质 3：若 为凸集 上的凸函数，则对 ，)(xfDR20的)(xf水平集 是凸集。 ,)(DxfD性质
23、 4： 为凸集 上的凹函数 为凸集 上的凸x)(xfD函数。4. 凸函数的充分必要条件定理 1（一阶条件）设 可微， 是凸集，则1R:nDf D（1） 为凸函数 对 ，恒有)(xf x21, )-() )() 12T2 xfff（2） 为严格凸函数 对 ， 恒有)(xf x1, 2 )-() )() 12T12 xfxff定理 2（二阶条件）设 具有二阶连续偏导数，R:nD为开凸集，则D（1） 在 内为凸函数 对 ， 是半正定的；)(xf x)(2xf（2）若 正定，则 在 内为严格凸函数。)(2xf)(xfD特殊地， 元二次函数为 （ 为对称n CxbQf TT21Q矩阵） ；若 正定，则
24、称为正定二次函数。Q)(xf性质：正定二次函数是严格凸函数。 （因为 ）xf)(25. 凸函数的极值定理 3 设 为凸集 上的凸函数，则1R:nDf D（1） 的任一局部极小点 为全局极小点；)(x*x（2）若 具有二阶连续偏导数，且存在 ，使f x*21，则 为 在 上的全局极小点；0)(*xf*x)(fD（3）若 为严格凸函数，且全局极小点存在，则必唯一。)(f特殊：对于正定二次函数 ，有CxbQxf TT21)(，得唯一驻点 为唯一的全局极小点。bQxf)( x1*6. 凸规划问题：非空凸集 上的凸函数的极小化问题。D考虑凸规划问题： ， (1)(minxfnRs.t. )3( ,1 ,
25、0)( 2ljxhmiSji 其中， 为 上的凹函数， 为 上的线性函数，)(xSinR)(jnR为凸集，,1;,1,0)(, ljixhDji 为 上的凸函数。1:nf D注：线性函数既可视为凸函数，又可视为凹函数。二次规划： CxbQxf TT21)(mins.t. dCxpA其中， ， ， ， 半正定或正定。nxRnmAnlQ（五）下降迭代算法1. 下降迭代算法的步骤（1）选择一个初始点 ，令 k：=00x（2）检验 是否最优？若是，则停止迭代；若不是，则kx（3）确定一个下降方向 ：存在 ，对 ，使得kp00(,)t22kkkxftpxf（4）从点 出发，沿方向 进行直线搜索（一维搜索
26、） ，即kx求步长 使ktkkkk tpxfptxf min（5）计算 ，令 k：=k+1，转（2）k12. 直线搜索及其性质（1）简记： ),(pxlszptxztpxff0min表示从点 出发，沿方向 进行直线搜索，得到极小点 。x z（2）定理：设目标函数 具有一阶连续偏导数，若)(xf，则),(pxlsz 0)(Tpzf证明：（反正法）设 ，则1） ，此时 是点 的下降方向；T0()fzpz2） ，此时 是点 的下降方向；p与 矛盾。),(xlsz3. 收敛速度定义 1：设序列 是线性赋范空间 中的点列，kx,Rn，若nxR*0lim*xkk则称序列 收敛于 ，记为 。kx*x23定义
27、 2：设向量函数 ，T21 )(,)(,)( xfxffxf m，若当 时，总有 ，则nDxR0 00称 在点 连续；若 在 内每一点都连续，则称 在)(f0x)(xfD)(xf内连续。特别地，m=1 时， 为数量函数，则)(xf )()(00xff定义 3：设序列 收敛于 ，若存在与 无关的数kx*xk和 ，使得当 从某个 开始，都有)1()0()(0*1xxkk则称序列 收敛的阶为 ，或 为 阶收敛。kxk当 ，且 时，称线性收敛或一阶收敛；110当 时，称二阶收敛；2当 时，称超线性收敛。4. 计算终止准则计算终止准则根据相继两次迭代的结果a. 根据相继两次迭代的绝对误差（不常用），11
28、kkx 21)()(kkxfxfb. 根据相继两次迭代的相对误差，31kx 41)(kkxffc. 根据目标函数梯度的模足够小245)(kxf为给定的足够小的正数。54321,以上准则统称为 Himmelblau 计算终止准则，简称 H 终止准则。第二章 线性规划2.1 数学模型25一、线性规划的标准型1. 繁写形式： nxcxcz21min s.t. 0, 21222212 11n mnmnxbxaaxbaa 其中， （否则，等式两端同乘以“-1” ） 。ibi, ,02. 缩写形式： njjxcz1i s.t. njxmibajnjji ,2,1 ,0,1 3. 向量形式： XCzTmin
29、 s.t. 01bxpjj其中， ， ，T21,ncC T21,nxX T21,mbb。mjjjj aap4. 矩阵形式： CzTis.t. 0XbA其中，26,21212211nmnmnpaaaaA ：约束条件的 系数矩阵， ， ，一般地，n0；nm：限定向量，一般地， ；b mibi ,21 ,：价值向量；C：决策向量， ；X0X通常 ， ， 为已知， 未知。Ab二、任一模型化为标准型1. 极大化目标函数： XCzTmax 令 ，则问题转化为z in2. 约束条件为不等式若约束为“ ”型，则“左端+松弛变量= 右端” （松弛变量0）如： ，引入松弛变量 ，化为iniii bxaxa21 0
30、inxiiniii ba21若约束为“ ”型，则“左端-剩余变量=右端 ”（剩余变量 0）如： ，引入剩余变量 ，化为iniii bxaxa21 inxiininii bxa21273. 若存在无非负要求的变量 （称为自由变量）kx令 ，其中 ， ，代入目标函数及约束条kkxx0k件即可。4. 某变量 有上、下界jx若 ，即 ，令 ，有 。用jju0jjujjjux 0jx代替 即可。jjxjx若 ，即 ，令 ，有 。用jjtjjxt jjjxt j代替 即可。jjxtj例：2.2 线性规划解的性质28一、基本概念标准型（LP）： )1(minTXCzs.t. (3)02 bA可行解（容许解）
31、：满足约束（2） 、 （3）的解。最优解：满足（1）的容许解。基：设 的秩为 ，若 是 中的 阶可逆矩阵，称 是线nmABAmB性规划问题（LP）的一个基。基向量：基 中的一列（ ）即为一个基向量。 （共 个）Bip非基向量：基 之外的一列（ ）即为一个非基向量。 （共j个）mn基变量：与基向量 相应的变量 。 （共 个）ipixm非基变量：与非基向量 相应的变量 。 （共 个）j jn基本解：令所有非基变量为 0，求出的满足约束（2）的解。基本容许解：满足约束（3）的基本解。最优基本容许解：满足约束（1）的基本容许解。退化的基本解：若基本解中有基变量为 0 的基本解。退化的基本容许解：退化的
32、最优基本容许解：29二、线性规划问题的基本定理定理 1 若线性规划问题存在容许域，则其容许域是凸集。定理 2 线性规划问题的基本容许解对应于容许域的顶点。定理 3 若线性规划问题存在有限最优解，则其目标函数最优值一定可以在容许域的顶点达到。302.3 单纯形法一、单纯形法原理单纯形法的基本思路：根据问题的标准型，从容许域的一个基本容许解（一个顶点）开始，转移到另一个基本容许解（顶点） ，并且使目标函数值逐步下降；当目标函数达到最小值时，问题就得到了最优解。二、单纯形法的步骤（以“大 M 法”为例）数学描述例（大 M 法）： 32184min xxzs.t. 132 50 (j,) jx1. 构造初始容许基初始容许基是一个 单位矩阵，它相应的基本解是容许的。m1 引入附加变量，把数学模型化为标准型。2 若约束条件中附加变量系数为“-1” ，或原约束即为等式，则一般须引入人工变量。3 目标函数中，附加变量系数为 0，而人工变量系数为 M（很大的正数） 。人工变量系数为大 M：只要人工变量0，使前后约束条件不等
