1、2019/8/13,1,优化问题三要素：决策变量decision bariable；目标函数objective function；约束条件constraints,优化问题的一般形式,等约束equality constraint,不等约束inequality constraint,一般优化问题概述,要解决的问题的目标可以用数值指标反映对于要实现的目标有多种方案可选择有影响决策的若干约束条件,特点,一般优化问题概述,可行解feasible solution（满足约束）与可行域feasible region（可行解的集合）最优解optimal solution（取到最小minimum大值maximu
2、m的可行解,对应最优值optimal value）,局部最优解或相对最优解local/relative optimizer,全局或整体最优解global optimizaer,优化模型的基本类型,无约束优化 unconstrained optimization,约束优化 constrained optimization,特殊：等式（不等式）方程组 system of equations(inequations),一般优化问题概述,约束优化constrained optimization的简单分类,数学规划mathematical programming 或连续优化continuous optm
3、ization,线性规划(LP) 目标和约束均为线性函数Linear programming 非线性规划(NLP) 目标或约束中存在非线性函数Nonlinear programming二次规划(QP) 目标为二次函数、约束为线性Quadratic programming,一般优化问题概述,整数规划(IP) 决策变量(全部或部分)为整数 Integer programming整数线性规划(ILP)，整数非线性规划(INLP)纯整数规划(PIP), 混合整数规划(MIP) Pure (mixed) Integer programming 一般整数规划，0-1（整数）规划 Zero-one prog
4、ramming,离散优化discrete optimization 或组合优化combinatorial optimization,一般优化问题概述,求解 y = f (x)极小值的数值迭代算法：一维搜索算法中的黄金分割法(0.618法).,分割法原理：设函数 f (x) 在闭区间 a, b 上是下单峰函数, 即在 (a, b) 内 f (x) 由唯一的极小点x*, 在x* 的左边 f (x) 严格单调下降, 在x* 的右边f (x)严格单调上升. 那么对于(a, b)内任意两点x1x2, 如果 f (x1) f (x2 ), 则x*a, x2；否则x*x1, b. 如右图,非线性规划无约束问
5、题,给定下单峰区间 a, b 及控制误差0, 黄金分割法(0.618法)的迭代步骤：,取 x2 = a + 0.618 (b - a), f2 = f (x2), 转向.取 x1 = a + 0.382 (b - a), f1 = f (x1), 转向.若 | b - a | , 则取x* = (a + b )/2, 停. 否则转向. 若f1 f2 , 则取b = x2 , x2 = x1, f2 = f1 , 转向;若f1 f2 , 则取a = x1, b = x2, 转向;若f1 f2 , 则取a = x1, x1= x2, f1 = f2 , 转向. 取 x2 = a + 0.618 (
6、b - a), f2= f (x2), 转向.,非线性规划无约束问题,下面我们再给出一个求初始区间的进退算法, 在所求出的区间上 f (x)是下单峰函数. 给定初始点x0和初始步长0, 进退算法的迭代步骤：,取 x1 = x0 + , 计算 f (x0 ), f (x1). 若f (x0) f (x1), 则转向；否则转向. 取 = 2 , x2 = x1 + , 计算 f (x2 ). 若f (x2) f (x1), 则得到区间 x0 , x2 为初始区间, 停；否则转向. 取 x0 = x1 , x1 = x2 , f (x0 ) = f (x1 ), f (x1) = f (x2 ),
7、转向. 取 =2 , x2 = x0 - , 计算 f (x2 ). 若f (x2 ) f (x0 ), 则得到区间 x2 , x1 为初始区间, 停；否则转向. 取 x1 = x0 , x0 = x2, f (x1 ) = f (x0 ), f (x0 ) = f (x2 ), 转向.,非线性规划无约束问题,下面给出一个基于最速下降方向的算法, 是求无约束极值的最早的数值算法. 给定控制误差 0和初始点xk (k = 0), 最速下降法的迭代步骤：, 计算g(xk ).,梯度, 若| g (xk )| , 则取x*= xk , 停；否则, 令pk = - g (xk ), 由一维搜索求步长k
8、 , 使得,f (xk + kpk ) = min f (xk+pk) | 0., 令xk+1 = xk+kpk , k = k + 1, 转向.,由于选择方向时只考虑到当前下降最快，未顾及到总寻优快慢，因而又称“瞎子爬山法”。,梯度法（最速下降法）,例：采用梯度法求解函数f(X)=x12+25x22的极小点。 解设初始点为：X(0)= ，则f X(0)=104。,X(0)处梯度fX(0) = 然后沿负梯度方向求一维极小值。 X(1)= X(0)fX(0)=f X(1)=(24)2+25(2100)2 令df/d=0，得：2 (24)(4)+50(2100)(100)=0,解得 0=0.020
9、03072 X(1)= X(0)0fX(0)= = f X(1)=3.686164 然后从X(1)出发，与上面同样迭代可得X(2)，直到进行约10次迭代，即可得最优解为： X*= ， f*=0,最速下降法的优点是具有整体收敛性, 计算量小, 初始点要求不高；缺点是整体收敛速度慢(所谓最速下降方向仅反映f (x )在xk 的局部性质).,最速下降法适用于寻优过程的前期迭代,当接近极值点时,宜选用其它收敛快的算法如牛顿法、阻尼牛顿法、拟牛顿法.,非线性规划无约束问题,例：最短线路问题：,阶段,k,k1,状态,决策,报酬函数,状态转移规律,子策略,目标函数,最优目标函数,E,0,5,4,3,11,8
10、,6,7,11,13,16,动态规划,运筹学的一个分支:求解多阶段决策过程最优化的数学方法 研究对象:一项任务需要分几个阶段完成，每个阶段都有多种选择, 即多阶段决策.,动态: 时间 空间 创始人:R.E.Bellman20世纪50年代,特点,无后效性 局部最优决策过程与全过程 每阶段最优决策:直接效果:阶段内间接效果:后阶段递推,基本理论,(一)基本概念 1.阶段、阶段变量 k 2.状态、状态变量 sk可达状态集 Sk 3.决策、决策变量 xk(sk)允许决策集 Dk(sk) 4.策略、最优策略,第k阶段始 终止状态,(子过程),子策略pk,n(sk)=xk(sk), xk+1(sk+1),
11、 xn(sn),策略,p1,n(s1) 最优p1,n*(s1)?,(二)最优性原理,“作为整个过程的最优策略具有这样的性质：不管该最优策略上某状态以前的状态和决策如何，对该状态而言，余下的诸决策必构成最优子策略。即:最优策略的任一子策略都是最优的。,(三)一个方程：,其中： fk(sk) = opt Vk,n（sk ,xk ,sn+1):最优值函数指标函数 Vk,n .例1:距离 sk+1 = Tk(sk ,xk): 状态转移方程 fn+1(sn+1)=h : 边界条件,fk(sk)= minvk(sk ,xk)+ fk+1(sk+1) fn+1(sn+1)=h,(四)图示,s1,x1,k=1
12、,k=2,k,k=n,x2,xk,xn,s2,sk,sn,sn+1,f1(s1),f2(s2),fk(sk),fn(sn),阶段变量k,状态变量,决策变量,最优值函数,策略 p1,n(s1)=x1(s1), x2(s2), xn(sn),优缺点,优点: 计算量:多阶段过程转化为一系列单阶段问题 能够得到全局最优解 可以得到一族最优解 静态 原理简单,适用性广 缺点: 无统一的标准模型 用数值方法求解时存在维数灾,例3: 生产与库存计划问题,某厂生产计划: 四季度 订单: 一 二 三 四(季度)2 3 2 4(千件) 生产费用:开工费 3千元 (不开工 0千元)成本 2千元/千件 库存费用: 1
13、千元/千件季度 最大生产能力: 6千件 设: 年初, 年末无库存 问:如何合理安排各季节的产量,使全年总费用最小? ?阶段 ?状态 ?决策 ?转移方程 ?阶段效益,解:,阶段 k = 1, 2, 3, 4 (季度) 状态 sk:库存 s1=0 s5=0 决策 xk:生产量 0 xk 6 转移方程 sk+1= sk +xk dk (订单) 阶段效益 vk:费用,基本方程,例4: 资源分配问题,某市电讯局有四套设备,准备分给甲、乙、丙三支局，在各支局的收益为（万元）：,问：应如何分配，使总收益最大？ 分析：分给甲、乙、丙：x1、x2、x3，,收益： g1（x1）+g2（x2）+g3（x3） 则：
14、min Z= g1（x1）+g2（x2）+g3（x3）s.t: x1+ x2+ x3= 4x1, x2, x3=0,阶段 k = 3, 阶段初剩设备全分给丙k = 2, 阶段初剩设备 分给乙丙k = 1, 阶段初剩设备 分给甲乙丙,解,状态 sk: 阶段初剩设备数 s1=4 s4=0 决策 xk: 分给k 阶段的设备数 转移方程 sk+1= sk -xk 阶段效益 vk (sk ,xk)=gk(xk) 基本方程,算法,停,1 2 3,sk 表示为分配给第k个公司至第3个公司的设 备台数.,xk 表示分配给第k个公司的设备台数.,状态转移方程为：sk+1 = sk - xk .,gk (xk ) 表示xk台设备分配到第k个公司所得 的盈利值.,f k (sk ) 表示为sk台设备分配给第k个公司至 第3个公司时所得到的最大盈利值.,f k (sk ) = max gk (xk ) + f k+1 (sk - xk) | 0xk sk , k = 2 , 1. f 3 (s3 ) = g3 (x3 ).,分析：,
