1、最优化方法简介 最优化问题：给定一个函数，寻找一个满足约束条件的解使该函数取得最大 值或者最小值。许多实际问题或理论问题都可以建模成最优化问题来求解。 常用的最优化方法：线性规划、非线性规划、整数规划 、目标规划、动态规划 线性规划（Linear Programming）线性规划问题的数学模型目标函数max(min)z =c 1 x 1 +c 2 x 2 +c n x n ;约束条件 a 11 x 1 +a 12 x 2 +a 1n x n b 1 ,a 21 x 1 +a 22 x 2 +a 2n x n b 2 ,a m1 x 1 +a m2 x 2 +a mn x n b m ；x 1,
2、 x 2, , x n0.Q: 如何判断一个问题是否是线性规划问题？目标 函数是多个决策 变 量的线 性函数，通 常是求最大值 或最小 值 约 束条件是一组 多个决策 变 量的线 性不等式或等 式。线性规划问题举例某工厂在计划期内安排生产两种产品，已知生产单位产 品所需的设备台时、A、B两种原材料的消耗及两种产品每件 可获利润如下表所示。问如何安排计划使该工厂获利最多？ 资 源总 量 设备 1 台时 2 台时 8 台时 原材料A 4 公斤 0 公斤 16 公斤 原材料B 0 公斤 4 公斤 12 公斤 利润 2 元/ 件 3 元/ 件假设x 1 、x 2 分别表示在计划期内生产产品、的数量，则
3、该计划问 题可用如下数学模型表示：目标函数： max Z= 2x 1 +3x 2约束条件 x 1 +2x 28 4x 1 164x 212x 1 , x 20因为x 1 、x 2 均为整数，故采用列举法可得到解。 求解一般的 LP 问题 ： 图 解法 单纯 形 法非线性规划（Nonlinear Programming ）定义：若一个规划问题的目标函数和约束条件中，至少有一个方程是 决策变量的非线性函数，将该类问题称为非线性规划。特点： 近年来发展较快，不断提出各种算法。 应用范围越来越广，如管理科学、最优设计、质量控制等。 求解较为困难，不像线性规划有统一的数学模型和通用解法。它 的各种算法都
4、有特定的局限性，还没有一般的求解算法。非线性问题举例设有n个市场，第 j个市场位置为 ,它对某种 货物的需要量为 。现计划建 立 m个仓库,第 i个仓库的存储容量为 试确定仓库的位置，使各仓库对各市场的运输量与路程乘积之和为最小。解：设第 i 个仓库的位置为 第 i 个仓库到第 j 个市场的货物供应量为 则第 i 个仓库到第 j 个市场的距离为 仓库 市场非线性问题举例目标函数为约束条件为（1）每个仓库向各市场提供的货物量之和不能超过它的存储容 量。（2）每个市场从各仓库得到的货物量之和应等于它的需要量。（3）运输量不能为负数 非线 性 仓库 市场 非线性规划的数学模型数学模型的一般形式：其中
5、， 至少一个为非线性函数。 对于非线性规划，若没有 ,即X=R n , 称为无约束非线性 规划 ，否则称为约束非线性规划。 可行域和可行解凸集与凸函数一个点集（或区域），如果连接其中任意两点x 1 ,x 2 的 线段全都包含在该集合内，就称该点集为凸集。凸函数：凸规划定义：目标函数是凸函数，可行域是凸集的规划问题。注：凸规划的局部最优解即全局最优解，且全局最优解连成一片构成凸 集。若目标函数是严格凸函数，又存在极小点，此时全局最优解唯 一。给定初始点x 0 根据x 0 , 依次迭代产生点列x k x k 的最后一点为最优解 x k 有限 x k 无限 x k 收敛于最优解 非线性问题的一般求解
6、方法 迭代法特殊搜索方向下降方向函数在一点的下降方向，就是使函数值减小的方向。 一般f(x)在点 的下降方向不止一个，可能有无穷多个。 注：解非线性规划问题，关键在于找到某个方向，使得在此 方向上，目标函数得到下降，同时还是可行方向。这样的方向 称为可行下降方向。 特殊搜索方向可行下降方向 当 位于X内部时，任一个方向都是 可行方向。当 位于X边界上时，有 一部分是可行方向，一部分是不可行方 向。（1）给出初始点 ，令 ； （2）按照某种规则确定下降搜索方向 ； （3）按照某种规则确定搜索步长 ，使得 ； （4）令 ， ； （5）判断 是否满足停止条件。 满足则停止，否则转第2 步。 搜索步长
7、确定方法： 称 为最优步长，且有对关于 的函数f 的梯 度 下降迭代算法步骤约束问题的最优化方法大多数实际问题都是约束问题，且求解约束问题比无约束问 题困难得多。假定X 0 是上面问题的一个可行解，对于约束条件 来说， X 0 满足它有两种情况： 1. ，这时 X 0 不在由该约束条件形成的 可行域边界上，称这一约束条件为X 0 点的不起作用约束；2. , 此时X 0处于由该约束条件形成的 可行域边界上，这一约束对 X 0 点的进一步摄动起到某种限制作用 ，称它为 X 0点的起作用约束。等式约束条件对所有可行解都是起 作用约束。库恩-塔克（K-T）条件 I. 只含有不等式约束（1）X * 位于
8、一个约束条件形成的边界上，故有g 1 (x * )=0.若X * 是局部最优解， 则必有 在 一条直线上且方向相反， 即库恩-塔克（K-T）条件 I. 只含有不等式约束 （2）X * 同时位于两个约束条件形成的边界上，即g 1 (x * )=0， g 2 (x * )=0. 必位于 与 所形成的夹角内 ，否则X * 点必可 找到一个可行下降方向。即必存在 使库恩-塔克（K-T）条件由以上分析归纳出下述定理（最优性必要条件）设S=x|g i (x) 0,x* S,I为x*点处的起作用集，设f, g i (x) ,i I在x* 点可微，g i (x) ,i I在x*点连续。向量组 g i (x*)
9、, i I线性无关。如 果x*是局部最优解，那么存在 u i 0, i I使库恩-塔克（K-T）条件 II.同时含有等式与不等式约束设S=x|g i (x) 0,x* S,I为x*点处的起作用集，设f(x), g i (x) ,i I在x*点 可微，g i (x) ,i I在x*点连续, h j (x)(j=1,2,)在点x* 处连续可微。向量集 g i (x*), h j (x*), i I, j=1,2,线性无关。如果x*是局部最优解，那么存在 向量 和 ，使下述条件成立：K-T条件求解举例利用K-T条件求解下列非线性问题。 解：设所求的K-T点为x * =(x 1 ,x 2 ) T，有K
10、-T条件求解举例 将定理中的向量方程拆分成分量形式，有： 求解上述方程组，即可求出 ，则可得到满足K -T条件的解。求解非线性方程组时一般要用松紧条件（即上述第3、第4 个方程）， 实质是分析x*点处，哪些是不起作用约束，以便得到 。下面分情况讨论：K-T条件求解举例（1）假设两个约束均是x*点处的不起作用约束，即有代入上述方程组，有解之得 但将该点代入约束条件，不满足g 1 (x * )0,因此该点不是可行点。K-T条件求解举例（2）若 是起作用约束， 是不起作用 约束，则有代入式子中可得代入原问题约束条件中检验，可知该点x * =(1,2) T 是可行点，故它为 一个K-T点。因为 是起作用约束，此时 故 可 以是 若成立，则结果同（1），求出的不是可行 解。K-T条件求解举例（3）若 是不起作用约束， 是 起作用约束，即有代入式子有解得 或 ，而后者不满足 。而 及 同情形（1）. K-T条件求解举例（4）假设两个约束条件均起作用，这时 故有求解上述方程组，得到的解不满足 故 舍去。 综上，本题的K-T点为x * =(1,2) T 。由于f(x)为凸函数， 为凹函 数， 为线性函数且为凹函数， 故本题是凸规划。因此 x * =(1,2) T 也是本题的全局极小点。
