1、最优化方法,可行方向法2014.3,目录,基本思想 Zoutendijk可行方向法 线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法,可行方向法,求解无约束优化问题的一般步骤：,求解约束优化问题可行方向法：,可行方向法,基本原理,可行方向法,基本概念,有效约束：起到限制性作用的约束； 可行方向：当前点 是在可行域内的点，沿d方向迭代后的新的点 也是可行域内的点，则搜索方向成为可行方向； 可行下降方向：使目标函数下降的可行方向，称为可行下降方向。,可行方向法,将每一个函数在 处对函数 进行Taylor展开，取一次近似，则；,（1）如果 或 ，则搜索方向是下降方向。,（2）
2、如果 在可行域内， ，则总可取步长 ，得 ， 使 仍在可行域内，即任意搜索方向是可行方向。,（3）如果 在边界上， ，则对某个步长 来说，如果，则 在可行域内，故可行的。,（4）如果(3)的情况下， ，或 ，则 位于 在点的切平面上，只有 为线性时， 才是可行点。,线性条件下,非线性条件下,目录,基本思想 Zoutendijk可行方向法 线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法,Zoutendijk可行方向法,Zoutendijk可行方向法是将满足约束条件的可行方向求解问题转化成了线性规划问题,对于线性约束问题：,线性约束下的Z可行方向法,约束条件,搜索方向需要
3、满足的条件：,目标函数下降的条件：,约束条件：,（1）构造可行方向,线性约束下的可行方向法,线性约束下的可行方向法,（2）确定搜索步长,线性约束下的可行方向法,线性约束下的可行方向法,步0 给定初始可行点 ，终止误差 .令k=0. 步1 在 处，将不等式约束分为有效约束和非有效约束，步2 若 是可行域的一个内点，并且 ，停算得到近似极小点；否则，若 是内点，但 ，则取搜索方向 ，转步5.若 不是可行域的内点，则转步3. 步3 求解线性规划问题其中 .设求的的最优解和最优值分别为 和 步4 若 ，停算，输出 作为近似极小点；否则，以 作为搜索方向，转步5. 步5 首先由式（2）计算，然后做一维搜
4、索求得最优解 。 步6 置 转步1.,目录,基本思想 Zoutendijk可行方向法 线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法,非线性约束下的可行方向法,对于非线性约束问题：,对于上述问题可行方向d的求解，可以转化成以z为目标函数的线性规划问题：,非线性约束下的可行方向法,步0 给定初始可行点 ，终止误差 .令k=0. 步1 确定 处的有效约束指标集若 且 ，停算，得到近似极小点 ；否则，若 ，但 ，则取搜索方向 ，转步 4。反之，若 ，转步2. 步2 求解线性规划问题，得最优解 和最优值 步3 若 ，停算，输出 作为近似极小点；否则，以 作为搜索方向，转步4. 步4 首先由式（3）计算，然后做一维搜索求得最优解 。 步5 置 转步1.,目录,基本思想 Zoutendijk可行方向法 线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法,梯度投影法,梯度投影法,梯度投影法,梯度投影法,目录,基本思想 Zoutendijk可行方向法 线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法,简约梯度法,简约梯度法,简约梯度法,简约梯度法,谢谢！,
