1、,第七章,约束最优化的理论与方法,一般形式的约束最优化问题,可行域,一般形式的无约束最优化问题,全局极小点,设,则称x*为问题的全局极小点；,如果,成立，,则称x*为严格全局极小点.,进一步，如果,成立，,(总体极小点),局部极小点：,如果对于某一,成立，,则称 x*是问题的局部极小点，,其中,则称x*为严格局部极小点.,进一步，如果,成立，,全局极小点是局部极小点,有效约束、无效约束与内点、边界点,有效(起作用)约束：对于可行点 ， ，,如果,就称不等式约束,在点,是有效约束。,并称可行点,位于约束,的边界。,无效约束：,对于可行点,就称不等式约束,是无效约束,的内点.,E:等式约束指标集,
2、I:不等式约束指标集,x点处的有效约束集(有效集),是在x点处的有效约束,是在x点处的非有效约束,假设已知有效约束A(x),定理（一阶必要条件）,定理（凸最优性定理）,定理（二阶必要条件）,定理（二阶充分条件）,设函数,，若,，并且,半正定，则,是,的局部最优解。,设,是,的局部最优解，则在,处的下降方向一定不是可行方向。,定义,设f(x)为定义在空间,上的连续函数，,点,，若对于方向,存在数,使成立,则称s为f(x)在,处的一个下降方向.,在点,处的所有下降方向的全体记为,定理,设函数f(x)在点,处连续可微，如存在,非零向量,使成立,则s是f(x)在点,处的一个下降方向.,给出了在f(x)
3、连续可微是下降方向同函数f(x)的梯度 之间的关系.,下降方向集,序列可行方向,可行方向,线性化可行方向,如果所有的约束函数都在,处可微，,则有,序列可行方向,可行方向,线性化可行方向,序列可行方向,线性化可行方向,引理,在局部极小点处没有可行下降方向,证明:,反证法.假设存在可行序列,的序列可行方向d,并且序列,矛盾,引理,在局部极小点处没有可行下降方向,Farkas引理,设,为,矩阵，,则下述两组方程中有且仅有一组有解：,其中,Farkas引理在最优化理论研究中起重要作用,Farkas引理的另一种形式,设l. l是两个非负整数，a0,ai (i=1,l)和bi (i=1,l),是Rn中的向
4、量，则线性方程组和不等式组,无解当且仅当存在实数,使得,KKT定理,驻点条件,可行性条件,乘子非负条件,互补松弛条件,KKT条件,最优点不一定是KKT点,证明,方程组无解,线性函数约束规范条件(LFCQ):,线性无关约束规范条件(LICQ):,可以证明,(1) 如果LFCQ成立，则CQ成立,(2) 如果LICQ成立，则CQ成立,定理:,一阶最优性充分条件,定理,证明:,不失一般性，我们可假定,矛盾,线性化零约束方向集,定理(二阶必要性条件),定理(二阶充分性条件), 7.2 二次罚函数方法,设法将约束问题求解转化为无约束问题求解,具体说：,根据约束的特点，构造某种惩罚函数，,然后把它加到目标函数中去，将约束问题的,求解化为一系列无约束问题的求解,二次罚函数法,引例：,求解等式约束问题:,解:,图解法求出最优解,构造：,但是,性态极坏，,无法用有效的无约束,优化算法求解,设想构造：,其中,求解此无约束问题得：,当,时，,有：,是一个非常大的正数,等式约束问题,二次罚函数,的极小点就是原问题的极小点,极小点为,极小点非常接近,
