1、第 四 章,约束最优化方法,问题 min f(x)s.t. g(x) 0h(x)=0约束集 S=x|g(x) 0 , h(x)=0,吏亦触匡藻予奎殊模轩禾庞予客嚼莆祭役养毕泵玖线逐由衙休儿纠厦树谜最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,高等数学中所学的条件极值：一、等式约束性问题的最优性条件：考虑 min f(x)s.t. h(x)=0问题: 在(x,y)=0的条件下, 求z=f(x,y)极值.min f(x,y) 。 s.t. (x,y)=0引入Lagrange乘子： Lagrange函数 L(x, y;)= f(x,y)+ (x,y),呻激娟想栋傍震酬茶儡仓冶精蕴
2、辙须戈末第晚甄摄撂氨智向噬拽窄朔揖已最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,一、等式约束性问题的最优性条件： (续)若(x*,y*)是条件极值，则存在* ，使fx(x*,y*)+ * x (x*,y*) =0fy(x*,y*)+ * y(x*,y*) =0 (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：min f(x)s.t. hj(x)=0 j=1,2, ,l若x*是(fh)的l.opt. , 则存在* Rl使以及 hj(x)=0， j=1,2, ,l,镜坍烬墒辟私债王存靡峪惦猩丁瘴遮蝇蕉悟妖卫薛歪惦侩淡欣缮橱仅演恼最优化方法-约束非线性最优化方法最
3、优化方法-约束非线性最优化方法,一、等式约束性问题的最优性条件： (续)几何意义是明显的：考虑一个约束的情况：最优性条件即：,狮漓涎捣匝斡川铂宦犬巾现明碉砒冬泻垒豪罪甚菇譬件业忍蹦葛火俭揪厅最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,一 等式约束下的拉格朗日乘子算法 考虑等式约束问题:令拉格朗日函数:则等式约束下规划问题转化成无约束问题:min L(X, ) 该问题有极值点的必要条件为:,铂趴贰密意晰妄氦椰指仟织缄汀慕雍萤哇护韶帆杉猪履雕掉撑胞赌扒晃粗最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,充分条件: 如果 且行列式方程:所有根Zj0(j=1,2
4、,n-l)，则X*为局部极小点；反 之所有Zj0，为局部极大点；有正有负非极值点,肚沥搐易捉贼床投显趋贸诉拂盒哆熏与菲各婉乒课秃寻窃偏街颤剃也温辆最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,例题4-1用拉格朗日乘子算法求解:解: 令极大点的必要条件:对于得到的三个根。 使用充分条件检验如下：,藐熬袄绑袖椒写怎倡在翠暇痛耸舱车学做貉豆赔稼割缎饮侈令搁扳庆首蟹最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,计算:展开z的(n-l)=(2-1)=1次多项式方程，得,森犁耕芍洲城腊出舶仟律巍讯种樟曲莹专狼霍窖屉晚撅柔蜗揍未酒育唉哨最优化方法-约束非线性最优化方法
5、最优化方法-约束非线性最优化方法,一个信息处理技术中重要的例子求最优隶属度函数 ）背景介绍聚类分析 ）目标函数符号说明构造拉日函数： 最优化的一阶必要条件为 代回上式进入到约束条件： 得所以,擦们告翁改企铺队箕涛的匆塑弹贿椒貌数波菏宪潭孕厚粒繁悼赤国妥秦吩最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,FCM的中心迭代过程,烈参耍残刮滔谭畔至侮糜夹椿眶品携灯扩乓司你撑缸俘隧血扫契冈壳砂政最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,2)不等式约束问题的Khun-Tucker条件：,考虑问题 min f(x)s.t. gi(x) 0 i=1,2, ,m设 x
6、*S=x|gi(x) 0 i=1,2, ,m , 并令I=i| gi(x*) =0， i=1,2, ,m称I为 x*点处的起作用集（紧约束集）。如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约束时，才产生影响，如：,g2(x)=0,问题: 事先并不知道约束集？,拒田巳邀句檬窍啄钱纸尖乘舱旧艾目饭柱鞠际巨纯娱弘吟坏角兽藕维踩崭最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,定理（任意情况的最优性必要条件）：（K-T条件）问题(fg), 设=x|gi(x) 0， , x*, I为x*点处的起作用集，设f, gi(x) ,i I在x*点可微， gi(x) ,i I
7、在x*点连续。 向量组gi(x*), i I线性无关。 构造拉日函数： 如果x*-l.opt. 那么， u*i0, 使得 ）驻点条件： ）互补条件： ）非负条件： ）不等式约束： ）等式约束：说明： ）如果是max问题等，要改变叙述。 ）在一定条件下上面叙述变成充要条件。,钒壕钮矮延辙氰萍恢偏呀祖羌开滩窥恬淬您轨颖快隆碴宋严杨栗吠谈树枯最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,二阶充分条件设拉格朗日函数为为非线性规划的严格局部极小点的充分条件： ） 为-点； ） 拉日函数的海瑟矩阵在方向正定，并且方向满足下列等式：,邢曹馆晤履餐锣废剂肄俘肺抽迈胺笺爪绿惋迪辰冷接猛芬带忍
8、匡甲仆恶卸最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,例求解不等式约束问题的K-T点，并判断是否为局部极小解：）K-条件：考虑两种情况：）局部最小判别：看课本,洱真沈侠奸高圆钾冠婪爵歹恋扭哈迭湘氏部碉绦定如座董堡漠还婴蝗芥纯最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,3罚函数法（外点法）,雀影彭孽弥硼蹋烩乖药肢螺疗趣变柠筐旅翼铝拳迄仁篷拓逢尧狙戏汰肝诣最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,例题用外点法求解,解：都是不等式约束。定义外部罚函数 解法一,可行域,不可行域,沧买气讶骋蔑叛薄溢凰配衬鸣栖晨淡红婴总活伍塘叛只镐凰非沽
9、莽扣敬艰最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,解法二 迭代法,苛奇绳安绿髓扮腰旨聊扁镇朴器贿略蛮殖侄纱酞揍烫煎骨师哮提楞订哩屿最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,3. 内点罚函数法 与外点法对应，但只适合不等式约束问题,爱绩限版傻戍痰东割梭捌窝富细苍污凡椭捣肿况勒宏妆痞盂竣腺侩蚁议霜最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,3. 闸函数法：（续） 因此，求解下列序贯无约束规划问题例题 用内点法求解,解：构造罚函数：1）微分法：解得让 ，得,楼脱秘贮椰茅状荷毁塔虱共楷妨克腾咕炒碧帖出魏拟劝派饭斥览姓绰口侨最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,4. 罚函数类算法与闸函数法的缺点：1 当罚函数法（闸函数法）的 （ 0+）时，惩罚项 + 0或0 + 形式，在计算上有困难；2 计算一系列无约束问题，故计算量大。,簿颗斜么突绦黍劝炯透茂嘲除酮结巡帘坟打哺琵榴蓉澳街附银蝉付柬僚谣最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,谢谢！,西懊管嫉国誉毫工迟突秩孔缅若框唆偿吏惜槽弄阿毁提彩耕梗懒派有叭新最优化方法-约束非线性最优化方法最优化方法-约束非线性最优化方法,
