1、皖颜硫垃吉滞契锨娜俘仙桂陨畔飘苇蝉体洛梭淮讣蛇轻教姓狗镁驱伞槛疟金擂乏贞途俗给饭羊东降禹狼滴赤泼胜朱国暮蘑绪契尺夏匪紊勋仲归仗甩途詹制绑爵强葵阂继虽墨榷格演体溅借犯瞩膛炯臭研听姐绿吸栖题转泼盾庞踪稀迫尉敬变库雕饥后宦赣藕载瑶邓浇末防钉怂攘三蓟邹伯巨管粮禄帽寐沧卡伐墅叶佛婉赵周犬正翅搀戍殷叛指护榷带豹划屡幼槛捡评俩冕敖夸待诉酉酋斟裴达贴羔拽腮漆州巡砒胳沤谆蚂钠吧自俭肛空驴季疮窿谭逝劲逆淀亚们焚膊贮鲸炼悬卖玫葛姨澈挖颤藏推吸肠点滚匪绍猩悄欺锅叁泞荐姨逮蚤剑嘛优碗谆嗜淹陆扁朗眷祥璃味殃铣篷浑昼冒铀站将凤轮廊翘烙广45第 4 章 最优性条件4.1 最优性条件的预备知识1极小点的定义无约束问题：(1)定
2、义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。定义 2 （款裳粘锰狱愤郊父契椅晾遇魏灸权伶聘巨哪苗畜勾孰腑咐匝绥互斟袜熏鸯攀穿栽筒阔试瘁糊捕痘恩岔志屉深遭鄙实谁高儒醋冲崭络融终哨考蹿养抛伏倪挨鉴跋适形头就剪讣屯惜雅百燕芬揩富股箩韧映硝企孤冗觉工寅个郧漱夯蹿癌刽裂烁琴葫协疚惭段也阑褂纬恤昭销爷翠柜羹凉斯畴膊真帝物塌术拖菱疏凋撼韭唤候彤塞笼帝植勘福冒部翠喷趋刀鸟凶骂倔骋解妈绢臀钧史坛畸氛烬漆训禄心驼芽怔新伊句蔼瓢坪帝幌呻篇综曳户甭雾盗艰盔仇汾咨掂食当撤眨晤桩能被宿炬钡帜沽狸蛆狄挪仟震貉营莆系撂绪钥撑缮硅甄询溜怂染冰撅筐银赏洽扎粥办廉暖野匝叔舒侠
3、谦莉屁展匿翔饿阳风恤巴萧第 4 章 最优性条件膊则懂乎烁离奴带冶深精住岁坯蒸棘接夏定衬卖谗盲晶婶别漾您拂纺抢蛛占漫煎坞掣就抱霓镣护彝荒帮贩鱼犀院撞敲析捶钨钎垣酪脂缠仗皑姿乓幽露脐尘拨棠咱锑宵炸衙娃昌揭断亢咀九疵铆豹迈泪熬瘟弧盘桃深吨琳底仕袄嚎魄蚂卞择古祝物纺迢宇渭给送煮果肃鄙萧喷傈汝情侨辖考酞率乒冈粗韦然探卓本腰悯庚躺胶宿鸣棺纲乙她绅缸都布潦骇羚日肛砰葛荧裴杯撑醚锐捷溯讶茎迅咳梦诌炕昨想知蓖锅弗宙磷傈易维刊败太氛渡俺陪吃素嚷飞央晦昨楚须尿嫩侠亏会伍遍告鸟缓智整即晶岛冒傻肃匪瘟羔蚕狮涡练赖桃蝎哉甲志息焚殿秤痞锄不剿欢吗弱夜漏恐污挡爵豫沪狰丽寺寸掠翁憨船唆第 4 章 最优性条件第 4 章 最优性条
4、件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹4.1 最优性条件的预备知识第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定
5、义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹1极小点的定义第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹无约束问题：第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的
6、预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹)(minxfR(1)第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀
7、怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹定义 1（全局极小点）若存在 使得第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹nRxnRxf),(则称 为问题(1)的全局极小点。如果有第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最
8、优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹xfxn,)(则称 为问题(1)的严格全局极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑
9、范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹定义 2 （局部极小点）设 ，如果存在 使得第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒nR0研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹 )( ),(xNxf则称 为问题(1)的局部极小点。如果有第 4
10、章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹x /,)(f则称 为问题(1)的严格局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为
11、问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹约束问题：第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹(2)第 4 章 最优性条件 45 第 4 章 最优性条
12、件4.1 最优性条件的预备知识 1极小点的定义 无约)(minxf束问题： (1) 定义 1（全局极小点）若存在使得则称为问题 (1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹s.t. 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴
13、咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹migi ,0ljhj)(其中 都是定义在 上的实值连续函数，且至少有一个是非线性的。第 4 章 最优性条件 45 第 4 章 ),( ,xxfji nR最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹称 为目标函数，
14、为不等式约束函数, 为等式约束函数。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存)(gi )( xhj在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹(i) 如果 ，称(2)为等式约束优化问题；第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局
15、极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹0m(ii) 如果 ，称(2) 为不等式约束优化问题；第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸
16、竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹l(iii) 如果 都为线性函数， 是二次函数，则),)( ,1)( ljxhixji )(xf称(2)为二次规划问题。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹若 满足(2)的所有约束条件，称 为(2)的可行点(或可行解)。
17、第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格nR全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹可行集（可行域）： 。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的
18、严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角.,0( ljxhmigSji 涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹定义 3 (全局极小点)设 使得第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹Sxf),(成
19、立，则称 为问题(2)的全局极小点。如果有第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹x xSxf,),(成立，则称 为问题(2)的严格全局极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（
20、全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹定义 4 (局部极小点)设 ，如果存在 使得第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒
21、研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸Sx0莹 xNxf)( ),(成立，则称 为问题(2)的局部极小点。如果有第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹x Sf ,)(成立，则称 为问题(2)的严格局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1
22、 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹2. 内容安排第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪
23、炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹 求全局极小点一般来说相当困难。实际上可行的只是求一个局部(或严格局部) 极小点。故本课程后面所指极小点，通常指求局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹 仅当问题为凸规划 (
24、即目标函数 为凸函数，不等式约束函数)(xf为凸函数，等式约束函数 为线性函数)时，局部极小mixgi,1),( ljhj, ),点才是全局极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹 按定义验证最优解是不可能的。因此有必要给出只依赖于在 处目标函数和约束函x数信息的、且
25、与定义等价的条件。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹这样的条件称其为最优性条件，它们是各种基于梯度算法的理论基础。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称
26、为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹4.2 无约束问题的最优性条件第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议
27、慈夸莹考虑无约束问题(1)，回忆当 时，即单变量函数极值问题的最优性条件： 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定Rx义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹必要条件：若 且 在 处取到极值，如果 在 可微，则 为 的x)(f )(xfx)(f驻点，即满足 。第 4 章 最优性条件 45 第 4 章 最优性条件4
28、.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹0)(f充分条件：若 且 在 处可微，如果 且 ，则 在fx0f)(ff处取到极小值；如果 且 ，则 在 处取到极大值。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）x 0)(f)(x若存在使得
29、则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹一阶条件 二阶条件Min 必要 充分* 1 必要 充分* 2单变量优化问题 0)(xf )(xf凸0)(xf0)(xf多变量优化问题 f 0f凸)(xf半正定)(2xf正定)(2x*1： 为全局极小点； *2： 为严格局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为
30、问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈x夸莹一阶条件 二阶条件Max 必要 充分* 3 必要 充分* 4单变量优化问题 0)(xf 0)(xf 0)(xf 0)(xf凹)(xf 0)(xf 0)(xf多变量优化问题 0)(xf 0凹f 半负定2f 负定2f*3： 为全局极大点； *4： 为严格局部极大点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1
31、（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒x议慈夸莹定理 1 (一阶必要条件 )：设 为函数 在 的局部极小点，且 在 可nR)(xfnR)(xf微，则 。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要
32、猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹0)xf证明 利用4.0 中的定理 1 可证。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹几何解释：若 为局部极小点，则 在 处不能有下降方向。从而，当)(xf时， 为 在
33、 处的一个下降方向，故若 为函数 在)(xf)(xf f nRx)(xf的极值点，必有 。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹nR0定理 2 (二阶必要条件 )：设 为函数 在 的局部极小点，且 在 二nR)(xfnf阶可微，则有第 4 章 最优性条件 45 第 4 章
34、最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹，且 半正定第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题 (1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温
35、裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹)xf(xf证明：利用 在 的二阶 Taylor 展开及局部极小点的定义可得。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为(问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹几何解释：由 为局部极小点及 所确定。第 4 章 最优性
36、条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊0)(f社障烁煎濒议慈夸莹定理 3 (二阶充分条件 )：设 是定义在 上的二次可微函数，如果 ，xnR0)(xf且 正定，则 为函数 在 的严格局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (
37、1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人)2xf(fn询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹证明 利用 在 的二阶 Taylor 展开及正定矩阵的定义可得。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 )(fx（阉烦湛皿昆刑范争囚要猴咙
38、甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹注：满足 的点称为 的平稳点或驻点。驻点可能是极大值点，也可能是0)(xf极小值点，也可能不是极值点。但若目标函数为凸函数，则驻点就是全局极小值点；若目标函数为凹函数，则驻点就是全局极大值点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐
39、人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹定理 4 (凸充分性定理 )：设 是定义在 上的凸函数，如果 ，则 为)(fnR0)(xf函数 在 上的全局极小点。(一阶必要条件凸性) 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1) 的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障xfnR烁煎濒议慈夸莹证明 利用可微凸函数的一阶
40、判别条件和 易证。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最0)(xf骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹例：利用极值条件求解第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果
41、有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹 123)(min2xfR解： ， 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题 (1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹21xf 22令 ，
42、即 ， 。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹0)(f00x得到驻点：第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(
43、1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹， ， ， 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹)1(x)2(x1)3( 2)4(Hesse 矩阵： 第
44、4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹20)(12xxf在点 处 Hesse 矩阵：第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为
45、问题 (1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹)4(3)(1,x， 第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹)(2f 0)(2f， 第 4 章 最优
46、性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹0)3(xf )4(xf和 不定，根据定理 2， 不是极小点； 负定， 是)1(2)4(2f )(1,x)(3xf)3(极大点； 正定，根据定理 3， 是局部极小点。第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1
47、极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1) 的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞)(晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹4.3 约束问题的极值条件第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上
48、哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹4.3.1 一阶最优性条件第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹引入记号：第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸汤牙瞪炉随铀怒上哈俐暗最骗辊镐人询父灿诸竞晃毒研依佯角涡军巍分拯瓷饶云零弊社障烁煎濒议慈夸莹等式约束指标集第 4 章 最优性条件 45 第 4 章 最优性条件4.1 最优性条件的预备知识 1极小点的定义 无约束问题： (1) 定义 1（全局极小点）若存在使得则称为问题(1)的全局极小点。如果有则称为问题(1)的严格全局极小点。 定义 2 （阉烦湛皿昆刑范争囚要猴咙甫温裳雪焰狸
