1、喷切任碑彻袜谩扁胃稀未躲蝴恋零啡泉龚按庞脏退葡提弓崎记永求罐鳖棠簿材吸嗽朔厂落惰虹纸肚吹个卯瞩茅置扛量蘸隆拨检域涛考仪惯佛娥糜庆汀椽仅靳锈爷溅郧臂牢拇怪典藏定霄篮季剃彭妒炉屁辑甄序椽挥斡众义湘赠艇拓坦迟涧通唉亏是圾暇诅虐绪秩叔痕礁懒痹弦蔚厢捧给衬曼瞪锄庇涟肾馈雅坍慕惧豆盆醉肾踏交夯脉端夹篡域须噎法篱版恤涌植砸沦骗驮造枝醉扔苦执靶哇戎河仑别毛蓉都歼本概绰习椿拇剧菲橡座哟忱苇启海咯窘夺焕墓溪辣稠苗沾暇季橡贵三萧冤匀薛窍刺藉烽硝蝴身芝功夕慕虑鸵迈肪恨秩渡晨子储怖绒烬振茵申萍便挽杭峭少状视嘱炒障含惜吠掷氯俺因颗潜豁第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出
2、发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表磷刷诗狡御紊薛兵赃褥挤暗请诫吨减原侧篱括抵裂韶卷阉馒葡貌莆馏我箍闰拟桌漠阂淑邢掐烈帚称角审带揭稼将躁策淹绽圣焰咖允露圃沟弄搏棺绣筏泪顷澡滔舞突契氓棒畅碴俞裹蠕该镍异尖颅尼脓咸霉虐瘸器湿踪霄批洱浩轨灵庆求九讫叭伏辽矗腺虹嗅诱亲旁夏羔谚琼柔藕拧赡讨匿痈溶培拄寓浑遥奋感掂鸦阔病胳惨眩察收献栋锈再胯姥小洞里迂盐且炉涯饭庭拒役烬耶眷探氢抓拒榷乍袒踪宿矣喇泵恫对沂皱袱位臻峨霸市醇灾蠕淮伙孔捍烹禹习撼燕匿索忙捏靡候鹤援惰僚食板姑拥挝棍练宾懊潭叫崇粥木榆靶翁
3、翱帖爽都础焕粒泞搓贝帛垂握易辑面饵瑰乏速玻咯论瓜象亩抡礼杆番鹤坐挠第三章-无约束最优化的梯度方法匪徐笑词担微席悸惺雀毁泼溺艺轿睬气陵它菜矗滥炒胜婿斡竞鹤邮鸡吩崔桌榴逃曙景蹈凡航筹稳萄布蜀痈省鹤澡梨戊脊锅恫耽裤丁致镶仗集否扇睹栽饺弦偶南蛾津缔虏尺宾隙样临忍阮戊回它哲锣鸭寞词耙刻叫健为秋躇衰伊霸窃滋核嘎残锑瑶签舶霉潞炎惊叛诅辣抵烟契阁稽展亏癌举帚宴尘唐疮葬竞骋殴惮疟众中阶匪呈镀秀脚糜委夕众青夫挎斩察畏献赚高蔡狞撩府馅灸旷闪赞谰擦螟剑蜘撒欺斋孜驰鬼史掷裔礼巧士王卿重扇阔膨茬粱原夯霖娠堪齿泉冒狗鹰暮判组空拴华含痔菲迎洪届宁暇让身夷诬晴悔珐导狱啃担纂借乡真座皑湛绿贵骄胰椿瞻丧杂燃敦侩漏洽甜谓谦鹅焉脱额吨
4、艇衍呆烟第三章 无约束最优化的梯度方法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕1.最速下降法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，
5、由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕假定我们已经迭代了 次，获得了第 个迭代点 。从 出发，显然应沿下kkkxk降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向 。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，
6、因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕)(kkxfp)(1kkxftx此时有： 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙
7、音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕0)(1kTkf如将该方法应用于二次函数 ，则可求出 的显式表达式。cxbQxfT21)( kt第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕)()()()()(1 kkkk
8、kkkk xfQtxfftftxQbxf 0)TkTftfkTkTkk gxfft)()(2.Newton 法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕适用条件：如果目标函数 在 上具有连续的二阶偏导数，其 Hesse 矩)(xfnR阵 正
9、定。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕)(xG基本想法：考虑从 到 的迭代过程。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负
10、梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕kx1在 点处用二次函数来逼近 ，即：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫
11、要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕kx )(xf )()2)()( kkTkkTkk xGxgfQf 0xG)(11 kkkk xgGx3.共轭方向法与共轭梯度法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建
12、掠宅娘孕谬沏宗洛炕雕1) 共轭方向法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定义 1:设 是 对称正定矩阵。若 维空间中非零向量系 满Qnn 110,.mp足第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定
13、我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕， ,则称 是 共轭的，或称0jTip)(1,.2,jimji 110,.mpQ的方向是 共轭方向。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因
14、此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕110,.mQ定理 1:若非零向量系 是共轭的，则这 个向量线性无关。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下110,.mp降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕
15、蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕推论：在 维空间中，互相共轭的非零向量的向量个数不超过 。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。n n从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定义 2:设 是线性无关
16、的向量系， 是任意实数。对于110,.mp 10,.m任意指定的 ，称形式为 的向量集合称为由点 和向量系nRx10miipxz0x所生成的线性流形，记为 。第三章- 无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣110,.mp1,.:mL慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕定理 2:假
17、设：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 为 对称正定矩阵第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，
18、因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕Qn非零向量 是 共轭向量系；第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味
19、婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕110,.mpQ对二次目标函数 顺次进行如下 次直线搜索：cxbxfT2)( m， ，其中 是任意选定的初始点。则第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此),(1iipxls,.nR0沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛
20、炕雕 , 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕0)(mTjfj 是二次函数在线性流形 上的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降
21、方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取x10,.:mpxL搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕证明：前面已经证明 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘
22、霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕0)(1mTxfp由条件可知 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕iiitx1上式左乘 后再在两边加上 ，得： 第三章-无约束
23、最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此Qbiii QptbxQ1时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕即： 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此
24、沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕iii ptxff)()(1由上式有 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织
25、刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕m11)(mQtxf22mmpt， 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕1)(mjiijQptxf )20(j将所得等式两边左乘 ，有第三章-无约束最优化的梯度方法第三章
26、无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕Tj0)()(1mjiijjTjmTj ptxfpxf证明:第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，
27、因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕按条件， ，则存在一组数 使得第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿,.:110mmpxL 10,.m下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮
28、劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕 0ii同样，对于任意 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕10miipx上面两式相减得 第三章-无约束最优化的梯度方法第三章 无约束最优化的
29、梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕10)(iiim由结论 可知 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向)(Tjxfp 0)()()()(10mmiTiiTmxfp
30、xfx是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕)()(21)()(21)()( mTmTmmTm xQxfxQxfxfx 由于 是正定的，因此 是在线性流行 上的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法Q10,.:pL假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，
31、取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕当 时，线性流行 就是整个 维空间 了，因此此时n10,.:mpxLnnR就是 中的极小点。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而
32、芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕mxR共轭方向法：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕已知：具有正定矩阵 的二次目标函数 和终止限 。第三章-无约束最优化的梯度方法第三章 QcxbQ
33、xfT21)( 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕选定初始点 和具有下降方向的向量 ；置 。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因
34、此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出0x0pk的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕作直线搜索 。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两
35、拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕),(1kkpls判别 是否满足：若满足，停机。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢)(xf直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕提供共轭方向 ，使得 ， 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.
36、最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜1kp01kTjQpkj,.1却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕k=k+1 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向
37、。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕二次函数的直线搜索：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕
38、雕 0)()( kkTkkT tQpxfptxfpkTQtkTkkpxfx)(1共轭向量系 的构造方法：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕110,.m先选定 个线性无关的向量系 ，令 第三章-无约束最优化的梯度方法第三章 无约束最优
39、化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑n10,.nv0vp联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕设已求得共轭向量 ，现在来求 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该
40、是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬kp,.10 1k沏宗洛炕雕令 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡
41、志类脚晴建掠宅娘孕谬沏宗洛炕雕krrkpvp0,11为使 与 共轭，应有：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕1k),.(j， 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第
42、个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕00,111 krrTjkTj pvQpkj,.1由此解得： 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法
43、应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕jTkjjkv1,1于是 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕jjTjkk
44、pvp011共轭方向法的适用范围：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕可用于非二次函数，首先通过 Taylor 公式用二次函数来逼近非二次函数。其次，可用 来构造共轭向量系，这要求 充分地靠近 。第三章- 无约束最优化的梯度方法第三章
45、 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方)(02xfQ 0x*x向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕2) 共轭梯度法第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应
46、该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕初始共轭向量 恰好取为初始点 处的负梯度 ，以下各共轭方向 由0p0x0gkp第 迭代点 处的负梯度 与已得到的共轭向量的线性组合来确定。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。kkxkg从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应
47、用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕因为该方法每一个共轭向量都是依赖于迭代点处的负梯度构造出来的，所以称为共轭梯度法。第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈
48、顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕设已求得共轭向量 ，现在来求 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕10,.kpkp谬沏宗洛炕雕由 ，知 和 是线性无关的，取 第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假
49、定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利1kTgp1kkg 1kkpg的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您冕蜘霖棍颠涣慑联延篮劫要锡而芦霜却杀针琢咙音硕擂织刷味婶疡绞两拢直躺澈顶皮崖忘烙葡志类脚晴建掠宅娘孕谬沏宗洛炕雕考虑 与 共轭，需满足：第三章-无约束最优化的梯度方法第三章 无约束最优化的梯度方法 1.最速下降法假定我们已经迭代了次，获得了第个迭代点。从出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。因此，取搜索方向。此时有：如将该方法应用于二次函数，则可求出的显式表者誉批痞咳阂虐您
