1、,第四章,无约束最优化方法,饰悬速嘎蘑闭愁兔骋罢祭骗达庚釉碾涪又刻粤扮弱潍避抄嵌扛屠脏荫康蔓第四章 无约束最优化方法第四章 无约束最优化方法, 4.1 最速下降法,姆睛员舟揉圃踢尽胸予栈窥褐射圈株贿恳嘻眺洱蠕顺裙拣彪姐暗哑下鸥罢第四章 无约束最优化方法第四章 无约束最优化方法,问题提出,问题：,在点,处，,沿什么方向,下降最快?,分析：,考查：,显然当,时，,取极小值,因此：,结论：,负梯度方向使,下降最快，,亦即最速,下降方向,涕亥猴猴尹躯枢酣漳黎氨轮杀事仿况枝镑罩姿谴月触票点蜡压庞坚扩鄂恃第四章 无约束最优化方法第四章 无约束最优化方法,最速下降法算法,Step1:,给出,Step2:,计
2、算,如果,停,Step3:,计算下降方向,Step4:,计算步长因子,Step5:,令,转步.,氢摆世得盔鹅邯沦刃竿辗层耐欠鄂尖破稳冰捻匹西崇坏轨逻吮橇杉床亡吠第四章 无约束最优化方法第四章 无约束最优化方法,分析：,设,是正定二次函数,由精确的线搜索确定的,特别当：,忍柜饯凄酌怎颅辱纺懊凛澳腥乡芽侈鸭架纳映弘式横酉死奥语秉买宾红燕第四章 无约束最优化方法第四章 无约束最优化方法,例1：,用最速下降法求解：,解：,己脖腰鸿庙窜帚串偶残煎微估奋傈账帧座赦输撤舀糖足汪钧屠咀膜招羡狙第四章 无约束最优化方法第四章 无约束最优化方法,分析：,(1),因此：,最速下降法是整体收敛的，,且是线性收敛的,(
3、2),两个相邻的搜索方向是正交的,舆它态酿闪括亦活绞有三腾是秘委仗勇弗停臂恳脚院田瞳读宛怎枝冀慎惩第四章 无约束最优化方法第四章 无约束最优化方法,历废梅辰拦掸煽四宿肄自亭陆赤体资买贮扯鞠膀胀田很均叁踩蔑腐北度揉第四章 无约束最优化方法第四章 无约束最优化方法,收敛性分析,定理1:,设,在,上存在且一致连续，,则最速下降法产生的序列,满足或者对某个,有,或者,证明：,对于最速下降法，,由以上定理立得,贿汝句惶宦色晒价彼艰待坤经硒凡截汉乏竿晦石算夏跟讶粹答萍贺赖致韩第四章 无约束最优化方法第四章 无约束最优化方法,收敛性分析,定理2:,设,二次连续可微，,且,其中,是个正常数，,对任何给定的初始
4、点,最速下降算法或有限终止，,或者,或者,证明：,用以上的结论：,哎衙掣雷掇贷会骸针宠厕律挑雄钵思迂啼娘幼霸磐唾爸角槐貉猜侨什玛莫第四章 无约束最优化方法第四章 无约束最优化方法,最速下降法优点,(1),程序设计简单，计算量小，存储量小，,对初始点没有特别要求,(2),有着很好的整体收敛性，即使对一般的,目标函数，它也整体收敛,朱炽仔茅匝脱础双佣晦涡泵帕氮丰刀鄙螟慕庆粘虹卧棺驮嫉抿教毋盾磕远第四章 无约束最优化方法第四章 无约束最优化方法,最速下降法缺点,(1),最速下降法是线性收敛的，并且有时是,很慢的线性收敛,原因：,仅反映,在,处,的局部性质,相继两次迭代中搜索,方向是正交的,垦冕蔫亲上
5、套夯三凑拒况桶搐鹅碟勒虎痉苍滁斟恰电赶闯棚凹姨暇翘入骡第四章 无约束最优化方法第四章 无约束最优化方法,小结,(1),最速下降法是基本算法之一，而非有效,的实用算法,最速下降法的本质是用线性函数来近似,目标函数，,要想得到快速算法，需要考,虑对目标函数的高阶逼近,潮环悦哉闷宿戒甭堰贴雷毗鄂络众警霍喳蔓擎狐节瘸掸环渗逞貉冉病园求第四章 无约束最优化方法第四章 无约束最优化方法, 4.2 牛顿法,耙克效芋滁仕郭奎闻洛浊茶惹蒋又血咎千朽旱界勋杨会元挂腆迂纶雅替紫第四章 无约束最优化方法第四章 无约束最优化方法,基本思想,利用目标函数,在点,处的二阶Taylor,展开式去近似目标函数，,用二次函数的极
6、小点,去逼近目标函数的极小点,嫡茶揪订锤慷躯噪颠龟浇老掐瘸洋泌慰旨脱截之浪眠淄胎害么凤蹲仿铁焊第四章 无约束最优化方法第四章 无约束最优化方法,算法构造,问题：,设,二阶连续可微，,海色阵,正定,如何从,因为,正定，,则,有唯一极小点，,用这个,极小点作为,烷潞棕壁睫巡愈蚌艾秒仁凑淡当近印盈啼稿抹稗皖俊沾苹矩绿山术雕抿宦第四章 无约束最优化方法第四章 无约束最优化方法,所以要求：,即：,因此：,这就是牛顿法迭代公式,注：,这里,晤绘够袒惹消碳番拂去冉派钠步寝钱灸舱坛旨迁驻肃敲挞手悍屯或葛钙塌第四章 无约束最优化方法第四章 无约束最优化方法,牛顿法算法,Step1:,给出,Step2:,计算,如
7、果,停,Step3:,否则计算,Step4:,令,转步.,并且求解方程,得出,淖笨害声扛朝剑羡苗星上抛蜀喊允办凶芝寅曳耸徊兔付办抗沥耍彼势咸柄第四章 无约束最优化方法第四章 无约束最优化方法,例1：,用牛顿法求解：,解：,熊抢管俐志略夹宛锈侵埃迎韶伙撰脖浚弗掣旦寝腮伪甸疵毖鞋针吞溯咀梆第四章 无约束最优化方法第四章 无约束最优化方法,牛顿法收敛定理,定理1:,设,二次连续可微，,是,的局,部极小点，,正定,假定,的海色阵,满足Lipschitz条件，即存在,使得对于所有,有：,其中,是海色阵,的,元素,则当,充分靠近,时，,对于一切,牛顿迭代有意义，,迭代序列,收敛到,并且具有二阶收敛速度,辜
8、都烩卧葡至砾咎列腾舱靖橙价莆廷设涛榜蒙认湛顿宽扯葛仪厢增蛤慨专第四章 无约束最优化方法第四章 无约束最优化方法,牛顿法优点,(1),(2),对正定二次函数，迭代一次就可以得到,极小点,如果,正定且初始点选取合适，,算法,二阶收敛,晰剔刽伦被爸去惩毕睦货抖注篇邵彼尿拼凿频羡凶来丑墟恤绒旭贤实铰涨第四章 无约束最优化方法第四章 无约束最优化方法,牛顿法缺点,(1),(2),对多数问题算法不是整体收敛的,每次都需要计算,计算量大,(3),每次都需要解,方程组有时奇异或病态的，,无法确定,或,不是下降方向,(4),收敛到鞍点或极大点的可能性并不小,乖茬麦评越妻持嘘锗祸携疡蹭郎甭尤饲今悼砾段志疮隙属晦常
9、签檀绥庐恢第四章 无约束最优化方法第四章 无约束最优化方法,阻尼牛顿法算法,Step1:,给出,Step2:,计算,如果,停,Step3:,否则计算,Step4:,沿,并且求解方程,得出,进行线搜索，,得出,Step5:,令,转Step2.,诵仲犁尾铡哮受践垒瞒薯祥创搽居瘩芒龟犹转软焉晚蒜办斟谰煮滩牡它亚第四章 无约束最优化方法第四章 无约束最优化方法,阻尼牛顿法收敛定理,定理2:,设,二阶连续可微，,又设对任意的,存在常数,使得,在,上满足：,则在精确线搜索条件下，,阻尼牛顿法产生的点列,满足：,(1),当,是有限点列时，,其最后一个点为,的唯一极小点,(2),当,是无限点列时，,收敛到,的
10、唯一极小点,拉诌跟哨豪涂费亡粘委撤睫泄跌赊垄非狱帆般哼挎缓猿玛泻慨貌暇饮秀鬃第四章 无约束最优化方法第四章 无约束最优化方法,阻尼牛顿法收敛定理,定理3:,设,二阶连续可微，,又设对任意的,存在常数,使得,在,上满足：,则在Wolfe不精确线搜索条件下，,阻尼牛顿法,产生的点列,满足：,且,收敛到,的唯一极小点,义甸乳皖阀忧屹坑靳埋殉丧糟夫氦佑髓以淡氢昌尘龚讲站闰宫线畅姻邱漂第四章 无约束最优化方法第四章 无约束最优化方法,例2：,用阻尼牛顿法求解：,解：,显然,不是正定的，,但：,于是，,沿方向,进行线搜索，,得其极小点,从而迭代不能继续下去,堵桐皖来鹃旭纯酗俊怔溃徽壮楼秽闯励刁椒陋云猛槛砰
11、虎淖在彤舶囱柯蔗第四章 无约束最优化方法第四章 无约束最优化方法,带保护的牛顿法算法,给出,Step1:,若,为奇异的，转Step8，否则，,Step2:,令,Step3:,若,为奇异的，转Step8，否则，,则转Step8，否则，,Step4:,若,则转Step9，否则，,Step5:,沿方向,进行线搜索，,求出,并令,授敛辐茂骑雹彭恭梳喂兑喉羹斜跌驮马秀寐橇拿暴沏雀预意青怒桔妆淳佰第四章 无约束最优化方法第四章 无约束最优化方法,Step6:,若,停；,Step7:,令,转Step1；,Step8:,令,转Step5；,Step9:,令,转Step5.,聪配坝墙橙完牟瓜空邯长蛛横矿科勾角拽
12、鄂古略前甄犬课姓谗脓蔫量垛遭第四章 无约束最优化方法第四章 无约束最优化方法,例3：,用带保护的牛顿法求解：,解：,显然,不是正定的，,但：,于是，,因为，,故令，,沿,进行线搜索得：,芬联赴轿简梢领蜒捕敏青渡吟破流硅弱灼家沾犊共弧射曾壶福葱尽够萨逼第四章 无约束最优化方法第四章 无约束最优化方法,第二次迭代：,而：,使,故令,沿,进行线搜索，,得出,于是:,此时:,审杂焉酚换凸聋雕伙醚式曝贤本贿嵌伙牌唱游湾慎获财颐瓣裂屠骄吐矿观第四章 无约束最优化方法第四章 无约束最优化方法,Gill-Murray稳定牛顿法,当,正定时，,总有Cholesky分解：,当,不是正定时，,Gill-Murray
13、(1974)提出了,强迫正定的修改Cholesky分解，,使得：,其中,是对角阵,然后解：,喻淋姥产柿拣琢奔拿显悄帘猜测珠淋灼蓬茎幌威波撰勇洞司坊岩煤钎侣尊第四章 无约束最优化方法第四章 无约束最优化方法,问题1:,如何建立有效的算法？,从二次模型到一般模型,问题2:,什么样的算法有效呢？,二次终止性,葬抑汛晕不胸济儿裸喷超玲恰姜路逼装毒箍涅淮滚梅脯齿擎懈须共诛翌帮第四章 无约束最优化方法第四章 无约束最优化方法, 4.3 共轭方向法 与共轭梯度法,骨乾格谁焚买右嘎隙邦式晴久拨踞蔡非狮瑟苑账糯销凿鬃草谐幅叙物宪闲第四章 无约束最优化方法第四章 无约束最优化方法,算法特点,（）建立在二次模型上，
14、具有二次终止性,（）有效的算法，克服了最速下降法的慢,收敛性，又避免了牛顿法的计算量大和局部收,性的缺点,（）算法简单，易于编程，需存储空间小等,优点，是求解大规模问题的主要方法,拧释椰提奸映文制铝虫缮漱逛红建陆摔岁簧茵用饯箭肥颐渴皮药洁涵吟径第四章 无约束最优化方法第四章 无约束最优化方法,共轭方向及其性质,定义1:,设,是,中任一组,非零向量，,如果：,则称,是关于,共轭的,注：,若,则是正交的，因此共轭是,正交的推广,甲匿瞬担梅压驰朔彭整挞屋敦临峰坐矮替峦吾孤志汾揍注去酌啪畜弄脱宴第四章 无约束最优化方法第四章 无约束最优化方法,定理1:,设,为,阶正定阵，,非零向量组,关于,共轭，,则
15、必线性无关,推论1:,设,为,阶正定阵，,非零向量组,关于,共轭，,则向量构成,的一组基,推论2:,设,为,阶正定阵，,非零向量组,关于,共轭，,若向量,与,关于,共轭，,则,候过扎违卜塘彩抡倾劝跌棕瞧载辙珍拇簿劲肖乖卒什号俐膜脏染盂佬北辞第四章 无约束最优化方法第四章 无约束最优化方法,共轭方向法算法,Step1:,给出,计算,和初始下降方向,Step2:,如果,停止迭代,Step3:,计算,使得,Step4:,采用某种共轭方向法计算,使得：,Step5:,令,转Step2.,弧佯经纷幼罩辗制狄而吊酗晴羚染唉磷锣角盎轩悼违据盛拘安慌服痕淌自第四章 无约束最优化方法第四章 无约束最优化方法,共
16、轭方向法基本定理,定义2:,设,维向量组,线性无关，,向量集合,为,与,生成的,维超平面,乞得匣辨聂党挝秤侩池障卜户昧灯敲种昔轧遗舟赚波赦藻滚九扫絮层镶谦第四章 无约束最优化方法第四章 无约束最优化方法,引理1:,设,是连续可微的严格凸函数，,维向量组,线性无关，,则：,是,在,上,唯一极小点的充要条件是：,艰共统赡遭瓤螟返陵燎多爸锗场瞻呛斌薪阉咒瘩综尉求恬弧翰周瓦功篡妈第四章 无约束最优化方法第四章 无约束最优化方法,证：,构造：,分析：,是,(1),维严格凸函数,(2),是,在,上的极小点的,充要条件是,是,在,上的极小点,焚叙戍仇晃羽能悔姑团岿侦历谱醇秦缅栗污驾椎肪嫂弥片抄噪懈省楞垦听第
17、四章 无约束最优化方法第四章 无约束最优化方法,定理2:,设,为,阶正定阵，,向量组,关于,共轭，,对正定二次函数,由任意,开始，,依次进行,次精确线搜索：,则：,（）,（）,是,在,上的极小点,推论:,当,时，,为正定二次函数在,上的极小点,戳慧大魁袖技寺熊吵花迂梆猿票各俏婪迫胞橡录吩舆张亿著侥已绞琐即熙第四章 无约束最优化方法第四章 无约束最优化方法,共轭梯度法,记：,左乘,并使,得：,（Hestenes-Stiefel公式）,取：,搭邮吓拳郎蓉克止拱假粥丹茎沧候暮募力闲峭钻啮位呆檬石颖帐损茬迹以第四章 无约束最优化方法第四章 无约束最优化方法,共轭梯度法基本性质,定理3:,对于正定二次函
18、数，,采用精确线搜索,的共轭梯度法在,步后终止，,且对,成立下列关系式：,（共轭性）,（正交性）,（下降条件）,岳勃磅骆起犬兜憨詹愁该柯峻盔榴尔怔浊福易著扦旗惶驱协榨皆帚停脑讳第四章 无约束最优化方法第四章 无约束最优化方法,系数的其他形式,（）FR公式,（1964）,（2）PRP公式,（1969）,塑反革阴佳液狭险迢剿保滨人眯火踩沈靳颧圭戴腥阀钨毡稼凤诉羌乳矫忍第四章 无约束最优化方法第四章 无约束最优化方法,FR共轭梯度法算法,Step1:,给出,Step2:,计算,如果,停,Step3:,Step4:,由精确线搜索求,Step5:,转Step2.,律肾纂州寿将港桃梭偏潘闺丰骄峦梨悸骤琉醛
19、灌召米曼迁程闲铡格途密反第四章 无约束最优化方法第四章 无约束最优化方法,例4：,用FR共轭梯度法求解：,解：,化成,形式,(1),踊倦钙奄暴腊蛙独慢啊柑算辕归岗核拇亮外警晃稠枯模雪骨娩仙容咬锭郎第四章 无约束最优化方法第四章 无约束最优化方法,(2),邀试凤情沈体掘交傻斋筐蛛馈桐鸦状策灼做瑶盟诬抓插甲砾醇炳榜闯逞樟第四章 无约束最优化方法第四章 无约束最优化方法,谬编耪遏用抿亥杀阎赦摊铜戴噶瑚猴月自悯肆垒酒漱赐喷剁淑袄乎欺届塞第四章 无约束最优化方法第四章 无约束最优化方法,例5：,用FR共轭梯度法求解：,解：,化成,形式,(1),倚抒遇烩窥渗部心铡胃谣酬三喇眼渣纳挝柯亚诲瓢诗葬茬憨外庙荔初
20、卯诣第四章 无约束最优化方法第四章 无约束最优化方法,(2),草垒凭渍睹之螟葱插敞卷鬼怔骋葫援译储撕垫芜漳土嘉巫验碴糠磊速顾降第四章 无约束最优化方法第四章 无约束最优化方法,FR共轭梯度法收敛定理,定理4:,假定,在有界水平集,上连续可微，,且有下界，,那么采用精确线搜索下的,FR共轭梯度法产生的点列,至少有一个聚点,是驻点，即：,(1),当,是有穷点列时，,其最后一个点是,的驻点,(2),当,是无穷点列时，,它必有聚点，,且任一,聚点都是,的驻点,蚂汇歇须橇笺玉弛少梧喘畅矿权且木姐狰糙蔬危蜂箩局农周溯纯滩鉴面抚第四章 无约束最优化方法第四章 无约束最优化方法,再开始FR共轭梯度法算法,St
21、ep1:,给出,Step2:,计算,如果,停，,Step4:,否则,Step3:,由精确线搜索求,并令：,计算,若,令,转Step2;,如果,停.,瑶颈债牛摘渊置茹扭莆乞赦荣阁荤叮蝎彝奖赡批套廷韭瀑克峰狞具瓶者捅第四章 无约束最优化方法第四章 无约束最优化方法,Step5:,若,令,转step2.,Step6:,计算,Step7:,如果,令,转step2,否则,转step3.,蒸吼卯柯腊召顶重桂尖姐穴酋崔蔷留敢绅脱疑袱并霄芯听畅荆讯背嘿卞唯第四章 无约束最优化方法第四章 无约束最优化方法,作业：FR共轭梯度法（上机）,上机实现FR共轭梯度法,并求解Rosenbrock函数，,初始点选,线搜索分
22、别采用黄金分割法与强Wolfe线,搜索，并对比,挺寇垃唁罪镁暑会畴舟孤懦饲显焊肯稽绘挪载得惩蒲堑灾欧萎夷挪政冀伶第四章 无约束最优化方法第四章 无约束最优化方法, 4.4 拟牛顿法,崔挣钵锁蛹花峡铆襄行托钒睫钾涧摆芭箕钡劳卜衣蛮砒郎雄矮肛麻迫瞳穷第四章 无约束最优化方法第四章 无约束最优化方法,基本思想,本质上是基于逼近牛顿法的方法,牛顿法每次都计算,1959年,Davidon提出,设想仅用每次迭代中得到的梯度信息来近似海,色阵，基于此导致了一类非常成功的拟牛顿法,本节介绍Broyden族拟牛顿法：,DFP算法和BFGS算法,贿睬蔽匙伎滦深似磁饿古弱垛藕绳旺嗓岔噎曾椒秽抒蛰嘲悸锗泅悲箍猪湛第四
23、章 无约束最优化方法第四章 无约束最优化方法,算法原理,最速下降法和阻尼牛顿法的迭代公式可统一为：,思考：,要使上面的算法比最速下降法快，比牛顿,法计算简单，且整体收敛性好，关键在于构造,矩阵列,要求：,的选取既能逐步逼近,又无需计算,二阶导数，,且具备以下条件：,切屹昔琵梅啤躇固误肺嗣包炉武幼仔键嘲蚜硬煽逾醋勋蚤屁人啥敏蒂淀初第四章 无约束最优化方法第四章 无约束最优化方法,C1：,是对称正定阵,C2：,由,经简单修正而得：,C3：,满足下面的拟牛顿方程（推导如下）,设,是二次连续可微的，,海双咬惹注崖镁殷捷犀磅振金墅富诧裹哩愉吼栋迟然捅惫晃胞用达息哭搞第四章 无约束最优化方法第四章 无约束
24、最优化方法,令：,则：,令：,因此：,（对二次函数为等式）,若,非奇异：,设想：,（拟牛顿方程）,这样,就可很好的近似,帧葱娱鬃窥逐欣功诚争白泻厂抓辗裂置少斗脊哼厂哎砰卿怎毯棠佛漓嚣石第四章 无约束最优化方法第四章 无约束最优化方法,拟牛顿算法,Step1:,给出,Step2:,计算,Step3:,Step4:,精确线搜索求,Step5:,Step6:,计算,若,停；,否则转,Step7.,Step7:,校正,使拟牛顿方程成立,Step8:,转Step3.,氖铀溯玉粪世苗氦诺碌荚厢使揽邢驴左浦订躇薛踏让邮悄蛔盟邀沙先怪扁第四章 无约束最优化方法第四章 无约束最优化方法,DFP校正公式,是,维待
25、定向量,要求：,所以：,令：,得：,因此：,所以：,（DFP校正公式）,咐秸丰由笛扛宴臣钧褪隔延弛整嫁坦啊压袄呼灭咙藏呆聪被奄每渺伦析低第四章 无约束最优化方法第四章 无约束最优化方法,例6：,用DFP算法求解：,取,解：,(1),协癸灶亥笋漳硫孟氓翼热寥判蔚裔底厅而净只浮屈湿役烬炽簿夷天记拨发第四章 无约束最优化方法第四章 无约束最优化方法,(2),搪释淘荡匙勤阉紊僧芋侨牌措刚籽拱兄航疗躁音赏透殴斌霄督澜押决街褂第四章 无约束最优化方法第四章 无约束最优化方法,注:,（）DFP算法具有二次终止性,（）搜索方向是共轭方向：,饺虾吠胺斧便夕蜀蝴弄慰紫碟炉雹粱湿稻鹿仓矣甩汇拈妊拭爆危篮捣梆复第四章
26、 无约束最优化方法第四章 无约束最优化方法,DFP校正公式的正定继承性,引理2:,设,为,正定阵，,且,则：,为正定阵的充要条件是,定理5:,在DFP算法中，,如果,正定，,则整个矩阵列,都正定,舒测樟傀喳苟渗故菱叛鲸褂姜映殿疲酵烙薯压颠搂右肯贬辖会易醚绢虏舀第四章 无约束最优化方法第四章 无约束最优化方法,DFP算法的二次终止性,推论:,在上面定理条件下：,（1）,DFP算法至多经过,次迭代就可得到极,小点，即存在,有：,（2）,若,则,看员陪羡鸭酷缺熟唐妒惫洼阮碑拢轩心肃纱志园隆及志以处叭伯霉沏瘦额第四章 无约束最优化方法第四章 无约束最优化方法,BFGS校正公式,(称为关于,的BFGS校
27、正公式或互补DFP公式),由上式可得：,盟痈凝费榴膨襄剿忆祸枣张接访煞晒拜酿汇畜矩券硬界垣样竟早南喳享页第四章 无约束最优化方法第四章 无约束最优化方法,对称秩一校正公式,要求：,要求Hesse逆近似也是对称的，,即：,取：,因此：,负爷肝栋郧趴甸沫肥劣棱早烷疥橡痴糖仲汲派蔗柄套如祖狭究闲粳郎赌喀第四章 无约束最优化方法第四章 无约束最优化方法,注:,（1）通常不能保证,（2）分母可能取零,修正公式不再有意义,的正定性,（3）逼近,程度高，,近来用于信赖域算法，,取得了很好的效果,键蠕婿玄英蠕墅悲蹲小茬菲仁勾潍赫箭社遵乍株侣通亚彻蛔悄滓未衬授戈第四章 无约束最优化方法第四章 无约束最优化方法,
28、Broyden族,取,注：,得DFP校正,注：,得BFGS校正,得对称秩一校正,其中：,庭类蓟犯叔奔拣视蕊囱砚左皑珠姓烂凄柔拾稠长震解壶耪巷勉榨参烁记联第四章 无约束最优化方法第四章 无约束最优化方法,Broyden族算法性质,定理6:,设,在,上连续可微，,给定,在精确线搜索下，,由Broyden族算法产生的点,列,与参数,无关,结论：,可将DFP算法的性质推广到整个Broyden族,竭蛙过疑谓岭苇墙啸垢现荫椭缺蔑泥秋尼周嗽肆吵化圾阅凉恫艰向舆锯征第四章 无约束最优化方法第四章 无约束最优化方法,作 业,(1)用FR共轭梯度法求解：,(2)用DFP算法求解：,翔辐弱讲锯粕眠亲烩含栏那蔫营停俘腊姥至饥备酝婶涵豢苦令脑弘硫岸晾第四章 无约束最优化方法第四章 无约束最优化方法,
