1、21第 3 章 无约束最优化方法 无约束最优化问题： ，)(minxfnR 方法：迭代法 拟 牛 顿 法牛 顿 法 ， 共 轭 梯 度 法 ，解 析 法 ： 最 速 下 降 法 ， 换 法方 向 加 速 法 ， 单 纯 形 替直 接 法 ： 步 长 加 速 法 ， 直线搜索： )()(minkktpxft直线搜索方法：黄金分割法，抛物线插值法，平分法3.1 直线搜索一、黄金分割法二、平分法问题：设 ， ， ， ，并给出Cxf)(ba0)(af 0)(bf精度 .求近似极小点和极小值。基本原理：在 内 有极小点 ,且 . 令,ba)(xf*x0)(*xf,若 ,则在 内 有极小点 ,将)(21b
2、ac0)(cf ,ca)(f的右边一半去掉 ,得新的搜索区间 ;若 ,则在, ,)(cf内 有极小点 ,将 的左边一半去掉,得新的搜索区,c)(xf*xb间 。b计算步骤221令 ；)(2bac2若 ，则转 4，否则； 3计算 ，若 ，则转 4； )(cf 0)(cf若 ，则 ，转 1；0a:若 ，则 ，转 1；)(cf cb4令 ，停止。x*注：若满足条件的 尚未得到，则可按以下步骤确定：,a首先任取一点 ，指定步长 。0x0x1计算 ，若 ，则 ，停止； )(f)(0f 0*x若 ，则转 4；若 ，则；0x)(0f2令 ； 13若 ，则 ，停止； )(xf 1*x若 ，则令 ， ，停止；0
3、10:a1:xb若 ，则令 ，转 2；)(xf 1x4令 ；015若 ，则 ，停止； )(xf 1*x若 ，则令 ， ，停止；1:a0:xb若 ，则令 ，转 4。0)(xf 10x例：三、抛物线插值法233.2 最速下降法最速下降法，又称梯度法。是最古老的一种算法。在每次迭代中，沿最速下降方向进行搜索。迭代公式为： kkk kktkkptxtpxfftp1min:)(3.3 牛顿法设二次函数 的最优解 存在，用梯度法迭xbQxf TT21)( *x代一次即得最优解： 。由极值的必要条件，有*001pt)(*xf则 )()()(0100101* xfQxbQx若取 ，则 。)(10fp *1px
4、推广到一般函数 ，取 )()(1kkk xfGp其中， 为 在 处的海色矩阵。)(kxG)(fx一、牛顿法的基本思想： 在迭代过程中将 在点 附近按泰勒公式展开，取到二次)(xfk24项)()()()()( T21T kkkkkk xGxxfxfxf 以二次函数 的极小点作为 的极小点的第 次近似：f 10)()()( kkkxGxf得牛顿法的迭代公式：（*）)()(11 kkkk xfx特殊地，若 （一维） ， （*）式为Rx)(1kkkxf即为一维情形（一维搜索）的牛顿法的迭代公式。二、 牛顿法的步骤已知 及梯度 ，海色矩阵 ，给出精度 。)(xf)(xg)(xG1选定初始点 ，计算 ，
5、，令 ；0)(0f00g0:k2计算 ；若 ，则令 ，停止，否则；)(kkxk kx*3计算 ； )(kkxG4计算 ， ；1kgp15 计算 ；kkx16令 ，转 2。:三、主要结论定理：已知目标函数 及梯度 ， 正定，则由式)(xf0kgkG（*）确定的 为下降方向。kp25证明：由 正定，则 也正定。又 ，则有kG1k 0kg1TTkGpg则 为下降方向。kp例 1：例 2：3.4 共轭方向法与共轭梯度法（一）共轭方向法一、共轭方向定义 1：设 为 n 阶对称正定方阵，若对于 n 维空间中的两个Q非零向量 和 有， 和 正交，即 ，则称向量 和xyxy0TQyxx关于 共轭，或称 和 是
6、 共轭的。y推广：设 为 n 阶对称正定方阵，n 维非零向量Q满足kp,21，0Tjipjikji,21,即其中任何两个向量都是 共轭的，则称向量组 是Qkp,21共轭（向量） 。Q特殊：当 ， 共轭即为正交。I例：定理 1：设 为 n 阶对称正定方阵，非零向量组Q为 共轭，则此向量组线性无关。kp,2126二、共轭方向法1. 特点：第 次迭代时所取的方向 和以前各次迭代所取的方向kkp都是 共轭的。10,kp Q2. 性质设二次函数 ，其中 为 n 阶正定矩阵，cxbxf TT21)( Q， 为常数， 为初始点。nbxR,c0x定理 2：设 是 n 元二次函数 的极小点，方向* )(xf为
7、共轭， 是由共轭方向法产生的点列，则至多110,np Qkx迭代 n 次就能够达到极小点 。*（对于二次函数，该性质称为二次终止性）共轭方向的形成可以概括为以下定理：定理 3：设 1 二次函数 ， 为 n 阶正cxbQxf TT21)( Q定矩阵， 为初始点；0x2 ；,0)(fg0gp3 ； 1kkxls4 若 ，则确定方向 ：)(1f 1kpkkkkk QgpgpT11 ,则 i) 都是下降方向 ;k,10 ),2,(nii) 是 共轭的;p 11iii) , ;T1ikgki,027iv) , .0T1ikgki,1(二) 共轭梯度法一、系数 的其它形式k1. 对于上述二次函数, 由 ,
8、 得bQxg)(kkkkk ptg 11（由 3： )kkptx1则有SW 共轭梯度法kkkgpg1T2. 由 ， ，得0T1kg0T1k kkkk gpgpTT1（由 4： ）kp11则有FR 共轭梯度法21T1kkk gg3. PRP 共轭梯度法kkkT1二、最佳步长 的计算公式kt由 kkkkkk QptgbptxQbxg )(11有2801 kTkTkTk Qptpg得最佳步长 ：kt kkpgtT三、FR 共轭梯度法的步骤（适用于一般非线性函数，包括二次函数）已知初始点 及收敛精度 。0x1计算 ；若 ，令 ，停；否则)(g0g0*x2令 ， ，转 6:k00p3按 FR 公式计算：
9、，21kkgkkkpgp114令 ，若 ，转 8；否则:kn5若 ，转 8；否则0kTpg6作线搜索： ),(1kkpxls7计算 ；若 ，则令 ，停；否)1k 1g1*kx则转 38令 ， ， ， ，转 6；kx0kg000p:k例：试用 FR 共轭梯度法求下列函数291212123)( xxxf 的极小点 ，取初始点 。*xT00(解：3.5 步长加速法3.6 方向加速法（Powell 法）方向加速法，又称 Powell 法，是无约束最优化的直接方法之一。一、基本思想：在迭代过程中的每个阶段都作 n+1 次线搜索。首先，依次沿给定的 n 个线性无关的方向 作线搜索，再沿由np,21这一阶段
10、的起点到第 n 次搜索所得点的方向 作一次线搜索，把这次所得的点作为下一阶段的起点。下一阶段的 n 个搜索方向。ppn,2二、步骤设 的极小点 的初始近似为 ，控制误差为 。取 n 个)(xf*x)0(x30线性无关的方向 ， 是第 个分量为 1 的单位向量。ne,21 jj1 ， ；0:kjpj ,12 ， ；j )()0,(kkx3作线搜索： 1),(1),( minjjkjjj pxfpf 令 1),()1,( jjjkjkx4令 ；:j5若 ，则转 3，否则；n6 ；)0,(),(kkxp7作线搜索： pxfpf nkn ),(1),( mi令 xkk),()1( 8若 或 。则转 1
11、0，否则；)()1(kx )(1kxf9令 ，,2,1njpjj （可略） ， ，转 2；n 1k10令 ，停.)1(*kx例：设 ，初始点为 . 1212214xf Tx1)0(试用 Powell 法求 的极小点 。)(x*解：1. 第一次迭代, .0:k(1) ；取 .)0()0,(x TTpp10,1234)(4)(2)1( ,221),( ff(或 ) ( 为常数)1c1令 得 . 于是得04212131TTTpx 1301211)0,()1,0( (2) ( 为常数)2222)1,0(2 34)(39 ) , cfpxf 令 得 . 于是得041 21 TTTpx 5.13032)1
12、,()2,0(3) ；p5.)0,()2,0( cfxf 2.)21 ,),(3令 得 . 于是得025 52*Tpx78.3*),0()1(2. 第二次迭代, .1:k(1) 起点 ；取 .)()0,1(x TTp502,101 1),(1 8)7. ,83( cfpf 令 得 . 于是得08.4 21Tx9.11)0,()1,(2) 222)1,(2 4.05.).0. ,28.3( cfpxf 令 得 . 于是得04.51 0Tpx94.1632)1,()2,1( (3) ；Txp4.6.)0,(),(令 得 . 于是得 .0341* Tpx2*)2,1()2( , 则)(2xf Tx*
13、323.7 最小二乘问题的解法一、最小二乘问题多参数曲线拟合问题：确定函数，),;,(121nlxttFy其中，参数 待定。nx,1问题：已知 个实验点： ，)( m miyttilii ,1,;,)()()(2)(1 试确定 个参数 ，从而建立回归方程。nnx,1解：首先得到“偏差” （或距离）： 21121()()() ()(,),;,miii in l niSxFttxy 原问题转化为： ，求出1(,)nSx 1*,n33回归方程： 121*(,;,)lnyFttx 上述方法称为最小二乘法。简记： 121 1()()() ()(),;,iii ii l nfxttxym Tnff则上述问
14、题转化为或 （*）miixfxff12T)()(min 2in()fx式（*）称为最小二乘问题的一般形式；当 是线性向量函数时，)(f称为线性最小二乘问题；否则称为非线性最小二乘问题。二、最小二乘法1. 线性最小二乘问题（1）线性最小二乘问题如下：（*）2minbAx其中， 是 矩阵， 是 维向量。Anb（2）预备引理引理 1：对任意 矩阵 ，则 都是半正定的。mAT证明：对 ， 。nvR0)(Tvv引理 2：设 是 矩阵，则 正定的充要条件是 为列ATA满秩的，即 。n)rak(引理 3：设 是 矩阵，则 正定的充要条件是 为行mTA满秩的，即 。A)ra(推论 1： 正定 非奇异。 （因为
15、特征值 ）T034（3）主要结论定理 1： 是线性最小二乘问题（*）的极小点的充要条件是*x是如下方程组的解：*x bAxTT上式称为法方程组。证明：令 bAxbAxxs TTTT2 )()()( ，)(2)(xss2)(则 是可微凸函数。由性质知， 是极小点的充要条件是)(xs *x即0*bAxT*T推论 2：设 为列满秩，则nmAxT1)(是（*）的唯一全局极小点（称为最小二乘解） 。例：2. 非线性最小二乘问题35第 4 章 约束最优化方法4.1 最优性条件（一）等式约束问题的最优性条件一、等式约束问题（1）,1 ,0)( .minljxhtsfj 二、最优性条件定理 1：（一阶必要条件
16、）假设（1） 为等式约束(1)的局部极小点；*x（2） 在 的某邻域内连续可微；1n:),1(, Rljhf *x（3） 线性无关。)(,(),*2*1 hxl36则存在 使得R,*21l（*）0)()(*1*xhxfjljj其中，引入的 Lagrange 函数 )()(),(1xhxfxLjlj定理 2（二阶充分条件）假设（1） 是二阶连续可微函数；1n:),1(, Rljhf （2）存在 与 使得nxR*ll,T*21*（即式（*）成立）0)(xL（3）对于满足 ljvxhj ,1 ,)(T*的任意非零向量 ，都有v0),(*2TvxL则点 是问题(1)的严格局部极小点。*x注：称 为 处
17、的切子空间，即,1 ,0)(TljvxhvTj x各个切平面交集上的点的集合。上述不等式即为 Lagrange 函数的海色矩阵在切子空间 上正定。T例：（二）只含不等式约束问题的最优性条件一、不等式约束问题37（2）,1 ,0)( .minmixstfi 记容许域 。, ,xDi 二、几何最优性条件1. 容许方向定义 1：设 （容许点） ，若 ，则称 为Dx0)(xsi 0)(xsi的起作用约束；若 ，则称 为 的不起作用约束。x0)(si i注：1） 在起作用约束的边界上；x2）等式约束 都是起作用约束。0)(hj例：定义 2：设 ，对于非零向量 ，若存在 ，nDxRnpR0使对 ，均有),
18、0(t Dtpx则称方向 是点 的一个容许方向。px性质 1（容许方向的必要条件）：若 是容许点 的任一容许x方向，且 （ ）在点 处可微，)(xsi ,1 ,0)(mixsIii （ ）在点 处连续，则对点 的所有起作用约束 ，)(siI )(xsi，均有I（锐角关系）0)(Tpxsi证明： 由 是容许方向，则存在 ，对 ，均有p),0(t)(txsi38由 及泰勒公式：0)(xsi )()()()( topxstxstpxsiii T有 0)(lim)()(lim)( 00T txstxsxspxs itiiti证毕性质 2（容许方向的充分条件）：设容许点 的起作用约束x（ ）在该点处可微
19、， （ ）在该点处连续，且)(xsiIi)(xsiIi方向 满足：p，0)(Tpxsi Ii则 是点 的一个容许方向。x证明：由泰勒公式： )()()()( Ttopxstxstpxsiii 1）考虑 情形. 由 ，即 是 在点 处I0i xsi的上升方向，则存在 ，使对 ，均有0i),(it)(xstpxsii2）考虑 情形.由函数的连续性Ii0)()(lim0 xstxsiit从而存在 ，使对 ，均有i,i0)(tpxsi综上，取 ，当 时，对所有的 均有0in1im, i，即)(txsi Dtx于是 是点 的一个容许方向。px39证毕2下降方向定义 3：对容许点 的任一方向 ，若存在 ，
20、对xp0，均有),0t)()(xftxf则称方向 是 的一个下降方向。px性质 3 设 在点 可微。1n:Rfx1 为下降方向 （必要条件）0)(Tpf2 为下降方向（充分条件）0)(Tpxf证明类似于容许方向的证明。定义 4：若方向 既是点 的容许方向，又是下降方向，则称x它是 的容许下降方向。x定理 3（几何最优性条件）：设 是非线性规划（2）的一个局*x部极小点，目标函数 在 处可微，且)(xf*1 （ ）在 处可微；)(xsiIi2 （ ）在 处连续。i*x则在 处不存在容许下降方向，即不存在方向 满足*x p（* ）Iipxsfi ,0)(T*几何意义：满足（* ）的方向 与 处目标
21、函数负梯度方向的*x夹角成锐角，与 处起作用约束梯度方向的夹角也成锐角。*x例：40三、库恩塔克条件（Kuhn-Tucker）定理 4（KT 条件）：设 是非线性规划（2）的局部极小点，*x在点 处可微，且点 处的全部起作用约束)(,)(,1xsxsfm *x的梯度线性无关，则存在实数 ，使下述条件成立m,1（*）miixsxsfii iimi,21 ,0, ,)( 0)(*1 式（*）又称为库恩塔克条件（KT 条件） ，且满足该条件的点称为库恩塔克点（KT 点） 。推论 1：若 位于容许域 的内部且为（P）的局部极小点，*xD则 0)(*xf证明：所有约束都不起作用，则 ，则01m。0)(*
22、xf（即约束不起作用事实上是个无约束问题，由极值条件即得）下面考虑 位于容许域 的边界情形。*xD结论 1：若 是极小点，则 必与 在一条直线)(*1xs)(*xf上且方向相反，其中 为 的起作用约束（ ） 。)(1xs* 01s由结论 1，则存在 使得 。0)()(*xxf结论 2：若 ， ，则在极小点 处，)(*xs)(*2s必处于 1与 的夹角之内。)(*xf x41)(1xs)(*1xsD)(xf*x)(f由结论 2，当 和 线性无关时，存在*1xs)(*2xs使0,21 )()()( *2*1* xsxsxf 即 0)()()( *2*1* xsxsxf推广得 0)()(*xsxfi
23、Ii若再考虑不起作用约束，有 0)()(*1* xsxfimi其中，当 时 ； 时 ，即0)(*xsi i *i i0)(iixs定义 5：设 ，若在点 的全部起作用约束的梯度线性无关，Dxx则称 为正则点。x例：0)(1xs 0)(1xs)(*2)(*xf*D)(*1xs0)(2s42（三）一般约束问题的最优性条件考虑一般的非线性规划(NP) ：)(min xfs.t. （3）,1 ,0)(ljxhmisji 记 。R, ,0)( nji xljixsD 定理 5（KT 条件）：设 是（NP ）的局部极小点，*x在点 处可微，且点 处的全)(,)(,)(, 11 hxsxsf lm *x*x
24、部起作用约束的梯度线性无关（即 是正则点） ，则存在实数*，使下述条件成立lm,11（*） miixs xhxsfii ljjjmiii,21 ,0, ,)( 0)()(* 1*1* 式中， 称为 Lagrange 乘子。lm,11例：（四）凸规划问题的最优性条件凸规划问题：)(min xf43s.t. （4）,1 ,0)(ljxhmisji 其中， 是可微凸函数， 是可微凹函数，)(xf isi , ,是线性函数。ljhj ,1 ,定理 6（凸规划的极值）：若 是凸规划（4）的 KT 点，则*x为全局极小点。*x例：4.2 Zoutendijk 容许方向法容许方向法是从已知容许点 出发（设
25、不是 KT 点） ，沿kxkx容许下降方向 作直线搜索，从而获得一个改进了的容许点 。kp 1kx（一）线性约束的情形线性约束最优化问题（1） .)(mindCxbAtsf其中， 是 矩阵， 是 矩阵， 是 维向量， 是 维Anmnldl44向量， 是可微函数。1n:Rf一、下降容许方向的确定1. 容许方向的确定定理 1：在约束问题（1）中，假设i） 是容许点；xii）不妨设 ， 使得Ab（起作用约束） ， （不起作用约束）bxA x则非零向量 为点 的容许方向向量的充要条件是px， （2）0pAC证明：（必要性）设 为点 的容许方向，即存在 ，x0使对 ，均有),0(t，btpxA)( dt
26、pxC)(又有 ， 代人上式，即有（2）成立。bxAdC（充分性）设 满足(2)。01对点 的所有起作用约束及 ，均有x0tbtpAxtpA)( dtCxC2对点 的所有不起作用约束 ，则存在 ，使对bx 0，有),0(ttpxA)(综上，对于上述的 ，当 时， 是容许点，故0,0tpx45是点 的容许方向。px证毕注 1：对点 的起作用约束 ，令xbxA，0)(s T)(As则由容许方向的必要条件，有（锐角或直角关系）)(Tpxsp2. 容许下降方向的确定寻找容许下降方向 的问题转化为：（LP） 成 立)2( .minTtspxfz（因为 时， 为下降方向）0Txf为保证目标函数有界，或规定
27、i） ；njpj ,1 ,ii） ；2Tiii） ；1njjpiv） 。)(Txf于是确定容许下降方向 的线性规划为：ppxfzT)(mins.t. （3）epCA-0其中， 。1,1e46注 2：因 0 是（3）的容许解，则 ；若 ，则0minz0inz最优解 就是点 的一个容许下降方向。*px二、直线搜索从点 出发，沿容许下降方向 作直线搜索，即x*p*)(min)(txtpxfft为保证点 仍是容许点，直线搜索为x )(in*tpxfts.t. 0 )( *tdpxCbtA又由（2）和已知：， ， ，0pACbxAdCx点 的起作用约束是多余的，问题化简为xs.t. 0 )(min *t
28、bpxAtft令（因 ）0,T21 uubxA bxAvvp1当 时，约束恒成立，则 的上界 ；0vtt472当 时， ，取上界0v)0(iii vtuiivutmin1ivut从而有直线搜索：（4）tpxft 0 s.)(in*其中 0 0min ,1 vvuti当， 当三、迭代终止准则定理 2：在约束问题（1）中，假设i） 是容许点；xii） ， 使得 ， ；AbbxAbxiii） 和 的行向量线性无关（即起作用约束的梯度线性无关）C；iv） 是线性规划（3）的最优解。*p则点 为 KT 点的充要条件是 。x 0)(*Tpxf四、算法已知目标函数 及其梯度 ，终止限 。)(xf dCbAxf,),( 1) 选定初始点 ，令 ；00:k482) 将 分解为 和 ，相应地， 分解为 和 ，使AkkAbkb， ， 的维数为kbx kx3) 求解线性规划 pxfzkT)(mins.t. epCA-0得最优解 。kp4) 若 ，则 ，停；否则，计算kxfT)( kx*，kbAu kpAv5) 若 ，则作直线搜索 ；否则计算0v ),(1xlsx0min1ivut并求解 tpxfkt 0 s.)(in得最优解 ；计算kt kkktx16) 令 ，转 2）:例：求 2121221 64)(min xxxf 49s.t. 052211xx初始点 。T0)(x 6244)( 121 xxf
