1、11. 非线性规划我们讨论过线性规划,其目标函数和约束条件都是自变量的线性函数。如果目标函数是非线性函数或至少有一个约束条件是非线性等式(不等式),则这一类数学规划就称为非线性规划。在科学管理和其他领域中，很多实际问题可以归结为线性规划，但还有另一些问题属于非线性规划。由于非线性规划含有深刻的背景和丰富的内容，已发展为运筹学的重要分支，并且在最优设计,管理科学,风险管理,系统控制,求解均衡模型,以及数据拟合等领域得到越来越广泛的应用。非线性规划的研究始于三十年代末,是由 W.卡鲁什首次进行的，40 年代后期进入系统研究，1951 年 H.W.库恩和 A.W.塔克提出带约束条件非线性规划最优化的
2、判别条件,从而奠定了非线性规划的理论基础,后来在理论研究和实用算法方面都有很大的发展。非线性规划求解方法可分为无约束问题和带约束问题来讨论，前者实际上就是多元函数的极值问题，是后一问题的基础。无约束问题的求解方法有最陡下降法、共轭梯度法、变尺度法和鲍威尔直接法等。关于带约束非线性规划的情况比较复杂，因为在迭代过程中除了要使目标函数下降外，还要考虑近似解的可行性。总的原则是设法将约束问题化为无约束问题；把非线性问题化为线性问题从而使复杂问题简单化。求解方法有可行方向法、约束集法、制约函数法、简约梯度法、约束变尺度法、二次规划法等。虽然这些方法都有较好的效果，但是尚未找到可以用于解决所有非线性规划
3、的统一算法。1.1 非线性规划举例库存管理问题 考虑首都名酒专卖商店关于啤酒库存的年管理策略。假设该商店啤酒的年销售量为 箱,每箱啤酒的平均库存成本为 元,每次订货成本都为 元。如果补货AHF方式是可以在瞬间完成的,那么为了降低年库存管理费用,商店必须决定每年需要定多少次货,以及每次订货量。我们以 表示每次定货数量,那么年定货次数可以为 ,年订货成本为 。由于平QQAQA均库存量为 ,所以,年持有成本为 ,年库存成本可以表示为:22HFC)(将它表示为数学规划问题:minQHA2)(.ts0Q其中 为决策变量,因为目标函数是非线性的,约束条件是非负约束,所以这是带约束条件的Q非线性规划问题。数
4、据拟合问题 假设一年期国债利率在市场中的波动符合下述模型2321nnnRR其中 表示一年期国债利率在周期 开始时的利率,误差 服从 。利率的历史观nR ),0(2N察数据为:表 :一年期国债利率历史样本数据1.91 2 3 4 5 6 7 8 9 10 11 12 134.28 4.14 3.85 4.07 4.18 4.66 4.51 4.54 4.59 4.48 4.47 4.47 4.72利用最小二乘法估算 3,21,i由于在周期 回归误差的平方为t,23212 )( ttttt RReN,.54比如说,当 时,4t2 8.4.85.307.总回归误差为 Nte422我们需要求解下述数学
5、规划问题:min Nt tttt RRe4 23212 )(.ts3,),ii其中 为决策变量,显然,这是无约束非线性规划问题。i321,投资组合管理问题 假设首都基金管理公司拥有大批量股票 ,并且希望在未来的S天中将其全部卖出。股票 在未来 天的总期望价值为:NSNttqpV1)(其中, 是基金公司在第 日卖出股票 的数量, 是在 日股票tq,.21,SNtp,.21,t的平均价格。同时,我们假设价格 具有下述动态特性:Stptqtt ,.,1那么基金管理公司应当如何确定股票 每日卖出数量?S很显然,不同的卖出方案,基金管理公司获得的收益是不同的。所以目标函数是最大化股票 的总期望价值。约束
6、条件为 日内卖出数量之和应当等于总持有量 ,价格动态特征,SNS3以及每日卖出数量大于等于零。我们可以把它表示为最优化问题:maxNttqpSV1)(.tsNtqpStt,.21,0,3其中 , ,这是目标函数为非线性函数,约束条件是线性等式约束条件的非线性tqN.21规划问题。生产管理问题 首都电器制造厂生产二款电视机, 和 。已知电视机 每月最大ABA的销售量为 台,电视机 每月的最大销售量为 台。工厂采用随销售量增加而递减销50B40售价格的定价方式对电视机进行定价,那么单台电视机的利润是随着销售量的增加而递减。我们分别以 和 表示电视机 和 的月销售量,那么电视机 的销售收入可以表AX
7、AB示为: 2)501(30AAX它说明第一部 型电视机的利润为 元,最后一部(第 500) 型电视机的利润为 元。150电视机 的销售收入可以表示为:B2)42BB电视机的生产受到下下述条件限制:装配工时限制:每月最多可供使用的工时是 小时,而装配一台电视机 需要)1( 10A工时,装配一台电视机 需要 工时。2机器加工能力限制:每日最多可供使用的机时是 小时,加工一台电视机 需要)( 35机时,加工一台电视机 需要 机时。1B3那么,如何决定每种电视机的月产量,使月销售收入最大。如果我们以二款电视机的月销售收入之和作为目标函数,则电视机生产管理的最优化问题被表示为: max 225.0.0
8、BBAXXS4.ts0,4513202BABAX这是目标函数为二次可分离函数,约束条件为线性不等式的非线性规划问题。1.2 非线性规划模型现在,我们非线性规划问题的应用进行归纳,建立非线性规划通用数学模型。非线性规划的数学模型可表示为: )(minxfX)1.(其中: 是具有 个自变量的连续 (通常存在一阶导数)函数; ,是 的子集Rfn:n nRX合。通常称 为非线性规划问题 的可行域,如果 ,则非线性规划问题 就变X1.(n)1.(为无约束条件的非线性规划问题;如果 ,则非线性规划问题 为带约束非线性规nRX)1.(划问题。如果点 ,则称 为可行点。称 为非线性规划问题 的目标函数,使x)
9、(xf ).(在可行域 上达到最小值的点 为最优解( 极小点),对应的目标函数值 为最优)(fX* )(*xf值(极小值) 。如果 是线性函数并且 是 维空间中的单纯形,非线性规划 就变成)(xfXn1.了线性规划问题。我们通常将非线性规划和线性规划区别对待,非线性规划的求解方法比线性规划复杂许多。为了方便讨论,我们定义带约束条件的非线性规划的标准模型如下: min)(xf.ts.,21,0)(sjgmihji )2.1(其中: 和 都是连续,可导函数。第一组约束, 称Rhni:nj: mixhi,.21,(为等式约束;第二组约束, 称为不等式约束。非线性规划模型 的可行sjxj.)( )域可
10、以表示为: ,.21,0)(,.2,10)(| sjxgmihXjin 不难看出,带约束非线性规划模型 的可行域是 的子集合,所以它也是非线性规划模型.nR5的一个特例。)1.(我们将根据非线性规划的标准模型 ,给出非线性规划解的定义。)1.(定义 1.1 设 , ,Xx*nRf:如果 ,并且存在 的邻域 使得:)1( *x 0,|:|)(* xRxNn)(ff)(X则 是非线性规划 的局部最优解或局部极小点,称 是非线性规划 的局部最*x)1.( *xf )1.(优值或局部极小值。如果 ,并且存在 的邻域 使得:)2(X*x 0,|:|)(* RNn)(ff)(xNXx则 是非线性规划 的严
11、格局部最优解或严格局部极小点,称 是非线性规划*x)1.( *f的严格局部最优值或严格局部极小值。)1.(定义 1.2 设 , ,Xx*nRf:如果 ,使得: ,则 是非线性规划 的全局最优)( )(*xX*x)1.(解或全局极小点,称 是非线性规划 的全局最优值或全局极小值。)(*xf1.如果 ,使得: ,则 是非线性规划 的严格全局)2(X)(*xff *x).(最优解或严格全局极小点,称 是非线性规划 的严格全局最优值或严格全局极小).(值。图 从几何上说明了局部极小点,严格局部极小点,和严格全局极小点之间的关系。)1.()(xf6严格局部极小点 局部极小点 严格全局极小点图 )1.(可
12、以看出,对于非线性规划 ,局部或严格局部极小点不是全局或严格全局极小点,反)1.(之全局或严格全局极小点一定是局部或严格局部极小点。对于只有两个决策变量的非线性规划问题,我们可以通过图解法进行求解。考虑下述带等式约束的非线性规划问题: min21)(xf.ts021x)3.1(其可行域 是以原点为中心,半径等于 的圆周长上的所有点,见图 :X 22x221x图 )2.1(显然,由于非线性规划 的目标函数是直线,与可行域 的最小相交点为)3.( X,它是非线性规划 的全局最优解,全局最优值为 。)1(*x 2)(*xf7再考虑下述带等式约束的非线性规划问题: max21)(f.ts1)4.1(显
13、然,非线性规划 的可行域 是连接点 和点 直线上的所有点,参见图 :)4.1(X)0,()( )3.1(2x221x图 )3.1(非线性规划 的目标函数与可行域 的交点为 ,它是非线性规划 的)4.1(X)1(*x)4.1(全局最优解,全局最优值为 。)(*xf1.3 凸集和凸函数凸集合,以及凸,凹函数在非线性规划的研究中具有特别重要的作用.定义 1.3 设 ,如果 ,并且有:nRSSyx,)1( 10则称 为凸集。图 给出了凸集和非凸集的例子.)41(8凸集 非凸集图 )4.1(不难看出,凸集的几何意义为,如果点 ,那么连接点 和 的线段也属于 ,即Syx,xyS。Syx定义 1.4 函数
14、,如果 ,都有:Rxfn:)( nyx,)()1()1ff10则称 为凸函数。)(xf如果 是凸函数,则称 为凹函数。)(xf凸函数 凹函数)(a )(b9非凸,凹函数)(c图 5.1对于凸函数, 的取值位于连接 和 连线的下方,见图 的 ;对于凹)(zf )(xfyf )5.1(a函数, 的取值位于连接 和 连线的上方,见图 的 。)(zf )(f ).(b凸(凹)函数具有以下性质:定理 1.1 设 是凸集, 是凸(凹) 函数nRCniRCxfi ,.21,:)(对于 ,函数 也是凸(凹) 函数。)1(ii.2,10iixff1)(如果 是凸函数,则 一定是凸函数; 如果2nxfi.,)(
15、maffini是凹函数,则 一定是凹函数。nixfi.,1)()(i)(1xfin证明 我们只证明 的第一部分。对于任意 ,我们有:)2( Cn,.2, iiniiniinii xfxfxfxf 1111 )()()n,.21那么 是凸函数,证毕。)(f定义 1.5 函数 ,如果 是连续函数,且存在一阶偏导数,则称向量Rxfn:)()(xfTnff,.,)(21为 在点 处的一阶偏导数或梯度。)(xf定理 1.2 设函数 在凸集 上一阶可微Rxfn:)( nX是凸函数的充分必要条件是 :)1( yx,10)()(xyfxfyfT是凹函数的充分必要条件是 :)2(x X,)()(xyfxfyfT
16、定理 是判断可微函数 是否为凸(凹) 函数的一个判别定理。从几何上来说 , 函.1数 是凸函数的充分必要条件是 在图形上任一点处的切线都在曲线的下方,见图)(xf xf。6.定理 1.3 设 是凸函数, 是局部极小点,那么 一定是全局极小点。)1(Rxfn:)*x*x是凹函数, 是局部极大点,那么 一定是全局极大点。)2(Rxfn:*证明 我们只证明 为凸函数的情况 。如果 不是全局极小点,则存在 使得)(xf)1(*xx。根据凸函数性质,对于所有 ,)(*xff0)()()1( * xffxfxf 这表明在 和 的连线上的点,其取值严格小于 ,所以 不可能是局部极小点。*x *证明过程与 类
17、似,请大家自己完成,证毕。)2()1( )()(xyfxfyf y图 )6.1(定义 1.6 函数 ,如果 存在二阶偏导数,则称矩阵Rxfn:)(xf112212 2212 122 )()()()()()()( nnn nxfxfxf xfxffxf为 在点 处的二阶偏导数矩阵,通常称其为 矩阵。)(xf Hesia定理 1.4 设 是在凸集 上二阶可微Rxfn:)( nRX是凸函数的充分必要条件是 的二阶 矩阵 是半正1 )(xfesin)(2xf定的。是凹函数的充分必要条件是 的二阶 矩阵 是半负)2(xf )(fHia)(2f定的。例 1.1 判断下述函数的凸凹性:,)1(xefR,22
18、1,)3( 212121)xxxf 2R解: ,所以 函数是凸集 上的的凸函数.0 e)(f,所以 函数是凸集 上的的凹函数.)2(423 xf x的 矩阵为:3),21Hesian20)(2xf为了判断 的半正(负 )定性,计算:)2xf 202defIfde)2(那么, ,所以矩阵 为负定矩阵, 为凸集 上的凹函数.21xf)(xfR12下面的定理说明了凸,凹函数与凸集,及凸集与凸集之间的关系.定理 1.5如果 是凸函数,对于任何 ,集合 是凸集。)1(Rxfn:)( Rc)(:cxfLc如果 是凹函数,对于任何 ,集合 是凸集。2 如果 是凸集,那么 也是凸集。)3(niC.2,1iC证
19、明 我们只证明 。如果 是凸函数,对于任意 ,有 ,)()(xf cLx21,cxf)(1。这表明:cxf)(2 cxfxfxf )(1)()1( 22所以 ,根据 的任意性, 是凸集,证毕。Lx)1(2cL如果非线性规划问题的目标函数为凸或凹函数,约束条件的可行集为凸集,则这类非线性规划称为凸规划。定义 1.7 设 是凸函数, 是凸集,考虑下述两类非线性规划问题RCxf:)( nR-minfmax)(f.ts.tsC那么,它们都是凸规划问题。接下来,考虑带约束条件的非线性规划模型: in)(xf.ts.,21,0)(sjgmihji )5.1(非线性规划模型 是凸规划的必要条件为:)5.1(
20、是凸函数)(RCxf, 都是线性函数2hni:mi,.2, 都是凸函数。)3(gj sj11.4 非线性规划应用非线性规划模型在许多领域中都获得广泛应用,在本节中,我们将介绍非线性规划在生产管理,金融投资方面的应用.131.4.1 选址问题首都电视机厂的产品在 个城市中销售。为了提供优质服务,现在打算建立服务中心,希n望选择地址的位置使所有城市到服务中心的距离最短。以坐标 表示服务中心的位置,)(ba设第 个城市的地址坐标为 , ,该问题等价于找到能够覆盖所有城市半径i )(iyxn.21最小的园,其几何意义见下图:图 )7.1(数学规划模型为:minr.ts0,.21,)()(22rniby
21、axii这是非线性规划问题。1.4.2 投资组合管理设 为持有第 种证券品种的比例,满足 , 为第nix,.21,i nix1nir,.21种证券品种的收益率, 为投资组合的收益率, 为证券品种的方差- 协方差矩阵,等于:iQnnnqqQ212112数学规划模型为:mijijix1 * * * * * * * 14.tsnixrinii,.21,01这是目标函数为二次函数,约束条件为线性函数的非线性规划问题。1.4.3 指数化投资指数化投资是根据目标指数中的成份证券的权重创建跟踪投资组合的投资方法。设为预算投资额, 为投资在第 种证券品种的投资额,那么:Bnix,.21,iBxi1设初始投资组
22、合为 , 为现金,则:ni.2,0Cix10设 为从初始投资组合 到投资组合 的交易成本,所以:),(0ixFni10nix1Bxni1),(0iF设投资组合与目标指数的跟踪误差为: TttsrE12)(其中 是跟踪组合的收益率, 为目标指数的收益率。它们的计算方法是根据过去一个阶段trts的历史指数点位和成份证券价格: )/ln(1ttI)l(1,nitittyr)/(, TititiPx15其中 是指数的价格, 是第 种证券在时刻 的价格。 是第 种证券的数量。tItiP, tTiPx,/指数化投资中最小化跟踪误差的数学规划模型为:minTttsrE12)(.stnixxFBi i,.2,
23、0)(011.5 无约束优化问题考虑无约束的非线性规划问题: )(minxfR )6.1(一般来说,求解无约束非线性规划问题 将涉及到以下三个方面,首先,确定极小点)6.1必须满足的条件,其次设计某种迭代算法来搜寻极小点 ,最后,求解的最终目标一nRx* *x般是求全局极小点,而极小点 满足的必要条件只能保证它是局部极小点,所以需要找出局*x部极小点也是全局极小点的条件。1.5.1 无约束优化问题的最优性条件如果 是二次可微的一元函数,设 ,对于接近 的所有 ,有:Rxf:)( Rx00x200 )()()(ffxff 显然,极值点存在的条件为:必要条件: )1()(0f充分条件:如果 且 ,
24、 为极小点; 如果 且2xf0)(xf 0)(xf, 为极大点。0)(xf设 为二次可微的多元函数,极值点存在的条件为:Rn:定理 1.6 (一阶,二阶必要条件)一阶必要条件: 对于点 ,如果 是 的局部极值点,则 。1nx*x)(f 0)(*xf二阶必要条件: 对于点 ,如果 是 的局部极值点,则 为半正)2( 216定矩阵。证明 假设 为局部极小值点,我们先证明条件 。对于向量 和 , 在点*x)1(nRD0)(xf处的一阶泰勒展开式为:D* )()(*xffDxf T或: 0)(lim)( *0* fffT用 替换 ,获得:nRDn )(li)( *0* xfDxfxfT综合上述结果,有
25、: )(*fT nR由 的任意性,所以:D0)(*xf我们再证明条件 。 在点 处的二阶泰勒展开式为:2D* )()(2)()( * oxfxffDxf TT因为 ,上式可以表示为:0)*f 2*22* )()(1)( oDxfxfxf T由于 是局部极小值,一定存在足够小的 使得 :*x,0)(2*xfDxf所以,当 时, , ,这说明 为半正定矩阵,证毕。00)2o0)(*fT )(*2xf我们必须注意到满足一阶和二阶必要条件的点不一定是极值点,考虑单变量函数,在原点 处有: ,和 ,但是 即不是 的3)(xf*)(*xf)(*xf0*3)(xf极小点也不是极大点. 3)(f170*x x
26、图 )8.1(定理 1.7 (充分条件)设函数 在 处二阶可微,若 满足 并且Rxfn:nx* )(xf0)(*f为正定矩阵,则 是 的局部极小值。)(*2f)(f证明 设 为点 的邻域,对于 ,根据二阶泰勒展开式:*xN*)(*xNd)()(21)( 2*doxffxfdf TT设 为 的最小特征值, ,则:0)*2*2)(dx2*)(oxfdxf如果 足够小,相对于 ,我们可忽略 ,那么由 ,有d22)(d02d0)(*xfdxf所以, 是 的局部极小值, 证毕。*)例 1.2 分析函数 的极值点,说明参数 的取值范围对极12121)(),(xxxf ,值点的影响。解 将函数 以矩阵表示:
27、),(21f18xbQxfT21)(其中: , , 21x0Q0b根据定理 ,有:6.)(*bQxf02那么, 102x如果 ,局部极小点位于 ,因为函数 是以 为0,0,1*2*x),(21xf)0,(圆心的椭圆,而 又是凸函数,所以局部极小值 也是全局极小值。)(21xf )(f待画! 1x19图 )9.1(我们可根据上述一阶必要条件求出函数 的所有驻点,然后再利用充分条件判断那)(xf些驻点为极值点。但是,求解方程组 可能是件非常复杂的工作,在实际应用中几乎0没有太大价值。为此,我们需要设计迭代算法,并利用计算机来搜寻 的极值点。)(xf1.5.2 无约束优化问题的迭代算法对于不带约束条
28、件的非线性规划问题 ,搜寻最优解的基本思路是根据某一特定迭)6.1(代规则产生如下逼近最优解的点列,其中.2,0|*kfk )(inf*xR如果点列 还满足下述条件:k k210则称具有这种性质的迭代算法称为下降迭代算法。非线性规划问题 的下降迭代算法的基本步骤为:)6.(步骤一: 从一个初始迭代点 开始:选择迭代方向 ,使得沿这个方向能找到使目标函0x0d数值下降的点。步骤二: 计算点 的搜索方向 和迭代步长 。kxkdk步骤三: 确定迭代步长 。k步骤四: 令 ,使得 。如果 为极小点,迭代停止;否kx1 )(1kkxff1k则转第二步。显然构成下降迭代算法的方式是多种的,它们之间的主要区
29、别是在于如何选择迭代方向和步长。我们将重点研究利用目标函数 的一阶,二阶导数构造迭代方向的下降迭代算)(xf法,它们是最陡下降法,共轭下降法,和 Newton 下降法。利用一阶导数构造下降迭代法的基本原理是选择迭代方向 ,使其与梯度向量之间满足:kd0)(kTdxf同时,为了确定迭代步长 ,我们需要一维优化技术.k1.5.3 一维函数最优化算法20由于一维非线性函数极小化问题是诸多无约束非线性规划问题算法的基础,我们将首先考虑如下一维非线性函数的极小化问题: )(min,xfbax)7.1(我们也可将极小化问题 看作是带约束条件的一维非线性规划问题.我们首先分析)71(任何 为极值点的必要条件
30、.一般来说,使目标函数 达到局部极小值的点必须0bax)(xf是以下以下三类情形之一:情形 : 存在满足 的点,并且使得目标函数一阶导数为零,即 ,称 为1bx0 0)(xf驻点.abx0x图 )1.(图 说明,当 的取值从左边至右通过驻点 时, 从负值变为正值,则 是局)10.()(xf 0x)(f 0x部极小点.反之, 是局部极大点.0情形 : 对于任意 ,目标函数在点 处的一阶导数 不存点2bxa0x)(0xf1x02x1x02x是极小点 不是极小点a0 b0图 )10.(21如果 在点 处不存在一阶导数, 可能是极小点或不是极小点.在这种情况下,判断极)(xf00x小点的方法是通过检查
31、在 邻域函数 值的变化,即 在 和 的值.如果0)(f)(xf00x并且 ;则 是极小点; 如果 并且)(10xff)(2xff0 )(10f,则 不是极小点.20情形 : 区间 的端点 和3baba0xba0xbx端点 是极小点 端点 是极小点图 )10.(从图中可以看出,如果 ,则端点 是极小点;如果 ,则端点 是极小点.)(afa0)(bfb例 1.3 设有函数: 63)4(312)(2xxxf求 在区间 中的所有极值点和最大值.)(xf6,0解: 情形 对于 , ,及 ,极值点为 ;对于1x)1(2)xf 2)(xf 1x, ,及 ,极值点为 .由于 , 是局部极3x4(2) f 40
32、)(f大点.由于 , 是局部极小点.0(x情形 : 在 处一阶导数不存在 .考虑 , , )f361.)9.2(f 2)3(f, 不是局部极值点.19.2).3(fx情形 : 考虑区间 的端点.因为 , 是局部极小点;因为6,0 0)(fx, 是局部极大点.04)6(f6x22综合上述三种情形,在区间 上,函数 有两个局部极大点 和 .因为60)(xf 1x6及 ,我们可求得 使 达到最大值.2)1(f1)6(f 1例 1.4 产品定价的非线性规划问题 在市场经济中,互相竞争的企业的一项重要决策是确定它们产品的价格.如果市场对产品的需求是价格的线性函数: bPaD其中 为待定参数.如果单位产品
33、的生产成本为 ,那么,产品的利润可表示为:ba, c)(所以,确定利润最大化的价格等同于求解非线性规划.首都食品厂生产系列零食产品.一小袋葡萄干的生产成本为人民币 元,其销售价在5.0元到 之间.市场部门收集了在三个城市葡萄干的价格在 元, 元,和 元105 130.1情况小的销量,见下表:表 :葡萄干在三个城市的销售数据2.9单位成本:0.55 元 需求量 单位 :千袋销售价格( 元) 北京地区 上海地区 广东地区低价 :1.10 35 32 24中价 :1.30 32 27 17高价 :1.50 22 16 9解: 我们将用 的规划求解功能求解这个产品定价的非线性规划问题.首先,利用表Ex
34、cel中的数据分别估计三个地区的需求函数:2.9北京地区: 625.73195.872PD上海地区: 4广东地区: 2它们是通过 的曲线拟合功能实现的(参见表至表.Excel表 :北京地区需求函数的拟合3.9表 :上海地区需求函数的拟合4.923表 :广东地区需求函数的拟合5.9为了利用 的规划求解,我们设定 为目标单元格,以 为可变单元格,其取值范Excel 6I4H围为 ,和 .10.4H504表 :产品定价的非线性规划问题69表 说明,使葡萄干利润最大的价格应当为 元.6.9 2911.5.4 一维搜索技术在某些情况下,非线性规划 的目标函数不具有一阶导数,或者是根本无法求出满足)7.(
35、的解,这时我们无法用上一节介绍的方法求解 .我们将讨论在 是单峰函0)(xf )71()(xf数情况下的迭代算法.定义 1.8 设函数 : 是区间 上的单变量函数,如果下述条件)(xfRRba,存在 ,使)1(bac)(min,xfcbx在 上严格递减,在 上递增2xf24成立,称 是函数 的单峰区间,而 则称为是 上的单峰函数。,ba)(xf )(xf,ba)(fab图 )10.(可见,一个区间是某函数的单峰区间意味着,在该区间中函数只有一个极小值。图中的区间 是 的单峰区间,或 是区间 上的单峰函数。)10.(,ba)(xf )(xf,ba为了求解一维函数的极小化问题 ,一般可先从它的单峰
36、区间 开始,通过不断地7.1( 缩短单峰区间 的长度来搜索问题 的最优解。下面介绍求问题 最优解的两个, ) )7.1(方法: 黄金分割法和 法。Fibonaci黄金分割法)1(假设初始单峰区间为 ,黄金分割法的基本思路是在区间 中选取两个对称0 ,0ba点 和 ,并假设 。如果 ,那么极小点一定为于区间 ;如果1ab1ba)(11bfaf,1,那么极小点一定为于区间 。显然 和 是缩短了单峰区)(1ff0,10,0间 ,图 说明了在 的情况下,极小点 是位于区间 之间。0. )(11ff *x,1ba)(xf250a*x1a1b0图 ).(对于新的单峰区间 或 ,重复以上做法直到单峰区间缩短
37、到足够小时,取最,10b0后的收敛点作为最优点的近似值。为了使某单峰区间的长度能尽快缩短,考虑下列情况:设,给定 ,根据图 , , ,而区间0abl2).(lab)1(01lb10的长度与区间 的长度的比例等于 与 的比例:,110b,)1()8.1(ll0a1b0bl图 )2.(为了计算 值,我们将式 改写为:)8.1(0132那么,我们只需要求解上述二次方程.考虑到 ,可求得解为 。2382.0这样一来,在一次迭代之后,单峰区间缩短了 。因为每次迭代的步长都61.)(等于 ,所以在 步之后,单峰区间缩短到 .1n nn801例 1.5 用黄金分割法搜索如下一维最小化问题: mi364)(2
38、xxf在区间 上的近似极小点和极小值,要 s 求缩短后的区间长度不大于原区间长度的 .10 %8解 容易验证, 在区间 上的精确解为 , .因为 , )(xf1,075.0*x25)(*xf 0a,选择前两个迭代点:0b26,1382.01x168.0x71.432.4)(2f 5.1x由于 ,极小值点在区间 中,为了进行下一步迭代,令: , )(1ff01bx 618.01xa,则有:0b 764.)8.(32.068.2 x 5011 29.3.674.)(22xf 850 由于 ,极小值点在区间 中,令: , ,有:)(22xff21xa618.02a764.02xb74.)6.074.
39、(3.618.380 x 2.534)(23f 47068x由于 ,极小值点是在区间 中,令: , ,)(33ff23bx708.3xa764.023b因为 ,所以我们可以确定区间 为最终区间,08.56.017.64.0 ab 3a极值点为 ,极小值为 3249)(3bf法)2(Fionci法的基本思想是在每次迭代中使用不同步长:ba, , k1210nk,.根据黄金分割比例 ,则有:)8.(,kk11,.n27为了以最快速度求得最优解,考虑下述最小化问题: min)1()(12nts.nkkk ,.21,01)9.1(定义 1.9 设 , ,则称数列 为kkFF110, ,.kF数列,其中
40、 被称为第 个 数,相邻两个 数之比 称为Fibonacikibonaciibonacik1分数。前十项 数列如下:ici 534218532197640kF定理 1.8 数学规划 的最优解为:)9.(,21knkn,.其中 是第 个 数。kFibonaci例 1.6 用 法搜索如下一维最小化问题: mi12)(xf在区间 上的近似极小点和极小值,要求缩短后的区间长度不大于原区间长度的 .21 %10解 容易验证, 在区间 上的精确解为 , .因为缩短后的区间长度)(xf2,1*x0)(*f与区间 的长度的比值为 ,根据题意要求 ,或 ,所以 ,即需要迭2,1nF1.nFn6代 次.6因为 ,
41、 ,选择前两个迭代点并计算迭代点处的函数值:0a0b154.0)2(138)(06501 aFx 86.)()(06501b28715.04.215.0)( xf 23864由于 ,令: , ,则获得新的迭代点:)(11xff.1xa01b,.02308.1)54.2(8154.0)(15412 abFx 7.6.28.0)(2 f 094131 x由于 ,令: , ,重新计算迭代点:)(22ff5.1a38.2xb846.03x 61.0)38.154.0(38.)(24323 baFb7.6.01.)(3 xf 23182 由于 ,令: , ,重新计算迭代点:)(33xff.3xa08.3
42、b46.04 07.1)6.308.1(26.0)(3324 abFax 7.84.6.0)(24 f 059171 x由于 ,令: , ,重新计算迭代点:)(44ff.4xa38.4b0.5x 07.1)846.30.1(2846.)(42145 abFa29059.17.20.1)(5 xf由于 ,令: , ,这时区间长度为)(55xff .5xa38.45b,而 ,满足题意要求.231.07.38.11062.1.5.5 最陡下降法考虑无约束非线性规划问题: )(minxfR其中 为可行域,函数 存在一阶导数。nRfn:最陡下降法的基本原理是利用目标函数 在点 处的一阶导数来构造使 下降
43、)(xf )(xf的迭代方向。其几何意义如下: )(fx)(xf1)(cxf2 )(xf3)(cxf图 )13.(其中: 。从图 中我们看到,如果 ,则存在步长区间 使得对321c)1.( 0xf ),0(于 根据负梯度 方向构造的点 一定满足:),0(xf)()(f30但是负梯度方向能否保证函数 下降的最快?为了确定下一个迭代点,考虑从点)(xf出发沿方向 按照步长 移动,可得到邻近点 ,利用函数 在点 处的一0xd0dx0)(xf0阶 展开式,有:Taylor )()()( 000 toxffdxf T对上式进行整理后: )()()(000 tdfff T如令 ,上式可以理解为从点 出发沿方向 的变化率,它等于:00xdxffdf T)()(lim000显然,只有当方向向量 等于点 处的负梯度时，使得 下降的最快。xf)(0xf0dx01)(cxf d2 x03)(cxf图 )14.(图 给出选择负梯度方向作为迭代方向的几何解释.只有当方向向量 与 之)14( d)(xf间的夹角大于 度,才能保证 。如果 ,则存在步长区间 使900)(dxfT0)(xf ,0
