1、共轭方向法,由于非线性目标函数在最小点附近可以用正定二次函数去逼近, 因此二次函数的极小化的有效算法是构造一般非线性目标函数极小化算法的基础. 为此, 我们先讨论正定二次函数的共轭方向法, 然后推广到一般的非线性函数上去.,在第二章所述的下降算法2.1中, 若令下降方向 为共轭方向, 并且 由精确的一维寻查确定, 便得到关于正定二次函数的共轭方向法.,设二次正定函数其中A正定对称, , 显然, 在 中唯一的全局最小点为 , 且,共轭方向法: 给出 的初始近似 计算 构造 满足 令 计算 , 满足 令 检查 ? 是, 输出 , 停止计算 计算 满足 令 , 转,上面给出的算法有下面两个特点: 1
2、. 一维询查的步长因子 可用公式表出:将 在 展开, 有由 , 有 , 即解得 .,2. 算法具有二次收敛性，即对任意选取的初值 , 至多迭代n步可达 的全局最小点 定理(共轭方向法具有二次收敛性)： 设 (1).任取 (2). 为A-的共轭向量系; (3). 由上述算法产生, 则存在某个 , 使,证 如前所述同时所以于是有 可简化为 如果对于给定的 及 , 恰好 则,综上所述, 对于正定二次函数的共轭方向法, 可示意如下： 给定 , 选取下降方向 , 计算其中从 出发, 选取共轭方向 , 计算其中 一般地, 从 出发, 选取共轭方向 , 计算 其中,上述定理表明对于任意选取的 , 至多迭代n
3、次便可达到 的极小点, 特殊情况下, 算法还可提前终止.,将前述算法的终止法则适当修改便可得到适合于一般函数的共轭方向法.下面进一步讨论共轭方向法的性质 定理 (1). 设 任给 (2). 为正定二次函数 (3). 为A-共轭系 (4). 由算法5.1产生 则 即 需要指出, 只要 是由一维寻查确定的,则 不论 是否二次函数, 也不论 是否A共轭系均成立.但若 为正定二次函数,且 为A共轭系,则有更强的结果, 即为上面定理的结论,证 因为 所以又因 且由假设(3) 于是可得 同时 综合上两式, 得,定理5.6,设(1) 在 是严格凸函数； (2)f(x)在 内有一阶连续偏导数； (3) 为f(
4、x)的无约束极小点； (4) 任给；,(5) 内是线性独立的，并记则 的充要条件是,二维情形下（如图5-2所示），定理的结论可表示为 的充要条件是,定理5.7（扩展子空间定理）,对于正定二次函数f(x),由算法5.1所产生的点 是f(x)在 上的唯一极小点。 由定理5.5的（5-16），有:由定理5.6的（5-17），得:,注,(1)定理5.7表明，对于正定二次函数 ，用共轭方向法求极小点 的过程实际上是子空间 的逐次扩展过程：X1是 在M1上的极小点（M1是过x0且平行于p0的直线）； X2是 在M2上的极小点（M2是过x0且平行于子空间的超平面）； (2)若x0=0，则 是 在 上的极小点。而 是 在 上的极小点。 若 ， 这就是定理5.4中提到的算法提前终止的情形。,
