1、 关于无约束最优化问题求解的基本研究摘要无约束最优化计算方法是数值计算领域中十分活跃的研究课题之一，快速的求解无约束最优化问题，除了自身的重要性以外，还体现在它也构成一些约束最优化问题的子问题.因此，对于无约束最优化问题，如何快速有效的求解一直是优化工作者十分关心的事.论文研究求解无约束最优化问题的几种主要的导数法，并且讨论了这些方法的优缺点以及每种方法的适用范围.同事论文分别对每种方法给出了具体实例，并对例子进行了 matlab 软件实现关键词：无约束最优化; 导数法 ;极值 ; 精确度 安徽工业大学 本科毕业设计(论文)装订线- 2 -AbstractUnconstrained optim
2、ization numerical calculation method is very active in the field of research, one of the most rapidly solving unconstrained optimization problems, in addition to its importance, is also reflected in some of the constraints that it also constitutes a sub-problem of optimization problems. Therefore, f
3、or unconstrained optimization problems, how fast and effective solution has been optimized workers very concerned about. Thesis for solving unconstrained optimization problems several major derivative method, and discusses the advantages and disadvantages of these methods as well as the scope of app
4、lication of each method. Colleagues papers for each method were specific examples are given, and examples of the matlab softwareKeyword：Unconstrained optimization Derivative method Extremum Accuracy安徽工业大学 本科毕业设计(论文)装订线- 3 -目录摘要 .- 1 -ABSTRACT.- 2 -第一章 绪论 .- 4 -1.1 研究背景与意义 .- 4 -1.2 问题阐述及简介 .- 4 -第二章
5、 无约束问题的极值条件 .- 6 -2.1. 无约束极值问题 .- 6 -2.2 必要条件 .- 6 -2.3 二阶充分条件 .- 8 -2.4 充要条件 .- 8 -第三章 求解无约束最优化的几种主要方法 .- 10 -3.1 最速下降法 .- 10 -3.2 牛顿法 .- 15 -3.3 修正牛顿法 .- 19 -3.4 共轭梯度法 .- 23 -3.5 变尺度法 .- 26 -结束语 .- 37 -参考文献 .- 38 -致谢 .- 39 -安徽工业大学 本科毕业设计(论文)装订线- 4 -第一章 绪论1.1 研究背景与意义追求最优化目标是人类共同的理想，最优化就是从众多可能方案中选出最
6、佳方案，以达到最优目标.最优化理论和算法是在第二次世界大战后迅速发展起来的一门新兴的应用数学分支，它是一门应用性很强的年轻学科.虽然最优化可以追朔到很古老的极值问题，但是直到 1947 年 Dantzig 提出一般线性规划问题的单纯形法之后，它才成为一门独立的学科.近三、四十年来随着现代科技的发展和电子计算机的广泛应用，进一步推动了最优化的迅猛发展及其理论和算法的研究.现在最优化理论已广泛应用与生产、管理、军事国防、政府决策、交通运输、经济规划等方面.无约束最优化计算方法不仅本身有着不少实际应用，而且与约束最优化计算方法有着紧密的联系：一方面有些处理无约束最优化问题的方法能直接推广应用于约束最
7、优化问题；另一方面，还可以把一些约束最优化问题转化为无约束最优化问题来处理.因此从这个意义上讲，无约束最优化计算方法也是处理约束最优化问题的基本方法.研究求解无约束最优化问题的有关理论和算法，在近几十年来迅速发展并且日趋成熟.随着计算机的发展和普遍应用，作为一种有效的最优化方法无约束最优化方法在工程设计、管理优化、系统分析等方面的应用日益开拓，愈来愈受到应用部门的重视，所以研究无约束最优化问题的计算方法是意义重大的1.2 问题阐述及简介无约束法指寻求 元实函数 在整个 维向量空间 上的最优值点nfXnnA的方法.这类方法的意义在于：虽然实用规划问题大多是有约束的，但许多约束最优化方法可将有约束
8、问题转化为若干无约束问题来求解.无约束最优化方法大多是逐次一维搜索的迭代算法.这类迭代算法可分为两类.一类不涉及导数，只用到函数值，称为直接法.另一类需要用目标函数的导函数，称为解析法.这些迭代算法的基本思想是：在一个近似点处选定一个有利搜索方向，沿这个方向进行一维寻查，得出新的近似点.然后对新点施行同样手续，如此反复迭代，直到满足预定的精度要求为止.根据搜索方向的取法不同，可以有各种算法.属于直接型的算法有交替方向法（又称坐标轮换法） 、模式搜索法、旋转方向法、鲍威尔共轭方向法和单纯形加速法等.属于解析型的算法有：梯度法：又称最速下降法.这是早期的解析法，收敛速度较慢.牛顿法：收敛速度快，但
9、不稳定，计算也较困难.共轭梯度法：收敛较快，效果较好.变安徽工业大学 本科毕业设计(论文)装订线- 5 -尺度法：这是一类效率较高的方法.其中达维登-弗莱彻-鲍威尔变尺度法，简称 DFP 法，是最常用的方法.本文主要研究无约束最优化问题中主要的几种解析法的算法理论，并对各个方法进行了举例分析和 matlab 软件实现.安徽工业大学 本科毕业设计(论文)装订线- 6 -第二章 无约束问题的极值条件2.1. 无约束极值问题考虑非线性规划问题（2.1）nminRfX其中 是定义在 上的实函数，这个问题是求 在 维欧式空间的极小fXfXn点，称为无约束极值问题，这是一个古典的极值问题.2.2 必要条件
10、为研究函数 的极值条件，先介绍一个定理f定理 2.1 设函数 在点 可微，如果存在方向 ，使 ，则fXd0fXd存在 ，使得对每个 ，有 .00,ffX证明 函数 在 的一阶 Taylor 展开式为fd=+dTffX（2.2）TffX其中当 时， .00d由于 ，当 充分小时，在（1.3.2）式中fXd+0,Tf因此存在 ，使得 时，有00,+0TfdX从而由（2.2）式得出安徽工业大学 本科毕业设计(论文)装订线- 7 -.ffXd利用上述定理可以证明局部极小点的一阶必要条件.定理 2.2 设函数 在点 可微，若 时局部最小点，则梯度f =fX0证明 用反证法，设 ，令方向 ，则有0fd=f
11、X-2=0TTffXd-根据定理 2.1，必存在 ，使得当 时，成立,ffX这与 是局部极小点矛盾X下面，利用函数 的 Hesse 矩阵，给出局部极小点的二阶必要条件f定理 2.3 设函数 在点 处二次可微，若 是局部极小点，则梯度XX，并且 Hesse 矩阵 半正定0fX2f证明 定理 1.3.2 已经证明 ，现在只需证明 Hesse 矩阵 半正=02fX定.设 是任意一个 维向量，由于 在 处二次可微，且 ，则有dnfXf0，221=+Tfffddd经移项整理，得到（2.3）2221TfffXdX由于 是局部极小点，当 充分小时，必有xff因此由（2.3）式推得，20TfdX安徽工业大学
12、本科毕业设计(论文)装订线- 8 -即 是半正定的.2fX2.3 二阶充分条件下面给出局部极小点的二阶充分条件定理 2.4 设函数 在点 处可微，若梯度 ，且 Hesse 矩阵fXfX0正定，则 是局部极小点 .2f证明 由于 在 的二阶 Taylor 展开式为,f0f（2.4）221TfXXX设 的最小特征值为 ，由于 正定，必有2fmin02f22minTf从而由（1.3.4）式得出22min12ffXX当 时， ，因此存在 的 邻域 ，当20,NX时 ，即 是 的局部极小点,NXffXf2.4 充要条件前面的几个定理分别给出无约束极值的必要条件和充分条件，这些条件都不是充分必要条件，而且
13、利用这些条件只能研究局部极小点.下面在函数凸性的假设下，给出全局极小点的充分必要条件定理 2.5 设 是定义在 上的可微凸函数， ，则 为全局极小点fXnAnXA的充分必要条件是梯度 f0证明 必要性是显然的，若 是全局极小点，自然是局部极小点，根据定理1.3.2，必有 .fX安徽工业大学 本科毕业设计(论文)装订线- 9 -现在证明充分性，设 ，则对任意的 ，有fX0nXA，由于 是可微的凸函数，则有0TfX，=Tffff即 是全局极小点在上述定理中，如果 是严格凸函数，则全局极小值是唯一的fX上面介绍的几个极值条件，是针对极小化问题给出的，对于极大化问题，可以给出类似的定理例 2.1 利用极值条件解下列问题22111mindefxxX先求驻点.由于， 314fx2fx令 ，即fx031420x，解此方程组，得到驻点.12,0TxX再利用极值条件判断 是否为极小点，由于目标函数的 Hesse 矩阵，2210xf由此可知.22fX显然 为正定矩阵，根据定理 1.3.4，驻点 是局部最小点2f1,0TX
