1、第二章 优化方法的数学基础,2-1 方向导数与梯度 2-2 凸集、凸函数与凸规划 2-3 二次函数及正定矩阵 2-4 无约束优化问题的极值条件 2-5 有约束优化问题的极值条件,2-1 方向导数与梯度,一、方向导数,二元函数在点x0处沿某一方向s的方向导数,方向导数是偏导数概念的推广。,方向导数与偏导数之间的数量关系是,n元函数在点x0处沿s方向的方向导数,图2-1,二、 梯度,二元函数的梯度,为函数F(x1,x2)在x0点处的梯度。,梯度的模:,设,梯度方向和s方向重合时,方向导数值最大。,梯度方向是函数值变化最快的方向,而梯度的模就是函数变化率的最大值 。,图2-2 梯度方向与等值线的关系
2、,设:,则有,为单位向量。,多元函数的梯度,函数的梯度方向与函数等值面相垂直,也就是和等值面上过x0的一切曲线相垂直。,由于梯度的模因点而异,即函数在不同点处的最大变化率是不同的。因此,梯度是函数的一种局部性质。,梯度 模:,梯度两个重要性质:性质一 函数在某点的梯度不为零,则必与过该点的等值面垂直;性质二 梯度方向是函数具有最大变化率的方向。,图2-2 梯度方向与等值面的关系,例题 2-1,求函数 在点3,2T 的 梯度。,在点x(1)=3,2T处的梯度为:,解:,例2-2:试求目标函数 在点 处的最速下降方向,并求沿这个方向移动一个单位长度后新点的目标函数值。,则函数在 处的最速下降方向是
3、,解: 由于,新点是,这个方向上的单位向量是:,几个常用的梯度公式:,当极值点X*能使f(X*)在整个可行域中为最小值时,即在整个可行域中对任一X都有f(X)f(X*)时,则X*就是最优点,且称为全域最优点或整体最优点。若f(X*)为局部可行域中的极小值而不是整个可行域中的最小值时,则称X*为局部最优点或相对最优点。最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点,研究一下函数的凸性很有必要。函数的凸性表现为单峰性。对于具有凸性特点的函数来说,其极值点只有一个,因而该点既是局部最优点亦为全域最优点。,为了研究函数的凸性,现引入凸集的概念:,2-2 凸集、凸函数与凸规划,一、凸集
4、,设D为n维欧氏空间中的一个集合,若其中任意两点X(1)、X(2)之间的联接直线都属于D,则称这种集合D为n维欧氏空间的一个凸集。图2-3(a)是二维空间的一个凸集,而图2-3(b)不是凸集。,图2-3 二维空间的凸集与非凸集,X(1)、X(2)两点之间的联接直线,可用数学式表达为:,式中 为由0到1(0 1)间的任意实数。,凸集的性质:,1)若D为凸集, 是一个实数,则集合 D仍是凸集;,2)若D和F均为凸集,则其和(或并)仍是凸集;,3)任何一组凸集的积(或交)仍是凸集。,二、凸函数,具有凸性(表现为单峰性)或只有唯一的局部最优值亦即全域最优值的函数,称为凸函数或单峰函数。其数学定义是:,
5、设 f(X)为定义在 n维欧氏空间中的一个凸集D上的函数,如果对任何实数a(0a1)以及对D中任意两点X(1)、X(2)恒有:,则f(X)为D上的凸函数,若不满足上式,则为凹函数。,凸函数的集合意义如图2-4所示:,图2-4 一元凸函数的几何意义,在凸函数曲线上取任意两点(对应于X轴上的坐标X(1)、X(2)联成一直线线段,则该线段上任一点(对应于X轴上的X(k)点)的纵坐标Y值必大于或等于该点(X(k))处的原函数值f(X(k)。,凸函数的一些性质:,1)若 f(X)为定义在凸集D上的一个凸函数,且 a是一个正数(a 0),则 af(X)也必是定义在凸集D上的凸函数;,3)若f1(X),f2
6、(X)为定义在凸集D上的两个凸函数,和为两个任意正数,则函数 afl(X)f2(X)仍为D上的凸函数。,2)定义在凸集D上的两个凸函数f1(X),f2(X),其和 f(X)=f1(X)十f2(X)亦必为该凸集上的一个凸函数。,4)若f(X)为定义在凸集D上且具有连续一阶导数的函数,则f(X)为凸函数的充分必要条件为:对任意两点X(1),X(2),不等式,恒成立,三、凸规划,对于约束优化问题,式中若F(X)、 均为凸函数,则称此问题为凸规划。,凸规划的一些性质:,2)凸规划问题中的任何局部最优解都是全局最优解;,1)可行域 为凸集;,3)若F(X)可微,则X*为凸规划问题的最优解的充分必要条件为
7、:对任意 ,对满足,不论是无约束或有约束的优化问题,在实际应用中,要证明一个优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题,由于其数学模型的性态都比较复杂,更难实现。因此,在优化设计的求解中,就不必花精力进行求证,而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函数值最好的解。,注意:,外,最简单最重要的一类就是二次函数。,在n元函数中,除了线形函数:,或 f(X)=aX+c,2-3 二次函数及正定矩阵,其中 均为常数。,若 ,X0 ,均有 0 ,则称矩阵Q是正定的。,在代数学中将特殊的二次函数 称为二次型。 对于二次函数,我们更关心的是Q
8、为正定矩阵的情形。,若 ,且X0,均有 0,则称Q是负定的。,定义:设Q为nn对称矩阵,其中 Q= b= Q为对称矩阵,其向量矩阵表示形式是:,二次函数的一般形式为:,解:对称矩阵Q的三个主子式依次为:,例:判定矩阵Q= 是否正定,一个nn对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。,一个nn对称矩阵Q是负定矩阵的充要条件是矩阵Q的各阶主子式的值负、正相间。,因此知矩阵Q是正定的。,定理: 若二次函数 中Q正定,则它的等值面是同心椭球面族,且中心为,证明:作变换 ,代入二次函数式中:,根据解析几何知识,Q为正定矩阵的二次型 的等值面是以坐标原点 为中心的同心椭球面族。由于上式中
9、的 是常数,所以 的等值面也是以 =0为中心的同心椭球面族,回到原坐标系中去,原二次函数就是以 为中心的同心椭球面族。,前面已说过,一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法,当用于一般目标函数时,至少在极小点附近同样有效。因此在最优化理论中判定一个算法好坏的标准之一,是把该算法用于Q为正定的二次目标函数,如能迅速找到极小点,就是好算法;否则就不是太好的算法。,特别地若算法对于Q为正定的二次目标函数能在有限步内找出极小点来,就称此算法为二次收敛算法,或具有二次收敛性。,另外,这族椭球面的中心 恰是二次目标函数的唯一极小点。,例:把二次函数
10、 化为矩阵向量形式并检验Q是否正定,如正定,试用公式 求这个函数的极小点。,极小点是 = =,解:展开,=,=,与题中函数比较各项系数为:Q= b=,由前例知Q正定,一、 多元函数的泰勒展开,2-4 无约束优化问题的极值条件,二元函数:,二元函数:在点Xk处,多元函数泰勒展开,海色矩阵 (Hessian),对二次函数:,为二次函数的海色(Hessian)矩阵,常量矩阵。,二次函数的梯度为:,解:因为,则,又因为:,故Hesse阵为:,例题:,用泰勒展开将函数,简化的线性函数,简化的二次函数,二、无约束优化问题的极值条件,1.F(x)在 处取得极值,其必要条件是:,即在极值点处函数的梯度为n维零
11、向量。,例: 在 处梯度为 但 只是双曲抛物面的鞍点,而不是极小点。,函数的梯度为零的条件仅为必要的,而不是充分的。,则称 为f的驻点。,定义:设 是D的内点,若,根据函数在 点处的泰勒展开式,考虑上述极值必要条件,可得相应的充分条件。,为了判断从上述必要条件求得的 是否是极值点,需建立极值的充分条件。,2. 处取得极值充分条件,海色(Hessian)矩阵 正定,即各阶主子式均大于零,则X*为极小点。,海色(Hessian)矩阵 负定,即各阶主子式负、正相间,则X*为极大点。,2-5 有约束优化问题的极值条件,不等式约束的多元函数极值的必要条件是著名的库恩-塔克(Kuhn-Tucker)条件,
12、它是非线性优化问题的重要理论 (1)库恩塔克条件 (K-T条件) 对于多元函数不等式的约束优化问题:,K-T条件,库恩塔克条件表明:如点 是函数 的极值点,要么 (此时 ),要么目标函数的负梯度等于起作用约束梯度的非负线性组合(此时 )。,起作用约束:,库恩塔克条件的几何意义是: 在约束极小值点 处,函数 的负梯度一定能表示成所有起使用约束在该点梯度(法向量)的非负线性组合。,同时具有等式和不等式约束的优化问题 :,K-T条件:,K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件,又可以来直接求解较简单的约束优化问题。,对于目标函数和约束函数都是凸函数的情况, 符合K-T条件的点一定是全局最优点。这种情况K-T条件即为多元函数取得约束极值的充分必要条件。,K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件,又可以来直接求解较简单的约束优化问题。,例库恩塔克(K-T)条件应用举例,s.t,判断1 0T是否为约束最优点。,(1)当前点 为可行点,因满足约束条件,(3) 各函数的梯度:,(2)在 起作用约束为g1和g2 , 因,(4)求拉格朗日乘子,由于拉格朗日乘子均为非负,说明 是一个局部最优点,因为它满足K-T条件。,s.t,