1、信息与通信工程学院 庄伯金 ,1,凸优化理论与应用,庄 伯 金 B,信息与通信工程学院 庄伯金 ,2,优化理论概述,什么是优化问题？,Objective function,Constraint functions,信息与通信工程学院 庄伯金 ,3,几类经典的优化问题,线性规划问题,最小二乘问题,凸优化问题,凸优化问题理论上有有效的方法进行求解！,信息与通信工程学院 庄伯金 ,4,本课程的主要内容,理论部分 凸集和凸函数 凸优化问题 对偶问题 应用部分 逼近与拟合 统计估计 几何问题 算法部分 非约束优化方法 等式约束优化方法 内点法,信息与通信工程学院 庄伯金 ,5,熟悉了解凸优化理论的基本原
2、理和基本方法； 掌握实际问题转化为凸优化问题的基本方法； 掌握最优化问题的经典算法。,课程要求,信息与通信工程学院 庄伯金 ,6,参考书目,Stephen Boyd and Lieven Vandenberghe, “Convex Optimization”, Cambridge University Press. 袁亚湘、孙文瑜，“最优化理论与方法”，科学出版社，1999。,信息与通信工程学院 庄伯金 ,7,凸优化理论与应用,第一章 凸集,信息与通信工程学院 庄伯金 ,8,仿射集(Affine sets),直线的表示：,线段的表示：,信息与通信工程学院 庄伯金 ,9,仿射集(Affine s
3、ets),仿射集的定义：过集合C内任意两点的直线均在集合C内，则称集合C为仿射集。 仿射集的例：直线、平面、超平面,信息与通信工程学院 庄伯金 ,10,仿射集,仿射包：包含集合C的最小的仿射集。,仿射维数：仿射包的维数。,信息与通信工程学院 庄伯金 ,11,仿射集,内点（interior）：,相对内点（relative interior）：,信息与通信工程学院 庄伯金 ,12,凸集(Convex Sets),凸集的定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。,信息与通信工程学院 庄伯金 ,13,凸集,凸包的定义：包含集合C的最小的凸集。,信息与通信工程学院 庄伯金 ,14,锥
4、(Cones),锥的定义：,凸锥的定义：集合C既是凸集又是锥。,锥包的定义：集合C内点的所有锥组合。,信息与通信工程学院 庄伯金 ,15,超平面和半空间,超平面(hyperplane) ：,半空间(Halfspace)：,信息与通信工程学院 庄伯金 ,16,欧氏球和椭球,欧氏球(euclidean ball):,椭球(ellipsoid):,信息与通信工程学院 庄伯金 ,17,范数球和范数锥,范数(norm)：,范数球(norm ball)：,范数锥(norm cone)：,信息与通信工程学院 庄伯金 ,18,多面体(Polyhedra),多面体：,单纯形(simplex)：,信息与通信工程学
5、院 庄伯金 ,19,半正定锥(Positive semidefinite cone),n阶对称矩阵集：,n阶半正定矩阵集：,n阶正定矩阵集：,n阶半正定矩阵集为凸锥！,信息与通信工程学院 庄伯金 ,20,保持凸性的运算,集合交运算 仿射变换透视/投射函数(perspective function),信息与通信工程学院 庄伯金 ,21,保持凸性的运算,线性分式函数(linear-fractional function),信息与通信工程学院 庄伯金 ,22,真锥(proper cone),真锥的定义：锥 满足如下条件,K具有内点,K内不含直线,信息与通信工程学院 庄伯金 ,23,广义不等式,真锥
6、下的偏序关系：,例： 逐项不等式 矩阵不等式,广义不等式,严格广义不等式,信息与通信工程学院 庄伯金 ,24,广义不等式的性质,信息与通信工程学院 庄伯金 ,25,严格广义不等式的性质,信息与通信工程学院 庄伯金 ,26,最值和极值,最小元的定义：设 ，对 ，都有成立，则称 为 的最小元。,极小元的定义：设 ，对于 ，若，则 成立，则称 为 的极小元。,信息与通信工程学院 庄伯金 ,27,分割超平面(separating hyperplane),定理：设 和 为两不相交凸集，则存在超平面将 和 分离。即：,信息与通信工程学院 庄伯金 ,28,支撑超平面(supporting hyperplan
7、e),定义：设集合 ， 为 边界上的点。若存在 ，满足对任意 ，都有 成立，则称超平面 为集合 在点 处的支撑超平面。,定理：凸集边界上任意一点均存在支撑超平面。 定理：若一个闭的非中空集合，在边界上的任意一点存在支撑超平面，则该集合为凸集。,信息与通信工程学院 庄伯金 ,29,对偶锥(dual cone),对偶锥的定义：设 为锥，则集合 称为对偶锥。,对偶锥的性质：,真锥的对偶锥仍然是真锥！,信息与通信工程学院 庄伯金 ,30,对偶广义不等式,广义不等式与对偶等价性质,最小元的对偶特性：,信息与通信工程学院 庄伯金 ,31,对偶广义不等式,极小元的对偶特性,反过来不一定成立！,信息与通信工程
8、学院 庄伯金 ,32,作业,P60 2.8 P60 2.10 P60 2.14 P62 2.16 P62 2.18 P64 2.30 P64 2.31 P64 2.33,信息与通信工程学院 庄伯金 ,33,凸优化理论与应用,第二章 凸函数,信息与通信工程学院 庄伯金 ,34,凸函数的定义,1.定义域 为凸集；,2. ，有,凸函数的定义：函数 ，满足,凸函数的扩展定义：若 为凸函数，则可定义其扩展函数 为,凸函数的扩展函数也是凸函数！,信息与通信工程学院 庄伯金 ,35,凸函数的一阶微分条件,若函数 的定义域 为开集，且函数 一阶可微，则函数 为凸函数当且仅当 为凸集，且对,信息与通信工程学院
9、庄伯金 ,36,凸函数的二阶微分条件,若函数 的定义域 为开集，且函数 二阶可微，则函数 为凸函数当且仅当 为凸集，且对 ，其Hessian矩阵,信息与通信工程学院 庄伯金 ,37,凸函数的例,幂函数,负对数函数,负熵函数,范数函数,指数函数,信息与通信工程学院 庄伯金 ,38,凸函数的例,信息与通信工程学院 庄伯金 ,39,下水平集(sublevel set),定理：凸函数的任一下水平集均为凸集。,任一下水平集均为凸集的函数不一定为凸函数。,信息与通信工程学院 庄伯金 ,40,函数上半图(epigraph),定理：函数 为凸函数当且仅当 的上半图为凸集。,信息与通信工程学院 庄伯金 ,41,
10、Jensen不等式,为凸函数，则有：,Jensen不等式的另外形式：,信息与通信工程学院 庄伯金 ,42,保持函数凸性的算子,凸函数的逐点最大值,凸函数与仿射变换的复合,凸函数的非负加权和,信息与通信工程学院 庄伯金 ,43,保持函数凸性的算子,复合运算,最小值算子,凸函数的透视算子,信息与通信工程学院 庄伯金 ,44,共轭函数(conjugate function),定义：设函数 ，其共轭函数 ，定义为,共轭函数的例,共轭函数具有凸性！,信息与通信工程学院 庄伯金 ,45,共轭函数的性质,Fenchels inequality,性质：若 为凸函数，且 的上半图是闭集，则有,信息与通信工程学院
11、 庄伯金 ,46,准凸函数(quasiconvex function),准凸函数的例,信息与通信工程学院 庄伯金 ,47,准凸函数的判定定理,定理：函数 为准凸函数，当且仅当 为凸集，且对 ，有,定理：若函数 一阶可微，则 为准凸函数，当且仅当 为凸集，且对 ，有,信息与通信工程学院 庄伯金 ,48,最小值函数,非负权值函数的最大值函数,保持准凸性的算子,复合函数,信息与通信工程学院 庄伯金 ,49,准凸函数的凸函数族表示,若 为准凸函数，根据 的任意 下水平集，我们可以构造一个凸函数族 ，使得,性质：若 为准凸函数 的凸函数族表示，对每一个 ，若 ，则有,信息与通信工程学院 庄伯金 ,50,
12、对数凸函数,对数凸函数的例,信息与通信工程学院 庄伯金 ,51,对数凸函数和凹函数的性质,性质：对数凸性与凹性对函数乘积和正数数乘运算均保持封闭。,定理：函数 二阶可微，则 为对数凸函数当且仅当,性质：对数凸性对函数加运算保持封闭。但对数凹性对函数加运算不封闭。,推论：函数 对每一个 在 上对数凸，则函数 也是对数凸函数。,信息与通信工程学院 庄伯金 ,52,对数凸函数和凹函数的性质,定理：函数 为对数凹函数，则函数 是对数凹函数。,信息与通信工程学院 庄伯金 ,53,广义不等式下的凸性,广义单调性的定义：设 为真锥，函数 称为 单调增，若函数 满足：,定理(对偶等价)：函数 为 凸函数，当且
13、仅当对所有 ， 为凸函数。,信息与通信工程学院 庄伯金 ,54,作业(1),P116 3.16 P116 3.21,信息与通信工程学院 庄伯金 ,55,作业(2),P121 3.41 P122 3.49 (1)(2),信息与通信工程学院 庄伯金 ,56,凸优化理论与应用,第三章 凸优化,信息与通信工程学院 庄伯金 ,57,优化问题的基本形式,优化问题的基本描述：,优化变量,不等式约束,等式约束,无约束优化,信息与通信工程学院 庄伯金 ,58,优化问题的基本形式,最优化值,最优化解,优化问题的域,可行点(解) (feasible) 满足约束条件,可行域(可解集) 所有可行点的集合,信息与通信工程
14、学院 庄伯金 ,59,局部最优问题,局部最优问题,信息与通信工程学院 庄伯金 ,60,优化问题的等价形式(1),信息与通信工程学院 庄伯金 ,61,优化问题的等价形式(2),信息与通信工程学院 庄伯金 ,62,优化问题的等价形式(3),定理：设 为严格单调增函数； 满足 当且仅当 ； 满足 当且仅当 。则原优化问题与以下优化问题等价,信息与通信工程学院 庄伯金 ,63,优化问题的等价形式(4),定理：原优化问题与以下优化问题等价,称为松弛变量,信息与通信工程学院 庄伯金 ,64,优化问题的等价形式(5),定理：设 满足等式 成立，当且仅当 。则原优化问题与以下优化问题等价,信息与通信工程学院
15、庄伯金 ,65,可分离变量优化问题,信息与通信工程学院 庄伯金 ,66,优化问题的上半图形式,信息与通信工程学院 庄伯金 ,67,凸优化问题的基本形式,凸优化问题的基本描述：,为仿射函数,为凸函数,若 为准凸函数，则优化问题称为准凸优化问题。,性质：凸优化问题的可行域是凸集。,信息与通信工程学院 庄伯金 ,68,凸优化问题的例,例：,等价于凸优化问题,信息与通信工程学院 庄伯金 ,69,凸优化问题的局部最优解,定理：凸优化问题的局部最优解均是全局最优解。,信息与通信工程学院 庄伯金 ,70,凸优化问题最优解的微分条件,定理：设 为凸优化问题的可行域， 可微。则 为最优解当且仅当 成立。,定理：
16、非约束凸优化问题中，若 可微。则 为最优解当且仅当 成立。,信息与通信工程学院 庄伯金 ,71,凸优化问题的等价形式,信息与通信工程学院 庄伯金 ,72,凸优化问题的等价形式,信息与通信工程学院 庄伯金 ,73,凸优化问题的等价形式,信息与通信工程学院 庄伯金 ,74,凸优化问题的等价形式,等价于,定理：设凸优化问题,信息与通信工程学院 庄伯金 ,75,准凸优化问题,注：准凸优化问题的局部最优解不一定是全局最优解。,信息与通信工程学院 庄伯金 ,76,准凸优化问题的上半图形式,设 为准凸函数 的凸函数族表示，即,则准凸优化问题的可行解问题为,设 为准凸优化问题的最优解，若上述问题可解，则 。否
17、则 。,信息与通信工程学院 庄伯金 ,77,准凸优化问题二分法求解,给定一个足够小的 和足够大的 ，使得区间 能包含最优解 。给定,LOOP： 令 求解可行解问题； 若可解，则令 ，否则令 若 ，则结束，否则goto LOOP。,信息与通信工程学院 庄伯金 ,78,线性规划(linear program,LP),LP问题的一般描述,信息与通信工程学院 庄伯金 ,79,LP问题的几种类型,标准LP问题,不等式形式LP问题,信息与通信工程学院 庄伯金 ,80,标准LP问题的转换,信息与通信工程学院 庄伯金 ,81,LP问题的例,Chebyshev center of a polyhedron,Pi
18、ecewise-linear minimization,Linear-fractional programming,信息与通信工程学院 庄伯金 ,82,Chebyshev center of a polyhedron,多面体,Chebyshev center：到多面体边界距离最大的内点（最深的点）,问题描述,LP形式,信息与通信工程学院 庄伯金 ,83,Piecewise-linear minimization,问题描述,上半图形式,LP形式,信息与通信工程学院 庄伯金 ,84,Linear-fractional programming,问题描述,LP形式,信息与通信工程学院 庄伯金 ,85,
19、二次规划(quadratic program,QP),QP问题的基本描述,信息与通信工程学院 庄伯金 ,86,二次约束二次规划,quadratically constrained quadratic program (QCQP),信息与通信工程学院 庄伯金 ,87,QP问题的例,Least-squares and regression,Distance between polyhedra,信息与通信工程学院 庄伯金 ,88,Least-squares and regression,问题描述,信息与通信工程学院 庄伯金 ,89,Distance between polyhedra,问题描述,QP
20、形式,信息与通信工程学院 庄伯金 ,90,Second-order cone program, SOCP,SOCP问题的基本描述,二次锥约束条件,信息与通信工程学院 庄伯金 ,91,SOCP问题的例Robust linear programming,例： 为确定的常数， 为变量，其范围满足,SOCP形式,信息与通信工程学院 庄伯金 ,92,几何规划(Geometric programming),单项式与多项式,几何规划的基本描述,信息与通信工程学院 庄伯金 ,93,几何规划的凸形式转换,令,几何规划的凸形式,信息与通信工程学院 庄伯金 ,94,广义不等式约束,广义不等式约束的优化问题,SOCP
21、的描述,信息与通信工程学院 庄伯金 ,95,凸优化理论与应用,第四章 对偶问题,信息与通信工程学院 庄伯金 ,96,优化问题的拉格朗日函数,设优化问题：,拉格朗日(Lagrangian)函数：,对固定的 ，拉格朗日函数 为关于 和 的仿射函数。,信息与通信工程学院 庄伯金 ,97,拉格朗日对偶函数,拉格朗日对偶函数(lagrange dual function) ：,若拉格朗日函数没有下界，则令,拉格朗日对偶函数为凹函数。,对 和 ，若原最优化问题有最优值 ，则,信息与通信工程学院 庄伯金 ,98,对偶函数的例,Least-squares solution of linear equation
22、s,Standard form LP,Two-way partitioning problem,信息与通信工程学院 庄伯金 ,99,Least-squares solution of linear equations,原问题：,拉格朗日函数：,拉格朗日对偶函数：,信息与通信工程学院 庄伯金 ,100,Standard form LP,原问题：,拉格朗日函数：,拉格朗日对偶函数：,信息与通信工程学院 庄伯金 ,101,Two-way partitioning problem,原问题：,拉格朗日函数：,拉格朗日对偶函数：,信息与通信工程学院 庄伯金 ,102,对偶函数与共轭函数,共轭函数,共轭函数
23、与对偶函数存在密切联系,具有线性不等式约束和线性等式约束的优化问题：,对偶函数：,信息与通信工程学院 庄伯金 ,103,Equality constrained norm minimization,问题描述：,共轭函数：,对偶函数：,信息与通信工程学院 庄伯金 ,104,Entropy maximization,原始问题：,共轭函数：,对偶函数：,信息与通信工程学院 庄伯金 ,105,Minimum volume covering ellipsoid,原始问题：,对偶函数：,共轭函数：,信息与通信工程学院 庄伯金 ,106,拉格朗日对偶问题,拉格朗日对偶问题的描述：,对偶可行域,最优值,最优解
24、,信息与通信工程学院 庄伯金 ,107,LP问题的对偶问题,标准LP问题,对偶函数,对偶问题,等价描述,信息与通信工程学院 庄伯金 ,108,弱对偶性,定理（弱对偶性） ：设原始问题的最优值为 ，对偶问题的最优值为 ，则 成立。,optimal duality gap,可以利用对偶问题找到原始问题最优解的下界。,信息与通信工程学院 庄伯金 ,109,强对偶性,强对偶性并不是总是成立的。,定义（强对偶性） ：设原始问题的最优值为 ，对偶问题的最优值为 。若 成立，则称原始问题和对偶问题之间具有强对偶性。,凸优化问题通常（但并不总是）具有强对偶性。,信息与通信工程学院 庄伯金 ,110,强对偶性,
25、存在 ，满足,弱化的Slater条件：若不等式约束条件的前 个为线性不等式约束条件，则Slater条件可以弱化为：,信息与通信工程学院 庄伯金 ,111,Least-squares solution of linear equations,原问题：,对偶问题：,具有强对偶性,信息与通信工程学院 庄伯金 ,112,Lagrange dual of QCQP,QCQP：,拉格朗日函数：,对偶函数：,信息与通信工程学院 庄伯金 ,113,Lagrange dual of QCQP,对偶问题：,Slater条件：存在 ，满足,信息与通信工程学院 庄伯金 ,114,Entropy maximizatio
26、n,原始问题：,对偶函数：,对偶问题：,信息与通信工程学院 庄伯金 ,115,Entropy maximization,弱化的Slater条件：存在 ，满足,信息与通信工程学院 庄伯金 ,116,Minimum volume covering ellipsoid,原始问题：,对偶函数：,对偶问题：,信息与通信工程学院 庄伯金 ,117,Minimum volume covering ellipsoid,弱化的Slater条件总成立，因此该优化问题具有强对偶性。,弱化的Slater条件：存在 ，满足,信息与通信工程学院 庄伯金 ,118,对偶可行解的不等式,对于一优化问题，若 为一可行解， 为对
27、偶问题可行解，则有如下不等式：,为 次优解，其中,不等式可以用于对次优解的精度估计,信息与通信工程学院 庄伯金 ,119,互补松弛条件,所以,设 为原始优化问题的最优解， 为对偶问题的最优解，若两者具有强对偶性，则,即,信息与通信工程学院 庄伯金 ,120,KKT优化条件,设优化问题中，函数 可微。设 为原始优化问题的最优解， 为对偶问题的最优解，且两者具有强对偶性，则 满足如下条件：,KKT条件为必要条件！,信息与通信工程学院 庄伯金 ,121,凸优化问题的KKT条件,信息与通信工程学院 庄伯金 ,122,例,原始凸优化问题,KKT条件,信息与通信工程学院 庄伯金 ,123,例,其中,解得,
28、信息与通信工程学院 庄伯金 ,124,凸优化问题的对偶求解,信息与通信工程学院 庄伯金 ,125,扰动问题,扰动问题：,当 时即为原始问题。,若 为正，则第 个不等式约束被放宽；若 为负，则第 个不等式约束被收紧。,记 为扰动问题的最优解。若扰动问题无最优解，则记,信息与通信工程学院 庄伯金 ,126,灵敏度分析,设对偶问题存在最优解，且与原始问题具有强对偶性，若非干扰问题的最优对偶解为 ，则有,若 在 处可微，则,信息与通信工程学院 庄伯金 ,127,定义（弱选择性）：若两个不等式（等式）系统，至多有一个可解，则称这两个系统具有弱选择性。,选择定理,对偶不等式组,设原始问题的约束条件：,对偶
29、问题,原始问题的约束条件与对偶不等式组具有弱选择性。,信息与通信工程学院 庄伯金 ,128,选择定理,对偶不等式组,设原始问题的严格不等式约束条件：,原始问题的严格不等式约束条件与对偶不等式组具有弱选择性。,信息与通信工程学院 庄伯金 ,129,定义（强选择性）：若两个不等式（等式）系统，恰有一个可解，则称这两个系统具有强选择性。,选择定理,对偶不等式组,设原始问题为凸优化问题，其严格不等式约束条件为：,若存在 ，满足 ，则上述两不等式约束系统具有强选择性。,信息与通信工程学院 庄伯金 ,130,选择定理,对偶不等式组,设原始问题为凸优化问题，其不等式约束条件为：,信息与通信工程学院 庄伯金
30、,131,罚函数的例,范数：,死区线性罚函数：,对数门限罚函数,信息与通信工程学院 庄伯金 ,132,鲁棒的罚函数,若 大到一定程度时，罚函数为 的线性函数，则称该罚函数为鲁棒的罚函数。,Huber罚函数,信息与通信工程学院 庄伯金 ,133,最小范数问题,问题描述：,其中 为方程组 的解。,可以消去等式约束将其转换为范数逼近问题：,信息与通信工程学院 庄伯金 ,134,最小范数问题,最小平方范数问题：范数 ，最优解满足：,最小罚问题：,绝对值和最小问题：范数 ，原问题可转换为LP问题：,信息与通信工程学院 庄伯金 ,135,正则逼近,二元矢量优化问题描述：,正则化问题：,最优解描述了两分量的
31、一条折中曲线。,信息与通信工程学院 庄伯金 ,136,正则逼近,Tikhonov正则化问题：,为二次优化问题：,最优解的形式：,信息与通信工程学院 庄伯金 ,137,正则逼近,Tikhonov光滑正则化问题：,为二阶差分算子：,信息与通信工程学院 庄伯金 ,138,信号复原,已知加噪信号：,信号复原问题的描述：,函数 为正则函数或光滑函数。,信息与通信工程学院 庄伯金 ,139,信号复原,信息与通信工程学院 庄伯金 ,140,信号复原,信息与通信工程学院 庄伯金 ,141,信号复原,信息与通信工程学院 庄伯金 ,142,鲁棒逼近,问题描述：,随机鲁棒逼近： 为随机变量，逼近问题转换为最小化期望
32、,例：,随机鲁棒逼近为：,转换为：,信息与通信工程学院 庄伯金 ,143,随机鲁棒逼近,为随机变量：,最小平方随机鲁棒逼近为：,转换为：,其中,信息与通信工程学院 庄伯金 ,144,最坏情况鲁棒逼近,考虑 ，最坏情况鲁棒逼近为：,例：,随机鲁棒逼近为：,转换为：,信息与通信工程学院 庄伯金 ,145,凸优化理论与应用,第6章 统计估计,信息与通信工程学院 庄伯金 ,146,概率分布的参数估计,随机变量的概率密度为 ，其中 为概率分布的参数，且参数未知。参数估计的目标就是通过一些已知样本估计获得参数的最优近似值。,问题描述,为样本观测值；,为对数似然函数；,若似然函数为凹函数，则优化问题为凸优化
33、问题。,信息与通信工程学院 庄伯金 ,147,具有独立同分布噪声的线性测量,线性测量模型：,为观测值或测量值；,为未知参数向量；,独立同分布噪声，其概率密度为 。,似然函数为,最大似然估计问题为：,信息与通信工程学院 庄伯金 ,148,例,高斯白噪声,对数似然函数：,区间 上均匀分布的噪声：,对数似然函数：,信息与通信工程学院 庄伯金 ,149,逻辑回归,随机变量 的概率分布为：,为参数；,为可观测的解释变量； 为观察值。,对数似然函数：,信息与通信工程学院 庄伯金 ,150,假定测验,随机变量 ，有 种可能（假定）的分布；,假定 ： 的概率分布为,假定测验的目标：由观察值猜测随机变量最有可能
34、服从哪种假定的分布。,当 时，称为二元假定测验。,随机检测子：非负元素矩阵,信息与通信工程学院 庄伯金 ,151,假定测验,为当 实际服从第1种假定分布而猜测为第2种假定分布的概率；,为当 实际服从第2种假定分布而猜测为第1种假定分布的概率；,多目标优化形式：,检测概率矩阵,信息与通信工程学院 庄伯金 ,152,假定测验,最小最大值形式,尺度优化形式：,信息与通信工程学院 庄伯金 ,153,例,在两种假设下的概率分布为：,信息与通信工程学院 庄伯金 ,154,例,信息与通信工程学院 庄伯金 ,155,实验设计,线性测量问题,最大似然估计值：,独立同分布高斯白噪声，服从分布 。,估计误差 均值为
35、0，方差为,信赖椭圆为,信息与通信工程学院 庄伯金 ,156,实验设计,实验设计的目标：寻找 ，使得误差的方差矩阵最小。,向量优化形式：,为整数问题，求解较困难。,信息与通信工程学院 庄伯金 ,157,实验设计,当 时，令 近似为一连续实数，原问题可松弛转换为连续实数优化：,信息与通信工程学院 庄伯金 ,158,凸优化理论与应用,第7章 无约束优化,信息与通信工程学院 庄伯金 ,159,无约束优化问题,问题描述：,无约束问题求解的两种方法：,迭代逼近：,求解梯度方程：,为凸函数，且二次可微。,信息与通信工程学院 庄伯金 ,160,例,梯度方程,二次优化：,信息与通信工程学院 庄伯金 ,161,
36、迭代起始点,满足条件2的几种函数：,起始点 满足：,函数 任意下水平集都是闭集；,函数的定义域为,当 时，,信息与通信工程学院 庄伯金 ,162,强凸性,定义：函数 在 上具有强凸性，若 满足,若函数 具有强凸性，则有,为最优值，则,信息与通信工程学院 庄伯金 ,163,强凸性,则有,为最优值，则,若函数 在 上具有强凸性，则可以证明存在 ，满足,信息与通信工程学院 庄伯金 ,164,强凸性,对于 ，矩阵 的特征值从大到小依次为 。则有：,定义：矩阵 的条件数为最大特征值与最小特征值之比，即 。,条件数的上界：,信息与通信工程学院 庄伯金 ,165,下降法,对于凸函数 ，当 满足 时，存在某个 ，使得 。,
