1、集合内点： 0 000 ( )nx S N x Sx S 设 ，若存在 ，使得 ，则称 为 的一个内点。补集： | , C nS S x x S x 集合 的补集定义为开集： ,x S x S 若对 为内点，则称 为开集。闭集： CS S S若集合 的补集 为开集，则称 为闭集。有界集 ： 0, ,| |M x S x MS 若存在正数 使得 成立，则称 为有界集。紧集： 有界闭集称为紧集0x 的 0 | | , 0N x x x -邻域：性质：1 * *2 .ink knkkSx S x x x SSx S S x （）集合 是闭集，当且仅当对任意的无穷序列 ，若 ，则 。（ ）集合 是紧集
2、当且仅当对任意的无穷序列 ，必存在收敛于 中点的子序列定义：设SEn,若对x(1),x(2)S及0,1,都有x(1)+(1-)x(2)S则称S为凸集。凸集分离定理定义：。和分离集合则称超平面（或情形恰好相反），都有，对，都有超平面，如果对为中两个非空集合，是和设212121 |SSHxpSxxpSxxpxHESSTTTn定理1：| | inf | | 0( ) ( ) 0nx STS E y S x Sy x y xx x Sy x x x 设 为 的 集， ，则存在唯一的 ，使得。是这一最小距离点 对 ，有闭凸。证明：( ) ( ) ( )( )( ) ( ) 22( ) ( )( ) 2
3、( ) 2( ) 2 ( ) 2 2( ) ( )inf | | 0 , , | | Cauchy| |2 | | 2 | | 4 22 | | 2 | | 40 ( , ) Cauchy ,x Sk k kkk mk mk mk mk ky x rx x S y x rxx xx xx y x y yx y x y rm kx x x 令序列 使得 。先证 为 序列。当为 序列， 极限存在，设为.S x S 为闭集，定理1：。，使得，则存在唯一的的闭凸集，为设0|inf| xyxySxSyESSxn证明：.1|)(21|212 21|212 .2 ,|xxxyxyxyxyxyxyxxyrxy
4、xyxxyrSxxSxxSrxyxySx，为凸集，使得假设存在定理1：( ) ( ) 0Tx x Sy x x x 是这一最小距离点 对 ，有。证明：2 22 22( ) ( ) 02( ) ( )TTx y x xx Sy x y x x xy x x x y x x xy xx “ ”假设 ，则对任意的 ，有是最小距离点。定理1：( ) ( ) 0Tx x Sy x x x 是这一最小距离点 对 ，有。证明：2 22 22 2 22222,.(0,1), ( ) .( ( ) ,( ( ) 2 ( ) ( )2 ( ) ( ) 02( ) ( ) 00, 2( ) ( ) 0( ) ( )
5、 0.TTTTTx x Sy x y xS x x x Sy x x x y xy x x x y x x x y x x xx x y x x xx x y x x xy x x xy x x x “ ”假设 是最小距离点则对 ，有是凸集， 有令 得定理2:0 .nT TS E y Sp x S p y p x 设 是 的非空 凸集， ，则存在非零向量及数 ，使得对 ，有闭.)()()()()()(0)(,00inf12xpypxxxyxxpxypxxxypxypxyxypxypxyxySxSySTTTTTTTTSx令，使，由定理为闭凸集，证明：定理3:.)(xpypSSclSxpSyEST
6、Tn有，的内点和边界点组成的闭包，由，使得对，则存在非零向量的非空凸集，是设证明： ( ) ( )( ) ( )( ) ( ) ( )( )( )( ) ( )( ) .2. ,., .jj jk kk kT Tk k kkkT Tk kkT TjS clSy S y clS y yy px clS p y p xp ppp y p x x clSk p y p x x clS 是凸集， 是闭凸集。，则存在序列 ，使得对每个点 ，由定理 ，存在单位向量 ，使得对每个 ，有序列 有界 单位向量 ，存在收敛的子序列其极限为单位向量对每个 成立，令 ，得到推论4:.0)()(yxpSSclSxpSy
7、ESTn有，的内点和边界点组成的闭包，由，使得对，则存在非零向量的非空凸集，是设定理5:),(.|sup|inf21212121成立对或，使得非零向量，则存在的两个非空凸集，是和设SxSyxpypSxxpSxxppSSESSTTTTn)1()2(21212)2(1)1()1()2(120)0(,00,.,|xpxpxpSxpSSSSSSSSxSxxxSSSTTT有对存在是凸集且是非空凸集，设证明：1 2 11 21 21 20inf | sup | .( , )nT TT TS S E SS S pp x x S p x x Sp y p x y S x S 设 和 是 的两个非空闭凸集， 有
8、界，且，则存在非零向量 和 ，使得或 对 成立定理6: (2) (1) (1) (2)2 1 1 2( )( ) ( ) ( ) ( ) ( )2 1( )1( ) ( ) ( ) ( )12 22 1 | , 0 ., = , 1,2,=( )kk k k k kkk k k kS S S x x x S x SS Sx S xy S z S x y z kS zz z S y x z x zS x z Sx x z z S S S S 证明 设则 是非空凸集且假设存在序列 则存在序列和 使得是有界闭集， 存在收敛的子列，不妨设,则有是闭集，是 .2闭集由定理 ，结论成立.Farkas定理：
9、0 0 0T TA m n c nAx c x A y c y 设 为 矩阵， 为 维列向量，则， 有解的充要条件是 ， 无解。证明：）矛盾。与（但则有的一个解，为设得，使得设存在”“100,0)1(00,00,00xAyxAyxcxAyxcxAxcAxxcAycyAyTTTTTTTT, 0 | , 0,2 0, 0,0,0 10 01 0.0 0TTT TT TT T TT TTTTA y c yS z z A y y c SS xz S x c x zx c x zc x z x y Axy c x y Axy c xc x yAxx Ax c x “ ” 设 无解，令则可以证明 为闭凸集
10、，由定理 ，使得对 有即对任意的 ，有 （）令 ，得为一定数，的分量可取任意大，由（），必有既非零向量 是 ， 的解。Farkas定理：0 0 0T TA m n c nAx c x A y c y 设 为 矩阵， 为 维列向量，则， 有解的充要条件是 ， 无解。Gordan定理：。，使得向量充要条件是不存在非零有解的矩阵，那么为设000yAyAxnmAT证明：.0,00,00,00矛盾与数的各分量不可能为非负则有使得若存在非零向量，使得设存在”“yyxAxAyAyyAyxAxTTT1 21 2200, 0. 0 | , | 00 , ,10 00 01 0 ,0 2TnnT TTnTAxy
11、A y AxS z z Ax x E S z zAx S Sy x E z Sy Ax y zx y zz yz x Ey Ax “ ”（证等价命题）即若 无解，则存在非零向量 使得 设 无解，令无解 由凸集分离定理知，存在非零向量，使得对 ，有（）特别地，当 时，有 。，它的分量可取任意负数，在（）中令 ，则对 有（ ）令 2 00, 0.0, 0.T T TT TTx A y y AA yA y A yy A y ，代入（ ），得即因此，存在非零向量 使得Gordan定理：。，使得向量充要条件是不存在非零有解的矩阵，那么为设000yAyAxnmAT证明： “ “ 0, 0( 0)| , 0
12、 0 .0, 0 , 00 , 0, 0, 0(0, ,0,1,0, 0) 0, 1,2, ,0, 0 0, 0TTT TTT TTiTA y y yS z z A y y SSx z S x x zz S x zz A y y y Axy i my y Ax Axx Ax 设 无解，令，则可以证明 是闭凸集，则由点与凸集的分离定理，使得对 都有，对 都有对 有 成立，取则由 有 成立得到 ，即存在 使 有解.证法正确吗？凸函数凸函数：设S是En中的非空凸集，f(x)是定义在S上的实函数，如果对于每一对x1，x2S及每一个a，0a1,都有f(ax1+(1a)x2)a f(x1)+(1a)f(x
13、2)则称函数f(x)为S上的凸函数上式中，若变为，则称为严格凸函数。若-f(x)为S的凸函数，则称f(x)为S上的凹函数(a)严格凸 x 凸 x 非凸 x(b) (c)凸函数性质(1) 设f1(x)，f2(x)是凸集S上的凸函数，则函数f1(x)+f2(x)在S上也是凸函数。(2) 设f(x)是凸集S上的凸函数，则对任意的a0，函数af(x)是凸的。推广：设f1(x)，f2(x), , fk(x)是凸集S上的凸函数，ai0,则a1f1(x)+a2f2(x)+ + akfk(x)也是凸集S上的凸函数.(3) 设f(x)是凸集S上的凸函数，对每一个实数c，则集合Scx | xS，f(x)c是凸集。
14、(4)设S是En中的非空凸集，f是定义在S上的凸函数，则f在S上的局部极小点是整体极小点，且极小点的集合是凸集证明：(0) (0)(0)(0) (0)(0)0 ( )( ) ( ) ( )( ) ( )(0,1) (1 )( (1 ) ) ( ) (1 ) ( )( ) (1 ) ( ) ( )x f S x N xx S N x f x f xx x S f x f xS x x Sf Sf x x f x f xf x f x f xx 设 是 在 中的局部极小点，既存在 的 邻域使得对 ，有 。若 不是整体极小点，则 使 ，是凸集， 对 有 ，是 上的凸函数，当 取得充分小时，可使 (1
15、 ) ( ) | , ( ) x S N xxx f Sf S Sx x S f x ，这与 为局部极小点矛盾，是 在 上的整体极小点。在 上的极小值也是它在 上的最小值。极小点集合为 ，则由性质（3）， 为凸集。凸函数的判别梯度：Tnxxfxxfxf )(,)()(1Hesse矩阵：221222122122122)()()()()()()(nnnnxxfxxxfxxxfxxxfxxxfxxfxfAxfbAxxfcxbAxxxfTT)()(21)(2方向导数0 00 0 000 0, , 0 ( )( ) ( ) ( )lim .( ; )n ntx E p E p f x xpf x f x
16、 tp f xp tDf x p f x p 设 ，则函数 在点 关于方向 的方向导数定义为：我们用 表示 在点 关于方向 的方向导数。方向导数通常用下面的公式计算：0 0( ; ) ( ) .TDf x p f x p定理(一阶充要条件)：(1) (2)(2) (1) (1) (2) (1)(1) (2)(2) (1) (1) (2) (1)( )( ) ,( ) ( ) ( ) ( )( ) ,( ) ( ) ( ) ( ).nTTS E f x Sf x x x Sf x f x f x x xf x x x Sf x f x f x x x 设 是 中非空开凸集， 是定义在 上的函数，
17、则 为凸函数的充要条件是对任意两点 ，有；为严格凸函数的充要条件是对任意互不相同两点 有可，微证明： (1) (2)(2) (1) (2) (1)(1) (2) (1) (1)(2) (1)(1) (2) (1)(1) (2) (1) (1) (2) (1), (0,1)( (1 ) ) ( ) (1 ) ( )( ( ) ( ) ( ) ( )0( ; ) ( ) (Tf S x x Sf x x f x f xf x x x f x f x f xf f x x xDf x x x f x x x “ ”设 是 上的凸函数，则对 及 ，有即令 ，由的可微性，得 在点 关于方向 的方向导数(
18、2) (1)(2) (1) (1) (2) (1) ( ) ( ),( ) ( ) ( ) ( ).Tf x f xf x f x f x x x ).()()()()()(21)()()()()(21)(21).()()()().(21)(212121)(212121,)1()2()1()1()2()1()2()1()1()1()1()1()2()1()1()1()1()2()1()2()1()2()1()2()1()2()1(xxxfxfxfxxxfxfxyxfxfxfxfxyxfxfyffxfxfxxfyfSxxyxxSxxSfTTTT 是凸函数，且，则取，及上的严格凸函数时，对是”当“
19、(1) (2)(2) (1) (1) (2) (1)(1) (2)(1) (2)(1) (1)(2) (2)(1) (2),( ) ( ) ( ) ( )(0,1) (1 ), ,( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) (1 ) ( )( ) ( )TTTTx x Sf x f x f x x xy x x y Sx y S x y Sf x f y f y x yf x f y f y x yf x f xf y f y “ ” 设对 ，有。，令 ，则 。由假设，对 及 有(1) (2)(1) (2)( (1 ) )( ) ( (1 ) )x x yf y f x
20、 xf 是凸函数。几何意义f(x)是凸函数当且仅当任意点处的切线增量不超过函数的增量。x(1) x(2)f(x(2)-f(x(1)f(x(1)f(x(2)(1) (2) (1)( ) ( )Tf x x x , ( )( ) ( ) ( ) ( )n nTS E x S f x Ex x Sf x f x f x x x ：设 是 中的凸集， 是定义在 上的凸函数，且在点 可微，则对任意 ，有推论2( )( ) ( )( )nS E f x Sf x x S f x xHessian f x：设 是 中非空开凸集， 是定义在 上的函数，则 为定理(二阶充要条件)二次 凸函数的充要条件是对任意
21、， 在处的 矩阵可微是半正定的。证明：“ “ f S x S 设 是 上的凸函数,对任意0 (0, )nS x E x x S 是开集，则对 ， 使当 ，有 。( ) ( ) ( ) (1)Tf x x f x f x x f x S 在点 二次可微，2 2 2 201( ) ( ) ( ) ( ) | | (2)2lim 0T Tf x x f x f x x x f x x x aa 其中 。2 2 2 21(1),(2) ( ) | | 02Tx f x x x a 由 得， 。2 ( ) 0Tx f x x 2两边除以 后，令 0，得， 。2( )( )( )nS E f x Sf x
22、 x S f xHessian f x：设 是 中非空开凸集， 是定义在 上的二次可微函数，则 为凸函数的充定理(二阶充要条件是对任意 ，有 在处的 矩阵要条件)半正定。2222“ “ ( ) ,1( ) ( ) ( ) ( ) ( ) ( )( )2(1 ) (0,1)( )1( ) ( )( ) 02( ) ( ) ( ) ( )T TTTf x x S x x STaylarf x f x f x x x x x f x xx xS S f xx x f x xf x f x f x x xf 设 在任意点 半正定，对 ，由带Lagrange余项的二阶 展开式，得其中 ，因为 是凸集，所以 ，又 半正定，是凸函数。2( )( ) ( )nS E f x Sx S f xHessian f x f x：设 是 中非空开凸集， 是定义在 上的二次可微函数，如果对任意 ，有 在 处的矩阵 正定，则 为定理严格凸函数。1( )2( )( )Tf x x Ax bx cA f xA f x 对二次函数 ，若 正定，则 为严格凸函数；若 半正定，则 为凸函数。例：判断下列函数是否为凸函数.1 22 21 2 1 1 2 2 1 2( )1 2 1(1) ( , ) 2(2) ( , ) .x xf x x x x x x x xf x x xe
