1、基于复数神经网络求解的拟凸优化问题 李静 重庆工商大学长江上游经济研究中心 摘 要： 针对神经网络应用于解决线性和非线性约束下的复数优化问题, 提出了一种简化的复数神经网络解决非线性规划下的拟凸优化问题;通过定义辅助函数将复数域上的拟凸优化问题转化为实数域上的优化问题, 推导出相应的神经网络模型, 并建立李雅普诺夫函数证明该神经网络平衡解的稳定性与收敛性;得出对任意的初始点, 该神经网络是李雅普诺夫全局稳定的而且收敛于优化问题的最优解;通过数值算例验证了此研究方法的有效性以及结论的正确性。关键词： 复数神经网络; 拟凸优化; 李雅普诺夫函数; 作者简介：李静 (1992) , 女, 贵州贵阳人
2、, 硕士研究生, 从事城镇化与城市经济研究.收稿日期：2017-05-02基金：教育部人文社会科学重点研究基地重大项目 (13JJD790047) The Solution to Quasi-convex Optimization Problems Based on Recurrent Neural NetworkLI Jing Yangtze Upriver Economic Research Center, Chongqing Technology and Business University; Abstract： According to application of neural n
3、etwork to solving recurrent optimization problems under linear and nonlinear constraints, this paper proposes a simplified recurrent neural network for solving quasi-convex optimization problems under nonlinear programming. The quasi-convex optimization problems on complex domain are transformed int
4、o the optimization problems on real number domain by defining auxiliary function, the corresponding neural network model is derived, and the stability and convergence of the equilibrium solution of this neural network is proved by established Lyapunov function. For arbitrary initial point, this neur
5、al network is Lyapunov global-stable and the optimal solution converging at optimization problem. Numerical example verifies the validity of this method and the correctness of the conclusion.Keyword： recurrent neural network; quasi-convex optimization; Lyapunov function; Received： 2017-05-02非线性规划是一个
6、目标或约束函数而不是线性的优化问题, 很多现实问题都可以表示为非线性规划。在过去的几十年, 针对非线性问题, 学术界已经取得很大进展, 求解线性和非线性优化问题的各种方法已经出现, 并且已在许多领域得以实践。1986, Tank 和 Hopfield 提出了用一个神经网络来求解线性规划问题, 自那时以来, 许多学者利用该领域的各项技术来解决非线性规划问题。近几年, 学者们对优化神经网络进行了大量研究并取得了良好结果。例如, 杨永清和曹进德1基于 KarushKuhn-Tucker 最优条件和投影方法构建了神经网络模型来解决不可微的非线性规划问题。刘青山和王俊2提出了一种单层递归神经网络来解决非
7、光滑凸规划的线性等式约束问题。成龙等3用一种递归神经网络来解决带有凸不等式和线性等式约束的非光滑凸规划问题。基于吉洪诺夫正则化方法, 边维和薛小平4提出了一种差分包络模型化的神经网络来解决线性约束非光滑凸规划问题。然而, 该神经网络只能处理凸规划问题, 当人们长期关注凸规划时, 逐渐发现非凸规划问题的与规划问题一样重要。在非凸规划中, 拟凸规划比其他非凸规划更为普遍, 其应用在很多领域都有出现, 如分式规划、化学、计算机视觉、生产计划和财务计划等5;然而, 这种优化算法比凸规划困难得多。大多数神经网络不可直接用于求解凸规划, 由此, 学者们提出了一些新的神经网络来求解拟凸规划问题。例如, 胡小
8、林等6提出了一种解决神经网络伪单调变分不等式和相关的拟凸优化问题。同时, 在很多科学问题或工程问题中, 会出现未知变量是复变量的情况, 复变量优化问题广泛应用于交通、自适应滤波、医学影像、遥感等领域。这时, 主要任务是找到相应的复变量值, 进而求解优化问题。复数域不仅提供了一种简明的表示方法, 而且能够保持原始问题的物理特征, 因此直接利用复数解决问题的方法更优。解决复变量优化问题时, 学者们通常是将复数分为实部和虚部两部分, 进而将复变量优化问题转变成实变量优化问题, 然后利用实数优化方法解决问题。在复数神经网络中, 变量的状态、权重矢量和激活函数等均是复数, 不同于实数神经网络, 它具有更
9、复杂的特性。关于复数神经网络的稳定性分析方法有很多, 如 Lyapunov 函数法、综合法等。刘小玉、康玲芳等7使用综合法研究时间离散复数神经网络模型, 推导出了一个确定网络参数的标准。段成军和宋乾坤8研究了离散时滞线性阈值神经元的复数神经网络, 得到了神经网络结果的有界性、全局吸引性和全局指数稳定性的判定标准。然而, 将复数神经网络应用于解决线性和非线性约束下的复数优化问题还没有受到学者们关注。因此, 将复数神经网络应用于解决非线性规划下的拟凸优化问题, 是一个非常有意义的研究课题。1 预备知识1.1 拟凸函数以下定义和引理中 为 n 维欧式空间。定义 19函数 F:RR, 如果存在一个常数
10、 L, 对任意的 x, y, 都有F (x) -F (y) Lx-y, 其中表示 R 上的欧几里得范数, 那么 F 在 内是李普希兹连续的。引理 110如果可微函数 f:RR 在集合 上是拟凸函数, 那么 x* 满足 (f (x *) ) (x-x*) 0, x, 当且仅当 f (x*) 是 f (x) 在 内的最小值。定义 311如果对任意的 x, y 都有 (F (x) ) (y-x) 0 (F (y) ) (y-x) 0, 那么函数 F:RR 是集合 上的拟单调函数。引理 212一个可微函数是拟凸的, 当且仅当它的梯度是一个拟单调映射。1.2 实向量和复向量之间的转化令 z= (z1,
11、z2, , zn) , 即 zC;由于复数不方便下文的讨论, 在此将复变量函数转化为实数域上的函数。不妨令 x= (x1, x2, , xn, y1, y2, , yn) , 其中 xi, yi, i1, n分别表示 zi的实部和虚部.下文的研究都建立在这个转化之上。1.3 李雅普诺夫稳定性考虑如下系统:其中, f (x) = (f 1 (x1, x2, , xn) , f2 (x1, x2, , xn) , , fn (x1, x2, , xn) ) ;x= (x1, x2, , xn) 。定理 113对于系统式 (1) , 如果可以找到一个正定的函数 V (x) , 并且该函数的全导数 为
12、常负函数或恒等于零, 则系统式 (1) 的零解是稳定的。定理 213对于系统式 (1) , 可以找到一个连续可微的函数 V (x) , V (0) =0, 在 x=0 点的任何领域内至少有一点 x, V (x) 0 (0) 。如果存在 x=0 的某个邻域 D, 使得 D 中 是正定 (负定) 的, 则系统式 (1) 的零解是不稳定的。2 复数神经网络模型2.1 模型介绍在此引入如下神经网络模型:2.2 复数优化问题的转化这里首先引入一个拟凸优化问题:其中, z= (z 1, z2, , zn) C, aC;目标函数 g:CR 是一个二次可微的拟凸函数;BC, 并且 B 是一个行满秩矩阵。不妨令
13、:可以得出:可以用实向量 x= (x1, x2, , xn, y1, y2, , yn) , xi, yiR 来表示复向量 z= (z1, z2, , zn) , ziC。同理可以用一个实向量 b 来表示 a, 令为了将复数优化问题转化为实数域上的优化问题, 首先定义如下的辅助函数:对复数域上的拟凸优化问题 (3) 可以做如下变形:其中 x= (x1, x2, , xn, y1, y2, , yn) R, bR;目标函数 f:RR 是一个二次可微的拟凸函数;AR, A 是一个行满秩矩阵 (r (A) =2m2n) , 令于是 Ax=b 等价于式 (3) 中的 Bz=a.到此, 将一个复数域上的
14、拟凸优化问题转化为实数域上的拟凸优化问题, 后面的讨论都将建立在式 (4) 的基础上。2.3 模型推导过程如果存在 (x *, y*) RR 满足由式 (5) 的第一个等式可以得到 Af (x *) -AAy*=0, 因为 A 是一个行满秩矩阵, 于是 AA 一定是一个可逆矩阵, 那么可以推导出把式 (6) 代入式 (5) 中可以得到f (x *) -A (AA) Af (x *) =0, 等价于 (I-A (AA) A) f (x *) =0, 令 P=A (AA) A, 得到 (I-P) f (x *) =0由上述推过程, 可以建立如下神经网络模型:引理 5 神经网络系统式 (7) 的平衡
15、点中满足 A=b 的点 是就是优化问题式 (4) 的最优解。3 神经网络稳定性与收敛性证明3.1 神经网络模型解的性质引理 3 对任意的初始点 x0R, 带有初值条件 x (0) =x0的系统式 (7) 存在唯一解 x (t) , 以及如果 x (0) =x0, 那么当 t0 时 x (t) 。令 x (t) = (x1 (t) , x2 (t) , , x2n (t) ) , 那么把 Ax (t) , b 分别记为 Ax (t) = (T1, T2, , T2m) , b= (s1, s2, , s2m) , 那么将式 (10) 代入式 (8) , 得到:由于 A (I-P) =A (I-A
16、 (AA) A) = (A-AA (AA) A) =0, 那么 , 说明 B (x (t) ) 是一个常数。而且当 x0 时, B (x 0) =0, 那么可以得到对所有的 t0 都有 B (x (t) ) =0。可以推出, 如果 x (0) =x0, 那么对所有t0 都有 x (t) 。3.2 主要结论及证明现在介绍关于神经网络式 (7) 收敛性及稳定性的主要结论。定理 3 对任意的初始点 x0, 神经网络式 (7) 是李雅普诺夫全局稳定的, 而且是收敛于优化问题式 (4) 的最优解.证明由引理 3 可知, 对任意的初值点 x0, 在 中总存在唯一的局部解 x (t) , 即 Ax (t)
17、=b 对所有的 t0 都成立。假设 x*是优化问题式 (4) 的一个最优解, 由引理 2 可以得到:得出矛盾, 因此 H () =0, 即 是神经网络的平衡点。同时, 从引理 3 很明显可以看出 。因此 是优化问题式 (4) 的最优解。接下来证明当t+时 x (t) .本节内容虽然是建立在实数的基础上展开讨论的, 但是在第 2 节中, 进行了复数到实数的转化;也就是说把要研究的复数神经网络转化成实数神经网络。第 2节中假设合理, 推导过程清晰, 并不会影响本节的证明, 因此本节得出的实数域上的结论完全适用于本文的研究对象.备注:根据定理 3, 对于任意初始点 x0, 神经网络系统式 (7) 收
18、敛到优化问题式 (4) 的最优解.但是如果初始点 x0, 不能证明神经网络系统式 (7) 的稳定性。4 实例验证下面举一个例子来说明本文中得出的结论在研究复数优化问题时的有效性。关于优化问题为了得出式 (12) 的最优解, 首先要将复数优化问题转化为实值的优化问题, 于是有用传统方法求解上述优化问题。因为 r (A) =r (A, b) =46, 可知非齐次线性方程组 Ax=b 有无穷多解, 求出通解为其中 k1, k2为任意常数;因此将 x 代入式 (13) 中, 得出 f (x) 是关于 k1, k2的二元函数。为了求解使 f (x) 取最小值的 x, 只要解出同时满足 的 k1, k2。
19、神经网络模型式 (2) 的解与上述方法得出的结果相同, 说明本文得出的定理 6是正确的。参考文献1YANG Q Y, CAO J.The Optimization Technique for Solving a Class of Non-differentiable Programming Based on Neural Network MethodJ.Nonlinear Analysis Real World Applications, 2010, 11 (2) :1108-1114 2LIU Q S, WANG J.A One-Layer Recurrent Neural Network
20、for Non-smooth Convex Optimization Subject to Linear Equality ConstraintsCInternational Conference on Neural Information Processing, Springer Berlin Heidelberg, 2008 3CHENG L, HOU Z G, LIU Y Z, et al.Recurrent Neural Network for Non-Smooth Convex Optimization Problems With Application to the Identif
21、ication of Genetic Regulatory NetworksJ.IEEE Trans Neural Netw, 2011, 22 (5) :714-726 4BIAN W, XUE X.Neural Network for Solving Constrained Convex Optimization Problems With Global AttractivityJ.IEEE Transactions on Circuits&Systems I Regular Papers, 2013, 60 (3) :710-723 5BAZARAA M S, SHERALI H D,
22、SHETTY C M.Nonlinear Programming:Theory and AlgorithmsJ.Journal of the Operational Research Society, 1994, 45 (7) :846-846 6HU X L, WANG J.Solving Pseudomonotone Variational Inequalities and Pseudoconvex Optimization Problems Using the Projection Neural NetworkJ.IEEE Transactions on Neural Networks,
23、 a Publication of the IEEE Neural Networks Council, 2006, 17 (6) :1487-1499 7LIU X Y, LIN F K, LIU B.A Synthesis Method Based on Stability Analysis for Complex-valued Hopfield Neural NetworkCAsian Control Conference, 2009 8DUAN C J, SONG Q K.Stability, Boundedness and Stability for Discrete-Time Del
24、ayed Neural Network with Complex-Valued Linear Threshold NeuronsJ.Discrete Dynamics in Nature&Society, 2010 (5) :1038-1045 9SEARCid M.Metric SpacesJ.Springer Undergraduate Mathematics, 2007, 91 (1) :67-165 10KINDERLEHRER D, STAMPACCHIA G.An Introduction to Variational Inequalities and their Applicat
25、ionsM.Academic Press, 1980 11XIA Y S, LEUNG H, WANG J.A Projection Neural Network and Its Application to Constrained Optimization ProblemsJ.IEEE Transactions on Circuits&Systems I Fundamental Theory&Applications, 2002, 49 (4) :447-458 12KARAMARDIAN S, SCHAIBLE S.Seven Kinds of Monotone MapsJ.Journal of Optimization Theory and Applications, 1990, 66 (1) :37-46 13马知恩, 周义仓.常微分方程定性与稳定性方法M.北京:科学出版社, 2001MA Z E, ZHOU Y C.The Method of Qualitative Theory and Stability Theory of Ordinary Differential EquationsM.Beijing:Science press, 2001
