1、 基于离散神经网络的 TSP 问题研究摘要：TSP 问题一直是组合优化中极富活力的研究课题之一。七十年代中期，计算复杂性理论的出现和数学规划的发展大大推动了组合优化的前进。计算复杂性理论表 明，被称作NP 完全问题的旅行推销员问题以及其它类似的组合优化问题在计算上是等价的。也就是说，不能用任何已知的多项式算法求解这种问题。从这个新发现 可以看出：最优化方法的能力是有限的，这使得研究人员不得不寻求更好的解决办法。 神经网络的发展为这一问题的解决提供了一种新的思路。Hopfield 神经网络算法是解决这一问题的经典算法，这一算法最初具有的不足之处也得到了不断的 改进。对于离散神经网络而言 ,通过引
2、入网络状态图 ,可以很清楚地看到该网络的运行机理: 网络是否收敛 ,网络有多少个稳定吸引子 ,有多少个环吸引子 ,并能清楚地反映各类吸引子的吸引域.在这篇文章里 ,比较详细地讨论了网络状态图的一些基本性质 ,诸如网络的分支数等于网络稳定吸引子与环吸引子数目之和;对称离散神经网络、反对称离散神经网络在全并行运行条件下网络状态图的结构特征等.1、神经网络理论与旅行商问题神经网络可分为两类 ,一类是生物神经网络 ,另一类是人工神经网络 .生物神经网络是客观世界中的一种客观存在 ,是生物神经系统中神经细胞按照一定的连接方式连接而形成的网络.如人脑神经系统中神经细胞之间按照一定的方式连接而成的人脑神经系
3、统是一种典型的 ,到目前为止所发现的最具有智慧的生物神经网络;人工神经网络并非客观存在 ,而是科学工作者利用电子技术 ,光学技术等模拟生物神经网络的某些结构 ,特征以及功能而人为地研究制造的网络.人工神经网络亦可分为离散与连续型两大类.离散型人工神经网络是目前神经网络中的一个主要的核心研究领域 .由于最近几年神经网络的飞速发展 ,难免在发展过程中对有些问题遗漏或者论证粗糙与不足.目前 ,离散神经网络的数学理论欠佳.基于此 ,将以系列文章对离散型神经网络的数学理论进行较为深入的研究 .该文属首篇 ,引入了一种新的研究工具 网络状态图 ,并详细地讨论了网络状态图的一些基本性质 ,特别是对称与反对称
4、离散型神经网络.利用神经网络解决组合优化问题是神经网络应用的一个重要方面。神经网络应用于组合优化问题是从 Hopfield 和 Tank2用他们提出的 Hopfield 网络解决旅行商问题(TSP)开始的。由于神经网络具有内在的并行计算性和容错性，因此在这一领域得到广泛的应用。但是 Hopfield 网络存在不稳健性，网络的初始条件严重影响计算结果，甚至得不到最优或是可行解。这主要是由于 Hopfield 网络的核心依然是梯度下降法，它使得在计算能量函数时，神经元的变化总是导致网络能量的下降，最终网络能量可能陷入局部最小值或是不可行解。近年来，为了改善这一缺陷提出了许多方法。Feng 等 3提
5、出了一种称为稳定状态分析技术来设置 Hopfield 网络能量函数的约束条件和距离的权值，从而在求解 TSP 时，能得到比较好的结果。Cooper 等 4提出了一个高维神经网络 (HONN)来映射TSE 并且分析了得到可行解的稳定条件。 Tan 等 5给出了稳定标准，这些标准可以保证Hopfield 网络在求解 TSP 时，收敛到可行解，减少收敛到不可行解的次数。为了提高收敛速度，韦岗等 6给出了使得 Hopfield 网络指数收敛的条件。旅行商问题(TSP)是典型的组合优化问题，利用神经网络解决组合优化问题是神经网络应用的一个重要方面。Hopfield 神经网络作为一种全连接的神经网络，曾经
6、为神经网络的发展开辟了新的研究途径。它的独特结构特征和学习方法，使它能够较好的模拟生物神经网络的记忆功能，并获得令人满意结果。正是基于需解决问题的代表性以及手段方法的先进性，我们开展利用 Hopfield 网络解决经典组合优化问题的研究。1.1 人工神经网络概念的提出在宇宙中所有已知的信息处理系统中，人的大脑是最复杂的、最完美的和最高效的。人脑是人类高级精神活动如人类智能、思维处理和情绪等赖以生存的物质基础，也是生物进化过程中出现的最高产物，并且是当前人类发展过程中认识较少的领域之一 2。长期以来，人们不断在一系列学科的基础上对大脑的神经网络结构进行分析和研究，利用人类大脑神经网络的一些独特性
7、质，研究和提出一系列智能系统来模拟人类大脑某些功能来进行各种信息处理以及相关问题的解决。这些研究包括神经学、生物学、认知学、心理学、电子学、数学和计算机科学等各个领域 3。随着当今社会科学技术的发展，人类将各种复杂和繁琐的问题交由机器解决，自己来处理各种有创新性的活动，而如何快速的利用机器代替人类解决问题已经成为科技水平的重要标志。计算机就是采用电子元件来模拟人脑去完成某些复杂计算和判断的信息处理系统。目前世界上最先进的计算机处理系统的速度已经达到了非常高的水平，其每个电子元件的计算速度在纳秒（10 -9s）级左右。与此相对应的是，人的大脑中的每个神经细胞的反映时间在毫秒（10 -3s）级左右
8、，尤其在进行某些高级处理过程，包括人类视觉识别、语言的理解和表达、记忆的回溯和重构以及直觉推理等，往往需要 1s 左右的时间即可以完成极其复杂的处理过程 4。因此，人们希望可以实现一种高级信号处理系统，它在计算能力超过人类大脑，同时又可以模拟人的识别、判断、联想和决策的能力。人工神经网络（Artificial Neural Network，简称 ANN） 5是当今迅速发展的一门高级科学，它是人工构造的能够实现计算功能的神经网络。人工神经网络的发展源于人们在对人脑的神经网络的不断认识和人类对大脑的理解，它以理论化的人脑神经网络为数学模型、以大脑复杂的神经网络结构为基础，建立了一种高效信息系统。在
9、特征上，它是一个具有高速的非线性特征的复杂网络，由大量简单神经元相互连接而成。在功能上，它能够进行非线性关系实现、复杂的逻辑操作 5。人工神经网络的发展基础是人的大脑，它在 2 个方面与人脑相似：（1）和人脑的学习途径类似，外界环境是人工神经网络进行知识获取的唯一途径。（2）和人脑的信息传递和存储类似，以突触权值，即互连神经元的连接强度来存储获取的信息。1.2 人工神经网络的发展史ANN 作为一门前沿交叉学科，在国际上得到了迅速的发展。人工神经网络的模型的研究基础是现代神经科学研究，而现代神经科学研究的神经网络理论又是大规模并行计算以及巨量信息并行处理的基础 6。人工神经网络作为描述认知、决策
10、及控制的智能行为的一种工具，它不仅是高度非线性动力学系统，同时又是自适应组织系统。1943 年，心理学家 W.S.McCulloch 和数理逻辑学家 W.Pitts 建立了神经网络和数学模型，成为 MP 模型。他们通过 MP 模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949 年，心理学家提出了突触联系强度可变的设想。20 世纪 60 年代，人工神经网络得到了进一步的发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky 等仔细分析了以感知器为代表的神经网络系统的功能和局限后，与 1969 年
11、出版了Perceptron一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者们仍然致力于这一研究，提出了适应谐振理论（ART 网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家 J.J.Hopfield 提出了 Hopfield 神经网络模型，引入了“计算能量”概念 7，给出了网络稳定性判断。1984 年，他又提出了连续时
12、间 Hopfield 神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。1985 年，又有学者提出了玻尔兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986 年进行认知微观结构的研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视：美国国会通过决议将从 1990 年 1 月 5 日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为；在日本“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分 8。1987 年，在美国加州召开
13、了第一届国际神经网络学术会议。此后，每年召开的国际联合神经网络大会，成为神经网络研究者的学术交流平台。另外，十几种国际著名的神经网络学术刊物相继问世，如：IEEE Transaction on Neural Networks、IEEE Transaction on Circuit and Systems、Networks:Computation in Neural Systems等，神经网络理论研究在国际学术领域获得了其应有的地位。随着人工神经网络 20 世纪 80 年代在世界范围内的复苏，国内也逐渐掀起了研究热潮。1989 年 10 月和 11 月分别在北京和广州召开了神级网络及其应用讨论会
14、和第一届全国信号处理-神经网络学术会议：1990 年 2 月由国内八个学会，及即中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会联合在北京召开“中国神经网络首届学术会议”。这次大会以“八学会联盟，谈智能奥秘”为主题，收到了 300多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。2004 年 10月在合肥召开的“人工神经网络学术会议”已是第十四届学术年会。2004 年 8 月在中国大连召开的 ISSNN20034（Itenational Symposium on Neural Networks）国际会议，引起了国内外研究神经网路的学者的广泛
15、关注，产生了较大的影响 9。另外，国内外许多的学术会议都设有人工神经网络专题，经过十几年的发展，中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果。2、线性二次型控制器方法线 性二 次 型 控 制 器 的 设 计 方法是 现 代控制 理 论 中最有 效 的 设 计 方法之 一,它 适 用于 线性 多变量 系统,在有关 的文 献 中 已 得到 充 分论 述 1 9 8 2 年,o Hp i f e l d 提 出一种 反 馈 型 神经 网络离 散 型 o Hp i f e d l 网络,并给 该 网 络 引 人 了 能量 函 数 的概 念 I 3.1 9 8 4 年,o Hp i
16、 f e d l 又 相继 提 出 模 拟 o Hp i f e d l 网 络,并 成功地 用 于 解决 旅行 商 问 题 l .19 9 7 年,阮晓 钢提 出一 种 应 用 离 散 型 H o p i f e l d 网 络 解 决动 态 最 优控 制的方 法 .作 者致 力 于 求 解线 性 二次 型 最 优控制 问 题 的另 一种 新 方 法.3、离散神经网络离散 Hopfield 网络应属于整个离散型神经网络的最基本的模型.p 阶离散 Hopfield 网络共有 2p 个状态 ,因而 ,以图论为工具来研究离散 Hopfield 网络是一件很自然的思想 .基于此 ,文中提出了网络状态
17、图的概念 ,并讨论了与其有关基本性质.可以看到网络状态图作为研究散射 Hopfield 网络的一个工具具有直观、清晰、简捷等优点 .离散 Hopfield 网络是单层全互连的，其表现形式有两种：Hopfield 神经网络结构离散的 Hopfield 神经网络顾名思义离散的网络，属于一种二值神经网络，神经元的输出只取 1 和-1，所以通常用 1 和-1 表示神经元处于激活和抑制状态1.网络结构（DHNC）包括一层只作为网络输入的一层，因为并不是神经元所以不具备计算功能。一层为神经元执行的是输入信息与权系数的乘积求累加和并经过线性函数处理后产生输出信息。此处的线性函数是一个简单的阈值函数，如果输出
18、信息大于阈值，则输出值为 1，反之为-1。2.工作方式离散的 Hopfield 神经网络按照动力学方式进行，从初始状态按能量减小的方向进行演化，直到达到稳定状态，稳定状态即为稳定输出。离散的 Hopfield 神经网络属于串行输出依照下列公式进行 y（t+1）=fUj(t)=1(Uj0)r -1(Uj0)；Uj(t)=Ew*y(t)+xj-o；在任意一时刻t，只有某一神经元 i（随机的或确定的选择），而其他神经元状态不变。3.网络的稳定。从 DHNN 的结构中可以看出：它是一种多输入、俺有阈值的二值非线性动态系统。在动态系统中，平衡稳定状态可以理解为系统某种形式的能量函数在系统运动过程，其能量
19、不断减小，最后处于最小值。离散的 Hopfield 神经网络权系数矩阵的设计方法目的是：伪稳定点尽量少，稳定点的吸引力尽量大。方法：外籍发正交法应用数字识别利用离散的 Hopfield 神经网络输出特性建立一个 10x10 的矩阵，用 1 代表白色，用-1代表黑色这样就能用 1 和-1 构成的矩阵来表示 09 这 10 个 阿拉伯数字。，而网络对这 10个数字具有联想记忆功能，当有带噪声的数字点阵输入到该网络时，网咯的输出便可以得到最接近的目标向量，从而达到正确的识别 效果。3.1 神经网络的研究方向信息处理中一种并不需要开发规则和算法的新方法，极大地减少了软件的工作量，这种方法称为神经网络。
20、神经网络从神经生理学和认知科学研究成果为基础，应用数学方法研究并行分布的大脑风格的信息处理能力。其中，神经网络的研究内容相当广泛，反映了多学科相互交叉技术领域的特点。目前，主要的研究工作集中在以下几个方向：(1) 生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。(2) 建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型，其中包括概念模型、知识模型、物理化学模型、数学模型等。(3) 网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。
21、这方面的工作也称为技术模型研究。(4) 人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如：完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等。3.2 神经网络在实际应用中的状况神经网络是为了模拟人脑功能而提出的理论与方法，在实际应用中，神经网络拥有独特的优势：(1) 非线性映射能力。通过理论的证明，适当设计的拓扑结构和神经元的连接权值，多层前馈网络可应用于逼近任意给定映射。(2) 快速实时性。作为并行处理机的神经网络中，各个神经元拥有独立存储、运算、传输的能力，且能在网络结构中同时进行。神经网络在进行信息处理时，处理和存储是兼而有之，绝不会
22、分离的。由此可看出，神经网络可以消除算法和软件的瓶颈效应，能够实现快速实时性。(3) 自适应的学习能力。由于神经网络拓扑结构具有较大的可塑性，它有很高的自适应能力，主要反映在学习、自组织、推理和可训练性上。(4) 冗余性、鲁棒性、容错性。神经网络采用的是分布式存储方式，因此即使网络的某个部分受到损害，网络往往仍然可以工作，并可以通过在训练恢复其原来的信息，也可能联想出已存储在记忆中的某个完整信息。在实际应用中，神经网络也有自身的不足之处：(1) 应用范围有限。一般来讲，神经网络用于识别、信号处理、相关处理、优化设计等方面，但当训练样本不清楚或识别率要求很高时，神经网络很难实现。目前神经网络只适
23、用于解决一些规模较小的问题，这样的局限性决定了目前神经网络只能模拟比较低层次上的智能。(2) 样本特征提取较难。训练样本的提取是神经网络应用中最关键、最困难的一个步骤，尤其是训练样本的正交性和完备性较差的时候，难以保证系统的推广和泛化的能力。然而这个步骤却是神经网络设计中必须要做的。整个神经网络的性能，尤其属推广能力的优劣主要取决于训练样本之间的正交性和完备性，也就是要求训练样本集应该是可以充分反映测试集的概率分布。在实际问题里，样本本身的提取主要存在如下两个方面的问题：一是存在性问题，即能否获取样本。神经网络的实现要求是一切问题的特征都要用数字来表示出来，但是并不是一切问题的特征都可以形式化
24、和数字化，尤其是不确定的信息。二是训练样本的数量问题。一般来讲，神经网络的推广能力需要构造充分大的可以表述所有可能出现的特征的训练样本，也就是要求训练样本集应该可以代表实际系统的测试集的基本特征。但对于大多数系统来讲，人们所了解的样本特征太少，不够全面。实际上，训练样本本身就具有不确定、模糊、含噪声的，甚至很难提取到用来学习的特征。(3) 系统行为的不可理解性，难以充分检验。在神经网络的学习训练过程中，设计人员看到的只是输入和输出的数据，中间的分析演绎过程是小透明的。在神经网络的内部结构里，各个神经元之间是没有明显的分界线，他们相互交叉，既相互制约，有互相激励；既相互干扰，又彼此促进。参数调节
25、知识不明确，这是就不知道该修改哪些权值、节点以及层次。神经网络是一个非结构化的计算的“黑箱”系统，即不能显示它训练使得记忆知识和在学习过程中所学回合所忘记的知识。(4) 收敛与稳定性问题。神经网络的学习最终是要求网络收敛于给定的精度，它的收敛速度、精度等问题都与学习算法有关。但神经网络有时会因为所给定的不合理初始值而导致神经网络的学习算法不收敛或局部收敛或不稳定。然而如何给定合理的初始值，至今都还没有明确的说法。另外，在训练过程中，神经网络的对某个样本不收敛，但对其他样本都可收敛到给定精度，这时参数的修正是怎样进行的也没有合理的方法。(5) 容量问题。一般来说，一个神经网络的联想记忆能力，及即
26、稳定存储模式的容量是有限的 。54、总结通过对大量文献的阅读，在对神经网络基本原理、hopfield 神经网络、模糊数学理论、离散神经网络理论、matlab 基本理论、隶属度函数 matlab 模糊神经网络工具箱有了一定了解的基础。解决旅行商问题有很多种方法，如遗传算法，模拟退火算法等，这里选用的是Hopfield 神经网络的方法， Hopfield 神经网络又可以分为离散型和连续型，离散型主要用于解决联想记忆的问题和评价问题，而连续型的可以解决优化问题，因此本文采用连续型的 Hopfield 神经网络方法解决旅行商问题。旅行商问题是组合优化领域中的一个典型问题，该问题的核心就是要求出一个包含
27、所有 n 个城市的具有最短路径的环路。虽然它陈述起来很简单，但求解却很困难，并且已被证明是 NP 完全问题。但它确实广泛存在，且是诸多领域内出现的多种复杂问题的集合概括和简化形式。因此提出一种有效地解决旅行商问题的算法有着较高的理论意义与实际应用价值。参考文献1 曹艳龙 ,汪西莉,周兆永.基于 BP 神经网络的渭河水质评价方法J.计算机工程与设计 学报 2008,29(22):591059122 丛爽.面向 MATLAB 工具箱的神经网络理论与应用M.3 版.合肥:中国科学技术大学出 版社,20093 孙增圻,徐红兵.基于 T-S 模型的模糊神经网络J.清华大学学报(自然科学版),1997,
28、37:76804 COOPER B.Stability analysis of higher order neural networks for combinatorial ptimizationJ.nt of Neural Systems,2002,12(3):177186.5 TANKC,TANGH,GESS.On Pareter settings of Hopfield networks applied to traveling salesman problemsJ.Circuits and Systerns L Fundamental Theory and Applications,
29、2005,52(5):9941002.6 Imada A,Araki K Application of an evolution strategy to the Hopfield model of associative memoryD1997.7 侯媛彬,杜京义,汪梅著.神经网络M.西安:西安电子科技大学出版社,2007.8 董长虹著,神经网络与应用M.北京:国防工业出版社,2005.9 韦岗,田传俊.Hopfield 连型连续神经网络指数收敛速度的估计J.控制理论与用10 施彦,韩力群,廉小亲著,神经网络设计方法与实例分析M.北京:北京邮电大学出版社11 马锐著,人工神经网络原理M.北京:机械工业出版社,2010.12 韩力群著,人工神经网络理论、设计及应用M.北京:化学工业出版社,2007.13 高隽著,人工神经网络原理及仿真实例M.北京:机械工业出版社,2003.
