1、1人工神经网络与数学建模曾黄麟随着人们从研究内容到研究方法经历的发展与变化，在对于高层次智能行为的研究中，大多数研究不仅集中于知识表示和符号推理，而是更加重视知识与大量观察和实验数据的处理、归纳、分类相联系，这就是数据挖掘。数学建模就是从大量数据中利用某些方法，寻找该系统或事件的内在规律，建立该系统或事件的数据之间的联系，并用一种数学描述其输入与输出之间的关系，这种关系就是数学模型。一个系统的内在联系是通过数据、图表、图像、图形、公式、方程、网络结构等形式来体现的，所以，在某种程度上可以说，数据、图表、图像、图形、公式、方程、网络结构等都是该系统的模型表达，这种表达就是相似系统的概念。因此，数
2、学建模就是由一种系统的模型表达转换为系统的另一种模型表达。人工神经网络数学建模就是用人工神经网络的结构形式来代替实际物理系统模型。2人工神经网络是以工程技术手段模拟人脑神经系统的结构和功能为特征，通过大量的非线性并行处理器来模拟人脑中众多的神经元之间的突触行为，企图在一定程度上实现人脑形象思维、分布式记忆、自学习自组织的功能。人工神经网络理论(ANN，artificial neural networks）的概念早在 40 年代就由美国心理学家 McCulloch 和数理逻辑学家 Pitts 提出了 M-P 模型。1949 年美国心理学家 Hebb 根据心理学中条件反射的机理，提出了神经元之间连
3、接变化的规则，即 Hebb 规则。50 年代Rosenblatt 提出的感知器模型、60 年代 Widrow 提出的自适应线性神经网络，以及 80 年代 Hopfield,、Rumelharth等人富有开创性的研究工作，有力地推动了人工神经网络研究的迅速发展。大脑是由大量的神经细胞和神经元组成的，每个神经元可以当成是一个小的信息处理单元，这些神经元按照某种方式互相连接起来构成一个复杂的大脑神经网络。人工神经网络方法企图模拟人类的形象直觉思维，通过由大量的简单模拟神经元实现一种非线性网络，用神经网络本身结构表达输入与输出关联知识的隐函数编码，并通过学习或自适应使网络利用非线性映射的思想对信息能够
4、并行处理。3人工神经网络从数据中挖掘知识的主要特点是：1. 在信息处理机制上，它具有大规模并行模拟处理，网络全局作用， 信息分布存储，存储区和操作区合二为一等特点。2. 神经网络可以通过训练、学习，对输入空间产生一个非线性映射； 也可以自适应地、 自组织地对输入数据产生聚类。3. 神经网络具有较强的鲁棒性和容错能力，它不仅能处理不准确、不完整、不确定信息，而且能够克服网络本身的不精确性，甚至网络具有自身修复缺陷的能力。首先让我们了解一下人的大脑的神经网络基本特性。人工神经元基本特性模拟如图 8.3 所示：1xw2 vu. nx图 1 人工神经元基本特性示意图 4在人工神经网络中, 突触输入信息
5、为矢量 = , , X1x2. , , 通过突触的联接强度 = , , . , nx W1w2nw的加权, 进行线性求和后, 通过非线性输入输出函数得到输出niixwfvu1)()其中输入输出函数一般为 S 型函数。虚线框内代表一个神经元，在网络中我们常用一个神经元节点表示。一般输入输出 S 型函数有下列几种形式：（1） 线性函数： kvu（2）对数函数： 1)(kve（3） 双曲正切函数： kveu1这里 是一个常量。 k（4）高斯函数： )(2exp2cvu这里 确定函数的中心， 确定函数的宽度。c5（5）柯西函数： 4|1acvu这里 确定函数的中心， 确定函数的宽度。c（6）符号函数：
6、 0,1)sgn(vvu（7）阶跃函数： ,0线性函数常用于线性神经元网络；对数函数、双曲正切函数常用于多层或反馈连接非线性神经元网络；高斯函数、柯西函数常用于非线性径向基函数神经元网络；符号函数、阶跃函数是对数函数、双曲正切函数的极限情况，因此，利用它们可把连续神经网络变成为离散神经网络。根据人脑神经元之间联接的多样性，模拟人脑神经网络的人工神经网络的联接也具有各式各样的结构，但它们大体可以分为两大类，即具有反馈互联的神经网络和无反馈的前向互联神经网络。（1） 反馈互联网络这种网络的神经元与神经元之间通过广泛联接，传递、反馈交换信息，网络结构十分复杂，由于网络由输出端反馈到输入端，所以动态特
7、性丰富，存在网络的全局稳定性问题。6在广泛互联反馈网络中，有把输入信号分别输入到每一个神经元，每一个神经元的输出反馈到其它所有神经元的输入端，这种结构是全互联反馈网络，典型的代表网络就是 Hopfield 神经网络 40 (HNN，Hopfield neural network） 。如图 1 所示：1x 1u2w13n2x 2123n3x 3u1w32n3. .nx nu1w23n图 2 全互联反馈网络由于该网络是全互联反馈网络，存在输出反馈，需要考虑网络的全局稳定性问题。对于非线性网络，需要定义一个动力系统的 Lyapunov 函数，即能量函数 。若能量函数E7是率减的且为有限值，则网络是全
8、局稳定的。E定理 1： 若 单调递增且有界，对于所有的 ，当(.)f ji.时，那么上述网络稳定收敛至其能量函数 的极小值。jiijw E且稳定平衡点可由下式求出：01njijii IuwRx ni,21Hopfield 全互联反馈网络的综合需要考虑下列因素：1） 输入-输出函数 只要保证单调递增且有界；联接(.)f权满足 的要求。jiijw2） 如果该网络设计来实现优化计算，就需要定义优化计算的目标函数与该网络的能量函数一致，从而确定网络的联接权 ；当设计的网络运行到能量函数jiijw最小时，系统求出优化解。网络联接权的调整方法：1） 上述电路网络的联接权可通过 调整 ，ijnjiiwrR1
9、ir来满足 的要求。jiijw2） 对于无导师学习，即没有训练样本，可按 Hebb 学习规则，即按 ， 对 进行调ijijij wtt)(1( jiijuijw整。8对于有导师学习，即有训练样本，可按最陡下降法对进行调整 51 ，即误差反向传输在线学习算法。ijw（2） 前向互联网络多层感知器这种网络的神经元与神经元之间通过前向联接的，是一种典型的前馈式多层神经网络，每一层有若干个神经元，每一层内的神经元不互相联接，每一个神经元的输出联到下一层的输入。即把输入信号分别送到第一层的每一个输入节点，第一层的每一个节点的输出加权传送到第二层的神经元的输入端，从第二层开始称为隐元层，隐元层的输出通过加
10、权送到下一层的神经元，等等，这种结构是多层网络相联接的，网络没有输出端反馈到输入端的带来的全局稳定性问题。从隐元层到输出层的神经元一般都采用非线性的输入-输出函数，由于多次非线性函数作用，因此，整个网络能够实现任意非线性映射。同样，这种网络在学习过程中，首先定义了一组输出要求的模式（一般是用一个输出神经元输出为 1，其它输出为 0 来定义一种模式，这种模式也叫导师） ，根据输出层的神经元的输出与一个要求的输出之间的误差，确定对隐元层的联接权的修改。通过这种有导师的误差反向传输学习9算法，针对整个训练集（每一个输入对应有输出要求的模式，当然可以不同的输入对应相同的结果，即满足前面我们曾在本书的第
11、一部分里讲过的输入数据的协调性） ，不断自动地调整隐元层的神经元的联接权，通过反复修改联接权，直到整个网络达到要求的响应为止。这里输入端是 个l神经元，输出端是 个神经元，从输入到输出有多层（下图m为 4 层）互联，如图 3 所示.X1UW2x 3UW42 41u.m4. . .lxlmnO图 3 感知器多层互联网络多层感知器误差反向传输学习算法归纳如下：1） 以一个小的随机数（一般选取（ / ， 是连5.0m10接到该神经元的突触数目）初始化各神经元的突触联接强度 。jisw)(2） 从训练集中随机选取一个学习的样本作为网络的输入，并根据现有的神经元的突触联接强度计算各层神经元的现行输出 （
12、第一个样本则 ） 。)()(jpsjpsvfu1p3） 根据该学习的样本和现行网络的输出，分别对连接到隐元层、输出层的神经元计算 （第一轮则 ） 。)(tsjt4） 根据连接到隐元层、输出层的神经元的突触联接权修改 ，则第 层第 神经元的输出加权到第 层的第jisw)(1si s神经元的输入联接强度的更新为j )(twjis)1()tji（第一轮则 ） 。)()(tjist5） 从训练集中随机选取下一个学习的样本作为网络的输入，并重复上述学习过程，这样一轮又一轮不断自动地调整到隐元层、输出层的神经元的联接权，通过反复修改联接权，直到整个网络达到所有的要求的响应为止。利用人工神经网络来建立数学建
13、模，就是用大量观察和实验数据，通过训练，确定人工神经网络中的神经元之间的联结权，最后形成的人工神经网络结构形式来代替实际物理系统模型。因此，要设计一个实际应用的人工神经网络，首先是要11考虑用什么结构形式，因为结构形式确定后，神经元的输入-输出函数特性是容易选择的，其次就是要考虑用什么训练学习方法获得神经元之间的联结权，因为神经元中信息的存储主要取决于神经元的突触相互之间的联接方式和联接强度，不同的信息处理目的将通过不同的联接方式和联接强度来表达。最后就是神经网络的稳定性问题，对于前向式网络，由于没有输出反馈，一般可以不考虑网络的全局稳定性问题；如果用反馈式互联网络，由于存在输出反馈，一般需要
14、考虑网络的全局稳定性问题。一般利用人工神经网络来建立数学建模，就是用 MATLAB工具箱中的人工神经网络工具箱，首先选取一种人工神经网络形式，例如，多层感知器，确定使用几层网络，确定每一层网络的神经元数目，根据问题确定该网络得输入和输出神经元数目，确定训练学习方法，输入实验数据，一般随机选取一半实验数据作为训练学习，训练学习完成时，网络结构不再随输入数据变化，然后将一半实验数据作为测试数据，来证明该网络仿真实际物理系统的正确性。在利用人工神经网络来建立数学建模时，要写清楚人工神经网络数学建模就是用人工神经网络的结构形式来代替实际物理系统模型原理，选取一种什么人工神经网络形式？12神经元的输入-输出函数特性是什么？每一层网络的神经元数目？根据问题确定该网络得输入和输出神经元数目？训练学习方法什么？训练学习完成后，网络测试的结果如何？最后分析人工神经网络来建立数学建模的正确性。
