1、第8章 高级神经网络,8.1 模糊RBF网络 在模糊系统中，模糊集、隶属度函数和模糊规则的设计是建立在经验知识基础上的。这种设计方法存在很大的主观性。将学习机制引到模糊系统中，使模糊系统能够通过不断学习来修改和完善隶属函数和模糊规则，是模糊系统的发展方向。,模糊系统与模糊神经网络既有联系又有区别，其联系表现为模糊神经网络在本质上是模糊系统的实现，其区别表现为模糊神经网络又具有神经网络的特性。 神经网络与模糊系统的比较见表8-1。模糊神经网络充分地利用了神经网络和模糊系统各自的优点，因而受到了重视。,表8-1 模糊系统与神经网络的比较,将神经网络的学习能力引到模糊系统中，将模糊系统的模糊化处理、
2、模糊推理、精确化计算通过分布式的神经网络来表示是实现模糊系统自组织、自学习的重要途径。在模糊神经网络中，神经网络的输入、输出节点用来表示模糊系统的输入、输出信号，神经网络的隐含节点用来表示隶属函数和模糊规则，利用神经网络的并行处理能力使得模糊系统的推理能力大大提高。,模糊神经网络在本质上是将常规的神经网络赋予模糊输入信号和模糊权值，其学习算法通常是神经网络学习算法或其推广。模糊神经网络技术已经获得了广泛的应用，当前的应用主要集中在以下几个领域：模糊回归、模糊控制、模糊专家系统、模糊矩阵方程、模糊建模和模糊模式识别。 模糊神经网络是将模糊系统和神经网络相结合而构成的网络。利用RBF网络与模糊系统
3、相结合，构成了模糊RBF网络。,8.1.1 网络结构 采用图8-1所示的模糊神经网络系统，其模糊推理系统主要由输入层、模糊化层、模糊相联层、模糊后相连层和输出层构成。,输出层(o),模糊推理层(k),模糊化层(j),输入层(i),图8-1 模糊RBF神经网络结构,模糊RBF网络中信号传播及各层的功能表示如下：第一层：输入层 该层的各个节点直接与输入量的各个分量连接，将输入量传到下一层。对该层的每个节点i的输入输出表示为：,第二层：隶属函数层，即模糊化层 该层的每个节点具有隶属函数的功能，采用高斯函数作为隶属函数。对第j个节点：其中 和 分别是第i个输入变量的第j个模糊集合高斯函数的均值和标准差
4、。,第三层：规则层，即模糊推理层该层通过与模糊化层的连接来完成模糊规则的匹配，各个节点之间实现模糊运算，即通过各个模糊节点的组合得到相应的点火强度。每个节点j的输出为该节点所有输入信号的乘积，即,其中 为输入层中第i个输入隶属函数的个数，即模糊化层节点数。,第四层：输出层 该层的每个节点的输出为该节点所有输入信号的加权和，即其中l为输出层节点的个数，W为输出节点与第三层各节点的连接权矩阵。,在此模糊神经网络中，可调参数有三类：一类为规则的权系数 ；第二类和第三类为高斯函数的均值 和标准差 ，即输入隶属函数的参数。8.1.2 基于模糊RBF网络的逼近算法 采用模糊RBF网络逼近对象，取网络结构为
5、2-4-1，如图8-2所示。,图8-2 模糊RBF神经网络逼近,取 ， 和 分别表示网络输出和理想输出。网络的输入为u(k)和y(k)，网络的输出为 ，则网络逼近误差为： 采用梯度下降法来修正可调参数，定义目标函数为：,网络的学习算法如下： 输出层的权值通过如下方式来调整:,则输出层的权值学习算法为：,其中 为学习速率， 为动量因子。,输入隶属函数参数修正算法为：,其中,隶属函数参数学习算法为：,8.1.3 仿真实例,使用模糊RBF网络逼近对象：其中采样时间为1ms。 模糊RBF网络逼近程序见chap8_1.m。,8.2 Pi-Sigma神经网络 神经模糊建模是近年来基于模糊集理论发展起来的一
6、种新的方法。 模糊建模技术缺点是过分地依赖隶属函数的准确性。采用高木-关野模糊系统，用一种混合型的pi-sigma神经网络，可以建立一种自适应能力很强的模糊模型。这种模型不但实现了模糊模型的自动更新，而且能不断修正各模糊子集的隶属函数，使模糊建模更具合理性。,8.2.1高木-关野模糊系统 在高木-关野模糊系统中，高木和关野用以下“ ”规则的形式来定义模糊系统的规则：,：If is ， is ， ， is then,对于输入向量，高木-关野模糊系统的各规则输出 等于各 的加权平均：,式中，加权系数 包括了规则 作用于输入所取得的值。,8.2.2 混合型pi-sigma神经网络 常规的前向型神经网
7、络含有求和节点，这给处理某些复杂问题带来了困难。一种基于混合型pi-sigma神经网络模型如图8-5所示，在该网络中，输入神经元有4个，S、P和分别表示相加、相乘和相乘运算。,图8-5 具有4个输入的混合型pi-sigma神经网络,显然，这种结构的神经网络属于高木-关野模糊系统。采用该网络实现的模糊系统可方便地在线修正隶属函数和参数，适合于复杂系统的模糊预测和控制。 为方便神经网络的学习，各模糊子集的隶属函数均取高斯型，即：,网络的输出为：,混合型pi-sigma神经网络学习算法：假设网络的期望输出为 定义代价函数：,根据梯度下降法有：,其中,其中 。,对 有：,其中,其中、为学习速率。,8.
8、2.3 仿真实例使用混合型pi-sigma神经网络逼近对象：,混合型pi-sigma神经网络逼近程序见chap8_2.m,8.3 小脑模型神经网络8.3.1 CMAC概述 小脑模型神经网络（CMAC-Cerebellar Model Articulation Controller）是一种表达复杂非线性函数的表格查询型自适应神经网络，该网络可通过学习算法改变表格的内容，具有信息分类存储的能力。,CMAC已被公认为是一类联想记忆网络的重要组成部分，能够学习任意多维非线性映射，CMAC算法被证明可有效地用于非线性函数逼近、动态建模、控制系统设计等。 CMAC比其它神经网络的优越性体现在：（1）小脑模
9、型是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权极少，在保证函数非线性逼近性能的前提下，学习速度快，适合于实时控制；（2）具有一定的泛化能力，即所谓相近输入产生相近输出，不同输入给出不同输出；,(3) 具有连续（模拟）输入输出能力；(4) 采用寻址编程方式，在利用串行计算机仿真时，它将使响应速度加快；(5) CMAC函数非线性逼近器对学习数据出现的次序不敏感。 由于CMAC所具有的上述优越性能，使它比一般神经网络具有更好的非线性逼近能力，更适合于复杂动态环境下非线性实时控制的要求。 CMAC神经网络的结构如图8-8所示。,图8-8 CMAC神经网络结构,8.3.2 一种典型
10、CMAC算法 CMAC网络由输入层，中间层和输出层组成。在输入层与中间层、中间层与输出层之间分别为由设计者预先确定的输入层非线性映射和输出层权值自适应性线性映射。 CMAC神经网络的设计主要包括输入空间的化分、输入层至输出层非线性映射的实现及输出层权值学习算法。,CMAC是前馈网络，输入输出之间的非线性关系由以下两个基本映射实现。 （1）概念映射（UAC） 概念映射是从输入空间U至概念存储器AC的映射。 设输入空间向量为 ，量化编码为 ，输入空间映射至AC中c个存储单元（c为二进制非零单元的数目）。,采用下式表示映射后的向量：Rp=S(up)=s1(up),s2(up),sc(up)T式中sj
11、(up)=1 , j=1,2,c 映射原则为：在输入空间邻近的两个点，在AC中有部分的重叠单元被激励。距离越近，重叠越多；距离越远的点，在AC中不重叠，这称为局域泛化，c为泛化常数。,（2）实际映射 （AC AP） 实际映射是由概念存储器AC中的c个单元，用杂散编码技术映射至实际存储器AP的c个单元，c个单元中存放着相应权值。网络的输出为AP中c个单元的权值的和。 只考虑单输出： 即,CMAC采用的学习算法如下： 采用学习规则调整权值，权值调整指标为,其中 。,由梯度下降法，权值按下式调整：,其中 为惯性系数。,8.3.3 仿真实例,采用CMAC网络逼近非线性对象：,取u(k)作为网络的输入，
12、采用线性化函数对输入状态进行量化，实现CMAC的概念映射：,其中xmin和xmax输入的最大最小值，M为xmax量化后所对应的最大值，round()为四舍五入的Matlab函数。,采用杂散编码技术中的除留余数法实现CMAC的实际映射。设杂凑表长为m，以元素值s(k)+i除以某数N（N=m）后所得余数+1作为杂凑地址，实现了实际映射，即,其中 。 在仿真中，取M=100，N=7，取泛化参数c=7,=1.5,=0.05。 CMAC网络逼近程序为chap8_3.m。,8.4 Hopfield神经网络8.4.1 Hopfield网络原理 1986年美国物理学家J.J.Hopfield利用非线性动力学系
13、统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程。,基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在时刻的输出状态实际上间接地与自己的时刻的输出状态有关。,反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。 Hopfield神经网络的能量函数表征网络状态的变化趋势，
14、并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。,如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。 Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，如图8-10所示。,图8-10 Hopfield网络模型,如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。,对于Hopfield神经网络第i个神经元，采用微分方程建立其输入
15、输出关系，即： 其中 。,其中g()为双曲函数，一般取为： 为n个神经元的网络状态向量； 为网络的输出向量； 为网络的输入向量。,定义Hopfield网络的Lyapunov能量函数为,若权值矩阵 是对称的（ ），则,由于 ,则,由于 ，双曲函数是单调上升函数，显然它的反函数 也为单调上升函数，即有 ，则可得到 ，即能量函数 具有负的梯度，当且仅当 时, （ ）。,由此可见，随着时间的演化，网络的解在状态空间中总是朝着能量EN减少的方向运动。网络最终输出向量V为网络的稳定平衡点，即EN的极小点。 Hopfield网络在优化计算中得到成功应用，有效地解决了著名的旅行推销商问题（TSP问题），另外，
16、它在智能控制和系统辨识中也有广泛应用。,8.4.2 Hopfield网络线性系统参数辨识,在系统辨识中，直接采用Hopfield神经网络对时域内动态系统实现参数估计是一种简单而直接的动态系统辨识方法。该方法的特点是根据Hopfield神经网络的动力学机制，使其神经元的输出值对应是待识参数识，则系统趋于稳定的过程就是待辨识参数辨识的过程。 利用Hopfield网络进行辨识时，取所定义的辨识能量函数等于Hopfield网络标准能量函数，通过Hopfield神经网络动态方程，得到Hopfield网络的连接权矩阵和神经元的外部输入，然后将其代入Hopfield网络动态方程运行，经过一段时间后，可得到稳
17、定的参数辨,识结果。,1. 系统描述,设待辨识为二阶线性系统的参数，系统的状态方程为,（8.38）,其中 、 为待辨识的参数矩阵，取 ， 且 状态矢量， ， 是单个控制输入。 则二阶线性系统的参数的辨识过程就是向量 的辨识过程。,2. 参数辨识基本原理,用于辨识的可调系统为,（8.39）,其中 ， ，取 。,用由式（8.38）和式（8.39）得：,（8.40）,其中 为状态偏差。,（8.41）,用由于 与线性无关，则当 时， ， ，从而实现 。,3. Hopfield网络辨识能量函数的设计,为了实现 ，选择基于状态偏差变化率的参数辨识能量函数为：,（8.42）,由于,即,（8.43）,其中各项
18、可表达为式（8.44）式（8.49）：,（8.44）,（8.45）,（8.46）,由于 ，则,（8.47）,（8.48）,（8.50）,在式（8.43）中，取，其中取的前5项，取的后2项，则有,（8.49）,（8.51）,4. 用于辨识的Hopfield网络设计,Hopfield网络能量函数趋于极小的过程，就是估计矩阵 和 收敛于实际矩阵 和 的过程。通过构建一个具体的Hopfield网络，可进行参数辨识。 Hopfield神经网络第个神经元的动态微分方程为：,（8.52）,其中 ，,假定Hopfield神经元由理想放大器构成，即 ，同时取 ，则Hopfield神经网络动态方程变为：,（8.5
19、3）,Hopfield网络的标准能量函数为：,（8.54）,由于 ，取Hopfield网络的输出对应待辨识参数， 即 ，则,（8.55）,由式（8.53）和式（8.55）可以看出如下关系成立：,利用Hopfield网络进行辨识时，取所定义的辨识能量函数与Hopfield网络标准能量函数相等，即 ，则由上式可得：,由根据函数对向量求导的定义，有,（8.56）,由于 ，则有,（8.57）,由于,对比式（8.57）和式（8.58），可将网络得权值表示为：,（8.59）,由式（8.59）的和代入（8.53）式，可得到稳定的 ，通过双曲函数 ，可得到网络最终辨识结果的输出：,（8.60）,需要说明的是，
20、上述求权值和的过程过于烦琐，可借助MATLAB的符号编程方法实现求权值 和 的过程。具体方法为：根据式（8.56），首先通过MATLAB函数 实现，然后通过MATLAB函数 实现 ，最后通过式（8.57）实现 ，并采用函数 实现 的化简。由仿真结果可见，由符号编程方法求解的权值 和 与式（8.59）相同。符号运算求解权值仿真程序见chap8_4juzhen.m。 有了权值和，求解动态微分方程式（8.52），便可得到最终的辨识结果 。,5. 仿真实例,针对二阶系统进行参数辨识。系统的状态方程为：,Hopfield网络的输出对应待辨识参数，Hopfield网络权值和初值取零。,在仿真程序中，取 ，
21、 和 为常数矩阵， ， ， ，取 ， 。经过一段时间的仿真运行后，辨识参数的结果为,在仿真程序中，取 ， 和 为时变系数矩阵， 。取 ， ，参数辨识过程的仿真结果如图8-11和图8-12所示。,图8-11 矩阵中各参数的辨识结果,图8-12 矩阵中各参数的辨识结果,8.5 基于Hopfield网络的路径优化,在旅行商问题（Traveling Salesman Problem，简称TSP）可描述为：已知个城市之间的相互距离，现有一推销员必须遍访这个城市，并且每个城市只能访问一次，最后又必须返回出发城市。并且对如何安排他对这些城市的访问次序，使其旅行路线总长度最短。旅行商问题是一个典型的组合优化问
22、题，其可能的路径数目与城市数目呈指数型增长的，一般很难精确的求出其最优解，因而寻找其有效的近似求解算法具有重要的理论意义。另一方面，很多实际应用问题，经过简化处理后，均可化为旅行商问题，因而对旅行商问,8.5.1 旅行商问题的描述,题求解方法的研究具有重要的应用价值,旅行商问题是一个典型的组合优化问题，特别是当的数目很大时，用常规的方法求解计算量太大。对庞大的搜索空间中寻求最优解，对于常规方法和现有的计算工具而言，存在着诸多的计算困难。使用Hopfield网络的优化能力可以很容易地解决这类问题。Hopfield等1采用神经网络求得经典组合优化问题（TSP）的最优解，开创了优化问题求解的新方法。
23、,TSP问题是在一个城市集合 中找出一个最短且经过每个城市各一次并回到起点的路径。为了将TSP问题映射为一个神经网络的动态过程，Hopfield采取了换位矩阵的表示方法，用 矩阵表示商人访问 个城市。例如，有四个城市 ，访问路线是 ： ， 则Hopfield网络输出所代表的有效解用下面的二维矩阵表8-1来表示：,8.5.2 求解TSP问题的Hopfield网络设计,表8-1 四个城市的访问路线,表8-1构成了一个的矩阵，该矩阵中，各行各列只有一个元素为1，其余为0，否则是一个无效的路径。采用 表示神经元 的输出，相应的输入用 表示。如果城市 在 位置上被访问，则 ，否则 。 针对TSP问题，H
24、opfield定义了如下形式的能量函数1：,（8.61）,式中，A.B.C.D是权值， 表示城市 到城市 之间的距离。,式（8.61）中，E的前三项是问题的约束项，最后一项是优化目标项,E的第一项为保证矩阵V的每一行不多于一个1时E最小（即每个城市只去一次），E的第二项保证矩阵的每一列不多于一个1时E最小（即每次只访问一城市），E的第三项保证矩阵V中1的个数恰好为N时E最小。 Hopfield将能量函数的概念引入神经网络，开创了求解优化问题的新方法。但该方法在求解上存在局部极小、不稳定等问题。为此，文献2将TSP的能量函数定义为：,（8.62）,取式（8.62），Hopfield网络的动态方程
25、为：,采用Hopfield网络求解TSP问题的算法描述如下：(1) 置初值， , ， , ；(2) 计算N个城市之间的距离 ；(3) 神经网络输入 的初始化在0附近产生；(4) 利用动态方程（8.63）计算 ；,（8.63）,(5) 根据一阶欧拉法计算(6) 为了保证收敛于正确解，即矩阵V各行各列只有一个元素为1，其余为0，采用Sigmoid函数计算其中 ， 值的大小决定了Sigmoid函数的形状。(7) 根据式（8.62），计算能量函数E；(8) 检查路径的合法性，判断迭代次数是否结束，如果结束，则终止，否则返回到第（4）步；(9) 显示输出迭代次数、最优路径、最优能量函数、路径长度的值，并
26、作出能量函数随时间的变化的曲线图。,（8.64）,（8.65）,在TSP的Hopfield网络能量函数（8.62）式中，取 ， 。采样时间取 ，网络输入 初始值选择在 间的随机值，在式（8.65）的函数中，取较大的 ，以使函数比较陡峭，从而稳态时 能够趋于1或趋于0。 以8个城市的路径优化为例，其城市路径坐标保存在路径e:ljkmb的程序cities8.txt中。如果初始化的寻优路径有效，即路径矩阵中各行各列只有一个元素为1，其余为0，则给出最后的优化路径，否则停止优化，需要重新运行优化程序。如果本次寻优路径有效，经过2000次迭代，最优能量函数为Final_E=1.4468，初始路程为Ini
27、tial_Length=4.1419，最短路程为Final_Length =2.8937。,8.5.3 仿真实例,由于网络输入 初始选择的随机性，可能会导致初始化的寻优路径无效，即路径矩阵中各行各列不满足“只有一个元素为1，其余为0”的条件，此时寻优失败，停止优化，需要重新运行优化程序。仿真过程表明，在20次仿真实验中，有16次可收敛到最优解。 仿真结果如图8-14和图8-15所示，其中图8-14为初始路径及优化后的路径的比较，图8-15为能量函数随时间的变化过程。由仿真结果可见，能量函数E单调下降，E的最小点对应问题的最优解。 仿真程序说明：仿真中所采用的关键命令如下：,sumsqr(X)：求矩阵X中各元素的平方值之和；Sum(X)或Sum(X,1)为矩阵中各行相加，Sum(X,2)为矩阵中各列相加repmat：用于矩阵复制，例如， ，则 ：计算两点间的距离，例如 ， ，则,图8-14 初始路径及优化后的路径,图8-15 能量函数随迭代次数的变化,
