1、第 9章 人工神经网络 人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。 本章将简要介绍神经网络基本的概念、模型以及学习算法。 9.1.1 生物神经元的结构与功能特性 1. 生物神经元的结构 神经细胞是构成神经系统的基本单元， 称之为生物神经元 ，简称神经元 。神经元主要由三部分构成： （ 1）细胞体 ;（ 2）轴突 ;（ 3）树突
2、 ; (如图 9.1) 图 9.1 生物神经元结构 9.1 神经网络的基本概念及组成特性 突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。 2. 神经元的功能特性 （ 1） 时空整合功能 。 （ 2） 神经元的动态极化性 。 （ 3） 兴奋与抑制状态 。 （ 4） 结构的可塑性 。 （ 5） 脉冲与电位信号的转换 。 （ 6） 突触延期和不应期 。 （ 7） 学习 、 遗忘和疲劳 。 9.1 神经网络的基本概念及组成特性 9.1.2 人工神经网络的组成与结构 1. 人工神经网络的组成 人工神经网络（简称
3、ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作 人工神经元。 人工神经网络（ ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突 突触 树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。 9.1 神经网络的基本概念及组成特性 图 9.2 人工神经网络的组成 图 9.3 M P神经元模型 9.1 神经网络的基本概念及组成特性 2. 人工神经元的工作过程 对于某个处理单元 （ 神经元 ） 来说 ， 假设来自其他处理单元 （ 神经元 ）
4、 i的信息为 Xi， 它们与本处理单元的互相作用强度即连接权值为 Wi, i=0,1, ,n-1,处理单元的内部阈值为 。 那么本处理单元 （ 神经元 ） 的输入为 10niiixw而处理单元的输出为 （ 9.1.1） )xw(fy1n0iii （ 9.1.2） 式中， xi为第 i个元素的输入， wi为第 i个处理单元与本处理单元的互联权重。 f称为激发函数或作用函数，它决定节点（神经元）的输出。 9.1 神经网络的基本概念及组成特性 (a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切型 图 常用的激发函数 1n0iiixw这里， 激发函数一般具有非线性特性 ,常用
5、的非线性激发函数如图所示 称为激活值 9.1 神经网络的基本概念及组成特性 阈值型函数又称阶跃函数，它表示激活值 和其输出 f( )之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面提到的 M-P模型。 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。 S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。 双曲正切型函数实际只是一种特殊的 S型函数，其饱和值是
6、1和 1。 9.1 神经网络的基本概念及组成特性 3.人工神经网络的结构 人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有 : 前向网络。 从输入层到输出层有反馈的网络。 层内有互联的网络。 互联网络。 9.1 神经网络的基本概念及组成特性 4. 人工神经网络的分类及其主要特征 分类 按性能分：连续型和离散型网络 ， 或确定型和随机型网络 。 按拓扑结构分：有反馈网络和无反馈网络 。 按学习方法分：有教师的学习网络和无教师的学习网络 。 按连接突触性质分：一阶线性关联网络和高阶非线性关联网络 。 9.1 神经网络的基本概念及组成特性 人工神经网络具有以下主要特
7、征： （ 1）能较好的模拟人的形象思维。 （ 2）具有大规模并行协同处理能力。 （ 3）具有较强的学习能力。 （ 4）具有较强的容错能力和联想能力。 （ 5）是一个大规模自组织、自适应的非线性动力系统。 9.1 神经网络的基本概念及组成特性 9.1.3 人工神经网络研究的兴起与发展 人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段 : 产生时期 (20世纪 50年代中期之前 ) 高潮时期 (20世纪 50年代中期到 20世纪 60年代末期 ) 低潮时期 (20世纪 60年代末到 20世纪 80年代初期 ) 蓬勃发展时期 (20世纪 80年代以后 ) 9.1 神经网络的基本概念及组成特性
8、 9.2.1 感知器模型 感知器模型是美国学者罗森勃拉特（ Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 教材中图 9.5所示的即为一个单层感知器模型。 9.2 感知器模型及其学习算法 9.2.2 单层感知器模型的学习算法 算法思想： 首先把连接权和阈值初始化为较小的非零随机数，然后把有 n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法
9、进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。 为简单起见，仅考虑只有一个输出的简单情况。设 xi(t)是时刻 t感知器的输入（ i=1,2,n）， i(t)是相应的连接权值， y(t)是实际的输出， d(t)是所期望的输出，且感知器的输出或者为 1，或者为 0，则单层感知器的学习算法请参见教材 P325 9.2 感知器模型及其学习算法 9.2.3 线性不可分问题 单层感知器不能表达的问题被称为线性不可分问题。 1969年 ， 明斯基证明了 “ 异或 ” 问题是线性不可分问题： “ 异或 ” （ XOR） 运算的定义如下： 其相应的逻辑运算真值表如表 9-1所
10、示 。 （ 见教材 ） 1,x xif 0,)x,y ( x 2121 其他9.2 感知器模型及其学习算法 由于单层感知器的输出为 y(x1,x2)=f( 1 x1+ 2 x2-) 所以 ， 用感知器实现简单逻辑运算的情况如下： （ 1） “ 与 ” 运算 （ x1x 2） 令 1= 2=1， = 2， 则 y=f(1 x1+1 x2-2) 显然 ， 当 x1和 x2均为 1时 ， y的值 1；而当 x1和 x2有一个为 0时 ， y的值就为 0。 （ 2） “ 或 ” 运算 （ x1x 2） 令 1= 2=1, =0.5 y=f(1 x1+1 x2-0.5) 显然 ， 只要 x1和 x2中有
11、一个为 1， 则 y的值就为 1；只有当 x1和 x2都为 0时 ， y的值才为 0。 9.2 感知器模型及其学习算法 （ 3） “ 非 ” 运算 （ X1） 令 1 =-1， 2=O， = -0.5， 则 y=f(-1) x1+1 x2+0.5) 显然 ， 无论 x2为何值 ， x1为 1时 ， y的值都为 0； x1为 O时 ， y的值为1。 即 y总等于 x1。 （ 4） “ 异或 ” 运算 （ x1 XOR x2） 如果 “ 异或 ” （ XOR） 问题能用单层感知器解决 ， 则由 XOR的真值表 9-1可知 ， 1、 2 和 必须满足如下方程组： 1+ 2- 0 1+0- 0 0+0
12、- 0 0+ 2- 0 显然 ， 该方程组是无解 ， 这就说明单层感知器是无法解决异或问题的 。 9.2 感知器模型及其学习算法 异或问题是一个只有两个输入和一个输出 ， 且输入输出都只取 1和 0两个值的问题 ， 分析起来比较简单 。 对于比较复杂的多输入变量函数来说 ， 到底有多少是线性可分的 ？ 多少是线性不可分的呢 ？相关研究表明 （ 参见文献 19） ， 线性不可分函数的数量随着输入变量个数的增加而快速增加 ， 甚至远远超过了线性可分函数的个数 。 也就是说 ， 单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量 。 这也难怪当 Minsky给出单层感知器的这一致命缺陷时
13、 ， 会使人工神经网络的研究跌入漫长的黑暗期 。 9.2 感知器模型及其学习算法 9.2.4 多层感知器 在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器。 在多层感知器模型中，只允许某一层的连接权值可调，这是因为无法知道网络隐层的神经元的理想输出，因而难以给出一个有效的多层感知器学习算法。 多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如，应用二层感知器就可以解决异或逻辑运算问题，如图 9.8所示 (见教材 P329)。 9.2 感知器模型及其学习算法 9.3.1 反向传播模型及其网络结构 反向传播模型
14、也称 B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。 9.3 反向传播模型及其学习算法 B-P算法的网络结构是一个前向多层网络，如图所示。 9.3 反向传播模型及其学习算法 9.3.2 反向传播网络的学习算法 B-P算法的学习目的是对网络的连接权值进行调整，使得
15、调整后的网络对任一输入都能得到所期望的输出。 学习过程由正向传播和反向传播组成。 正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。 反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。 9.3 反向传播模型及其学习算法 B-P算法的学习过程如下： （ 1） 选择一组训练样例 ， 每一个样例由输入信息和期望的输出结果两部分组成 。 （ 2） 从训练样例集中取一样例 ， 把输入信息输入到网络中 。 （ 3） 分别计算经神经元处理后的各层节点的输出 。 （ 4） 计算网络的实际输出和期望输出的误差 。 （
16、5） 从输出层反向计算到第一个隐层 ， 并按照某种能使误差向减小方向发展的原则 ， 调整网络中各神经元的连接权值 。 （ 6） 对训练样例集中的每一个样例重复 （ 3） （ 5） 的步骤 ， 直到对整个训练样例集的误差达到要求时为止 。 9.3 反向传播模型及其学习算法 在以上的学习过程中 ， 第 （ 5） 步是最重要的 ， 如何确定一种调整连接权值的原则 ， 使误差沿着减小的方向发展 ， 是 B-P学习算法必须解决的问题 。 9.3 反向传播模型及其学习算法 图 9.11 B-P学习算法的流程图 B-P算法的优缺点： 优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。 缺点： （ 1）该学习算法的收敛速度慢；（ 2）网络中隐节点个数的选取尚无理论上的指导；（ 3）从数学角度看， B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以 B-P算法是不完备的。 9.3 反向传播模型及其学习算法 9.3.3 反向传播计算的举例 设图 9.12是一个简单的前向传播网络，用 B-P算法确定其中的各连接权值时， 的计算方法如下： 9.3 反向传播模型及其学习算法 9.3 反向传播模型及其学习算法 9.3 反向传播模型及其学习算法
