1、第2章人工神经网络基础,生物神经网络基础 人工神经元模型 人工神经网络模型 神经网络学习,2.1 生物神经网络基础,2.1.1 生物神经元的结构,2.1 生物神经网络基础,神经元在结构上细胞体、树突、轴突和突触4部分组成 1）细胞体（Cell body） 神经元的主体 由细胞核、细胞质和细胞膜3部分构成 细胞膜对细胞液中的不同离子具有不同的通透性，使得膜内外存在离子浓度差，从而出现内负外正的静息电位,2.1 生物神经网络基础,2）树突（Dendrite） 从细胞体向外延伸出许多突起的神经纤维，其中大部分突起较短，其分支多群集在细胞体附近形成灌木丛状，这些突起称为树突 神经元靠树突接受来自其他神
2、经元的输入信号，相当于细胞体的输入端 3）轴突（Axon） 由细胞体伸出的最长的一条突起，细而长 用来传出细胞体产生的输出电化学信号，相当于细胞体的输出端,2.1 生物神经网络基础,4）突触（Synapse） 神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入/输出接口，称为突触 每个神经元大约有103105个突触，多个神经元以突触连接即形成神经网络,2.1 生物神经网络基础,2.1.2 生物神经元的信息处理机理 1）信息产生 神经元的三种状态： 无信号输入时： 电位差：-70mV 静息电位 细胞膜状态 极化状态（Polarization）
3、 神经元状态 静息状态 静息电位向正偏移 细胞膜状态 去极化（Depolarization） 神经元状态 兴奋状态,2.1 生物神经网络基础,静息电位向负偏移 细胞膜状态 超极化（Hyperpolarization） 神经元状态 抑制状态 神经脉冲的产生过程 膜电位超过阈值电位（-55mV），神经细胞 活性细胞 细胞的兴奋过程：膜电位自发地急速升高，在1ms内比静息膜电位上升100mV左右，此后膜电位又急速下降，回到静止的值，产生一个宽度为1ms，振幅为100mV的电脉冲，又称神经冲动 之后慢慢下降到-55mV，这段时间约为数毫秒，称为不应期,2.1 生物神经网络基础,2）信息的传递与接收 神
4、经脉冲信号沿轴突传向其末端的各个分支 从脉冲信号到达突触前膜到突触后膜电位发生变化，有0.2ms1ms的时间延迟，称为突触延迟 神经元间的突触联系大部分是在出生后由于给予刺激而成长起来的，正是由于各神经元之间的突触连接强度和极性有所不同并可进行调整，由此人脑才具有学习和存储信息的功能,2.1 生物神经网络基础,3）信息整合 单个神经元可以与上千个或更多其他的神经元轴突末梢形成突触连接，接受从各个轴突传来的脉冲输入 这些输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同 在同一时刻产生的刺激所引发的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和 空间整合 各输入脉冲抵达神
5、经元的先后时间也不一样，由一个脉冲引起的突触厚膜电位很小，但在其持续时间内有另一脉冲相继到达时，总的突触后膜电位增大 时间整合,2.1 生物神经网络基础,一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能,2.2 人工神经元模型,2.2.1 神经元的建模 人工神经网络中，神经元常被称为“处理单元”或“节点”。 1943年心理学家McCulloch和数学家 W. Pitts的M-P模型的
6、6个假定： 1）每个神经元都是一个多输入单输出的信息处理单元； 2）神经元输入分兴奋性输入和抑制性输入两种类型； 3）神经元具有空间整合特性和阈值特性； 4）神经元输入与输出间有固定的时滞，主要取决于突触延迟； 5）忽略时间整合作用和不应期； 6）神经元本身是非时变的，即其突触时延和突触强度均为常数。,2.2 人工神经元模型,神经元模型示意图,2.2 人工神经元模型,许多输入信号（xi）同时输入神经元j。 对每个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。 组合输入信号的“总和值”，相应于生物神经元的膜电位。 神经元激活与
7、否取决于某一阈值电平，即只有当其输入综合超过阈值时，神经元才被激活并发放脉冲，否则神经元不会产生输入信号。 oj表示神经元输出，而输出与输入之间的关系由函数 f 表示。,2.2 人工神经元模型,2.2.2 神经元的数学模型令xi(t)表示t时刻的神经元j接受的来自神经元的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可以表示为,2.2 人工神经元模型,简单起见，将突触时延取为单位时间“输入总和”常称为神经元在 t 时刻的净输入，用下式表示表现了神经元j的空间整合特性而未考虑时间整合当 时，神经元才能被激活。oj(t+1)与xi(t)之间的单位时差代表所有的神经元具有相同的、
8、恒定的工作节奏。,2.2 人工神经元模型,将时间t省略，我们得到,2.2 人工神经元模型,2.2.3 神经元的变换函数执行对该神经元所获得的网络输入的变换，也可以称为激活函数、激励函数、活化函数常用的变换函数：1）阈值型变换函数 单极性阈值型变换函数,2.2 人工神经元模型,双极性阈值型变换函数2）非线性变换函数 实数域R到0,1闭集的非减连续函数 最常用的非线性变换函数是sigmoid函数，简称S型函数，其特点是函数本身及其导数都是连续的,x,2.2 人工神经元模型,单极性S型变换函数双极性S型变换函数,2.2 人工神经元模型,3)分段线性变换函数单极性分段性线性变换函数 双极性分段性线性变
9、换函数,f(x),-1.0,1.0,x,xc,0,2.2 人工神经元模型,4）概率型变换函数 输入输出关系是不确定的，用一个随机函数来描述其输出为1或者0的概率 设神经元输出为1的概率为该变换函数输出状态与热力学中的波尔兹曼（Boltzmann）分布类似，因此也称为热力学模型,2.3 人工神经网络模型,2.3.1 网络拓扑结构类型 1）层次型结构a）单纯型层次网络结构 b）输出层到输入层有连接的层次网络结构 c）层内有互联的层次网络结构,2.3 人工神经网络模型,2）互联型结构 a）全互联型 每个节点均与所有其他节点相连b）局部互联型 每个节点只与其临近的节点有连接c）稀疏连接型 网络中的节点
10、只与少数相距较远的节点相连,2.3 人工神经网络模型,2.3.2 网络信息流向类型 1）前馈型网络输入层 隐层 隐层 输出层2）反馈型网络,2.4 神经网络学习,2.4.1 网络学习算法的一些基本概念 人工神经网络的功能特性由功能特性由其连接的拓扑结构和连接权值决定 神经网络能够通过对样本的学习训练，不断改变网络的链接权值以及拓扑结构，以使网络的输出不断地接近期望的输出这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整 改变权值的规则称为学习规则或学习算法，亦称训练规则或训练算法,2.4 神经网络学习,神经网络的学习算法分为 1）有导师学习 也称为有监督学习，采用纠错规则 在学习训练
11、过程中需要不断地给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号” 将神经网络的实际输出同期望输出进行比较，根据差错的方向和大小按一定的规则调整权值 当网络可以对各种给定输入均能产生所期望的输出时，结束训练,2.4 神经网络学习,2）无导师学习 也称无监督学习 不断地给网络提供动态输入信息，网络根据其特有内部结构和学习规则调整权值，在输入信息中发现可能存在的模式和规律，通过这种自组织过程，实现自动分类 有时神经网络所解决问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义,2.4 神经网络学习,1990年，日本著名神经网络学家Amari提出了一种神经网络权
12、值调整的通用学习规则：,权向量Wj在t时刻的调整量Wj(t)与t时刻的输入向量X(t)和学习信号r的乘积成正比,2.4 神经网络学习,用数学式表达为为正数，称为学习常数，决定了学习速率。基于离散时间调整时，不同的学习规则对r(Wj, X, dj)有不同的定义，从而形成各种各样的神经网络。,2.4 神经网络学习,2.4.2 Hebb学习规则 基于“等神经元i与神经元j同时处于兴奋状态时，两者的连接强度应增加”。 学习信号简单地等于神经元的输出：权向量调整公式为：分量的调整：,2.4 神经网络学习,Hebb学习规则需要预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长 权值初始化：
13、对Wj(0)赋予零附近的小随机数 Hebb学习规则是一种纯前馈、无导师学习 该规则至今仍在各种神经网络模型中起着重要作用,2.4 神经网络学习,例题 2.1 设有4输入单输出神经元网络，其阈值T=0，学习率=1，3个输入样本向量和初始权向量分别为X1 = (1, -2, 1.5, 0)T，X2 = (1, -0.5, -2, -1.5)T ，X3 = (0, 1, -1, 1.5)T ，W(0) = (1, -1, 0, 0.5)T 。解：设变换函数为双极性离散函数 f (net) = sgn(net)，权值调整步骤为：(1)输入第一个样本X1，计算净输入net1，并调整权向量W(1)net1
14、 = W(0)T X1 = (1, -1, 0, 0.5)(1, -2, 1.5, 0) T = 3W(1) = W(0) + sgn(net1 ) X1 = (1, -1, 0, 0.5) T + (1, -2, 1.5, 0) T= (2, -3, 1.5, 0.5) T,2.4 神经网络学习,(2) 输入第二个样本X2，计算净输入net2，并调整权向量W(2)net2 = W(1)T X2 = (2, -3, 1.5, 0.5)(1, -0.5, -2, -1.5) T = -0.25W(2) = W(1) + sgn(net2 ) X2 = (2, -3, 1.5, 0.5) T -
15、(1, -0.5, -2, -1.5) T= (1, -2.5, 3.5, 2) T(2) 输入第三个样本X3，计算净输入net3，并调整权向量W(3)net3 = W(2)T X3 = (1, -2.5, 3.5, 2)(0, 1, -1, 1.5) T = -3W(3) = W(2) + sgn(net3 ) X3 = (1, -2.5, 3.5, 2) T - (0, 1, -1, 1.5) T= (1, -3.5, 4.5, 0.5) T可以看出，当变换函数为符号函数且=1时，Hebb学习规则的权值调整将简化为权向量加或减输入向量,2.4 神经网络学习,当变换函数为双极性连续函数 ，权
16、值调整步骤如上 (1)(2),2.4 神经网络学习,(3)比较两种权值调整结果可以看出，两种变换函数下的权值调整方向是一致的，但采用连续变换函数时，权值调整力度减弱。,2.4 神经网络学习,2.5.3 离散感知器学习规则 1958年，美国学者 Frank Rosenblatt 首次定义了一个具有单层计算单元的神经网络结构，称为感知器（Perceptron）学习信号等于神经元期望输出（教师信号）与实际输出之差 感知器采用了符号变换函数,2.4 神经网络学习,权值调整公式为分量的调整只适用于二进制神经元 初始权值可取任意值 是一种有导师学习 该规则对于神经网络的有导师学习具有极有重要的意义,2.4
17、 神经网络学习,2.5.4 连续感知器学习规则（ 规则） 1986年，认知心理学家 Mclelland 和 Rumelhart 在神经网络训练引入了规则，亦称为连续感知器学习规则 学习信号权值调整公式为分量的调整,2.4 神经网络学习,推导: 定义神经元输出和期望输出之间的平方误差为欲使误差E最小，Wj 应与误差的负梯度成正比可得权值调整计算式学习规则可推广到多层前馈网络中 权值可初始化为任意值,2.4 神经网络学习,2.5.5 最小均方学习规则（Widrow-Hoff 规则） 1962年，Bernard Widrow 和 Marcian Hoff 提出了Widrow-Hoff学习规则，又称最
18、小均方学习规则（LMS）。 学习规则为权值调整公式为分量的调整,2.4 神经网络学习,如果在学习规则中假定神经元变换函数为则有 ，因此LMS学习规则可以看成是学习规则的一个特殊情况。 该学习规则与神经元采用的变换函数无关 学习速度较快且有较高的精度 权值可初始化为任意值,2.4 神经网络学习,2.5.6 相关学习规则 学习信号权值调整公式为分量的调整要求权值初始化为零,2.4 神经网络学习,2.5.7 胜者为王学习规则（Winner-Take-All） 是一种竞争学习规则，用于无导师学习 将网络的某一层确定为竞争层，对于一个特定的输入X，竞争层的所有p个神经元均有输出相应，其中响应值最大的神经
19、元j*为在竞争中获胜的神经元，即只有获胜神经元才有权调整其权向量Wj*，调整量为,2.4 神经网络学习,由于两个向量的点积越大，表明两者越近似，所以调整结果是使Wj*进一步接近当前输入X，这样，下次出现与X相像的输入模式时，上次获胜的神经元更容易获胜，从而竞争层各神经元所对应的权向量被逐渐调整为输入样本空间的聚类中心。,有时以获胜神经元为中心定义一个获胜邻域，除获胜神经元调整权之外，邻域内的其他神经元也程度不同地调整权值。权值一般初始化为任意值并进行归一化处理。,2.4 神经网络学习,常用学习规则一览表,2.4 神经网络学习,本章小结 神经元的数学模型 6点假设、模型示意图、解析表达式、变换函
20、数 神经网络的连接方式 前馈层次型、输入输出有反馈的前馈层次型前馈层内互连型、反馈全互连型、反馈局部互连型等 神经网络的学习方式 几种常用的学习规则,2.4 神经网络学习,课后练习题 某神经网络的变换函数为符号函数，学习率=1，初始权向量W(0)=(1,0,1)T ，两对输入样本为X1 = (2, 1, -1)T，d1 = -1； X2 = (0, -1, -1)T ， d2 = 1。试用离散感知器学习规则对以上样本进行反复训练，直到网络输出误差为零，写出每一训练步的净输入net(t).某神经网络采用双极性Sigmoid函数，其阈值T=0，学习率=0.25，初始权向量W(0)=(1,0,1)T,两对输入样本为X1 = (2, 0, -1)T，d1 = -1； X2 = (1, -2, -1)T ， d2 = 1。分别试用学习规则和Widrow-Hoff 规则进行训练，并写出前两步训练结果。,
