1、3.3 前向式神经网络与算法,3.3.1感知器及算法 3.3.2 BP网络与误差反向传播算法,3.3.1感知器及算法,感知器是具有单层计算单元的神经网络，结构如下：,感知器的数学模型：,激活函数为：,感知器,Linear Threshold Unit,sgn,多输出感知器学习算法步骤,step1 设置连接权W的初值。对权系数 的各个元素置一个较小的非零随机值。 step2 输入样本 及其期望输出 step3 计算感知器的实际输出值step4 根据实际输出求误差 step5 用误差去调整权值step6 转到step2，一直执行到一切样本均稳定为止。,感知器循环控制方法,循环次数控制法：对样本集执
2、行规定次数的迭代； 分阶段迭代次数控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果； 精度控制法：给定一个精度控制参数，精度度量可选择： 实际输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和；“死循环”：网络无法表示样本所代表的问题。 综合控制法：将上述两种方法结合起来使用。,简单单级网图例,权矩阵,W =（wji）,NET=XW O=f(NET),net2=x1w21+x2w22+xnw2n, | f, | f, | f,w22,w2n,精度控制法算法描述举例：,单层感知器模型,单层感知器模型,使用单层感知器的目的就是让其
3、对外部输入x1, x2, , xm进行识别分类，单层感知器可将外部输入分为两类l1和l2。,为判别边界,图形解释对n=2的情分平面为两部分 WP+B与W正交,10,其中：m为神经元个数，n为输入个数。,图形解释,由直线W*P+b=0将由输入矢量P1和P2组成的平面分为两个区域，此线与权值矢量W正交，可根据偏差b进行左右平移。直线上部的输入矢量使阀值函数的输入大于0，所以使感知器神经元的输出为1；直线下部的输入矢量使感知器神经元的输出为0。分割线可以根据所选的权值和偏差b上下左右移动到期望划分输入平面的地方。,例子,Class 1,Class 2,g(x) = 2x1 +x2+2=0,Goal:
4、,学习过程,Linearly Separable.,学习过程,学习过程,学习过程,学习过程,学习过程,w3,w4 = w3,学习过程,w,学习过程,w,w已适合数据分类，学习调整完毕！,感知器应用举例用感知器实现逻辑函数 的真值：,即有：,1,无法解决线性不可分问题如异或,22,线性不可分问题,23,线性不可分问题,3.3.1 多层感知器,输入层,输出层,隐层,3-4-2 网络,Minsky & Papert (1969) 提出了通过两个感知器单元组成两层的网络 解决XOR 问题 。,+1,+1,3,例：可用下图所示的双层感知机网络实现异或逻辑,A,B,C,该网络代表下述四条规则：,IF x1
5、=0 AND x2=0 THEN x=0A神经元的中间状态为：0-2.0=-2，输出=1-2=0B神经元的中间状态为：0-1.5=-1.5，输出=1-1.5=0则C神经元的中间状态为：0-1.0=-1.0，输出x=1-1.0=0,A,B,C,该网络代表下述四条规则：,IF x1=0 AND x2=1 THEN x=1 A神经元的中间状态为：1.100-2.0=-0.9，输出=1-0.9=0 B神经元的中间状态为：1.635-1.5=0.135，输出=10.135=1 则C神经元的中间状态为：0(-3.102)+12.121-1.0=1.121 输出x=11.121=1,A,B,C,IF x1=
6、1 AND x2=0 THEN x=1 A神经元的中间状态为：1.070-2.0=-0.93，输出=1-0.93=0 B神经元的中间状态为：1.504-1.5=0.004，输出=10.004=1 则C神经元的中间状态为：0(-3.102)+12.121-1.0=1.121，输出x=11.121=1,IF x1=1 AND x2=1 THEN x=0 A神经元的中间状态为：(1.070+1.100)-2.0=0.17,输出=10.17=1 B神经元的中间状态为：(1.635+1.504)-1.5=1.639 输出=11.639=1 C神经元的中间状态为：1(-3.102)+12.121-1.0=
7、-1.981，输出x=1-1.981=0,3.3.2 BP 网络,单层感知器：硬限幅函数 为作用函数，只能解决简单的分类问题，而且硬限幅函数的不可微分特性，使其扩展到多层感知器时带来权值修正的困难。,将感知器网络结构扩展到多层，其作用函数采用一种可微分的函数，这就形成了功能比较强大的多层前向网络。由于多层前向网络采用反向传播学习算法（Back Propagation），通常人们将其称为BP网络。,预备知识一：梯度法,对于Bp网络： f(w) = f (w1, w2, wm) 是Rm.上的函数,定义：,梯度法,df : positive,df : zero,df : negative,Go up
8、hill,Plain,Go downhill,梯度下降方向,df : positive,df : zero,df : negative,Go uphill,Plain,Go downhill,为了最小化f , 选择 w = f,预备知识二：,令：,则有：,当取：,时，一般有：,则,从而有：, 这个式对将来有关学习算法的推导十分有用。,所以：,BP网络基本思想,BP神经网络也称：后向传播学习的前馈型神经网络（Back Propagation Feed-forward Neural Network，BPFNN/BPNN），是一种应用最为广泛的神经网络 在BPNN中，后向传播是一种学习算法，体现为B
9、PNN的训练过程，该过程是需要教师指导的；前馈型网络是一种结构，体现为BPNN的网络构架 反向传播算法通过迭代处理的方式，不断地调整连接神经元的网络权重，使得最终输出结果和预期结果的误差最小 BPNN是一种典型的神经网络，被广泛应用于各种分类系统，它包括了训练和使用两个阶段。由于训练阶段是BPNN能够投入使用的基础和前提，而使用阶段本身是一个非常简单的过程，也就是给出输入，BPNN会根据已经训练好的参数进行运算，得到输出结果,算法流程,BP网络与误差反向传播算法,BP网络结构示意图,BP神经元,其中,数学模型,要求其为可微的，常用S型函数,BP算法正向传播阶段,i,j,k,输入层,输出层,隐藏
10、层,隐藏层节点的输出：,输出层节点的输出：,至此完成了n维空间向量对m维空间向量的映射,BP算法反向传播阶段,第,个样本的误差,则,个样本总误差为：,S型函数的导数,输出层权值调整量：,最速下降法,（3-44）,广义偏差,隐藏层权值调整量,最速下降法,（3-53）,BP算法流程,例：如下图所示的多层前向传播神经网络结构。假设对于输入 ，其期望的输出为 ：网络权系数的初始值见图，试用BP算法训练此网络。这里神经元激励函数为 ，学习步长为,神经网络结构图,1,解：1）设定最大容许误差值 和最大迭代学习次数 ，并设初始迭代学习次数 。2）计算当前输入、及当前网络的连接权系数下的神经网络输出。首先计算
11、神经元1和2的中间状态,其中：,1,则1、2的输出为：,同理，可得神经元O1、O2的中间状态为：,O1、O2的输出为：,3）根据给定的教师输出值，判断神经网络逼近误差要求或者迭代学习到最大容许值否？,若上述不等式中有一个满足,则退出学习.否则进入4)。,4）计算广义误差(反向学习),（1）输出层权值调整量,输出层总神经元的权值调整的简化过程如下：,则算出输出层的误差为：,因为,隐藏层总神经元的权值调整的简化过程如下：,算出隐藏层的误差为：,（2）隐藏层权值调整,5）连接权系数更新,iterate=iterate+1;继续迭代计算直至满足终止条件为止。,51,BP算法的特点,弱点：训练速度非常慢
12、局部极小点的逃离问题算法不一定收敛 优点：广泛的适应性有效性,3.3.3 BP算法的改进,1）利用动量法改进BP算法 将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量 2）自适应调整学习速率 在学习收敛的情况下，增大 ，以缩短学习时间；当 偏大致使不能收敛时，要及时减小 ，直到收敛为止 3）动量-自适应学习速率调整算法 将以上两种方法结合,3.4 反馈网络模型及其主要算法,反馈网络实际上是将前馈网络中输出信号经延时后再送给输入层神经元而来的，它需要工作一段时间才能达到稳定，是一种动态网络 典型的反馈网络是Hopfield神经网络 Hopfield网络属于“灌输式”学习，网络的权值
13、不是经过反复学习获得的，而是按照已定的规则事先计算出来的，权值一旦确定就不再改变，而网络中的各神经元的状态在运行的过程中不断更新，网络演变到稳定时各神经元的状态就是问题的解。Hopfield网络有离散型和连续型两种, 离散Hopfield网络的结构比较简单，应用较广(神经元的输出只取1和0两个值 )。,3.4.1 神经动力学,1989年Hirsch把神经网络看成是一种非线性动力学系统，称为神经动力学（Neurodynamics）。 动力学系统是状态随时间变化的系统。令v1(t), v2(t), , vN(t) 表示非线性动力学系统的状态变量，其中 t 是独立的连续时间变量，N 为系统状态变量的
14、维数。非线性动力学系统一大类的动力学特性可用下面的微分方程表示：,函数是它包含自变量的非线性函数。为了表述方便可将这些状态变量表示为 一个N1维的向量，称为系统的状态向量; N维向量所处的空间称为状态空间。 可用向量形式表示系统的状态方程：如果满足： 则称矢量 为系统的稳态或平衡态。,3.4.2 离散Hopfield神经网络,Hopfield网络全互联的模型,离散型Hopfield网络的输出为二值型，网络采用全连接结构。令 为各神经元的输入， 为各神经元的输出， 为各神经元与第 个神经元的连接权值， 为第 个神经元的阈值，则有,标准的离散Hopfield网络模型,各神经元的激励函数都是阈值函数
15、，即神经元之间的连接是对称的，即 神经元自身无连接，即,满足以上三个条件的离散Hopfield 网络，是稳定的,标准的离散Hopfield网络,标准的离散Hopfield网络,wij = wji wii = 0,标准的离散Hopfield网络,wij = wji wii = 0,状态更新规则,更新规则,Stable?,离散Hopfield网络有两种工作方式：,1串行方式:任一时刻只有某一个神经元j 的状态产生变化，而其它n-1 个神经元的状态不变2并行方式：在任一时刻，所有的神经元同时调整状态 3. Lyapunov函数：神经元j 在 t 时刻的能量函数,i,i,神经元j从t时刻至t+1时刻的
16、能量变化量 如果Hopfield网络的权系数矩阵W是一个对称矩阵，并且对角线元素为0。则这个网络是稳定的,即 。 初始状态可视为记忆模式的部分信息，网络演变的过程可视为从部分信息回忆起全部信息的过程，从而实现了联想记忆功能。,离散Hopfield网络的运行规则,对网络进行初始化。 从网络中随机选取一个神经元i。 计算神经元i的输入ui(t)。 再按输入输出转换公式计算神经元i的输出vi(t+1)，此时网络中的其他神经元的输出保持不变。 判断网络是否达到稳定状态，若达到，则结束；否则转第二步继续运行。,Hopfield网络的能量函数,Hopfield网络的状态与其能量值有关，可考虑网络中的任意神
17、经元i，其能量函数为：,Hopfield反馈网络是一个非线性动力学系统 ，Hopfield网络按动力学方式运行，即按“能量函数”减小的方向进行演化，直到达到稳定状态。因而上式所定义的“能量函数”值应单调减小。,从t时刻到t+1时刻的能量变化量为：,网络稳定的判断条件,若网络从某一时刻以后，状态不再发生不变化，则称网络处于稳定状态。,当vi从-1变为+1时，则vi=vi(t+1)-vi(t)=2，且因为 ：vi(t+1)=1 所以：,所以：,V(t）,V(t+1）,当vi从+1变为-1时，则vi=vi(t+1)-vi(t)= -2， 且因为 ： vi(t+1)=-1 所以：,所以：,V(t）,V
18、(t+1）,综上所述，因为：,所以,因为神经元i为网络中的任意神经元，而网络中的所有神经元都按同一规则进行状态更新，则所有神经元的能量总和：,即：网络的能量变化量应小于等于零。,说明：在满足参数条件下，Hopfield网络状态是向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态。该稳定状态即为Hopfield网络的输出。,能量函数局部极小值图示,如图所示，曲线含有全局最小点和局部最小点。将这些极值点作为记忆状态，可将Hopfield网络用于联想记忆；将能量函数作为代价函数，全局最小点看成最优解，则Hopfield网络可用于最优化计算。,二值型Hopfield网络的应用,联
19、想存储器 能量函数的曲线含有全局最小点和局部最小点，因此可将这些点构造为对应于输入内容的存储器。 优化计算 可将能量函数作为代价函数，全局最小点看成最优解，则Hopfield网络可用于最优化计算。,联想记忆,联想记忆指的是利用神经网络的高度容错性，使不完整的、被污染的，以及产生了畸变的输入样本恢复成完整的原型，以便获得识别及分类等。,联想记忆的基本概念,联想记忆的分类 自联想将输入信号按已存储在网络中的模式分类，对缺损及噪音信号有一定的容错能力。设网络中已存在M个模式，当输入信号为X+V时，X对应其中一种模式，V是偏差项，则自联想网络的输出为X对应的那个模式，即复原了它。,联想记忆,1、自联想
20、,A,2、异联想记忆,假定两组模式对之间有一定对应关系，将它们组成一个模式对，当输入信号为该模式对中的一个模式时，网络会联想到该对中的另一个模式输出。,树,绿色,异联想,例如，,有下列模式对： 树 001111000010 001101100100绿色 西红柿 100010011011 010001101011红色 天空 011001110001 101111000001蓝色 用它们训练网络后，再输入下列信号： 输 入： 树 001111000010 000000000000 空 联想结果： 树 001111000010 001101100100绿色噪音输入：天空 011001110001 1
21、00001000001 蓝色 去噪结果：天空 011001110001 101111000001 蓝色,联想记忆的工作过程,联想记忆的工作过程分为两个阶段一是记忆阶段，也称为存储阶段或学习阶段；二是联想阶段，也称为恢复阶段或回忆阶段。（1）记忆阶段在记忆阶段就是通过设计或学习网络的权值，使网络具有若干个稳定的平衡状态，这些稳定的平衡状态也称为吸引子（Attractor）。,吸引子有一定的吸引域（ Basin of Attraction）。 吸引子的吸引域就是能够稳定该吸引子的所有初始状态的集合，吸引域的大小用吸引半径来描述，吸引半径可定义为：吸引域中所含所有状态之间的最大距离或吸引子所能吸引状
22、态的最大距离。 吸引子也就是联想记忆网络能量函数的极值点。记忆过程就是将要记忆和存储的模式设计或训练成网络吸引子的过程。,图5-5 吸引子与吸引域示意图,（2）联想阶段联想过程就是给定输入模式，联想记忆网络通过动力学的演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。,吸引子的数量代表着AM的记忆容量（Memory Capacity）或存储容量（Storage Capacity），存储容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。 存储容量与联想记忆的允许误差、网络结构、学习方式以及网络的设计参数有关。 AM的吸引子越多，则网络的存储容量就越大。 吸引子具有
23、一定的吸引域，吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。,Hopfield联想记忆网络,设现在欲存储m个n维的记忆模式，那么就要设计网络的权值，使这m个模式正好是能量函数的m个极小值，即m个稳定状态。 常用的权值设计或学习算法有：外积法、投影学习法、伪逆法，以及特征结构法等。,离散Hopfield网络的存储记忆过程 （运行步骤）,设网络有n个神经元，即它可表示n维的向量。现有m个需存储的记忆模式，其中第k个模式表示为：,采用外积法设计网络的权值,根据Hebb规则，得权值训练公式：其中，N=n为网络单元数，1/N表示调节比例系数。,表示为矩阵形式：,
24、例：,设有两个记忆模式按权值调整公式设计其网络权值，得,权值矩阵W 满足对称及对角线元素非负等条件，所以有稳定点。网络共有三个节点，所以有23=8个状态(阈值取为0)。其中只有两个状态，即（1，-1，1）和（-1，1，-1）是稳定状态，因为它满足：,将(1,-1,1)作为输入，代入输入计算公式,则网络的输出如下，可见网络记住了该状态,同理，将(-1,1,-1)作为输入，代入输入计算公式，得：,则网络的输出如下，可见网络也记住了该状态,其余状态都会收敛到与之邻近的稳定状态上，如下图所示。,稳定状态,稳定状态,这种网络有一定的纠错能力： 当测试向量是（-1，-1，1），（1，1，1）和（1，-1，-1）时，它们都会收敛到稳态（1， -1，1）上。 当测试向量是（1，1，-1），（-1，-1，-1）和（-1，1，1）时，则收敛到稳态（-1，1，-1）上。,上述模式的三个单元的反馈网络,
