1、人工神经网络,第四章,计算机科学与技术学院,多阶层NN与误差逆传播算法,4.1多阶层NN与误差逆传播算法的提出,感知机存在的问题：只适用线性模式的识别，对非线性模式的识别需加入隐层，但又无有效的学习规则。Rumelhart.McCelland 在1986年出版Parallel Distributed Processing完整提出了误差反向传播 法。Error BackPropagation BP算法,4.2 BP NN 结构与学习规则,典型BP NN 为三层，输入、隐含、输出层。BP的学习过程： 模式顺传播过程：模式由输入层、中间层向输出层的传播。 误差反向传播过程：希望值与实际值之差由输出层
2、、中间层向输入层逆向传播。 记忆训练过程：、交替。 学习收敛过程：向误差极小值过程。,模式的顺传播 设输入模式： k=1,2,m m：学习模式对数；n：输入层单元个数希望输出模式： q：输出单元个数中间层单元的输入 j=1,2,p：输入层至中间层的连接权：中间层单元的阈值p ：中间层单元的个数,4.2 BP NN 结构与学习规则,神经元的非线性特性：函数（Sigmoid)X5 f(x)1S：要求可微性，而且有饱和的非线性特性。S的阶跃比较平滑。,4.2 BP NN 结构与学习规则,中间层单元的输出：j=1,2,p使曲线向右平行移动 个单位，调节神经元兴奋水平的 作用。输出层各单元的输入、输出：
3、t=1,2,q：中间层至输出层连接权 ：输出层单元阈值,4.2 BP NN 结构与学习规则,误差的逆传播,计算输出层的校正误差t=1,2,q k=1,2,m 计算中间层各单元的校正误差：j=1,2,pk=1,2,m中间单元的校正误差都是q个输出单元校正误差传递而产生 的权值调整。， 学习系数,t=1,2,q,k=1,2,m,i=1,2,n,j=1,2,p k=1,2,m,4.2 BP NN 结构与学习规则,4.2 BPNN结构与学习规则,训练过程：随着“模式顺传播”与误差逆传播过程的反复进行，网络的实际输出逐渐向各自所对应的希望输出逼近。 收敛过程：网络全局误差趋于极小值的过程。全局误差： 两
4、种形式,4.2 BPNN结构与学习规则, BP网络存在的缺陷 收敛速度慢。 局部最小值问题：梯度下降学习法：沿坡度最大的地方下降。 达到全局最小值点与初始值有关，所以权函数用随机值。,4.3误差逆向传播学习规则的数学推导,输入向量：希望输出：中间层输入：中间层输出：输入、中间层的连接权值：Wij；（i=1,2n; j=1,2p）中间层至输出层的连接权：Vjt（j=1,2p; t=1,2q）,；,4.3误差逆向传播学习规则的数学推导,中间层阈值： ； 输出层阈值： ;S 函数： ；有设第k个学习模式网络希望输出与实际输出的偏差为：的均方值为：,4.3误差逆向传播学习规则的数学推导,为使ER随连接
5、权的修正梯度下降，则求EK对网络实际出 Ct的偏导。由于所以,4.3误差逆向传播学习规则的数学推导,按梯度下降原则：设输出层各单元的一般化误差为dtk则 Vjt的变化量为由输入层至中间层连接权的调整，仍按梯度下降法进行,中 间层的各单元的输入Sj为,4.3误差逆向传播学习规则的数学推导,设中间层各单元的一般化误差为ejk j=1,2,p , k=1,2,m,其输出为：,4.3误差逆向传播学习规则的数学推导,则:同理，（t=1,2q）（j=1,2p）,BP学习算法的流程图,初始化：给wij、vjt及阈值 、 赋予（-1，+1）间的随机值 随机选取一模式对 ,提供给网络 用输入 连接权值 和 计算
6、中间层各单元的输入及输出用中间层输出bj及 、 计算输出层的输入 及输出,4.3误差逆向传播学习规则的数学推导,用希望输出 及实际输出Ct计算输出层各单元的一般化误差用Vjt、dtk及中间层输出bj计算中间层各单元的一般化误差ejk用dtk 、 bj修正权值Vjt 、,4.3误差逆向传播学习规则的数学推导,用 、 修正 和 j=1,2.p随机选取下一个学习模式提供给网络。返回到步骤，直到m个模式对训练完毕 重新从m个学习模式对中随机选取一个模式对，重返直到网络全局误差E小于预先设定的一个极小值 完毕,4.3误差逆向传播学习规则的数学推导,4.4 隐含层-特征抽取器的作用,BP具有识别非线性模式
7、的主要原因是增加了中间层作为输入模式的内部表示，实际上就是对一类输入模式中所含的区别于其它类别的输入模式的特征抽取-特征抽取层。,4.4 隐含层-特征抽取器的作用,三个模式并不是完全相互独立，第2、3模式的线性组合构成了第1模式，因此设置两个特征抽取层，网络收敛后各连接权的最终值为：,460次学习后，=0.06，=0.6,4.4 隐含层-特征抽取器的作用,两组权值形状上与第一、第二类输入模式的示意图大致相似。隐含层的两个特征抽取器的输出，通过连接权将输入模式 的特征传递给输出层，两层之间的连接权值对传递特征起着选 择、增强的作用。,4.5 BP网络应用举例,例 :XOR问题学习模式 网络网络权
8、值Wij及j在-0.1，0.1之间随机赋值。此时各模式所产生的实际输出均为0.54左右。全局误差0.5,4.5 BP网络应用举例,学习8000次后。E=0.1659,若四舍五入，则可认为记住学习模式,4.5 BP网络应用举例,学习11050次后，E=0.0078若小于0.1认为0，大于0.9认为1时，满足要求 陷入局部极小点,4.6 BP网络小结,BP NN存在的问题 学习速度慢，即使是一个比较简单的问题也需要几百上千次学习； 不能保证收敛到全局最小点； 隐含层的层数及隐含层的单元数的送取尚无理论上的指导； 网络的学习、记忆具有不稳定性。记忆新的模式时，将使已有的连接权被打乱，产生遗忘现象，新
9、、旧模式一起学习。,（1）累计误差校正算法所有学习模式都学完后，用累加的学习模式进行权值调整。,4.6 BP网络小结,（2）S函数输出限幅算法 vjt ,wjt 与中间层的输出bj有关由S输出决定，接近0，1时，修正非常缓慢。 当S输出小于0.01或大于0.99时，保持0.01或0.99。,4.6 BP网络小结,（3）惯性校正法在每一次校正时，按一定比例加上前一次学习的校正 量，即：惯性量，以此加速网络的学习速度。d：本次误差得到的校正量当前一次校正量过调时，惯性项与本次的误差项符号相 反，使w下降；当前一次校正量欠调时，惯性项与本次的误差项符号相 同，使w上升；,4.6 BP网络小结,（4）改进的惯性校正法是一个变量，随着校正的不断进行，惯性系数不断 加大。改进的目的是使被校正量随着学习进程的发展，逐渐沿着前一次校正方向发展。,4.6 BP网络小结,
