1、1,智能控制系统,天津大学电气与自动化工程学院,六,天津大学自动化学院,2.2 BP网络Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法,2.前向网络及其主要算法,J. McClelland,David Rumelhart,天津大学自动化学院,BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 结构：多层前向网络。,2.前向网络及其主要算法,天津大学自动化学院,2.前向网络及其主要算法,图3-9 BP网络,天津大学
2、自动化学院,激发函数必须处处可导,一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入输出输出的导数,2.前向网络及其主要算法,天津大学自动化学院,2.前向网络及其主要算法,天津大学自动化学院,学习算法学习的类型：有导师学习 核心思想：将输出误差以某种形式通过隐层向输入层逐层反传算法组成：正向传播 + 反向传播（输入信息）（误差信号）,2.前向网络及其主要算法,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,天津大学自动化学院,2.前向网络及其主要算法,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符
3、 误差反传 误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,天津大学自动化学院,算法步骤网络结构：输入层有M个神经元，隐含层有q个神经元, 输出层有L个神经元。学习样本：设有N个学习样本，每个学习样本包括M个输入和L个输出。通过学习使BP网络符合这些样本。以学习第p个样本为例（输入量为Xp,期望输出为Dp）:,2.前向网络及其主要算法,天津大学自动化学院,前馈计算隐含层第j个节点的输入可写为第j个节点的输出为其中 为激发函数，可取sigmoid函数形式，则,2.前向网络及其主要算法,天津大学自动化学院,输出层第k个节点的输入可写为则输出
4、层第k个节点的输出为当实际输出与期望输出不一致时，进入反向传播阶段将误差信号反向传播，修改权值。 反向传播 对第p个样本，定义二次型误差函数。方便起见，以下省略下标p,2.前向网络及其主要算法,天津大学自动化学院,学习的过程即是调节权值使得E最小的过程，在BP算法中采用一阶梯度法（最速下降法）。 输出层权系数的调整：为学习速率 定义反向误差传播信号,2.前向网络及其主要算法,天津大学自动化学院,故又有故,2.前向网络及其主要算法,天津大学自动化学院,隐层权系数的调整：定义反向误差传播信号其中,2.前向网络及其主要算法,天津大学自动化学院,又有故有则可得加入样本标号p，可写为,2.前向网络及其主
5、要算法,天津大学自动化学院,BP算法的几个问题：权值初值应设为较小的随机数采用s型激发函数时，期望输出不能设为1或0, 应设为0.9或0.1学习速率在开始时可取大值，后期取小值。,2.前向网络及其主要算法,天津大学自动化学院,BP算法直观解释：情况一直观表达当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。,2.前向网络及其主要算法,天津大学自动化学院,BP算法直观解释 情况二直观表达当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方 向调整，使得实际输出 与期望输出的差减少。
6、,2.前向网络及其主要算法,天津大学自动化学院,例 1. 见教材P 107 例 2. 对于下图所示双输入双输出神经网络，给定样本X=1,3T D= =0.95,0.05T 求一步学习的结果。(激励函数 , 学习效率 ）,2.前向网络及其主要算法,天津大学自动化学院,BP网络的优点： 非线性映射能力。能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力
7、。 容错能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,2.前向网络及其主要算法,天津大学自动化学院,BP网络的缺点： BP算法的学习速度很慢 网络训练失败的可能性较大 难以解决应用问题的实例规模和网络规模间的矛盾 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾,2.前向网络及其主要算法,天津大学自动化学院,BP网络的改进： 增加“惯性项 采用动态步长 与其他全局搜索算法相结合 模拟退火算法
8、目前在神经网络的学习中，基于梯度的算法都不能从理论上保证收敛结果是全局最优的,2.前向网络及其主要算法,天津大学自动化学院,BP网络训练步骤：1获取训练样本集获取训练样本集合是训练神经网络的第一步，也是十分重要和关键的一步。它包括训练数据的收集、分析、选择和预处理等 2选择网络类型与结构神经网络的类型很多，需要根据任务的性质和要求来选择合适的网络类型。 3训练与测试最后一步是利用获取的训练样本对网络进行反复训练，直至得到合适的映射结果。,2.前向网络及其主要算法,天津大学自动化学院,BP网络MATLAB实现,2.前向网络及其主要算法,天津大学自动化学院,例3.下表为某药品的销售情况，现构建一个
9、如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5. 利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,2.前向网络及其主要算法,天津大学自动化学院,2.前向网络及其主要算法,%以每三个月的销售量经归一化处理后作为输入 P=0.5152 0.8173 1.0000 ;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390
10、0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000; %以第四个月的销售量归一化处理后作为目标向量 T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即标准学习算法 net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd); net.trainParam.epochs=15000;
11、 net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T);,天津大学自动化学院,2.前向网络及其主要算法,由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小,天津大学自动化学院,2.3 RBF神经网络 径向基函数(RBF)网络是一种两层前向网络。其输出是由隐节点基函数的线性组合计算得到。隐节点的基函数只对输入空间中的一个很小区域产生非零响应。隐层神经元将输入空间映射到一个新的空间,输出层在该空间中实现线性组合。,2.前向网络及其主要算法,天津大学自动化学院,2.前向网络及其主要算法,径向基函数常采用高斯函数作为非线性映射函数,不失一般性,对于单个网络输出的RBF网络来说,其第k个单元对应的输出为其中:-欧几里德范数-第i个输入向量-第k个隐层节点的中心-第k个隐层节点的宽度整个网络的输出方程为:其中 -输出空间与第个隐层节点的连接权n -隐层节点的总个数,天津大学自动化学院,学习算法径向基函数(RBF)网络的学习方法与BP网络相似，只是采用的激发函数不同。,2.前向网络及其主要算法,
