1、 BP 算法的改进 附加动量法 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。 该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。 带有附加动量因子的权值和阈值调节公式为： 其中 k 为训练次数，mc 为动量因子，一般取 0.95 左右。 附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值（或阈值）的变化
2、仅是根据梯度下降法产生；当动量因子取值为 1 时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时， i 将变得很小，于是,从而防止了的出现，有助于使网络从误差曲面的局部极小值中跳出。 根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于 1 的值。典型的取值取 1.04。所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。 训练程序设计中采用动量法的判断条件为： E（k）为第 k 步误差平方和。V = net.iw1,1%输入层到中间层权值 theta1 = net.b1%中间层各神经元阈值 W = net.lw2,1%中间层到输出层权值 theta2 = net.b2%输出层各神经元阈值
