1、分类号 学号 M201171483 学校代码 1 0 4 8 7 密级 硕士学位论文 BP 神经网络与卷积神经网络在文字识 别中的应用研究 学 位 申 请 人 ： 丁小刚 学 科 专 业 ： 工程计算仿真与软件技术 指 导 教 师 ： 刘小虎 教授 答 辩 日 期 ： 2014 年 2 月 16 日 A Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering Research on character recognition with BP
2、 neural network and convolution neural network Candidate : Ding Xiaogang Major : Engineering Computing Simulation and Software Technology Supervisor : Prof. Liu Xiaohu Huazhong University of Science ; ; ki k ij i ki k ij i E E E E w a w w a w (2-7) 上面的这些公式是总误差函数对各个权值阈值的偏导数， 其中的 为调整因子， 可以将其理解为学习速率，一般
3、取值为 01 ，显然这还不能直接应用于计算，这里 还需要对它们作进一步的推导， 得出由已知值表达的修正公式， 这里主要用到了求 导过程中的链式规则，则输出层权值调整公式： k k k ki ki k ki k k ki net o net E E E w w net w o net w (2-8) 输出层阈值调整公式： k k k k k k k k k k net o net E E E a a net a o net a (2-9) 隐含层权值调整公式： i i i ij ij i ij i i ij net y net E E E w w net w y net w (2-10) 隐含层
4、阈值调整公式： i i i i i i i i i i net y net E E E net y net (2-11) 由前向传播函数可以得到： 11 PL pp kk pk k E To o (2-12) , 1, , 1 i k i i ij ki k ij i net net net net yx w a w (2-13) 11 PL pp k k k ki pk i E T o net w y (2-14) 华 中 科 技 大 学 硕 士 学 位 论 文 10 i i i y net net (2-15) k k k o net net (2-16) 将上述偏导数带入调整公式，所以最
5、后得到以下修正公式 ： 11 PL pp ki k k k i pk w T o net y (2-17) 11 PL pp k k k k pk a T o net (2-18) 11 PL pp ij k k k ki i j pk w T o net w net x (2-19) 11 PL pp i k k k ki i pk T o net w net (2-20) 上述修 正 公 式 中 的 隐 含 层 激 励 函 数 与 输 出 层 激 励 函 数 均 为 事 先 指 定 ， 一 般 取 sigmoid 函 数或 tanh 函数等，这类函数在梯度下降法中 有着很好的性质，在指定区 间函数值变化明显，其他区间则为饱和，导数 值为零，且整个定义域具有单调性。 根据这些公式就可以完成对神经网络各层权值及阈值的调整， 每一次调整都是 朝着 使总误差函数值下降的方向进行， 将调整后的总误差函数值 与预先给定的精度进行 比较， 达到精度或者给定的最大训练次数则可以停止训练， 否则继续循环迭代进行 调整， 调整的过程即为神经网络学习的过程 ， 神经网络的权值及阈值 和网络结构即 为所学习到的 知识 。
