1、,郭宁 ,人工神经网络简介,一、引言,ANN (Artificial Neural Networks)是模仿人脑神经网络的数学模型，是一种信息处理系统。 人脑固有特征： 并行分布处理工作模式 神经系统的可塑性和自组织性 系统性,二、发展史,1943 W.Mcculloch和W.Pitts首次提出了人工神经网络模型。 1957 Frank Rosenblatt发展了模型，并提出了感知器（Perceprton)模型以及两层感知器的收敛定理（1962），提出引入隐层处理元件的三层感知器这一重要的研究方向 1959 B.Widrow和M.Hoff提出了自适应线性元件（Adaline) 1969 Pap
2、ert和Minsky出版了Perceptrons,对感知器的功能及其局限性从数学上作了深入的研究，提出了双层感知器的许多局限性。,1982 John Hopfieldt提出具有联想记忆和优化计算的反馈网络模型（HNN模型），使人们对人工神经网络有了新的认识。 1986 D.E.Rumelhart提出BP算法。 1987 IEEE举行首次神经网络会议，国际神经网络学会成立。,三、神经网络的基本结构,人工神经元（接受、处理、输出信号） 连接权重（强度） 连接模式 学习算法,1. 单个神经元的结构,p1,p2,.,.,pr,w1,w2,wr,n,b,a,1,P,W,A,2. 激活函数（核心）作用,控
3、制输入对输出的激活作用； 对输入、输出进行函数转换 将可能无限于的输入变成指定的有限范围的输出,常用的激活函数：,阀值型（硬限制性 ）线性型,S型（Sigmoid)将任意输入值压缩到（0，1）的范围内。 对数S型,f,n,-b,0,-1,1,双曲正切S型,4. 神经网络的结构,三层网络的结构示意图,每一层的作用,输入层从外部接受信息并将此信息传入人工神经网络，以进行处理。 隐含层接受输入层的信息，静静地对所有的信息进行处理，整个处理步骤用户是看不见的。 输出层接受人工神经网络处理后的信息，将结果送到外部接受器。 神经网络仅仅具有拓扑结构，还不能具有任何智能特性，必须有一套完整的学习、工作规则与
4、之配合,四、神经网络的分类,拓扑结构： 前向网络 反馈网络,反馈网络结构图 Chat of backfeed neural network,2. 按学习方式分类,教师示教学习方式 Chat of neural with tutor,无教师示教学习方式 Chat of neural network without tutor,五、神经网络的特点,高度的并行性 高度的非线性全局作用 良好的容错性与联想记忆功能 十分强的自适应、自学习功能,六、神经网络的应用,模式信息处理和模式识别 最优化计算问题 信息的智能化处理 复杂控制 信号处理,七、BP算法,反响传播网络（Back-Propagation N
5、etwork)是非线性可微分函数进行权值训练的多层网络，主要用于： 函数逼近 模式识别 分类 数据压缩,1. BP网络的学习过程,假设BP网络中有r个输入单元 、n个隐含单元、m个输出单元，则称为rnm网络。输入节点i和隐含节点之间的连接权值为w(1)ij，作用函数f为Sigmoid函数，训练集包含M个样本模式对 (xk, yk, )。,对每个训练样本 Pi，于每个隐含单元的输出为Aj，则：,隐含节点j和输出节点k之间的连接权重为w(2)jk, 则对于输出Oj：若对应于Pi的目标值为di, 定义误差函数：,可得如下权值修正公式：式中为学习速率，w为ei的函数，为动量因子。,),(,),1,(,D,+,=,+,w,t,w,t,w,h,2. 主要步骤,初始化 对每个样本作如下计算 前向计算输出 反向计算误差 修正权值 3）输入新的样本，直到达到要求,3. 缺点及修正,误差梯度下降，但易陷入极小点处 可以增加动量项， 对权重用均匀分布的随机数进行初始化， 改进激发函数 采用全局优化算法 收敛速度慢， 可采用“批处理”算法 使各种神经元的学习速度差不多 自适应学习效率 隐含层神经元数数目难以确定 采用逐步增长或逐步修剪的方法,
