1、神经网络算法分类及概念：生物神经网络 生物体的每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统
2、。BP 神经网络一种按误差逆传播算法训练的多层前馈网络。BP 网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。 BP 神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。神经网络的基本特征：神经网络的基本功能：输入的样本经过自动提取，经过 非线性映射规则处理输出需要的 样本。分类与识别功能：结构特征 能力特征并行式处理 自学习分布式存储 自组织容错性 自适应性 传 统 分 类 能 力 AN分 类 能 力
3、优化计算功能：神经网络的应用领域：医学领域1.检测数据分析2.生物活性研究3.医学专家系统神经网络建模：思考方法：用生物神经网络类比人工神经网络生物神经元在结构上由四部分组成1.胞体 2.树突 3.轴突 4.突触神经元的状态分为：静息 兴奋 抑制信息的传递过程：电信号沿着轴突到突触前膜，期间，突触小泡释放神经递质（兴奋性或抑制性）到突触间隙，作用于突触后膜的受体，使下一个神经元兴奋或抑制。从而完成此次信号的传递。PS：可能有多个神经元同时作用于一个神经元。生物神经元的信息整合度：同一时刻多个神经元所产生的刺激所引起的膜电位变化，大致等于个单独刺激引起膜电位点位的代数和。各次的兴奋传递到突触后膜
4、的时间不同，总的动作电位为该段时间的总和。神经元之间突触的连接方式和连接强度不尽相同。类比而来看：决定人工神经网络整体性能的三要素为：1.节点本身的信息处理能力 数学模型2.节点之间的连接（突触间隙） 拓扑结构；3.节点之间相互连接的强度 通过学习调节该模型的六点假设：1.每个神经元都是一个多输入单输出的信息处理单元（类似函数中的映射）2.神经元传递的信息分为兴奋性和抑制性3.神经元具有空间整合特性和阈（yu）特性；4.神经元信息传递具有时间滞留（突触间的延搁）；5.一般忽略时间滞留和不应期；6.神经元本身是非时变的，是本身的一种特性，一般不随其他变化而变化（突触延搁与突触强度为常数）假设解释
5、：1.多入单出设有 n 个神经元作用于另一个神经元 j，则， 输出的信号表示为 Oj2.输入加权同假设一，只是加了权值 wij其中，权值的大小是神经元之间连接的强度，权值的正负表示神经递质是兴奋或抑制。3.加权求和必须对输入的信息进行整合，以确定输入信息的总效果，才有意义。这里的求和类似于生物神经元的膜电位变化的最终表现。神经元的兴奋与抑制或保持静息取决于一个阈值，当该和大于阈值时，则兴奋；小于阈值时， 则不兴奋，保持静息；当权值小于零时，表现为抑制。4.输入输出函数当介入一个非线性函数时，处理起来就类似于人工神经网络。数学公式抽象（函数）： )()( jn1i ijijj Ttxwfto X
6、i(t) 表示在 t 时刻神经元 j 接受来自神经元 i 的信息输入Oj(t) 表示 t 时刻神经元级的信息输出t 信息从突触前膜到突触后膜所需要的时间 ij 突触延搁Tj 阈值Wij 权值f（） 非线性函数解释：综合输出值 Oj(t)等于：各个神经元 i 与突触后膜的权值乘以神经元 i 的信息输入值减去阈值，再进行 n 个神经元求和。推广 1：当延搁设为单位时间时有 )()( jn1iijj Ttxwf1to 1.i（1,2,3n）体现多输入单输出2.wij 有正负体现突触的兴奋或抑制3.Tj 体现阈值4.Oj（t） 表示净输入推广 2：只考虑空间整合 1()()nijinetjtwxtWi
7、j 与时间无关，体现“非时变”数学模型：简便起见，推广 2 式中的（t）通常省略。该式子可以表示为权重向量 Wj 与输入向量 X 的数量积 WiX，其中，Wj 与 X 均为列向量；于是就有：Wj=(w1,w2,wn) T, X=(x1,x2xn)T如果对应于推广 1 中的公式就有： T()jojtfwX若令 X0=-1（上式为延搁为单位时间），W 0=Tj ；于是就有：净输入与阈值只差为 netj=WjTX；综上所述：XWTjn0iijjjj xwnetTtne 注意：这里的 i 时从 0 开始取，因为式中包含了阈值。所以该模型可以简化为： Tj jojfnetfWX转移函数各种数学模型的不同
8、主要取决于非线性函数的不同。分类网络拓扑结构类型(输入层到输出层之间无连接)中间层-输出层（如上图中输入层与输出层无连接类型）反馈：所有节点都具有信息处理功能，且每个节点既可以从外界接受信息输入，又可以向外界输出（如全互联型）神经网络的学习通过不断改变网络连接权值以及拓扑结构，使得网络的输出不断接近期望的值。学习类型：1.有导师2.无导师3.死记式学习学习过程：一适用于纯前馈，无导师的神经网络w0j -1 w1j x1 X wij j oj xj xn wnj Wj r (Wj ,X ， dj) 学 习 信 号 X 生 成 器 dj )()()()( ttd,t,trjjj XXW )()()
9、()()()( ttd,t,trt1t jjjj W其中：)(XTjfr体现了权值改变量与学习效率和 f()之间的关系于是就有： i)(xfwTjij W2适用于导师学习（只适用于二进制神经元） jj-odr其中： 0 1-)(sgnXWXXWTjjTjTjjfd同（一）也就有： i)(xsgn-dwTjjij XW当实际输出达到期望误差范围时，权值不需要调整；由 dj 可知： X2j（3）连续感知器学习规则 )()(jjnetf-odrijjij xtfwBP 传播模型（多层前馈神经网络）模式结构图如下：输入层隐藏层x 1x2xiwij输出层. .OjwjkOk学习过程：边修正误差系数边向后
10、传播的过程分为正向传播和反向传播。正向传播：略反向传播：如果得不到实际的输出，则转入反向传播过程，将误差信号沿原来的连接线路返回，通过修改各层神经元的权值，逐次地向输入层传播进行计算，再经过正向传播过程。这两个过程的反复运用，逐渐使得误差信号达到期望范围。BP 算法如下：其中，l 为学习率；oi 为单元 i 的输出；oj 为单元 j 的输出；Tj 为输出层单元 j 的期望输出；Errj 为与隐藏层单元 j 的误差加权和；wjk 为单元 j 与单元 k 相连的有向加权边的权重；为改变单元 j 活性的偏量。输入：训练样本 S，学习率 l，多层前馈网络。输出：一个训练的、对样本分类的神经网络。方法：
11、(1) 初始化网络的权和阈值(2) WHILE 终止条件满足 (3) FOR S 中的每个训练样本 X(4) FOR 隐藏或输出层每个单元 j(5) ; /相对于前一层计算单元 j 的净输入ijj jIwo(6) ; / 计算每个单元 j 的输出1()jIje(7) FOR 输出层每个单元(8) ; /计算误差(1)()jjjjjEroTo(9) FOR 由最后一个到第一个隐藏层，对于隐藏层每个单元 j(10) ; /计算关于下一个较高层 k 的误差(1)jjjkjEroErw(11) FOR 网络中的每一个权 ij(12) ;ijij jiwlEro(13) FOR 网络中每个单元偏量 j(14) ；jjjlEr定义神经网络拓扑神经网络在开始训练之前，必须确定输人层的单元数、层数，每个隐藏层的单元数和输出层的单元数，以确定网络拓扑结构。神经网络在开始训练之前，必须确定输人层的单元数、层数，每个隐藏层的单元数和输出层的单元数，以确定网络拓扑结构。 1 10(), ,log2nn niikcnman其中，k 为样本数，n 为输入结点数， m 为输出样本，n1 为隐藏层结点数。
