1、神经网络,刘芳，戚玉涛 qi_,BP网络和BP算法,线性不可分问题：感知器模型的局限 三层感知器 多层网络的表达能力 BP网络：多层感知器 BP算法：反向传播算法的思想和流程， 训练协议，隐含层的作用，实用技术,反向传播算法（BP算法）,敏感度的反向传播,反向传播算法（BP算法）,BP算法流程： Step1：选定权系数初值 Step2：重复下述过程直至收敛 (对各个样本依次计算) Step2.1 前馈: 从前向后各层计算各单元,反向传播算法（BP算法）,Step2.2 :对输出层计算Step2.3 :从后向前计算各隐层Step2.4 :计算并保存各个权值修正量,反向传播算法（BP算法）,Ste
2、p2.5:修正权值,以上算法是对每个样本作权值修正（单样本）,也可以对各个样本计算 后求和，按照总误差修正权值（批处理）,BP算法的训练协议,训练协议(学习协议)：神经网络训练过程中如何根据训练样本调整权值 三种最有用的训练协议： 随机训练( stochastic training ) :模式随机从训练集中选取，每输入一个模式，权值就更新一次 成批训练( batch training ) :所有模式一次全部送入网络，然后才进行一次权值更新 在线训练( online training ) : 每种模式只提供一次，每提供一种模式，权值更新一次,BP算法的训练协议,随机反向传播,BP算法的训练协议,
3、成批反向传播,累计更新,BP算法的训练协议,在线反向传播,隐含层的作用,隐含层的作用：学习到一组非线性映射，将样本映射到线性可分的空间 非线性弯曲能力，本质上是一种非线性的特征映射 异或问题的例子：,隐含层的作用,隐含层的非线性弯曲能力,1-60个回合的非线性映射和误差的变化,总误差,各个模式上的误差,BP算法的优缺点,优点：理论基础牢固推导过程严谨物理概念清晰通用性好所以，它是目前用来训练多层前向网络（BP网络）较好的算法。,BP算法的优缺点,缺点： BP算法只能收敛于局部最优解，不能保证收敛于全局最优解； 当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，
4、即网络的推广能力有可能较差。,BP算法的实用技术,输出函数（激活函数） 输入信号尺度变换 c类问题的目标输出 带噪声的训练法 人工“制造”数据,隐单元数 权值初始化 学习率 冲量项 权值衰减,BP算法的实用技术,输出函数（激活函数）应具备的性质 非线性：非线性特征映射，否则三层网络将等同于两层网络的计算能力 饱和性：存在最大和最小值，即输出有上下界 连续性：在整个自变量范围内都有定义 光滑性：在整个自变量范围内一阶导数存在 最好有单调性：导数在自变量范围内不变号，避免引入不必要的局部极值 Sigmoid函数满足上述性质，因此被广泛采用,BP算法的实用技术,输入信号尺度变换 鱼分类的例子：x1
5、:质量 x2:长度 x1 = 1500克， x2=0.3米，则网络权值的调整主要由x1 控制 x1 = 1.5千克， x2=300毫米，则网络权值的调整主要由x2控制 解决方案：输入特征尺度变换，使得 每个特征在整个训练集上的均值为零 每个特征的方差相同，如都为1.0,规范化,BP算法的实用技术,c类问题的目标输出 Sigmoid函数的饱和值1.716永远不可能达到，存在误差 c类问题的判决准则：如果样本x属于第i类，则第i个输出单元的目标输出为 +1，其他输出单元为-1 例如：四类情况，x属于第3类 ，目标输出则为（ -1，-1, +1，-1 ）,BP算法的实用技术,带噪声的训练法 当训练集
6、很小时，可以构造一个虚拟的或替代的训练模式来使用（建立概率模型），就好像它们是从源分布中抽样出来的正常的训练模式 在没有具体特定信息时，一个自然的假设就是此代替模式应该加入一个d维噪声，以获得真实的训练点 这种有噪声的训练方法实际上可用于任一分类方法，尽管对于高度局部化的分类器（如最近邻分类器）它通常并不改善准确率,BP算法的实用技术,人工“制造”数据 在训练模式不足的情况下，有时可以人工制造一些训练 样本 需要利用问题的先验知识，如某种“几何不变性”，制造出一些能传达更多信息的训练样本 数据变换：例如字符识别问题中 旋转 缩放 字符笔画宽窄变化,BP算法的实用技术,隐单元数：隐单元个数决定了
7、网络的表达能力，从而决定了判决边界的复杂度 简单问题需要较少的隐单元 复杂问题需要较多隐单元 过少隐单元造成神经网络表示能力下降 过多隐单元造成对训练集的“过拟合” 经验规则 选取隐单元个数，使得网络中总的权值数大致为样本数的1/10,BP算法的实用技术,权值初始化,若 则 无法更新 权值初始化方法：假设一个隐单元可以接收d个输入单元的输入初始权值应该在 上均匀分布此时，隐单元的净激活范围：-1net+1Sigmoid函数在-1net+1的范围内几乎是线性的,BP算法的实用技术,学习率：不同学习率的收敛效果Sigmoid网络的学习率：初始化学习率约为0.1；如果发散，则调小学习率；如果学习速度
8、过慢，则调大学习率。,BP算法的实用技术,冲量项（momentum）问题：在 的区域，权值无法更新,BP算法的实用技术,冲量项（momentum） 误差曲面的“平坦区” 较小，学习速度慢 解决方法：如果让当前学习保持上一步学习的“惯性”，则可以较快 通过“平坦区” “惯性”的度量：冲量,BP算法的实用技术,冲量项（momentum） 上一步（第m步）的更新量第m+1步的BP算法更新量 带冲量的反向传播学习规则,BP算法的实用技术,带冲量的随机反向传播算法,BP算法的实用技术,带冲量的随机反向传播算法,BP算法的实用技术,权值衰减 一种简化网络以及避免过拟合的方法是加入一个启发式规则：即权值应当
9、比较小 实践中，较小的权值往往可以提高神经网络性能。小权值更加适合线性的模型 基本方法：从具有“非常多”的权值网络开始，在训练中衰减所有的权值,神经网络,引言：人工智能联结主义的学说 人工神经网络的发展 人工神经网络的基本概念 感知器模型 BP网络和BP算法 径向基函数网络和学习算法 竞争学习和侧抑制 自组织特征映射网络 Hopfield神经网络,径向基函数网络,径向基函数网络（RBF网络）是一种常用的前馈神经网络。,特征： 只有一个隐层； 隐层单元采用径向基函数作为输出函数； 输入层到输隐层单元间的权值固定为1； 输出结点为线性求和单元 隐层到输出结点的权值可调,径向基函数网络,径向基函数的
10、作用往往是局部的，离中心越远函数值越小。常用的径向基函数是高斯函数。,其中：,输入向量,第i个隐结点的中心,径向基函数（ Radial Basis Function）：某种沿径向对称的标量函数。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：,径向基函数网络,可以从两个方面理解RBF网络函数逼近：把网络看成对未知函数 f(x) 的逼近器。一般任何函数都可以表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f(x)。线性分类：把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是线性函数）分类。,R
11、BF网络学习算法,RBF网络中有三组参数可调：隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。 RBF网络学习算法的两个阶段确定RBF函数的中心：无师学习训练隐层与输出结点之间的权值：有师学习,RBF网络学习算法,Step1：对所有样本的输入进行聚类（可以采用k均值聚类算法），求得各隐层结点RBF函数的中心。 Step2：当RBF函数的中心ci确定后，训练隐层与输出结点之间的权值。这是一个线性优化问题。,RBF网络的优缺点,RBF网络与BP网络主要的不同点是：在非线性映射上采用了不同的输出函数，分别为径向基函数与Sigmoid函数。前者的作用是局部的，后者的作用是全局的。 已经证明，
12、RBF网络具有唯一最佳逼近的特性，且无局部极小。 径向基函数、隐层结点个数难以确定，目前尚无解决方案。 隐层结点RBF函数的中心难以求解，阻碍了RBF网络的广泛应用。,神经网络,引言：人工智能联结主义的学说 人工神经网络的发展 人工神经网络的基本概念 感知器模型 BP网络和BP算法 径向基函数网络和学习算法 竞争学习和侧抑制 自组织特征映射网络 Hopfield神经网络,竞争学习和侧抑制,前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。可以用于完成分类任务。 引入竞争机制（侧抑制）的前馈网络可以实现无监督学习，完成聚类任务。 竞争学习网络在二层前馈网络的输出层加上了侧抑制。,竞争学
13、习和侧抑制,侧抑制是在输出层各个单元之间相互用较大的负权值输入对方的输出。 竞争的结果是：具有较大输入的单元输出为1，其他单元的输出都为0。,竞争学习和侧抑制,网络学习时，先随机初始化权值，为了防止某个输出单元的权值过大，造成不应有的侧重，在学习过程中随时将权向量进行归一化处理，即：,当样本为归一化样本( |x|=1)时，学习可以按如下算法进行：,神经网络,引言：人工智能联结主义的学说 人工神经网络的发展 人工神经网络的基本概念 感知器模型 BP网络和BP算法 径向基函数网络和学习算法 竞争学习和侧抑制 自组织特征映射网络 Hopfield神经网络,自组织特征映射网络,生物神经学的研究发现，人
14、的大脑皮层中神经网络的功能是分区的，每个区域完成各自的功能。记忆也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。 处于空间位置不同的神经元，各自对输入模式的不同特征敏感。 大脑中分布着大量的协同作用的神经元群体，同时，大脑网络又是一个复杂的反馈系统，包括局部反馈和整体反馈。聚类现象对大脑的信息处理起着重要作用。,自组织特征映射网络,相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的现象，抑制其兴奋。 更远的又是弱兴奋。这种局部交互形式被形象地比喻为“墨西哥草帽”。,自组织特征映射网络,自组织特征映射网络由芬兰学者 Kohonen于1981年提出,自组织特征映射网
15、络,自组织特征映射网络结构：,自组织特征映射网络,Kohonen依据这样的思想提出了一种神经网络，一般称为自组织特征映射网络 (Self-Organizing Feature Map, SOM或SOFM) SOM网络是一个两层网络，包括输入层和竞争层，输入层的神经元个数等于特征的维数，竞争层的神经元组成一个方阵。 输入层和竞争层之间是全互连的，竞争层的神经元之间训练时存在着侧向抑制，识别时没有任何连接。,自组织特征映射网络,自组织特征映射网络的识别过程 当SOM网络训练好之后，我们希望用网络中的某个区域对应某一类模式 当输入一个待识模式时，计算输入特征矢量与网络中每个神经元权值之间矢量内积，以
16、内积大者作为胜元，也就是兴奋程度最大的神经元 然后根据这个胜元所在的区域确定待识模式的类别,自组织特征映射网络,也可以采用输入特征与神经元权值之间的欧氏距离确定胜元。采用欧氏距离时，以最小值确定胜元。 令输入特征矢量为 ，第 j 个神经元的权值为 ，则有：,欧氏距离：,矢量内积：,自组织特征映射网络,自组织特征映射网络的学习过程 网络学习的指导思想：SOM网络的学习也是一个迭代的算法。在第 t 次迭代中要有一个以胜元Ng(t)为中心的邻域，称为胜出域。在这个邻域内的神经元权值得到增强，邻域之外的神经元受到抑制或不增强。 邻域的形状可以选择方形、圆形或多边形。,自组织特征映射网络,随着学习的进行
17、，胜出域变窄，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的过程。,自组织特征映射网络,自组织特征映射网络可以较好地完成聚类任务，其中每一个神经元结点对应一个聚类中心。 与普通聚类算法不同，类别间相似性大的类别在自组织特征映射网络结点平面上距离也较近。 可以根据各个类别在平面上的相对位置进行类别的合并和类别之间关系的分析。,自组织特征映射网络,自组织映射分析（SOMA）：将样本集（原像）映射到自组织网络网络的神经元平面上（像），统计各个结点的原像数目（像密度），将像密度较高且较集中的结点对应的样本识别为一类。这种方法不仅无需事先确定类别数，而且能够更
18、好地适应样本不同的分布情况。,自组织映射像密度图,神经网络,引言：人工智能联结主义的学说 人工神经网络的发展 人工神经网络的基本概念 感知器模型 BP网络和BP算法 径向基函数网络和学习算法 竞争学习和侧抑制 自组织特征映射网络 Hopfield神经网络,Hopfield神经网络,Hopfield网络：是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J. J. Hopfield教授于1982年提出，是一种单层反馈神经网络。,Hopfield利用非线性动力学系统理论中的能量函数方法研究Hopfield 神经网络的稳定性，并建立了求解优化计算问题的方程。,Hopfield神经网络
19、,1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了经典的组合优化问题旅行商问题 (Traveling Salesmen Problem，TSP) 。 Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围,Hopfield神经网络,Hopfield神经网络是特殊的反馈网络，除了满足反馈网络的性质外，还满足： 全连接网络：即网络中任意两个不相同的单元之间都有连线 权值对称：而且这种连接是对称的,即wij=wji。 无自反馈： wii=0。 由于满足对称条件， Hopfield神经网络是稳定的，只有孤立吸引子,Hopfield神经网络,Hop
20、field网络模型表示,Hopfield神经网络,Hopfield网络是单层对称全反馈网络，根据输出函数选取的不同，可分为离散型 (DHNN) 和 连续型(CHNN)两种 DHNN (Discrete Hopfield Neural Network) ： 输出函数为符号函数（阶跃函数），主要用于联想记忆。 CHNN (Continues Hopfield Neural Network) ：输出函数为S型函数，主要用于优化计算。,Hopfield神经网络,Hopfield网已成功地用于多个领域，应用方式主要有两种： 联想存取 优化计算,联想存储器,人脑中则是由内容联想起其他内容，此种方式的存储器
21、称为联想存储器。又称内容寻址存储器。 Hopfield神经网络的孤立吸引子可以用作联想存储器。吸引域的存在，意味着可以输入有噪声干扰的的、残缺的或是部分的信息而联想出完整的信息。 为此，需要正确地设置权值矩阵，使得吸引子恰好对应于要存储的信息。 通常，计算机中的存储器都是用地址进行访问的，而在,优化计算,Hopfield网络作优化计算的基本原理： Hopfield神经网络的能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。 如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题，如TSP问题（ 1985年）。,
