1、第二部分,神经网络原理,参考书目,Simon Haykin 神经网络原理 机械工业出版社孙增忻 智能控制理论与技术清华大学出版社 李人厚 智能控制理论和方法 西安电子科技大学出版社,1 导言,一个神经网络是一个由简单处理单元构成的规模宏大的并行分布式处理器。天然具有存储经验知识并使之可用的特性。神经网络在两个方面与人相似：1.神经网络获取的知识是从外界环境中学习得来的。2.互联神经元的连接强度，即突触权值，用于储存获取的知识。,神经网络的其他名称,神经计算机连接主义网络并行分布式处理器,1.1 神经网络的发展历史,开创性的工作：McCulloch and Pitts (1943)结合了神经生理
2、学和数理逻辑的研究描述了一个神经网络的逻辑演算。证明的这样构成的网络原则上可以计算任何可计算函数。,神经网络的发展历史,Wiener 1948年，Wiener的Cybernetics（控制论）出版。1961年第二版中添加了关于学习和自组织的内容。该书第2章抓住了统计力学的物理意义。30多年后，Hopfield将统计力学和学习系统联系起来获得了丰硕的成果。,神经网络的发展历史,第2个重要发展：Hebb（1949）Hebb的著作The Organization of Behavior（行为组织学）地第一次清楚说明了突触修正的生理学习规则。该书是学习系统和自适应系统的计算模型发展的灵感源泉。,神经网
3、络的发展历史,Minsky1954年，关于“神经网络”的博士论文。1961年，论文“Steps Toward Artificial Intelligence”1967年，Computation: Finite and Infinite Machines第一次以书的形式扩展了McCulloch 和 Pitts 的结果，并将它们置于自动机理论和计算理论的背景中。,神经网络的发展历史,Gabor早期通信理论的先驱和全息照相的发明者。1954年，Gabor提出了非线性自适应滤波器的思想。1961年，通过把随机过程样本以及希望机器产生的目标函数一起提供给机器来完成学习。,神经网络的发展历史,联想记忆19
4、56，Taylor开始研究联想记忆。1962，Steinbuch引入了学习矩阵。1972，Anderson，Kohonen和Nakano同一年在外积学习规则的基础上独立地引入相关矩阵记忆的思想。,神经网络的发展历史,Von Neumann20世纪前50年的科学巨匠。卒于1957年。1958年，手稿出版：The Computer and the Brain利用冗余的思想解决了不可靠的神经元部件构建可靠的神经网络的问题,神经网络的发展历史,Rosenblatt1958，提出了模式识别的新方法，一种有监督的学习方法。1960，感知器收敛定理。,神经网络的发展历史,20世纪70年代潜伏期技术，经费，心
5、理,神经网络的发展历史,20世纪80年代1980，Grossberg建立的一个新的自组织原则自适应共振理论。1982，Hopfield提出了Hopfield网络。1982，Kohonen使用一维或二维网格结构的自组织映射研究。1983，Gelatt和Vecchi描述了解决组合最优化问题的模拟退火新方法。,神经网络的发展历史,20世纪80年代1983，Barto，Sutton和Anderson关于增强式学习的论文发表。证明了增强式学习系统可以在没有帮助教师的情况下学习平衡倒立摆。,神经网络的发展历史,反向传播算法，19861986年，Rumelhart，Hinton and Williams报告
6、了反向传播算法。已成为最通用的多层感知器的训练算法。,神经网络的发展历史,后续的发展1988，Linsker描述了认知网络中自组织的新原理。1989，Mead的Analog VLSI and Neural System将神经生物学和VLSI的概念进行了独特的融合。20世纪90年代，Vapnik发明了支持向量机，用于解决模式识别等问题。,1.2 神经元模型,人工神经元模型,神经元输入输出关系,阈值、偏置突触权值、连接权系数加法器，诱导局部域激活函数、变换函数,人工神经元模型,人工神经元模型,神经元输入输出关系,诱导局部域,激活函数的类型,激活函数的类型,Sigmoid函数双曲正切函数,1.3 网
7、格结构,单层前馈网络多层前馈网络递归网络,单层前馈网络,单层前馈网络,多层前馈网络,递归网络,递归网络,1.4 关于知识,知识就是人或机器储存起来以备使用的信息模型，用来对外部世界作出解释、预测和适当的反应。, Fischler and Fischein，1987,知识表示的主要特征,1.什么信息是明确表述的2.物理上信息是如何被编码和使用的,知识的组成,1.已知世界的状态先验知识2.对世界的观察（测量）带有噪声，存在误差。可用于神经网络的训练（例子）,例子与样本,例子有标记的：例子的输入信号有相应的与之配对的期望响应。无标记的训练样本、训练数据集一组由输入信号和相应的期望响应组成的输入输出对
8、。,知识表示的规则（Anderson，1988）,规则1相似的类别中相似的输入通常应产生网络中相似的表示，因此，可以归入同一类中。,知识表示的规则,规则2网络中对可分离为不同种类的输入向量给出差别很大的表示。规则3如果某个特征很重要，网络表示这个向量将涉及大量神经元。规则4先验信息和不变性应附加在网络设计中，从而不必学习就能简化网络设计。,1.4 学习,神经网络背景下的学习学习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。学习的类型由参数改变的方式决定。学习算法建议解决学习问题的一个恰当定义的规则集合。,Mendel and McClaren，1970,学习隐
9、含的事实,1. 神经网络被一个环境所激励。2. 作为激励的结果，神经网络在它的自由参数上发生改变。3. 神经网络内部结构的改变使之以新的方式响应环境。,1.4.1 基本的学习算法,误差修正学习基于记忆的学习Hebb学习竞争学习Boltzmann学习,误差-修正学习,输出信号,误差信号,期望相应、目标输出,误差-修正学习,代价函数、性能指标误差能量的瞬时值,误差-修正学习规则,增量规则、Widrow-Hoff规则（1960）作用于神经网络突触权值的调节量正比于本次学习中误差信号与突触的输入信号的乘积。,误差-修正学习,学习率神经元k对外部世界是可见的误差-修正学习带有局部性质,误差-修正学习,基
10、于记忆的学习,所有（或大部分）以往的经验被显式地存储到正确分类的输入-输出实例的大量记忆中。算法通过提取分析测试向量的局部邻域中的训练数据进行响应。,基于记忆的学习,影响基于记忆的学习算法的重要因素用于定义测试向量的局部邻域的准则。用于测试向量的局部邻域中的训练实例的学习规则。,基于记忆的学习,最近邻规则欧几里德距离K-最近邻规则分类器()确定与测试向量最邻近的k个类别模式多数表决进行分类,基于记忆的学习,K=3,The k-nearest NeighborClassication Algorithm,Hebb学习,当细胞A的一个轴突足够近地刺激细胞B并且反复或持续地刺激它时，某种增长过程或新
11、陈代谢变化在一个或两个细胞中发生，使得A作为激励B细胞中的一个效率被增大。,Hebb，行为的组织，1949,Hebb学习,1. 如果在突触每一边的两个神经元被同时（同步）激活，那么那个突触的强度被选择性地增强。2. 如果在突触每一边的两个神经元被异步激活，那么那个突触被选择性地减弱或消除。,Hebb突触的重要机制,1. 时间依赖机制2. 局部机制3. 交互机制Hebb突触中改变的发生取决于突触两边的信号4. 关联或相关机制突触效率的改变条件为前后突触信号的关联,Hebb学习的数学模型,Hebb假设协方差假设,竞争学习,一个神经元集合，这些神经元除了一些随机分布的突触权值之外完全相同，并且由干突
12、触权值的不同而对一个给定的输入模式集合有不同的响应。对每个神经元的强度加上的限制。允许神经元为响应一个给定输入子集的权利而竞争的机制，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的。竞争获胜神经元被称为赢者通吃(winner-takes-all)神经元。,竞争学习,竞争学习,Boltzmann学习,Ackley,1985; Hinton and Sejnowski,1986植根于统计力学的思想神经元构成递归结构以二值方式运作,Boltzmann机,能量函数状态反转,1.4.2 学习范例,有教师学习（监督学习）输入-输出事例无教师学习,有教师学习,1.4.3 学习的任务,模式联想模
13、式识别函数逼近控制滤波波束形成,1.5 一个实例,算法,初始化：随机给定一组突触权值。,Step1,任取一组样本并计算,Step2,调整突触权值如果满足条件停止。否则返回Step1。,2 单层感知器,1943，McCulloch and Pitts 引入神经网络的概念。1949，Hebb 提出自组织学习的第一个规则。1958，Rosenblatt 提出感知器作为有教师学习的第一个模型。,单层感知器,最简单的神经网络模型用于线性可分模式分类,2.1 自适应滤波器,自适应滤波器,自适应滤波器,输入向量的维数-输入空间的维数输入向量（刺激）的形式同一时刻空间中的不同点在时间均匀分布的某个现在和m-1
14、个过去的值线性神经元,自适应滤波器,突触权值调节要点从任意设定的一个神经元突触权值开始。突触权值调整是建立在（时间）连续基础上的，以响应系统行为的统计变化。突触权值调整在一个采样周期的时间内完成。,自适应滤波器,2.2 无约束最优化技术,代价函数是一个以未知突触权值(参数)向量的连续可微函数。代价函数映射权值向量的元素为实数。选择权值向量使得它以最优方式运行，即选择适当的权值向量最小化代价函数。,最优解,无约束最优化,必要条件梯度算子代价函数的梯度向量,无约束最优化,无约束最优化算法是以局部迭代下降思想为基础的。以一个初始估计值开始，产生一系列权值向量，使得代价函数在算法的每次迭代中要有下降。
15、,最速下降法,在最速下降法中，对权值向量的连续调整是在最速下降的方向进行的，也就是它是与梯度向量方向相反的。,最速下降法的一般表示,最速下降法的分析,迭代下降的近似推导,最速下降法的分析,最速下降法收敛到最优解的速度是很慢的。学习率对收敛速度有重要影响当学习率较小时，算法的瞬时响应是平缓的。当学习率较大时，算法的瞬时响应是剧烈的。当学习率超过了某一临界值时，算法是不稳定的,即不收敛的。,其他的优化算法,Newton方法Gauss-Newton方法最小均方算法,Lagrange Multiplier,Optimization Problemmaximize f(x, y)subject to g
16、(x, y) = cLagrange Function,Lagrange Multiplier,Lagrange Multiplier,2.3 最小均方算法LMS,LMS(least mean square)Delta法则建立的基础：代价函数的瞬时值,LMS,线性的激活函数,LMS算法收敛准则,平均收敛均方收敛,LMS算法的优点与局限,优点简单模型无关、鲁棒性局限收敛速度较慢,Delta rule,2.4 学习曲线与学习率,学习曲线,学习率,标准算法随机逼近搜索后收敛,学习率退火进度,2.5 感知器,非线性神经元McCulloch-Pitts模型,感知器,感知器,输入量突触权值诱导局部域决策平
17、面,感知器,感知器,感知器收敛算法,变量和参数,感知器收敛算法,Step1：初始化Step2：激活通过提供连续值输入向量和期望相应来激活感知器,感知器收敛算法,Step3：计算实际的响应Step4：更新权值向量Step5：时间步n加1，返回step2,感知器收敛定理,设训练向量的子集X1和X2是线性可分的，感知器的输入来自这两个子集。感知器在某个n0次迭代后收敛，收敛是在如下意义下： 是对n0nmax的解向量。,单层感知器的局限性,单层感知器的局限性,3 多层感知器,多层前馈网络网络组成一组感知单元组成输入层一层或多层计算节点的隐藏层一层计算节点的输出层监督学习算法误差反向传播算法（Back
18、Propagation,BP）,多层感知器的特点,网络中每个神经元模型包含一个光滑的非线性激活函数。网络包括一层或多层隐藏神经元，可使网络学习复杂的任务。网络展示出高度的连接性，它由网络的突触决定。网络连接的改变需要突触连接数量或其权值的改变。,多层感知器结构图,多层感知器符号,迭代n时从神经元i的输出连接到神经元j的输入,多层感知器符号,输入向量的第i 个元素：xi(n)输出向量的第k个元素：ok(n)多层感知器的大小（节点的数目）,3.1 反向传播算法,1985年，使用“反向传播”1986年，Rumelhart,Hinton and Williams报告了反向传播算法的发展1986年，Pa
19、rallel Distributed Processing(Rumelhart and McClelland),反向传播算法,神经元j在迭代n时，输出误差信号定义误差能量的瞬时值误差能量的平均值,j是输出节点,反向传播算法,误差能量的瞬时值和误差能量的平均值是神经网络所有自由参数（突触权值和偏置）的函数。对于一个给定的训练集，误差能量的平均值表示的代价函数作为学习性能的一个度量。学习过程的目的是调整神经网络的自由参数使得误差能量最小化。,反向传播算法-输出神经元,反向传播算法-输出神经元,神经元j的诱导局部域神经元j的输出信号,反向传播算法-输出神经元,反向传播算法-输出神经元,根据delta
20、法则,反向传播算法-输出神经元,突触权值的修正局域梯度定义,局域梯度,局域梯度指明突触权值所需要的变化。输出神经元j的局域梯度等于该神经元相应误差信号和相应激活函数的导数的乘积。,反向传播算法-隐藏神经元,反向传播算法-隐藏神经元,隐藏神经元j的局域梯度,反向传播算法-隐藏神经元,反向传播算法-隐藏神经元,误差信号反向传播,反向传播算法-隐藏神经元,由神经元i连接到神经元j的突触权值的校正值由delta规则定义:局域梯度的计算取决于神经元j是输出节点还是隐藏层节点。,局域梯度计算,神经元j是输出节点神经元j是隐藏层节点,3.2 反向传播算法小结,反向传播算法小结,1 初始化以随机分布随机挑选地
21、挑选突触权值和阈值均值为0的均匀分布,反向传播算法小结,2 训练样本的呈现对训练集中的以某种形式排序的每一个样本依次进行前向和反向计算。,反向传播算法小结,3 前向计算训练样本：（x(n),d(n)）,反向传播算法小结,4 反向计算计算局域梯度根据广义delta规则调整突触权值,反向传播算法小结,5 迭代呈现新的样本并进行前向和反向迭代计算；直到满足停止准则。,3.3 反向传播算法的有关问题,训练方式串行方式集中方式停止准则,串行方式,在线方式、模式方式、随机方式在每个训练样本呈现之后进行权值更新，直到最后一个例子结束。,串行方式,算法实现简单，适于在线运行局部存储需求低权值空间具有随机性，降
22、低了算法陷入局部最小的可能性能够充分利用数据冗余可为大型和困难问题提供有效的解决方法算法收敛的理论条件变得困难,集中方式,权值更新在组成一个回合的所有训练例子呈现后进行。代价函数权值修正值（delta规则）,集中方式,为梯度向量提供了一个精确的估计算法收敛到局部最小的条件简单容易并行化,停止准则,不能证明反向传播算法收敛没有明确定义的停止准则实用的、合理的准则,停止准则,1 权值向量的梯度向量在w*处为0当梯度向量的欧几里德范数达到一个充分小的梯度阈值时，认为反向传播算法已经收敛。2 代价函数载在w*处是平稳的当每一个回合的均方误差的变化的绝对速率足够小时，认为反向传播算法已经收敛。,停止准则
23、,3 判断泛化性能每一次学习迭代后，检查网络的泛化性能。当泛化性能是适当的，或泛化性能明显达到峰值时，学习过程被终止。实用且有理论支持的收敛准则,3.4 异或问题,抑制,兴奋,异或问题,4 局部逼近神经网络,径向基函数神经网络（RBF）小脑模型关节控制器（CMAC）,4.1 径向基函数神经网络,径向基函数神经网络构成输入层由源点（感知单元）组成，将网络与外界环境连结起来隐层从输入空间到隐藏空间的非线性变换，维数较高输出层线性神经元,径向基函数神经网络,径向基函数神经网络,解决复杂的模式分类问题函数逼近,4.1.1 模式分类,模式可分的Cover定理（Cover，1965）将复杂的模式分类问题非
24、线性地映射到高维空间将比映射到低维空间更可能是线性可分的。,模式分类描述,考虑一族曲面，每一个曲面都自然地将输入空间自然地分成两个区域。用表N个模式(向量)x1，x2，,xN的集合，其中每一个模式都分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面能够将分别属于1和2的这些点分成两部分，我们就称这些点的二分(二元划分)关于这族曲面是可分的。对于每一个模式 ，定义一个由一组实值函数组成的向量 ，表示如下：,模式分类描述,如果存在一个m1维的向量w使得称关于X的二分是 可分 空间的分离曲面,异或问题,异或问题,4.1.2 插值问题,给定一个包含N个不同点集合 和相应的N个实数的一个集合 寻
25、找一个函数 满足下述插值条件：,插值问题,径向基函数技术就是要选择一个函数F具有下列形式(PoweH，1988)径向基函数,重要的径向基函数,多二次函数逆多二次函数Gauss函数,4.1.3 广义径向基函数神经网络,严格意义的插值计算量大在一个较低维数的空间求次优解插值函数在一个有限基上进行扩展,广义径向基函数网络,广义径向基函数网络,4.1.4 径向基函数网络学习策略,随机选取固定中心中心自组织选择中心监督选择正则化严格插值法,随机选取固定中心,中心的位置以随机的方式从训练集合中选取学习参数输出层的线性权值“伪逆法”求解,随机选取固定中心,径向基函数标准偏差（宽度）,中心自组织选择,1. 自
26、组织学习阶段为隐藏层径向基函数的中心估计一个合适的位置隐藏层径向基函数的数量依靠经验来决定可采用K-均值聚类算法2. 监督学习阶段估计输出层的权值完成网络的设计LMS算法,K-均值聚类算法,1 初始化选择随机值作为中心的初始值要求每一个中心的初值不同将中心的欧几里德范数保持为较小的值为佳,K-均值聚类算法,2 抽取样本在输入空间中以某种概率抽取样本向量x，作为第n次迭代的输入向量。,K-均值聚类算法,3 相似匹配令k(x)表示输入向量x的最佳匹配(竞争获胜)中心的下标值。第n次迭代时按欧几里德最小距离准则确定k(x)的值：,K-均值聚类算法,4 更新,K-均值聚类算法,5 继续N值加1，回到步
27、骤2中心的改变量很小时终止,The k-means algorithm,Step 1: Data Assignment. Each data point is assigned to its closest centroid, with ties broken arbitrarily. This results in a partitioning of the data.Step 2: Relocation of “means”. Each cluster representative is relocated to the center (mean) of all data points a
28、ssigned to it. If the data points come with a probability measure (weights), then the relocation is to the expectations (weighted mean) of the data partitions.,The k-means algorithm,正则化径向基函数网络,4.1.5 RBF与多层感知器,一个最基本的RBF网络只具有一个隐蔽层。而一个MLP却有一个或者多个隐藏层。一个MLP位于隐藏层或输出层的计算结点，其神经元模型是相同的。而RBF网络隐藏层中计算节点与网络输出层中节
29、点不同且作用迥异。,RBF与MLP,RBF网络的隐藏层是非线性的，而输出层是线性的。但是MLP作为模式分类器其隐层和输出层都是非线性的。RBF网络的每一个隐藏单元的激活函数的自变量都要计算输入向量和该单元的中心之间的Euclid范数。MLP隐藏单元的激活函数却只要计算输入向量和与该隐藏单元相关的权值向量的内积。,RBF与MLP,MLP建立一个输入-输出映射的全局逼近。RBF网络以指数衰减的局部非线性来局部逼近一个非线性输入-输出映射。当逼近一个非线性的输入-输出映射时，在相同的精度要求下，MLP需要的参数数比RBF网络所需要的参数数少。,4.2 小脑模型关节控制器,Cerebellar Mod
30、el Arculation Contorl(CMAC)1975, James S. Albus, A New Approach to Manipulator Control: The Cerebellar Model Articulation Controller(CMAC)1980, US4193115, Method and Apparatus for Implementation of the CMAC Mapping Algorithm模拟小脑控制肢体运动的原理,小脑模型,4.2.1 CMAC的结构与工作原理,CMAC结构,CMAC结构,输入层 由源点（感知单元）组成隐层从输入空间到隐
31、藏（相联）空间的非线性映射设计之初确定，维数较高输出层线性神经元监督学习,CMAC隐层,输入空间到联想空间的映射,1 or 0,CMAC输出层,线性神经元监督学习,CMAC感受域,相联向量中为1的元素数量|A*|影响泛化能力影响计算量和学习速度,4.2.2 CMAC非线性映射的实现,非线性映射分解为两步：1. 输入向量S的每一个分量转化为二进制变量mi2.,SM（1-D）,SM,多维情况,二维示例,MA,二维地址空间,二维地址空间,三维地址空间,联想空间相关性,4.2.3 维数灾难与物理映射,概念映射多维空间地址转映射到一维空间地址输入空间维数N输入分量量化级数R联想空间A维数灾难,物理映射,
32、事实上，像机械手臂这样一类应用对象的输入空间向量组合不能覆盖全部联想空间。Hash编码碰撞,CMAC的实质,CMAC与基函数,CMAC与基函数,5 递归神经网络,反馈神经网络局部反馈全局反馈神经动力学,递归神经网络,递归神经网络,非线性动力系统稳定性问题确定性神经动力学神经网络模型带有确定的行为数学上用一组非线性微分方程描述统计性神经动力学神经网络受到噪声的扰动随机非线性微分方程,5.1 非线性动态系统,非线性动态系统的状态变量状态模型,向量函数,非线性动态系统,自治系统向量函数不显示地依赖于时间非自治系统向量函数显示地依赖于时间动态系统状态随时间变化的系统,非线性动态系统的状态空间,状态空间
33、,5.1.1 非线性动态系统的稳定性,自治动态系统的平衡状态一个常向量 称为系统的平衡状态，如果满足下列条件,平衡状态,奇异点速度向量在平衡状态处消失,二阶系统的平衡状态,稳定节点,稳定焦点,二阶系统的平衡状态,不稳定节点,不稳定焦点,二阶系统的平衡状态,鞍点,中心,稳定性 定义1,若对于任意给定的正数 ，存在一正数 ，使得当满足条件 时，对于 恒有 ，则称平衡状态 为一致稳定的。如果初始状态很接近某一平衡状态，则系统的一条轨迹线可能会停留在该平衡状态的很小的一个邻域内。,稳定性 定义2,若存在一正数 ，使得当满足条件 时，对于 恒有 ，则称平衡状态 为收敛的。如果一条轨迹线的初始状态足够接近
34、某一平衡状态 ，则在时间接近无穷的时候，由状态向量所描述的轨迹线收敛于该平衡状态 。,稳定性 定义3,如果平衡状态是稳定的并且是收敛的，则称该平衡状态为渐近稳定的。稳定性和收敛性是相互独立的性质。,稳定性 定义4,如果平衡状态是稳定的并且所有的系统轨迹线在时间接近无穷的时候都收敛于 ，则称平衡状态 为全局渐近稳定的。系统不可能有其他的平衡状态，全局渐近稳定性意味着对于任意初始条件系统都将最终稳定在一个稳态上。,5.1.1 Lyapunov定理,1892， LyapunovLyapunov直接方法现代稳定性理论广泛应用于线性和非线性系统中的稳定性分析,正定函数,在状态空间中，如果对所有的 ，满足
35、以下要求，则称其为正定函数。1. 函数 对状态向量 中的所有元素有连续偏导数2. 3.,Lyapunov定理1,如果在 的小邻域内存在一个正定函数 ，其对时间的导数在该区域内是半负定的，则平衡状态 是稳定的。,Lyapunov定理2,如果在 的小邻域内存在一个正定函数 ，其对时间的导数在该区域内是负定的，则平衡状态 是渐近稳定的。,Lyapunov函数,满足Lyapunov定理的标量函数 叫做平衡状态 的Lyapunov函数。无需求解系统的状态空间方程而直接应用Lyapunov定理。Lyapunov函数的存在是系统稳定的充分条件，但非必要条件。,5.1.1 吸引子,流形（吸引子）嵌入在N维状态
36、空间中的一个k维曲面，由下面的方程组定义,吸引子,比状态空间维数低有界子集初始条件为非零状态空间体积的区域随时间增加而收敛到吸引子,吸引子,点吸引子表现为状态空间中的一个点的流形稳定的极限环表现为周期性轨道的流形吸引域（盆）每个吸引子由它自己独有的区域包围系统的每个初始状态都在某一吸引子的吸引域中,吸引域与分界线,5.2 Hopfield网络,5.2.1 连续Hopfield网络,神经元的加性模型,神经元的加性模型,连续Hopfield网络,Hopfield模型,突触权值矩阵对称每个神经元有自己的非线性激活函数非线性激活函数可逆,激活函数,双曲正切函数神经元的增益,双曲正切函数,激活函数的逆,
37、激活函数的逆,5.2.2 连续Hopfield网络的稳定性,连续Hopfield网络的能量函数（1984）,连续Hopfield网络的稳定性,连续Hopfield网络的稳定性,能量函数是连续Hopfield模型的Lyapunov函数根据Lyapunov定理1，模型是稳定的连续Hopfield模型的时间演化代表状态空间的一条轨迹线，该轨迹线找出能量函数的极小值并在这样的的固定点终止。,连续Hopfield网络的稳定性,当且仅当下面条件成立时，能量函数的时间导数为零除在一个固定点之外,连续Hopfield网络的稳定性,连续Hopfield网络的能量函数是时间的单调减函数连续Hopfield网络是全
38、局渐近稳定的吸引子对应能量函数的极小值,5.2.3 离散Hopfield网络,离散Hopfield网络,诱导局部域输出,vj=0 ?,离散Hopfield网络工作方式,异步方式同步方式,离散Hopfield网络,实现联想记忆功能按内容寻址存储器（CAM）根据模式不完整或带有噪声的表示获取存储在存储器中的相应模式,按内容寻址存储器操作,阶段1：存储阶段突触权值设计阶段2：检索阶段当检索操作异步进行时，Hopfield网络将肯定收敛于一稳定状态。,离散Hopfield网络模型,1. 学习（存储阶段）根据给定的M个N维学习样本，利用Hebb学习的基本原则计算网络的突触权值：,第k个样例的第i个分量,
39、离散Hopfield网络模型,网络中每一个神经元的输出都反馈到所有的其他神经元上网络中没有自反馈网络突触权值矩阵是对称的,离散Hopfield网络模型,2. 初始化（检索阶段）利用一未知向量作为测试向量，初始化网络中的神经元,离散Hopfield网络模型,3. 异步迭代直到收敛（检索阶段）随机且每次一个地更新状态向量中的元素,离散Hopfield网络模型,4. 输出（检索阶段）将第3步计算出的固定点（稳定状态）作为网络的输出,5.3 Hopfield网络示例,示例1,Hopfield网络示例1,Hopfield网络示例1,Hopfield网络示例2,Hopfield网络示例2,网络规模神经元：
40、N=120突触权值：N2-N=12280纠错能力将图样集以0.25的概率随机地和独立地翻转每一个像素,Hopfield网络示例2,Hopfield网络示例2,Hopfield网络示例2,Hopfield网络容量,临界值最大值,6 自组织映射,6.1 自组织学习,自组织学习 (self-organized learning)无监督学习 (unsupervised learning)自组织学习的目的是为了发现输入数据中重要模式和特征。这些发现是无教师的。系统需要提供一组局部性的规则，这些规则能使它学会计算具有特殊期望性质的输入-输出映射。“局部”意味突触权值的改变只与邻近单元的状态有关。,自组织学
41、习,用于自组织学习的神经网络结构模型比用于监督学习的模型更接近生物神经系统模型。网络组织的过程是脑组织过程的基础。,自组织结构,单层结构可能由一个输入(源)层和输出(表示)层组成输入层到输出层之间有前馈连接输出层各单元间有侧向连接多层前馈网络由多层组成其中自组织是以层到层为基础进行的学习过程是按照预定的规则和对输入(激活)模式的响应重复修改系统中的所有突触权值，直到形成一种最终设置。,6.1.1 自组织的原则,局部的相互作用可以导致整体的序（Turing,1952）自组织的层次活动性：由给定网络对输入信号的响应产生某种活动模式连接性：由于突触可塑性，网络连接强度(突触权值)由于响应活动模式中的
42、神经信号得以修改自组织而非稳定,自组织原则,原则1：突触权值的修改趋向于自增强。为了达到网络的自组织(而非稳定)，在突触权值变化和活功模式变化之间的反馈必须是正的。,自组织原则,原则2 资源的有限导致突触间竞争，从而导致牺牲其他突触来选择最活跃(即最适合)的生长突触。 为了使系统稳定，必须存在对“有限”资源(如输入的数量和能量)的一些竞争形式。网络中的一些突触强度增加必须以其他突触的减弱来补偿。因此，只有“成功”的突触才能生长，而不成功的将减弱并最终消失。,自组织原则,原则3 突触权值的修改趋向于协作。单个突触不能有效地产生满意的结果。需要一组突触间的协作，这些突触聚集于一个特定的神经元且带有
43、足够强大的相同信号以激活该神经元。,自组织原则,原则4 激活模式中次序和结构表示冗余信息，神经网络以知识的形式得到这些冗余信息，这是自组织学刁的必要前提。为了自组织学习执行有用的信息处理功能，环境提供给网络的激活模式中必须存在冗余。,6.1.2 自组织的特征,1. 在整个神经元形成过程中，一旦突触连接被选择，其位置就固定了。 2. 每个神经元都足一个线件组合器。,与视觉系统相似的模型结构,接受域,二维层,每个神经元只接受前一层位于一个覆盖区域内的有限数目神经元的信息！,6.2 自组织映射,基于竞争学习网络的输出神经元之间互相竞争以求被激活，其结果在每一时刻只有一个输出神经元，即每组只有一个输出
44、神经元被激活。在输出神经元中导出胜者全得的竞争方法是在它们之间使用侧抑制连接。,自组织映射,神经元被放置在网格节点上，网格通常是一维或是两维的。在竞争学习过程中，神经元变化依不同输人模式或者输入模式的类别而选择性地调整。调整后神经元(即获胜神经元)的位置彼此之间成为有序的。使得对于不同的输入特征，在网格上建立起有意义的坐标系。,自组织映射,网格神经元的空间位置表示输入模式包含的内在统计特征。神经元将输入信号转变为空间位置编码的概率分布，分布通过映射中最大相关激活的位置表示参数的计算值。,6.2.1 自组织映射模型,人脑感知的特点将不同的感觉输入(运动、身体的触觉、视觉、听觉等)以一种有序的方式
45、映射到相应的大脑皮质区域。拓扑映射构成原则在拓扑映射中输出神经元的空间位置对应于特殊的定义域或从输入空间抽取数据的特征。,Willshaw and von der Malsburg模型,Kohonen模型,6.3 自组织映射算法,自组织映射算法,0.初姑化从随机数产生器中挑选较小的值赋予网络突触权值；在特征映射上没有加载任何先验的序。,自组织映射算法,1.竞争对每个输人模式，网络中的神经元计算它们各自的判别函数的值。该判别函数对神经元之间的竞争提供基础。具有判别函数最大值的特定神经元成为竞争的胜利者。,自组织映射算法,2.合作获胜神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这样的相邻神经
46、元合作的基础。,自组织映射算法,3.突触调节（自适应)使兴奋神经元通过对它们突触权值的适当调节以增加它们关于该输入模式的判别函数值。所做的调节使获胜神经元对以后相似输入模式的响应增强了。,自组织映射算法,6.3.1 竞争过程,输入空间输入向量神经元的突触权值向量,竞争,所有神经元有相同的阈值输入向量x的获胜神经元i,竞争,激活模式的连续输入空间通过网络中神经元之间的竞争过程映射到神经元的离散输出空间。根据应用的不向，网络的响应可能是获胜神经元的标号(即在网格中的位置)或者是在Euclid距离意义下距输入向量最近的突触权值向量。,6.3.2 合作过程,获胜神经元位于合作神经元的拓扑邻域的中心。一
47、个点火的神经元倾向于激活它紧接的邻域内的神经元而不是和它隔很远的神经元。邻域函数,侧向距离,Gauss邻域函数,拓扑邻域函数,拓扑邻域的大小随时间收缩拓扑邻域函数的宽度随时间而下降,Gauss邻域函数,6.3.3 自适应过程,神经元的突触权值向量随输入向量改变。为避免所有突触权值都趋于饱和，增加一个遗忘项。,自适应过程,Hebb项,遗忘项,自适应过程-排序阶段,自组织或排序阶段形成权值向量的拓扑排序。该阶段约需要SOM算法的1000次迭代或更多。需仔细考虑学习率参数和邻域函数的选择。,自适应过程-排序阶段,学习率参数初始值应接近0.1，然后逐渐减少，但应保持在0.01以上；邻域函数初始化应包括以获胜神经元为中心的几乎所有神经元，然后随时间慢慢收缩。,自适应过程-收敛阶段,收敛阶段微调特征映射从而提供输入空间的准确统计量。作为一般性规则，组成收敛阶段的迭代次数至少是网络中神经元数目的500倍。,自适应过程-收敛阶段,在收敛阶段学习率参数应该保持在较小的数值上，为0.01数量级。但不允许它下降到零。邻域函数应该仅包括获胜神经元的最近邻域，最终减到一个或零个邻域神经元。,
