1、2018/7/21,1,知识发现（数据挖掘) 第八章,史忠植中国科学院计算技术研究所 http:/ Neural Networks,2018/7/21,2,目 录,1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5. Hopfield神经网络 6. 自组织特征映射网络 7. 自适应共振理论 8. 脉冲耦合神经网络,2018/7/21,3,神经网络,一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑：神经网络获取的知识是从外界环境中学习得来的。内部神经元的连接强度，即突触权
2、值，用于储存获取的知识。,2018/7/21,4,发展历史,萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,2018/7/21,5,发展历史,第一高潮期（19501968）以Marvin Minsky，Frank Rosenblatt，Bernard W
3、idrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,2018/7/21,6,发展历史,反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果,2018/7/21,7,发展历史,第二高潮期（19831990） 1982年，J. Hopfield提出Hopfield网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的
4、判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上,2018/7/21,8,发展历史,第二高潮期（19831990） 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,2018/7/21,9,发展历史, 1986年，并行分布处
5、理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）自适应共振理论（ART）自组织特征映射理论,2018/7/21,10,发展历史, Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。,2018/7/21,11,并行分布式理论框架,1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McCl
6、elland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge,2018/7/21,12,并行分布式理论框架,PDP模型 1） 一组处理单元（PE或AN） 2） 处理单元的激活状态（ai） 3） 每个处理单元的输出函数（fi） 4） 处理单元之间的连接模式 5） 传递规则（wijoi） 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi） 7） 通过经验修改连接强度的学习规则 8） 系统运行的环境（样本集合）,2018/7/21,13,神经网络的维数,Various types of neuron
7、s Various network architectures Various learning algorithms Various applications,2018/7/21,14,自组织神经网络的典型结构,交互与竞争IAC神经网络,2018/7/21,15,竞争学习,相似性测量欧式距离法,2018/7/21,16,相似性测量余弦法,竞争学习,2018/7/21,17,竞争学习规则Winner-Take-All,网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take Al
8、l。,竞争学习原理,2018/7/21,18,寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。,欲使两单位向量最相似，须使其点积最大。即：,竞争学习原理,2018/7/21,19,从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：,竞争学习原理,2018/7/21,20,3.网络输出与权值调整,步骤3完成后回到步骤1继续训练，直到学习率衰减到0。,竞争学习原理,2018/7/21,21,单层感知器模型,前馈神经网络,j=1,2,m,2018/7/21,22,净输入：,输出：,单
9、层感知器,2018/7/21,23,感知器的功能,(1)设输入向量X=(x1 ,x2)T,输出：,则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。,单计算节点感知器,单层感知器,2018/7/21,24,感知器的功能,单层感知器,2018/7/21,25,感知器的功能,(2)设输入向量X=(x1,x2,x3)T,输出：,则由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4) 确定了三维空间上的一个分界平面。,单层感知器,2018/7/21,26,感知器的功能,单层感知器,2018/7/21,27,多层感知器,网络的拓扑结构,2018/7/21,28,双层感
10、知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2018/7/21,29,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题,“异或”的真值表,多层感知器,2018/7/21,30,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2018/7/21,31,双层感知器,“异或”问题分类,例四 用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知器,2018/7/21,32,具有不同隐层数的感知器的分类能力对比,多层感知器,2018/7/21,33,基于BP算法的多层前馈网络模型,误差反
11、向传播（BP）网路,2018/7/21,34,基于BP算法的多层前馈网络模型,输入向量： X=(x1,x2,xi,xn)T 隐层输出向量： Y=(y1,y2,yj,ym)T 输出层输出向量： O=(o1,o2,ok,ol)T 期望输出向量：d=(d1, d2,dk,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),误差反向传播（BP）网路,2018/7/21,35,3.4.1 基于BP算法的多层前馈网络模型,误差反向传播（BP）网路,2018/7/21,36,3.4.1 基于BP算法的多层前馈网络模型,双极性Sig
12、moid函数：,误差反向传播（BP）网路,2018/7/21,37,一、网络误差 定义与权值调整思路,将以上误差定义式展开至隐层：,BP学习算法,2018/7/21,38,一、网络误差与权值调整,进一步展开至输入层：,BP学习算法,2018/7/21,39,BP学习算法,式中负号表示梯度下降，常数(0,1)表示比例系数。,在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有 i=0,1,2,n; j=1,2,m,BP学习算法,2018/7/21,40,对于输出层，式(3.4.9a)可写为,BP算法推导,2018/7/21,41,(1)初始化；,(4)计算各层误差信号；,(
13、5)调整各层权值；,(6)检查是否对所有样本完成一次轮训；,(7)检查网络总误差是否达到精度要求。,(2)输入训练样本对X Xp、d dp 计算各层输出；,(3)计算网络输出误差；,BP算法的程序实现,2018/7/21,42,然后根据总误差计算各层的误差信号并调整权值。,另一种方法是在所有样本输入之后，计算网络的总误差：,BP算法的程序实现,2018/7/21,43,(1)非线性映射能力,多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。,多层前馈
14、网(感知器)的主要能力,2018/7/21,44,(2)泛化能力,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。,(3)容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,多层前馈网(感知器)的主要能力,2018/7/21,45,误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即：,误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为误差的权空间。,BP算法的局限性,2018/7/
15、21,46,误差曲面的分布有两个特点：,特点之一：存在平坦区域,BP算法的局限性,2018/7/21,47,特点之二：存在多个极小点,多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。,误差曲面的平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。,BP算法的局限性,2018/7/21,48,标准的BP算法在应用中暴露出不少内在的缺陷：, 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国
16、内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。,标准BP算法的改进,2018/7/21,49,1 增加动量项,为动量系数，一般有(0，1),2 自适应调节学习率,设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1 )。,标准BP算法的改进,2018/7/21,50,3 引入陡度因子,实现这一思路的具体作法是，在原转移函数中引入一个陡度因子,标准BP算法的改进,2018/7/21,51,概述,Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。,Hopfi
17、eld网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。,Hello,Im John Hopfield,2018/7/21,52,离散Hopfield 神经网络,2018/7/21,53,离散Hopfield 神经网络,网络模型表示法
18、二,2018/7/21,54,离散Hopfield 神经网络,相关参数说明 任意神经元 i与 j间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。,2018/7/21,55,离散Hopfield 神经网络,激励函数,2018/7/21,56,离散Hopfield 神经网络,离散Hopfield网络的运行规则 (1)串行(异步)工作方式 在任时刻，只有某神经元 (随机的或确
19、定的选择)依上式变化，而其他神经元的状态不变。 (2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。,2018/7/21,57,离散Hopfield 神经网络,串行(异步)工作方式运行步骤 第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 按式(2-5)求出该神经元i的输出；第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。,2018/7/21,58,离散Hopfield 神经网络,稳定状态 若网络从某一时刻以
20、后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接能量函数在网络运行中不断降低，最后达到稳定,2018/7/21,59,离散Hopfield 神经网络,网络中神经元能量函数变化量,Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。,2018/7/21,60,连续Hopfield 神经网络,网络模型,2018/7/21,61,连续Hopfield 神经网络,稳定性分析将下式代入得：,因为,连续Hopfield网络模型是稳定的,2018/7/21,62,连续Hopfield 神经网络,连续Hopfield网络模型的主要特
21、性 1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性； 2)具有时空整合作用； 3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。 4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来,2018/7/21,63,Hopfield 神经网络的MATLAB实现,MATLAB中Hopfield网络的重要函数和功能,2018/7/21,64,Hopfield
22、神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。,2018/7/21,65,Hopfield 神经网络的MATLAB实现,MATLAB中与Hopfield网络有关的重要函数和功能 sa
23、tlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。,2018/7/21,66,Hopfield 神经网络的MATLAB实现,设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。,由点阵构成的数字1,由点阵构成的
24、数字2,2018/7/21,67,程序,2018/7/21,68,稳定性分析,网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数,2018/7/21,69,Lyapunov函数能量函数,作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 joj：神经元自身的稳定性的测度。,2018/7/21,70,当ANk的状态从ok变成ok,1、ANk是输入神经元,
25、2018/7/21,71,当ANk的状态从ok变成ok,wkk=0,2018/7/21,72,=-(netk-k)ok,ANk状态的变化：ok=(ok-ok) ok=0， =0,ok0，ok=1& ok=0，ok由0变到1， netkk，netk-k0 所以，-(netk-k)ok0故0,结论：网络的目标函数总是下降,ok0, ok=0& ok=1，ok由1变到0 netkk，netk-k0 -(netk-k)ok0故0,2018/7/21,73,当ANk的状态从ok变成ok,2、ANk不是输入神经元,2018/7/21,74,当ANk的状态从ok变成ok,无论ANk的状态是如何变化的，总有
26、0,2018/7/21,75,联想记忆的结构,自联想 异联想 双联想记忆（Bidirectional Associative MemoryBAM）。 双联想记忆具有一定的泛化能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。,2018/7/21,76,基本的联想记忆结构,2018/7/21,77,网络运行,Y=F(XW) X=F(YWT) X=(x1，x2，xn) Y=(y1，y2，ym) F为神经元的激活函数，一般可采用S形函数,2018/7/21,78,激活函数阈值函数,随着的增加，该函数趋近于阈值为0的阈值函数。1 if neti0 yi= 0 if
27、neti0yi if neti=0,2018/7/21,79,基本BAM的稳定,Kosko(1987)： 基本的双联存储器无条件稳定联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网,2018/7/21,80,异联想记忆,样本集：S=(X1,Y1)，(X2,Y2),(Xs,Ys) 权矩阵,网络需要对输入向量进行循环处理的情况 当输入向量中含有“噪音” 样本集所含的信息超出网络的容量,2018/7/21,81,容量,Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个
28、数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以达到2min R. J. McEliece、E. C. Posner、E. R. Rodemich 用户随机地选择L个状态 每个向量中有4+log2min个分量为1，其它为-1 98%的向量成为稳定状态,2018/7/21,82,Hopfield网解决TSP问题,1985年，J. J. Hopfield和D. W. Tank用神经网求解TSP。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了 n个城市间存在n!/(2n)条可能路径 设问题中含
29、有n个城市,用n*n个神经元构成网络,2018/7/21,83,Hopfield网解决TSP问题,dxy城市X与城市Y之间的距离； yxi城市X的第i个神经元的状态：1 城市X在第i个被访问yxi=0 城市X不在第i个被访问 wxi,yj城市X的第i个神经元到城市Y的第j个神经元的连接权。,2018/7/21,84,Hopfield网用于解决TSP问题,例如：四个城市X、Y、Z、W,2018/7/21,85,Hopfield网用于解决TSP问题,连接矩阵 wxi,yj= -Axy(1-ij) Bij(1-xy) C dxy(ji+1+ji-1) 1 如果i=jij=0 如果ij,2018/7/
30、21,86,网络的能量函数,2018/7/21,87,网络的能量函数,仅当所有的城市最多只被访问一次时取得极小值0。,A、B、C、D为惩罚因子,第1项,2018/7/21,88,网络的能量函数,仅当每次最多只访问一个城市时取得极小值0。,第2项,2018/7/21,89,网络的能量函数,当且仅当所有的n个城市一共被访问n次时才取得最小值0。,第3项,2018/7/21,90,网络的能量函数,表示按照当前的访问路线的安排，所需要走的路径的总长度,第4项,2018/7/21,91,Hopfield网解决TSP问题,Hopfield网解决TSP问题时显示了它强大的计算能力，若对10个城市的TSP问题
31、来说，可能存在n!/2n=10!/20=181440条它能从近20万条路线中选出最好的路线，显示它的计算能力。,2018/7/21,92,概 述,自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。 自组织神经网络属于前向神经网络类型，采用无导师学习算法， 自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构。,2018/7/21,93,概 述,自组织竞争神经网络类型 自组织特征映射(self-Organizing Map，SOM)网络 自适应共振理论(Adaptive Resonance Theory，AR
32、T)网络 对传(Counter Propagation，CP)网络 协同神经网络(Synergetic Neural NetworkSNN),2018/7/21,94,自组织特征映射神经网络结构,由芬兰学者Teuvo Kohonen于1981年提出基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。,Im Teuvo Kohonen,2018/7/21,95,SOM网的生物学基础,Kohonen认为人的大脑有如下特点： 1大脑的神经元虽然在结构上相同，但是它们的排序不同。
33、排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。 2大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。 3根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。 4大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。,2018/7/21,96,SOM网的生物学基础,生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此
34、当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。,2018/7/21,97,自组织特征映射神经网络结构,SOM神经网络结构,2018/7/21,98,SOM网的拓扑结构,SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。,2018/7/21,99,SOM网的权值调整域,SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向
35、量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：,2018/7/21,100,SOM网的权值调整域,以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。,2018/7/21,101,自组织特征映射网络的学习算法,自组织特征映射学习算法原理 Kohonen自组织特征映射算法，能够自动找出输入数据之间的类似度，将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应
36、的网络。 类似度准则 欧氏距离,2018/7/21,102,自组织特征映射网络的学习算法,自组织特征映射学习算法步骤 (1)网络初始化 用随机数设定输入层和映射层之间权值的初始值 (2)输入向量 把输入向量输入给输入层 (3) 计算映射层的权值向量和输入向量的距离 映射层的神经元和输入向量的距离，按下式给出,2018/7/21,103,自组织特征映射网络的学习算法,自组织特征映射学习算法步骤 (4) 选择与权值向量的距离最小的神经元 计算并选择使输入向量和权值向量的距离最小的神经元，把其称为胜出神经元并记为 ，并给出其邻接神经元集合。 (5)调整权值 胜出神经元和位于其邻接神经元的权值，按下式
37、更新：(6)是否达到预先设定的要求如达到要求则算法结束，否则返回(2)，进入下一轮学习,2018/7/21,104,自组织特征映射网络的学习算法,邻域函数由邻域函数可以看到，以获胜神经元为中心设定了一个邻域半径，称为胜出邻域。学习初期，胜出神经元和其附近的神经元全部接近当时的输入向量，形成粗略的映射。 随着学习的进行而减小，胜出邻域变窄，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的过程。,2018/7/21,105,Kohonen学习算法程序流程,2018/7/21,106,Hierarchical and Partitive Approaches
38、,Partitive algorithm Determine the number of clusters. Initialize the cluster centers. Compute partitioning for data. Compute (update) cluster centers. If the partitioning is unchanged (or the algorithm has converged), stop; otherwise, return to step 3 k-means error function To minimize error functi
39、on,2018/7/21,107,Hierarchical and Partitive Approaches,Hierarchical clustering algorithm (Dendrogram) Initialize: Assign each vector to its own cluster Compute distances between all clusters. Merge the two clusters that are closest to each other. Return to step 2 until there is only one cluster left
40、. Partition strategy Cut at different level,2018/7/21,108,Hierarchical SOM,GHSOM Growing Hierarchical Self-Organizing Map grow in size in order to represent a collection of data at a particular level of detail,2018/7/21,109,自组织网络学习算法的MATLAB实现,MATLAB中自组织神经网络的重要函数和基本功能,2018/7/21,110,自组织网络学习算法的MATLAB实现
41、,MATLAB中自组织神经网络的重要函数和基本功能 newsom() 功能 创建一个自组织特征映射网络函数 格式 net = newsom(PR，D1，D2，.，TFCN，DFCN，OLR，OSTEPS，TLR，TND) 说明 net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵Pmin Pmax；D1，D2，.为神经元在多维空间中排列时各维的个数；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶
42、段领域半径，缺省值为1。,2018/7/21,111,自组织网络学习算法的MATLAB实现,plotsom() 功能 绘制自组织特征映射网络图的权值向量 函数 格式 (1) plotsom(pos) (2) plotsom(W，D，ND) 说明 式中pos是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。,2018/7/21,112,自组织网络学习算法的MATLAB实现,ye
43、c2ind() 功能 将单值向量组变换成下标向量 格式 ind = vec2ind(vec) 说明 式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0， ind为n个元素值为1所在的行下标值构成的一个行向量。,2018/7/21,113,自组织网络学习算法的MATLAB实现,例1 人口分类是人口统计中的一个重要指标，现有1999共10个地区的人口出生比例情况如下：出生男性百分比分别为：0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003; 出生女性百分比分别为：0.4488
44、 0.4877 0.4913 0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997,2018/7/21,114,自组织网络学习算法的MATLAB实现,例1 源程序,2018/7/21,115,例1 SOM网络权值分布图,2018/7/21,116,例1 SOM网络数据分类图,类别1,类别2,类别5,类别4,类别3,测试数据属于类别5,2018/7/21,117,自组织语义图,利用词与词在文档中的上下文关系，将词表示成一个向量，然后用表示词的向量作为SOM网络的输入，聚类，输出形成一个词汇类别图（Word category map） 在这个图中，意义相
45、近的词聚在一起，组成一个词类，词在词汇类别图中的位置可以通过快速Hash的方法查到。,2018/7/21,118,自组织语义图：一种将词向量化的方法,在一个文档集中考虑词与词之间的上下文关系。设Ii(d)表示相对于第i个词位移为d的位置上出现的词集合（有可能出现多次），例如，Ii(1)表示第i个词的所有前趋邻接词 用向量xi表示第i个词，对位移集d1,dN：， 其中， 表示 中词的数量 一般地，为计算简单，只取d=1和d=-1,2018/7/21,119,自组织语义图：另一种对中文词汇向量化的方法,对每一个词，在文档集合中出现该词的时候会伴随一些修饰词。因此可以用修饰词来表示该词，提供该词的一
46、些语义信息 例如对名词“大学”，会出现一些修饰词如“本科”、“重点”、“合格”等，则定义，大学=本科，重点，合格，,2018/7/21,120,自组织语义图：另一种对中文词汇向量化的方法,一般地，词wi(i=1,2,N)为：其中ni表示修饰词个数 定义词wi的向量表示为： 其中， ， ； ，cij表示词wi和词wj的修饰词集合中都出现的修饰词个数 将词用这种向量表示后，作为一个SOM网络的输入，可以聚类形成中文语义图。,2018/7/21,121,自组织语义图：示例,2018/7/21,122,利用SOM进行文本聚类：预处理,去掉非文本信息 去掉在整个文档集合中出现次数小于50次的词 去停用词
47、 经过上述处理后，词的个数由 1 127 184 减少为 63 773,2018/7/21,123,利用SOM进行文本聚类：Word category map,将词表示成为一个180维的向量，作为一个SOM网络的输入，进行聚类 最终产生 13 432 个词类单元 （ 63 773 13 432）,2018/7/21,124,利用SOM进行文本聚类：Document map,利用上面产生的词类将文档向量化后，每篇文档表示为一个 13 432 维的向量，再利用随机映射(Random mapping method)的降维方法，向量维数减少到 315 维 将这 315 维的向量作为一个 SOM 的输入
48、 相关的结果可以参见http:/websom.hut.fi/websom/,2018/7/21,125,利用SOM进行文本聚类,2018/7/21,126,SOM的特点,自组织映射（Self-organizing Maps，SOM）算法是一种无导师学习方法 具有良好的自组织 可视化 得到了广泛的应用和研究。,2018/7/21,127,脉冲耦合神经网络,随着生物神经学的研究和发展，Eckhorn等通过对小型哺乳动物大脑视觉皮层神经系统工作机理的仔细研究，提出了一种崭新的网络模型脉冲耦合神经网络模型Pulse-Coupled Neural Network, PCNN )。PCNN来源于对哺乳动物
49、猫的视觉皮层神经细胞的研究成果，具有同步脉冲激发现象、阈值衰减及参数可控性等特性。由于其具有生物学特性的背景、以空间邻近和亮度相似集群的特点，因此在数字图像处理等领域具有广阔的应用前景。将PCNN的最新理论研究成果与其他新技术相结合，开发出具有实际应用价值的新算法是当今神经网络研究的主要方向之一。,2018/7/21,128,脉冲耦合神经网络,1952年，Hodgkin与Huxley开始研究神经元电化学特性216。1987年，Charles M. Gray等发现猫的初生视觉皮层有神经激发相关振荡现象172； 173。1989年,Reinhard Eckhorn 和Charles M. Gray研究了猫的视觉皮层，提出了具有脉冲同步发放特性的网络模型106；173。1990年，Reinhard Eckhorn根据猫的大脑皮层同步脉冲发放现象，提出了展示脉冲发放现象的连接模型107。对猴的大脑皮层进行的试验中，也得到了相类似的试验结果。1994年，Johnson发表论文，阐述了PCNN的周期波动现象及在图像处理中具有旋转、可伸缩、扭曲、强度不变性244。通过对Eckhorn提出的模型进行改进，就形成脉冲耦合神经网络（PCNN）模型。于1999年IEEE神经网络会刊出版了脉冲耦合神经网络专辑. 国内也于20世纪90年代末开始研究脉冲耦合神经网络。,
