1、竞争型神经网络,1竞争型学习,竞争学习：同一层神经元层次上各个神经元相互竞争，竞争获胜的神经元修改其连接权。用于模式分类，属于无监督学习（无导师学习）,1竞争型学习,竞争层输入层,模式分类,输入模式,wij,对某个神经元j：,竞争型网络学习规则,1. 初始化， 在0，1内取随机值 2.任取一输入模式Ak 3.计算竞争层各神经元的输入值si：,竞争型网络学习规则,4.按“胜者为王”(Winner Takes All)原则，将sj中最大值所对应的神经元作为胜者，输出状态置为1，其它所有神经元的输出状态为0。 如果有两个以上神经元的sj相同，取左边的为获胜单元,5.获胜神经元连接权修正如下： 6.另
2、选一学习模式，返回步骤3，直至所有学习模式提供一遍 7.返回2，重复直至连接权的调整量变得很小,竞争型网络学习规则,对于 ，所有权值的调整量之和为0，即 因此，无论网络连接权如何调整，都满足,竞争型网络学习规则,1竞争型学习,说明： 1样本集有较明显的分类特征，则能进行正确的分类。若样本集杂乱无章，无一定分类规律时，网络的响应将显现震荡现象。即对同一样本，可能会激活不同的输出单元 2网络的性能与wij初值的选择、及样本顺序有关。,已有的神经网络很难同时解决可塑性和稳定性问题，很难做到既保持已有记忆不受影响，又能对新的信息加以记忆。如BP网络，学习一个全新的模式时，会打乱已有的连接权，使分布存储
3、在这些连接权上的已有记忆遭到破坏，甚至导致已有记忆完全消失。若将新、旧样本一起重新重复多次学习，直至稳定，使应用带来很大的不便。,2 自适应共振理论模型ART,Dr. Grossberg提出的ART，利用生物神经元细胞自兴奋与侧抑制，让输入模式通过网络双向连接权的识别与比较，最后达到共振，完成对自身的记忆，并实现网络回想。如果提供的是已记忆模式相近的模式，就能进行正确的分类。如果是不存在的模式，则网络在不影响已有记忆的前提下，将这一模式记忆下来。,2 自适应共振理论模型ART,6.2 自适应共振理论模型ART,2 自适应共振理论模型ART,Carpenter和Grossberg在1986年：4
4、个样本组成样本集。这4个样本被周期性地提交给网络。网络是难以收敛 网络的可塑性需要的4项功能 样本的分类功能 分类的识别功能 比较功能 类的建立功能 Grossberg等：自适应共振理论（Adaptive Resonance Theory，简记为ART） ART1、ART2。,稳定性与可塑性是不同的 保证可塑性的操作要求分析,不匹配的现存 模式不被修改,相似：修改相匹配的模式,不相似：建立一个新模式,2 自适应共振理论模型ART,1. 实时学习，非离线学习 2. 对象是非平稳、不可预测的非线性世界 3. 无监督的、自组织学习 4. 自稳定性 5. 自行学习一种评价函数,ART网络特点,6. 主
5、动性学习，有意义的特征 7. 直接找到应激发单元 8. 在近似匹配的基础上进一步学习，对噪音具有更好的鲁棒性 9. 学习先快后慢，避免了震荡 10.快速直接访问 11. 通过警戒参数调整判别函数,ART网络特点,ART总体结构图,注意子系统Attentional Subsystem功能：完成由底向上的竞争选择以及完成自底向上向量和自顶向下向量的相似度比较。 取向子系统Orienting Subsystem功能：检查预期向量Z和输入向量X的相似程度。当相似度低于某一标准时，取消第一个竞争优胜者，从其他类别中选取优胜者。F1层有三个输入向量：输入向量X，F2层的预期向量Z，增益控制G1,ART-1
6、基本原理,要使F1产生输出信号，3个输入中至少有2个起作用，2/3规则。,ART-1基本原理,功能介绍 : F1层结构 N个节点，接受3个信号：输入向量X，F2层的预期向量Z，G1控制信号 2. F2层结构 相当于前向竞争网络，输出层节点表示分类模式，能动态增长,ART-1基本原理,3.控制信号 G2是输入X的各元素的“或”，即X为全零时，G2为零。其余情况下，G2=1 G1：X各元素的“或”为X0，F2各元素的“或”为F0。 ，即F2层输出 为全0， 不全为零，G1=1，否则G1=0,ART-1基本原理,初始化阶段、识别阶段、比较阶段和寻找阶段 1.初始化阶段：前馈连接权 ，反馈连接权 ，警
7、戒参数，01,ART-1学习过程,前馈连接权 承担着对学习模式的记忆任务。反馈连接权 反映了输入/输出层之间反馈比较的范围或强度。,ART-1学习过程,2.识别阶段 类似于基本竞争型神经网络的竞争学习过程。,ART-1学习过程,3.比较阶段 学习结束的网络提供一个需识别的输入模式时，首先检查一下这个模式是否已经学习过，如果是，就回想出分类结果；如果否，则对这个模式加以记忆，并分配一个新的输出层神经元来代表这个模式的分类结果。,ART-1学习过程,输入模式经过识别阶段，竞争到神经元g作为自己的分类结果后，要检查神经元g反馈回来的向量 是否与这个输入模式相等。如果相等，说明这是一个已记忆过的模式，
8、神经元g代表了这个模式的分类结果，识别与比较产生了共振，网络不需要再经过寻找阶段，直接进入对下一个输入模式的识别阶段；如果不符，则放弃神经元g的分类结果，进入寻找阶段。,ART-1学习过程,比较时，允许 与Ak有一定的差距，由警戒参数决定。表示 与Ak的拟合度,ART-1学习过程,当 时，前馈连接权向量 和反馈连接权向量 调整：当 ，说明拟合度小于要求，超过了警戒线，拒绝识别结果，将神经元g重新复位为0，转入寻找阶段,ART-1学习过程,4.寻找阶段： 比较阶段拒绝识别结果之后转入反复寻找的阶段。在余下的神经元中搜索Ak的恰当分类，只要含有与Ak相对应或在警戒线之内的分类单元，则可以得到与记忆
9、模式相符的分类结果。如果找不到，就新分配一个分类单元。,ART-1学习过程,ART-1学习规则,1.初始化 2.新样本 3.计算匹配度： 4.选最佳匹配样本：,5.警戒线检验： 计算： if ，goto 6 else goto 7 6.重新匹配，把最佳匹配置0。转3,ART-1学习规则,7.调整权值 8.将6中复位的神经元加入，返回2,ART-1学习规则,ART网特性分析： 1.实时在线学习，边学习边回想 2.快速学习与慢速学习 3.可控制的分类细度，取决于警戒参数 4.连接权调整的规范化处理 5.分类的脆弱性：祖母细胞,ART-1学习规则,3 自组织特征映射模型SOM,人的大脑神经元细胞以平
10、均每天个速度消失，又不断产生大量新的神经细胞。若神经细胞与记忆模式一一对应，若一个细胞消失或破坏，对应的记忆信息也会消失。 1981年Kohonen提出网络，刺激以某一个细胞为中心的一个区域细胞的兴奋，强度不一。,刺激趋势与强度呈墨西哥帽形状,3 自组织特征映射模型SOM,SOM网络的学习规则,初始化。学习率(0)，邻域Ng(t)的初始值Ng(0)，学习次数T 提供输入模式X 计算找出具有最小距离的神经元j *,4.给出邻域Sk(t) 5.修正j*及周围邻接神经元权值.计算输出 7.重复,SOM网络的学习规则,SOM网络的自组织特性,经过学习，竞争层各神经元的连接权向量的空间分布能够正确反映输入模式的空间概率分布，也可称为学习矢量量化器,
