1、国内图书分类号：TP183国际图书分类号：513工学硕士学位论文基于 ART2 神经网络的聚类方法及其应用研究硕 士 研 究 生 ： 杨峥导申 请师： 于刚副教授学 位： 工学硕士学 科 、 专 业： 机械电子工程所 在 单 位： 深圳研究生院答 辩 日 期： 2007 年 12 月授予学位单位： 哈尔滨工业大学Classified Index: TP183U.D.C: 513Dissertation for the Master Degree of EngineeringRESEARCH ON ART2 CLUSTERINGMETHOD AND ITS APPLICATIONCandidat
2、e:Supervisor:Academic Degree Applied for:Specialty:Affiliation:Date of Defence:Degree-Conferring-Institution:Yang ZhengAssociate Prof. Yu GangMaster of EngineeringMechatronics EngineeringShenzhen Graduate SchoolDecember, 2007Harbin Institute of Technology-哈尔滨工业大学工学硕士学位论文摘要聚类分析是认识事物的基本途径之一。通过聚类分析，可以更
3、清楚地认识事物的本质特征。目前，聚类分析的方法主要有：层次聚类法、划分聚类法和神经网络法。神经网络法是近年研究较多，发展较快的一种新的聚类方法。自组织映射 (SOM， Self-organization Mapping)网络和自适应共振理论(ART， Adaptive Resonance Theory)网络等一些神经网络都可以用作聚类分析。本文选取 ART2 网络作为研究对象。ART2 网络与其他一些神经网络相比的一个突出优点就是在学习新的模式时不会破坏已存储的模式，对己学习过的对象具有稳定的快速识别能力，同时又能迅速适应未学习过的新对象。同时它还可以通过调整警戒参数协调网络的稳定性和可塑性。
4、虽然 ART2 网络适合用于聚类分析，但是传统的 ART2 网络由于根据当前样本修改权值，可能产生较大的模式漂移现象，因而聚类性能不太理想；而且传统的 ART2 网络中的归一化环节使输入模式的幅度信息丢失，所以对幅度信息起重要作用的模式向量的聚类可能产生严重的错误。这些问题限制了 ART2 在聚类分析中的应用与发展。针对传统 ART2 神经网络的模式漂移和幅度信息丢失的问题，本文分别针对这两种缺陷给出了改进的算法，给出了改进的 ART2 网络结构；为了进一步恢复幅度信息的作用并且能够大幅降低模式漂移对聚类的影响，本文给出了一种采用欧式距离作为判据的再聚类方法；最后，使用本文的 ART2 聚类方
5、法对轴承故障数据进行聚类分析实验，讨论了 ART2 网络中一些重要参数的选取原则，对比了本文提出的方法与其他三种 ART2 聚类方法的聚类效果，证明了本文提出的方法的优越性。关键词 聚类；神经网络；ART2I哈尔滨工业大学工学硕士学位论文AbstractClustering analyse is one of the ways to know things. We can know theessential characteristics of things more clearly by clustering analyse. There areseveral means of cluste
6、ring analyse now, such as hierarchical clustering method,partitioning clustering method and neural network clustering method. Neuralnetwork is a new clustering way which has been studied extensively anddeveloped rapidly recent years. Some kinds of neural network such as self-organization mapping(SOM
7、) and adaptive resonance theory(ART) network are allcan be used as clustering methods. In this paper, ART2 neural network is chosen.Comparing to some kinds of neural network, ART2 neural network will notdestory patterns already stored by system when learning new patterns. So it canquickly recognize,
8、 stored patterns and cluster patterns. It also can harmonizestability and flexibility of network by modifing vigilance parameter.Because traditional ART2 network only calculate the weight by currentsample, this may cause pattern drifting problem. And the normalization makesthe magnitude of samples l
9、ost. The clustering capability of traditional ART2network is not very good if magnitude is very important information to thesamples. These problems limit the use of ART2 in clustering.In order to solve pattern drifting and magnitude missing problems, a betterweight modification algorithm is used and
10、 a new magnitude comparison methodis added to the ART2. And we use Eular distance as a re-clustering method toimprove the clustering performance. At last, perform experiments using bearingstatus samples. Discuss important parameters of ART2 and find out the rule ofchoosing the value. The experimenta
11、l results show that the method proposed inthis paper is better than three other ART2 clustering methods.Keywords clustering, neural network, ART2II哈尔滨工业大学工学硕士学位论文目录摘要 IAbstract II第 1 章 绪论 .11.1 课题研究的背景和意义 11.2 国内外研究现状 31.2.1 ART2 网络的改进 31.2.2 ART2 网络与其他聚类方法的结合 31.2.3 ART2 网络聚类在各领域的应用 41.3 本文的主要研究内容
12、4第 2 章 模式聚类分析 .52.1 引言 52.2 类 52.2.1 类的定义 .52.2.2 类的特征 .52.2.3 类间距离 .62.3 数据预处理 62.4 聚类统计量 72.4.1 距离 .72.4.2 相似系数 .82.4.3 关联系数 .102.5 聚类结果分析 102.5.1 聚类结果判据 .102.5.2 聚类异常情况 .112.6 常用聚类方法 122.6.1 层次聚类法 .122.6.2 划分聚类法 .122.6.3 神经网络聚类法 .122.7 本章小结 13III哈尔滨工业大学工学硕士学位论文第 3 章 ART2 神经网络的结构和原理 .143.1 引言 143.
13、2 ART神经网络的结构和原理 143.2.1 ART神经网络的基本结构 .143.2.2 ART网络的基本原理 .163.3 ART2 神经网络的结构和原理 .173.3.1 ART2 神经网络的结构 173.3.2 ART2 神经网络的工作原理 223.4 本章小结 24第 4 章 基于ART2 神经网络聚类法 .264.1 引言 264.2 传统ART2 神经网络的模式漂移缺陷 264.3 传统ART2 神经网络的模式幅度信息丢失缺陷 274.4 ART2 网络学习算法的改进 .284.4.1 针对模式漂移缺陷的改进 .284.4.2 针对幅度丢失缺陷的改进 .294.4.3 采用欧式距
14、离进行再聚类 .314.5 改进后的ART2 网络结构和算法 324.6 本章小结 35第 5 章 ART2 聚类法在故障聚类分析中的应用 .365.1 引言 365.2 故障状态聚类意义与故障样本介绍 .365.3 阈值和警戒参数对模式聚类的影响 .375.3.1 的取值问题 .375.3.2 的取值问题 385.3.3 的取值问题 385.4 输入顺序对聚类的影响 385.5 聚类实验结果分析 405.5.1 实验方法的介绍 .405.5.2 实验结果 .405.5.3 聚类结果分析及总结 .425.6 本章小结 43IV哈尔滨工业大学工学硕士学位论文结论 44参考文献 .45攻读学位期间
15、发表的学术论文 .49致谢 51V哈尔滨工业大学工学硕士学位论文第1章 绪论1.1 课题研究的背景和意义人们认识自然界很重要的一种方法是对事物进行分类。分类学在各学科都得到广泛应用。过去人们主要依靠经验和专业知识来进行分类。动物学、植物学、地质学、地理学、化学等都有分类。随着生产技术和科学的发展，分类越来越细，只凭经验和专业知识有时不能确切分类。最近十几年由于电子计算机技术和多元统计理论的发展，数值分类学中逐渐形成了一个新的分支，称为聚类分析，也有的叫群分析、簇群分析、群落分析、群类分析、群聚分析、点群分析、分支分析等。它是按照一定的标准对研究对象进行分类的数学方法。它将多元统计的理论应用于分
16、类，是软科学研究的重要基础和有效手段。聚类分析虽然已有十几年的历史，但是还不很完善。聚类的统计量和聚类方法都没有定型，聚类统计量可多达数百种，有的仅用过一、两次就消失了；聚类方法也五花八门，这说明聚类分析正处于发展阶段。虽然在理论与方法上，聚类分析都还不完善，但己应用于模式识别、过程优化、配方设计等许多领域中，并取得了可喜的成绩，受到了广泛的重视。聚类分析在我国近几年也得到广泛推广。聚类分析的方法有很多种，比如层次聚类法、动态聚类法、模糊聚类法、有序样品的最优分割法等 1。这些聚类方法的优点是可以找到比较好的聚类结果，原理比较简单；缺点是计算量较大，数据存储和运行占用的空间和时间多，计算效率较
17、低。近年来，随着神经网络理论的发展，部分神经网络己经被应用到聚类分析中。神经网络用于聚类分析的优点是计算速度快，空间消耗小，且一般能够得到比较满意的结果。神经网络的应用已经成为聚类分析的一个新的研究方向。早在 1943 年，McCulloch和Pitts首次提出了人工神经元的概念。此后，经过许多学者的研究，产生了许多各种各样的神经网络模型。例如BP网络2 、反馈网络、径向基网络、自组织映射网络、小波网络、模糊神经网络等。这些神经网络结构各异，功能也各不相同，适用于不同的场合。但是，很多人工神经网络在学习新的模式时，都会改变己经训练好的权值。因此，一个完全训练好的网络在学习一个新的模式时，可能会
18、严重破坏已有的联接-1-哈尔滨工业大学工学硕士学位论文强度，即已存储的模式，导致不得不重新训练网络的全部联接矩阵。这和人脑的记忆方式完全不同。人脑在存入新的一记忆时，并不丢失也不会改变原有的记忆。鉴于以往神经网络的这一缺陷，美国Boston大学的Stephen Grossberg和他的同事们提出了一种能对任意复杂的环境输入模式实现自稳定和自组织识别的网络系统即自适应共振网络(ART，Adaptive Resonance Theory)，又叫Grossberg网络 3。该网络具有在学习新的模式时不破坏己存储的模式的优点，这和人脑的记忆功能相类似。ART理论解决了神经网络中存在的可塑性和稳定性的矛
19、盾问题。ART网络具有以下特点 4：(1)在学习新的模式时不会破坏己存储的模式。对已学习过的对象具有稳定的快速识别能力，同时又能迅速适应未学习过的新对象；(2)ART 网络的学习不需要样本，它可以自动的向环境学习，不断的自动修正网络结构参数，进行无监督的学习。因此又称 ART 网络为自组织网络；(3)具有相当好的稳定性，而且不会被大量的任意输入所干扰，能适应非平稳的环境；(4)具有自归一能力，根据某些特征在全体特征中占的比例，有时把它作为关键特征，有时又可将其作为噪声处理；(5)当系统对环境做出错误反应时，可通过提高系统的“警觉性” ，而迅速识别新的对象；(6)ART 结构很容易就能与其它分层
20、认知理论结合起来。它考虑到了来自 ART 网络外围的其它子系统诸如注意子系统、预测子系统或取向子系统对特性和分类层的影响。ART网络包括 ART1、 ART2 和 ART3 网络，此外还有模糊 ART(FuzzyART网络) 5 。 ART1 网络用于处理二进制输入矢量；ART2 网络可处理连续信号矢量； ART3 网络是 ART网络的同形级联结构体系；模糊 ART则是从ART1 和ART2 中发展起来的一种新型网络。其中ART2 网络的应用最为广泛，也是本文研究的重点。由于 ART2 网络具有上述优点，因此在机械制造、化学化工、自动控制、医药、 IT、地质、光电子学、图像处理等各行业得到了广
21、泛的应用613 。比如，ART2 网络可以应用于心电特征点的自动检测 14；对机械制造过程进行监控 15；用于手写输入字符识别 16；建立化学传感器 17；自动控制中的模糊控制理论 1821；进行地壳运动的反演研究等等。其中最重要的-2-哈尔滨工业大学工学硕士学位论文一个用途是模式识别和模式聚类。和其它可用于聚类分析的神经网络如自组织映射网络、模糊神经网络相比，ART2 网络的一个突出优点就是在学习新的模式时不会破坏已存储的模式，对己学习过的对象具有稳定的快速识别能力，同时又能迅速适应未学习过的新对象。ART2 网络很好的协调了网络的可塑性和稳定性，在实际应用中可以适应不同程度的分类要求。因此
22、，ART2 网络是一种适合于聚类分析的神经网络。但是ART2 神经网络自身存在一些缺陷制约了它在聚类中的应用。本文对ART2 网络存在的缺陷进行了改进，提出了一种基于ART2 神经网络的聚类法。对故障状态的聚类扩展了ART2 网络聚类法的应用范围。1.2 国内外研究现状ART2 网络作为一种适合于聚类分析的神经网络，引起了广泛的研究兴趣。研究的方向集中在三个方面：一是专注于针对 ART2 网络的改进；二是把 ART2 网络和其他方法结合并改进，以优化聚类的效果；三是研究 ART2网络聚类方法的应用。1.2.1 ART2 网络的改进ART2网络虽然是一种适合聚类分析的神经网络，但是实际上并不完美
23、。针对ART2网络存在的一些缺陷，一些学者针对ART2的算法本身提出了一些改进的方法。 Natalija Vlajic等提出一种改变权值修正法的 ART2网络22 ； Hsu Chung-Chian等提出一种基于距离层级的 ART2网络 23； MasahiroFujita等提出一种新的权值修正方法，这种权值修正方法采用TPM 学习原则进行学习 24；Zhong Xu等提出一种双门限权值修正法 25；Ai Jiaoyan等提出引入使用欧式距离进行幅度比较的方法，可以对幅度信息起重要作用的样本起到较好的聚类效果 26； Wu Di等提出一种改进权值修正法的 ART2方法27 ；He Jie等提出
24、了一种可以自动调整警戒系数的 ART2方法 28。1.2.2 ART2 网络与其他聚类方法的结合Lubomir Hadjiiski等提出一种ART2 和LDA相结合的分类方法 29；QianXiao-Dong 等提出一种把 ART2 神经网络应用于多层动态聚类法的新方法30 ；Zhong Xu 等把ART2 网络和系统聚类法结合用以提高聚类准确率 25；-3-哈尔滨工业大学工学硕士学位论文Wann Chin-Der等提出 ART2 网络与 Dignet的结合算法 31； Kuo RJ等提出ART2 网络与 GKA结合的算法，并证明相对 ART2 结合 K均值算法的优势32 ；Stefan Sc
25、hunemann等提出SOM和ART2 网络结合的聚类算法 33；顾明采用二次连接神经网络思想应用于ART2 神经网络 34；吴国平等提出把灰色系统方法结合ART2 网络的思想 35。1.2.3 ART2 网络聚类在各领域的应用A.D.Smith和 A.Sinha把ART2 网络应用在美国宇航局的空间加速度测量系统数据的聚类分析 36；Wang等把ART2 网络应用于润滑油红外谱的聚类分析 37；Andrea Baraldi等把 ART2 网络应用于卫星图像聚类分析 38；刘永强等把ART2 网络应用于QRS综合波的聚类分析 39；吴国平等把ART2 网络应用于圈闭含油气性信息的聚类分析 40
26、。从以上的讨论可以看出，很多学者都在进行把 ART2 网络应用于模式聚类研究。也取得了一些成果，但是总体上来说研究还不完善，很多方法都有各自的应用局限。对一个相对较新的研究方向，各种新的方法仍然不断地涌现出来，ART2 神经网络聚类研究仍然有很大的发展空间。1.3 本文的主要研究内容本文的研究内容有以下几个方面：(1)分析传统 ART2 神经网络的模式漂移和幅度信息丢失问题出现的原因并分别针对这两种缺陷研究改进的方法；(2)为了提高 ART2 网络的聚类准确度，研究通过一种再聚类方法进一步提高聚类的准确度；(3)采用本文的聚类方法进行故障聚类分析的相关研究，探讨 ART2 网络中一些重要参数的
27、选取原则。对轴承故障数据样本进行较为完整的实验，比较本文提出的聚类方法与其他几种基于 ART2 网络的聚类方法的聚类效果。-4-1 j哈尔滨工业大学工学硕士学位论文第2章 模式聚类分析2.1 引言“聚类”顾名思义是要将相近似的对象聚成一类，为此需要确切地描述和度量有关属性，并从中比较对象间的相似程度，把最接近的对象归并成类1 。根据对象的不同，聚类分析有两种类型：针对样本的为样本聚类，亦称Q型群分析；针对变量的为变量聚类，亦称R群分析。2.2 类2.2.1 类的定义关于类的定义有很多种，在不同的应用中有不同的定义。设 G 为元素的集合，它共有 m个元素，记为gi， i 1,2, m 。另外给定
28、一个阈值 T 0 。则常用的类定义有以下几种，可以适用于不同的场合：(1)若 G 中任意两个元素gi 、gj之间的距离不大于阈值，即dij 1/(1-d)，网络有可能在学习过程中改变获胜神经元。因此，从下到上的权值应满足如下初始化条件：z 11 d (3-28)可以用足够小的随机数来初始化权值。此外，还有一种初始化权值的方法，令：z ij0 11 d M(3-29)式中 M F1层每个子层的神经元数目zij(0)的最大值不能超过 1 1 dM； zij(0)的值越大，网络越容易选择未被占用的神经元作为获胜单元；当输入一个严重不匹配的模式时，即使警戒参数太小而不会引起重整，网络也会选择一个未被占
29、用的神经元来存储这个模式，而不会是在原有神经元的基础上修改权值。这样可以避免网络频繁的修改权值从而使网络达到一种稳定。当然 zij(0)的值也不能太大，否则即使输入的是和己存储的模式相同的模式，该神经元也有可能不会赢得竞争，而是系统选择一个新的神经元来存储此模式，从而导致两个神经元存储的是完全相同的同一个模式。实际应用的时候根据需要选择一个小于等于 1 1 d M 的值来作为联接权的初始值即可。3.3.2 ART2 神经网络的工作原理ART2 网络运行前首先要进行初始化，初始化的条件如前所述：a, b 00 d 1(3-30)(3-31)cd1 d 1 (3-32)0 1- 22 -M (3-33)
