1、基于深度学习的故障检测方法 吴魁 王仙勇 孙洁 黄玉龙 北京航天测控技术有限公司 北京市高速交通工具智能诊断与健康管理重点实验室 摘 要： 针对传统故障诊断方法中特征提取技术难度大、故障样本获取困难等问题, 在深度学习计算框架下提出了一种半监督训练的故障检测方法, 利用深度信念网络中的受限波茨曼机堆栈结构实现了数据高层特征的自动提取, 结合支持向量数据描述方法实现了异常数据检测, 只需利用正常工况的数据样本进行网络训练和模型拟合, 无需故障样本数据, 也无需人工干预进行信号特征提取, 即能实现对故障数据进行的实时检测和判别;经采用标准轴承实验数据的三组故障数据进行验证, 故障识别率达到 100
2、%, 具有很强的工程应用价值。关键词： 深度学习; 深度置信网络; 故障检测; 作者简介：吴魁 (1977-) , 男, 江西南昌人, 研究员, 主要从事数据处理、故障诊断方向的研究。收稿日期：2017-08-16Fault Detection Method Based on the Deep Belief NetworkWu Kui Wang Xianyong Sun Jie Huang Yulong Beijing Aerospace Measure Abstract： This paper presents a semi-supervised fault detection method
3、 based on deep learning framework, which utilizes the stack of Restricted Boltzmann Machines in Deep Belief Network to abstract high-level features from original signal data automatically, and apply Support Vector Data Description model to implement fault data detection.This method only needs normal
4、 status data as training samples and no any labeled fault data is required.Meanwhile, real-time detection and auto-recognition of fault data can be carried out without expert intervention.As result, the fault recognition rate achieves 100%in treating the standard bearings experiment data, which show
5、s a significant effect and strong application value.Keyword： deep learning; deep belief network; fault detection; Received： 2017-08-160 引言随着科技的进步, 航空、航天、航海和高铁等领域的设备日趋复杂和精密, 系统组成环节和影响因素的增加以及运行环境和工况的复杂化, 使得系统的可靠运行和维修保障面临很大的挑战1。故障诊断技术是一种多学科交叉的综合性技术, 其目的就是通过分析反映设备相关信息的数据, 准确判断设备及其内部组件是否出现故障, 以决定其能否正常运行或
6、需要进行维修和防护2。有效的故障诊断不仅能够提高复杂设备的安全性和可靠性, 还可以减少设备操作和维护成本。传统的故障诊断方法包括基于机理模型的故障诊断方法和基于知识规则的故障诊断方法。基于机理模型的故障诊断方法是最直接、最全面的一种方法, 该方法需要对被诊断对象的结构、原理、功能和工作机制有一个清晰的认识, 并能够建立描述系统的数学模型, 在获取设备监测数据后可通过系统模型进行精确的诊断3。但是, 由于基于机理模型的故障诊断方法必须建立清晰的系统模型, 使其在现代复杂系统的故障诊断应用中受到很大的限制。基于知识规则的故障诊断方法不需要建立描述复杂设备的数学模型, 而采用专家系统、故障库等方式完
7、成判据规则的建立, 在获取设备监测数据后利用判据规则进行故障诊断4。基于知识规则的故障诊断方法重度依赖于专家经验、知识等, 如何高效地获取、管理和应用专家知识本身也存在技术难度, 同时由于新技术、新装备的快速发展也造成了经验知识的匮乏, 因此该方法的实际工程应用也面临一定的困境。随着信号处理、模式识别和人工智能等技术的发展, 尤其是近年来机器学习 (machine learning) 技术研究取得的突破和显著的应用效果, 基于数据驱动的故障诊断方法已经成为研究热点5, 其一般方法为:采集设备系统相关监测数据, 利用各种信号处理技术对采集来的原始数据进行故障特征提取形成特征状态空间, 再利用分类
8、算法根据特征状态进行分类, 从而实现故障状态的诊断识别, 如图 1 所示。图 1 基于数据驱动的故障诊断过程 下载原图其中原始信号的故障特征提取是该方法中影响诊断效果的关键。虽然国内外学者开展了许多不同方面的研究6, 但由于设备的多样性及迅猛发展, 仍然存在以下不足:1) 故障特征的确定和提取要求对采集的信号有深刻的理解并具备丰富的信号处理经验, 需要构建复杂的信号处理算法;2) 某些工程应用中故障现象难以找出与之相对应的故障特征值;3) 故障特征提取方法和故障分类方法互相关联, 难以建立适应不同问题的通用处理算法;4) 以上过程需要相应工程领域专家针对不同的信号设计不同的特征提取算法和分类算
9、法, 难以实现故障诊断的自动化处理, 应用技术门槛很高。深度学习 (Deep Learning) 作为机器学习领域的一种新兴方法, 以其强大的自动特征提取能力已经在图像、语音识别等领域已经取得了辉煌的成果7-8。深度置信网络 (DBN, Deep Belief Network) 作为深度学习的经典算法之一, 以其优异的特征提取和训练算法, 成功的解决了诸如特征提取、故障分类等问题9。将 DBN 应用在故障诊断领域主要有以下点优势:1) 能从数据中自动提取特征, 减少了因故障诊断过程中人工确定特征提取方法的局限性, 降低了因特征提取方法不同导致的故障诊断结果的不确定性;2) 与人工神经网络应用方
10、式相似, 在确定网络结构之后不再需要人工干预, 可通过网络的训练实现对不同信号的自学习诊断, 具有很强的通用性和实用性。在基于 DBN 的故障诊断技术研究中, 根据数据训练特点不同, 可分为监督学习 (supervised learning) 、半监督学习 (semi-supervised learning) 和无监督学习 (unsupervised learning) 3 种方式。其中:监督学习是指训练数据中包括了分布标识为正常和异常 (或故障分类) 的样本数据;半监督学习是指训练数据中只有标识为正常的样本数据, 没有标识为异常 (或故障分类) 的数据;无监督学习是指训练数据不做任何标识。目
11、前基于 DBN 的故障诊断研究成果集中在监督学习方面10。但是, 在航空、航天等高可靠性要求的工程领域, 通过试验获取明确标识为故障的数据往往成本很高, 但获取设备的正常状态数据则相对容易, 因此半监督深度学习的故障诊断方法具有很高的应用价值。本文提出了一种基于改造 DBN 的故障检测方法, 在利用 DBN 自动提取特征的能力的同时, 结合了 SVDD 异常检测方法, 实现了半监督学习的故障检测算法。经过标准轴承故障振动实验数据的分析应用, 故障识别率为 100%的结果, 效果十分理想。1 DBN 和 SVDD 概述DBN 是一个概率生成模型, 由多个限制波尔兹曼机 (RBM, restric
12、ted boltzmann machine) 堆叠而成。其核心就是用逐层贪婪学习算法去优化深度神经网络的连接权重, 即使用无监督学习方式进行逐层训练, 有效提取测量信号中的特征。DBN 的一般结构是在堆叠 RBM 之后增加相应分类器, 如图 2 所示, 通过带标签的样本数据进行反向传播 (BP, Back Prorogation) 的微调, 这种方式与传统 BP 神经网络的微调方式相同, 用于优化 DBN 的诊断分类能力。图 2 DBN 的一般结构 下载原图本文提出的方法对 DBN 的结构进行了改造, 在堆叠 RBM 之后不再连接分类器, 而是连接基于 SVDD 的异常检测器, 从而实现故障的
13、检测。下面将依次介绍本算法中的 RBM 及 DBN 结构、故障特征的提取、异常检测算法等进行介绍。1.1 RBM 原理RBM 模型是的基于能量的神经网络, 由一个可视层 V 与一个隐含层 H 组成, 如图 3 所示。图 3 受限波茨曼机 RBM 结构 下载原图图 3 中可视层 V= (v1, v2, , vn) , 隐含层 H= (h1, h2, , hm) , 其能量函数定义:式中, i为可视层第 i 个单元的偏置, b j为隐藏层第 j 个单元的偏置, W ij为可视层第 i 个单元与隐藏层第 j 个单元的连接权重。由式 (1) 可得到可视层 V 和隐含层 H 之间的联合分布概率为:由可视
14、层 V 与隐藏层 H 的联合概率分布定义和各隐藏节点间的条件独立可求得, 在给定的可视层节点状态的基础上, 隐藏层第 j 个节点 hj被激活的概率为:由式中激活函数 (x) 选用 Sigmoid 函数。同时, 可视层第 i 个节点 vi被激活的概率为:RBM 的本质就是使得训练后的模型与输入样本分布相符合的概率最大, 即在给定训练数据的情况下, 通过调节相应的参数使得式 (5) 的概率值能达到最大。通过使用极大似然估计可对式 (2) 两边执行随机梯度下降法, 但直接计算式 (4) 和 (5) 式将导致训练时间非常长。为此 Hinton11提出利用对比散度 (Contrastive Diverg
15、ence, CD-k) 准则, 在保持精度的同时能快速收敛。1.2 基于 RBM 堆栈堆叠的特征自动提取DBN 的特征自动提取功能由 RBM 堆叠结构完成。如图 4 所示是一个三层的 DBN网络, 其特征提取功能由两个 RBM 堆叠结构完成, 即第一层神经元和第二层神经元组成第一个 RBM, 第二层和第三层组成第二个 RBM。原始信号输入经过无监督预训练后的 RBM 堆叠结构进行前向传输, 其输入就是该信号的特征向量, 可作为分类器或异常检测器的输入做进一步处理。从该过程可以看出, 首个 RBM的输入层节点数有原始信号的维数决定, 而最后一个 RBM 的输出层节点数由要提取的特征点维数决定。D
16、BN 与其它神经网络相比其主要特点就在于对 RBM 堆叠结构无监督预训练, 通过依次对多个 RBM 进行前向传递、反向重构可视层、权重更新的过程使得其最大似然于输入信号, 实现了用多层次深度特征表达输入信号, 从而实现特征的自动提取。图 4 DBN 结构及预训练 下载原图1.3 SVVD 异常检测算法支持向量数据描述 (SVDD, support vector data description) 是一种异常检测方法, 其基本原理是通过非线性映射 将原始训练样本 xi映射到高维内积空间, 在其中寻找一个包含全部或大部分被映射到特征空间的训练样本且体积最小的超球体 (最优超球体) 的内积空间12。
17、新样本点检测时通过 映射在内积空间中的像如果落入最优超球体内, 则该样本被视为一个正常点;否则, 视为一个异常点。SVDD 已成功应用于数据库中检测异常样本、高光谱遥感成像的异常检测、如泵故障检测等方面13-15。对于已知训练样本集 x, SVDD 方法就是求球体的球心 a 和半径 R, 求得以下最优化解:其中: i是一个松弛变量, 它允许异常点进入目标数据集的可能.常数 C 控制球体体积与错误率之间的折衷。引入拉格朗日乘子 i, i构造拉格朗日函数, 令 L 关于 R, a 和 i的偏导数全为 0, 分别得到以下约束条件:将式 (8) 代入式 (7) , 得到优化问题 (6) 式的对偶问题:
18、求解 (9) 的最优化问题, 可求得 ai, 球的半径 R 为球心 a 到任何满足 0 iC的支持向量 xi距离。对于新测试点 z 计算测试点其到球心 a 的距离, 如果满足:则点 z 在球内属于正常点, 否则判定为异常点。SVDD 方法可采用不同的满足梅斯定理的核函数 K (xixj) 代替 xixj以利用核函数非线性特性。本文采用径向基核函数将目标数据映射到特征空间中的有界球形区域内, 将异常样本映射到该球形区域的外部。2 DBN-SVDD 故障检测算法本文提出的方法, 将 DBN 中 RBM 堆栈与 SVDD 异常检测器结合, 从而实现了基于深度学习的故障检测方法, 其网络结构如图 5
19、所示。图 5 DBN-SVDD 故障检测器结构 下载原图该方法利用 DBN 高层次的特征提取能力, 能够增强输入数据的区分能力, 削弱输入数据的不相关因素。DBN-SVDD 故障检测模型将多个数量的 RBM 和 SVDD 故障检测器结合, 通过设置一定的层数和隐含层单元数目能够在提取高层次特征, 再将特征值输入到 SVDD 异常检测器中进行判读, 从而实现故障的检测。DBN-SVDD 方法的应用主要包括 DBN 参数设置、DBN 预训练、SVDD 参数拟合、故障判定估计等步骤, 如图 6 所示, 具体包括:1) DBN 参数设置:根据 DBN 模型的一般应用方法设定相关的参数, 根据输入信号数
20、量确定输入层即可视层节点数量, 确定网络层数, 确定每个 RBM 的学习率、最大选代次数和各隐含层节点数等。2) DBN 预训练:使用逐层贪婪算法去逐层训练每个 RBM, 即将训练完的低一层RBM 输出作为未训练的高一层 RBM 输入, 依次训练, 直到最后一个 RBM 训练完成。此时, 最高层节点输出即可视为对输入信号提取的特征。3) SVDD 模型参数拟合:DBN 的输出特征值作为样本数据, 用于拟合 SVDD 模型的参数, 计算其超球体中心 a 和半径 R, 指定允许误差范围等其它参数, 建立SVDD 异常检测判定模型。4) 故障检测:待检测样本作为输入值通过 DBN 前向计算得到特征值
21、, 再输入SVDD 异常检测模型进行判定, 如异常则判定为故障。3 实验及分析3.1 实验数据本文使用的数据集为美国凯斯西储大学电子工程实验室采集和公布的旋转轴承数据16, 测试轴承安装在两个马达驱动的机械系统上。该实验装置可通过固定在电机驱动端轴承上方机壳上的加速度传感器采集振动数据, 以 12kHz 的采样频率在 4 种不同的负荷下采集数据。图 6 DBN-SVDD 故障检测流程 下载原图本文选取了该实验室发布的 4 个数据集合, 分别为轴承的正常状态和内圈裂痕深度分别为 0.07 英寸、0.14 英寸、0.21 英寸等 3 种故障状态数据, 每个数据集合截取长度为 102 400 个样本
22、。将这 4 种原始振动信号按窗口长度 128 进行划分, 每种数据均包含 800 组数据。其中正常状态数据随机选取 70%作为训练样本, 剩余 30%作为检测样本。因本方法为半监督学习方法, 只实现故障检测而不进行分类, 因此其余 3 种共 2400 组数据均作为检测数据。表 1 实验数据情况表 下载原表 试验数据原始信号时域波形见图 7。图 7 实验数据原始信号时域幅值波形 下载原图由于 RBM 模型的输入范围为0, 1, 因此对各组数据进行线性归一化变换使其范围满足输入要求。与其它故障诊断方法必须通过信号变换提取特征不同, 本方法只需对原始信号进行线性归一化处理, 而无需其它更多的信号处理
23、。线性归一化处理后的试验数据时域波形如图 8 所示。图 8 实验数据归一化信号时域幅值波形 下载原图3.2 DBN 网络预训练与 SVDD 模型拟合在获取归一化试验数据之后, 按图 6 所示流程完成参数设置、DBN 网络训练和SVDD 模型拟合。本次实验的 DBN 网络采用 3 个 RBM 堆栈即 4 层网络结构。根据信号分组情况, 每一组样本长度为 128, 所有第一层可视层单元数目为 128, 其余 3 层单元数目分别选择为 1000、500、500, 预训练次数为 100, RBM 学习率为 0.05, 采用表1 中 N0 数据集对网络进行预训练, 其重构误差曲线如图 9 所示。图 9
24、RBM 堆栈结构预训练误差曲线 下载原图由图 9 的迭代训练误差曲线可知, 此网络在经过 36 次训练之后时其重构误差已经无明显变化, 说明算法收敛并且网络结构、参数设置与训练样本的匹配度较好。本次实验的 SVDD 模型选用径向基函数 RBF 作为核函数, 分布参数 sigma 选择为0.1, 样本允许误差范围 nu 设置为 0.05。将表 1 中 N0 数据集, 通过预训练完毕的 DBN 网络进行前向传递, 得到输出特征值训练样本, 完成 SVDD 模型的拟合。3.3 结果分析完成 DBN 网络训练和 SVDD 模型拟合之后, 可按图 5 所示的故障检测流程开展实际信号故障检测应用。依次将表
25、 1 中所有数据集输入 DBN 网络进行前向传播, 将 DBN 输出的特征值输入异常检测器中进行判定, 结果如表 2 所示。对于训练样本 N0 进行故障检测是出现了 5%的虚警率, 这与 SVDD 模型中允许误差范围参数 nu 设置为 0.05 一致, 说明 SVDD 模型拟合正确, 正常数据集 N1 出现了 5%的虚警率也是同样原因造成。为避免 SVDD 故障检测模型出现过拟合, 其 nu 不宜设置过小, 由此带来的虚警现象从理论上来说不可避免, 但其值是预先可知的。在实际工程应用中可为报警数据再专门增加一个小 nu 值异常检测器环节, 进一步筛选数据以降低虚警率。表 2 实验数据故障检测结
26、果表 下载原表 故障数据集 F1、F2、F3 的故障识别率均为 100%, 效果十分理想。4 结论本文提出的基于深度学习的半监督故障检测方法, 利用 DBN 网络对高层特征自动提取的能力, 结合 SVDD 异常检测模型实现了故障的实时检测。在对标准轴承故障实验数据验证中, 该方法实现了 100%的故障判别率, 效果十分理想。本文提出的方法在工程应用中还具有以下优势:1) 只需提供正常工况数据作为训练样本, 无需故障数据样本, 样本数据获取比较方便;2) 无需应用领域专家选择故障特征和信号处理专家编制特征提取算法, 而由 DBN 网络自动提取, 技术门槛大幅度降低;3) 该方法还具备普适性, 可
27、广泛应用到各种信号的故障检测当中, 可推广至航空、航天、高铁等具备实验大数据条件的系统的故障检测应用。深度学习可以从各类试验数据中直接挖掘有价值信息, 后续将针对大型复杂系统普遍采用的多传感器监测方式, 利用深度学习方法进行多源信息融合的故障诊断技术研究, 进一步拓展基于深度学习的故障诊断技术应用深度和范围。参考文献1傅建中.智能制造装备的发展现状与趋势J.机电工程, 2014, 31 (8) :959-962. 2叶银忠, 潘日芳, 蒋慰孙.动态系统故障检测及诊断方法J.信息与检测, 1986, 15 (6) :27-34. 3李睿, 郭迎清, 吴文斐.航空发动机传感器故障诊断设计与验证综合
28、仿真平台J.计算机测量与控制, 2010, 18 (3) . 4吴明强, 史慧, 朱晓华, 等.故障诊断专家系统研究的现状与展望.计算机测量与控制, 2005 (13) :12. 5彭宇, 刘大同.数据驱动故障预测和健康管理综述J.仪器仪表学报, 2014, 35 (3) :481-495. 6王国彪, 何正嘉, 陈雪峰, 等.机械故障诊断基础研究何去何从J.机械工程学报, 2013, 49 (1) :63-72. 7Bengio, Yoshua, Hinton G E.Deep learningJ.Nature, 2015, 521 (14539) :436-444. 8Bengio Y.L
29、earning deep architectures for AI, Found.Trends Mach Learn, 2009, 2 (1) :1-127. 9Liu Y, Zhou S, Chen Q.Discriminative deep belief networks for visual data classi?cationJ.Pattern Recognition, 2011, 44 (10) :2287-2296. 10葛强强.基于深度置信网络的数据驱动故障诊断方法研究D.哈尔滨:哈尔滨工业大学, 2016. 11Hinton G E, Osindero S, Whye Y.A
30、fast learning algorithm for deep belief netsJ.Neural Computation, 2006 (18) :1527-1554. 12Tax D, Duin R.Support vector data descriptionJ.Mach Learn, 2004, 54 (1) :45-66. 13Banerjee A, Burlina P, Diehl C.A support vector method for anomaly detection in hyperspectral imageryJ.IEEE Trans.on Geoscience
31、and Remote Sensing, 2006, 44 (8) :2282-2291. 14黄光鑫.支持向量数据描述与支持向量机及其应用D.成都:电子科技大学, 2011. 15Lee S, Park J, Lee S.Low resolution face recognition based on support vector data descriptionJ.Pattern Recognition, 2006, 39 (9) :1809-1812. 16The Case Western Reserve University Bearing Data CenterEB/OL.URL, http:/csegroups.case.edu/bearingdatacenter/home.
