MHSACAE-CNN在噪声下的电机轴承故障诊断.pdf-道客多多

资源描述

1、第 36 卷第 4 期2023 年 8 月振动工程学报Journal of Vibration EngineeringVol.36 No.4Aug.2023MHSACAE-CNN 在噪声下的电机轴承故障诊断文斌1，2，李知聪1，朱晗1，曹仁轩1（1.三峡大学电气与新能源学院，湖北宜昌 443002；2.三峡大学新能源微电网湖北省协同创新中心，湖北宜昌 443002）摘要:电机的运行情况复杂，实际运行工况下会有大量的噪声，导致其轴承故障诊断精度下

2、降。为了改善这一问题，提出了一种基于多头自注意力机制的一维全卷积自编码网络（One-dimensional Fully Convolutional Autoencoding Network Based on Multi-head Self-attention，MHSACAE）与卷积神经网络（Convolutional Neural Network，CNN）结合的轴承故障诊断方法。该方法先采用 MHSACAE 网络进行降噪，再通过 CNN 进行故障诊断。其中MHSAC

3、AE 去噪网络采用无监督训练的方式，充分考虑了实际工况和序列数据内在联系，在实现对噪声的滤除效果的同时，最大限度地保留下了原始的故障信息，使得 CNN 可以实现在噪声情况下对电机轴承故障的高精度诊断。通过与其他轴承故障诊断方法在噪声情况下进行对比，证明提出的方法具有更好的效果。关键词:故障诊断；轴承；自注意力；噪声；卷积神经网络中图分类号:T

4、H165+.3；TH133.33 文献标志码:A 文章编号:1004-4523（2023）04-1169-10 DOI：10.16385/ki.issn.1004-4523.2023.04.030引言轴承是电机最重要的零件之一，轴承故障会直接影响到电机的运转，严重时甚至会造成电机损伤和使用寿命缩短1。突发性的故障更可能会造成人员受伤和高额经济损失，因此对电机轴承进行精准的、实时的故障诊断十分重要2。振动信号分析是电

5、机轴承故障诊断中常用的方法3。传统的故障诊断方法依靠人类专业知识提取特征并判断其故障状态。传统的特征提取方法是对振动信号分别在时域、频域或者时频域中采用时域统计分析4、短时傅里叶变换5、小波变换6 和经验模态分解7 等方法提取其特征。提取的特征依靠人类丰富的经验来判断具体故障状态，十分耗时耗力。在过去几年时间里，基于深度学习的方法

6、得到了快速发展，并应用于各个领域，例如自然语言处理、计算机视觉和模式识别。同样，使用深度学习进行电机轴承故障诊断和轴承寿命预测也取得了一些成果。Zhang 等8 提出一种基于第一层宽卷积核的卷积神经网络（Deep Convolutional Neural Networks with Wide First-layer Kernel，WDCNN），第一层卷积采用宽卷积核，增大了感受野，与传统的卷积神经网络相

7、比极大提高了故障诊断的精度。宫文峰等9 采用全局均值池化技术代替传统 CNN 的全连接部分，有效解决了传统 CNN 模型参数过多的问题，在减少参数的情况下实现了对轴承的故障诊断。肖雄等10 将一维振动信号转换为二维灰度图，然后利用卷积神经网络进行特征提取，得到了较好的结果。上述方法在无噪声情况下取得了很好的结果，但是在实际情况中，采集到的

8、振动信号往往伴随着各种随机噪声，无法直接采用带噪声的振动信号对轴承故障做出明确诊断，因此去噪已经成为振动信号处理中的关键问题。为了解决噪声问题，Zhao等11 提出了深度残差收缩网络，将注意力机制与软阈值滤波结合，实现自适应阈值滤波，在高噪声情况下取得了较好的效果。但是阈值滤波不仅过滤掉了噪声，也会滤掉实际的振动信号，造成原始信号的缺

9、失。卷积自编码网络已经在图像去噪方面得到了广泛应用。为了在滤波的同时，较好地保留原始信号，万齐杨等12 使用卷积自编码网络去噪，再用 CNN 网络进行故障诊断。但是该方法采用有监督学习的训练方式进行训练，采用原始振动信号的带噪声时频图作为卷积自编码网络输入，不带噪声学习的训练时频图作为标签，可实际情况中很难得到噪声信号的标签。丁云浩等

10、13 采用一维多尺度卷积自编码网收稿日期:2021-10-27；修订日期:2022-01-13基金项目:国家自然科学基金资助项目（61876097）。振动工程学报第 36 卷络对轴承故障进行诊断，能在去除噪声的同时较好地还原原始数据。该方法先训练好自编码网络，在网络基础之上添加 softmax 分类层，对网络进行分类训练微调。但是随着分类训练的进行，预先训练的去噪能力被改变为分类能

11、力，削弱了网络去噪效果。基于上述情况，为了改善在噪声下的轴承故障诊断问题，本文将多头自注意力机制和一维全卷积自编码网络相结合，提出 MHSACAE 去噪网络，并采用无监督学习的训练方式对 MHSACAE 网络进行训练，在实现无监督去噪的同时能较好地保留原始振动信号。再通过 CNN 网络进行故障诊断，构造了一种无需人工提取特征的端到端的 MHSACAE-CNN 故

12、障诊断模型。1卷积自编码网络卷积神经网络是受生物视觉皮层运作机理启发而来，2012 年 Alex 设计的 AlexNet 使其大火14。网络包含了卷积层和池化层，对数据有很好的特征提取能力，是目前运用最为广泛的深度学习网络架构之一。卷积自编码网络15 使用卷积神经网络代替自编码网络中的全连接神经网络，使用卷积操作进行编码，反卷积操作进行解码，可以对输入数据进

13、行还原重构。卷积自编码网络结合了自编码网络和卷积神经网络的优点，不仅可以还原数据，而且充分利用了卷积神经网络强大的特征提取能力和滤波功能，在处理复杂数据方面具有更好的效果。其结构如图 1所示。2改进的一维卷积自编码网络本文对一维卷积自编码网络在网络结构、激活函数方面做了一定的改进，并加入了多头自注意力模块，具体改进内容如下。2.1激活函数在有噪声干

14、扰的情况下，振动信号和噪声信号的关系十分的复杂，无法用线性关系表示，而卷积和反卷积的本质都是线性运算。所以，为了提高网络的非线性学习能力，必须在卷积和反卷积的操作后添加非线性的激活函数。目前常用的激活函数是Relu 激活函数，该函数将小于 0 的部分置零，这个函数适合处理数据全为正的图像。但是，振动信号是有正有负的，且负值部分也包含了很多

15、有效信息，而使用 ReLU 函数会忽略大量的负值信息，导致有效特征的大量丢失。为了解决这一问题，在网络中采用了被称为 PReLU 的激活函数16。它的数学表达式如下：PReLU（x）=x，ax，x 0 x 0（1）式中 a 的初始值为 0.25，可以固定或者随着学习一起更新。当 a=0 时，PReLU 就变化为 ReLU 激活函数，当 a=0.01 时，变化为 Leaky ReLU 激活函数。2.2多头自注意力机制注意力机制17 模

16、仿人类的对事物的思维方式，能够对输入信息进行筛选，忽略一些不重要的信息，自动寻找对当前任务最有帮助的信息，充分利用计算资源。它的数学本质是一种数据加权的方式，给重要信息高的权重，不重要信息低的权重。在噪声背景下，噪声是冗余信息，而原始振动信号是重要的特征信息，所以利用注意力机制可以有效滤除噪声。自注意力机制18 是注意力机制的一种

17、改进，在普通注意力的基础上，更加注重样本数据的内相关性。振动数据本身是一种时间序列，其数据内部之间在时间上有很强的相关性，所以自注意力机制十分适合用于一维振动数据的特征提取。其数学表达式如下：Q=WqIK=WkIV=WvIAttention(Q，K，V)=softmax(Q KTdk)V（2）式中 I 表示输入振动数据，是一个时序的向量；Wq，Wk和 WV分别表示数据向量线性映射所需

18、要的权重矩阵；Q 代表当前时刻数据的信息映射；K 代表其他时刻数据的信息映射；V 代表输入向量自身的特征映射；dk为输入向量的维度，用于归一化处理。两个向量的点乘可以表示两个向量的相似度，它们的相似度越高，点乘后的值越大。为了得到不同数据的内在联系，使用 Q 与 K 进行内积，得到表征数图 1 卷积自编码网络结构图Fig.1 MSACAE unsupervised denoisi

19、ng training principle diagram1 1 7 0第 4 期文斌，等：MHSACAE-CNN 在噪声下的电机轴承故障诊断据之间相关性的度量值。网络结构如图 2 所示。自注意力机制计算过程如下：首先将输入的数据乘以权重参数得到 Q，K 和V 向量；然后计算每一个向量的权重分数：score=Q K，为了保证梯度的稳定性，将 score 通过 softmax进行归一化得到权重分布；最后将与表征

20、特征的V 进行加权求和得到最终结果。为了最大尺度地表征数据的信息和特征，对每个数据采用了多个 Q，K，V 进行信息和特征映射，这种注意力机制被称为多头自注意力机制19，多头自注意力机制是在自注意力机制上的进一步改善。多头自注意力机制从多个角度对轴承故障信号进行特征提取映射，可以更全面地提取输入信息的特征，深入挖掘轴承振动信号内在

21、的时序关系，增强神经网络抗噪能力。其数学表达式如下：headi=Attention(Q Wqi，K Wki，V Wvi)MultiHead(Q，K，V)=Concat(head1，headn)（3）由式（3）可知，多头注意力机制采用了多个参数矩阵对数据求取不同 Q，K 和 V，再将得到的结果进行拼接，得到更加全面的特征。2.3改进的卷积自编码网络模型改进的 MHSACAE 网络模型如图 3 所示。池化层会模糊数据的特征，为了增强网络

22、特征的提取能力，在该网络中采用了全卷积的方式，去除了在传统卷积自编码网络中采用的池化层。为了增强故障诊断的能力，本文将 CNN 宽卷积核的思想引入到该网络之中，MHSACAE 网络的第一层卷积层核最后一层反卷积层均采用了较宽的卷积核，增强了感受野，提高网络的滤波能力。在网络的编码和解码部分，分别加入 2.2 节中所提的多头自注意力层，加强了数据内

23、部相关性特征的提取，进一步提高网络的滤波能力。为了能保持较好滤波的同时还原原始数据，激活函数采用 2.1 节所提的 PReLU 函数。3MHSACAE-CNN 轴承故障诊断3.1诊断模型介绍基于 MHSACAE-CNN 的故障诊断模型如图 4所示。首先通过一维的 MHSACAE 网络对输入的数据进行降噪还原处理，然后将降噪后的数据作为CNN 输入，最后使用 CNN 网络进行故障诊断。由于 MHSACAE

24、网络和 CNN 故障分类网络并没有特定的结构，受文献 8 提出的 WDCNN 网络的启发，第一层卷积均采用宽卷积核，增大感受野，提高诊断精度。后续卷积层均采用小卷积核，可以深入挖掘样本间隐藏的深层信息，且网络参数量少，反应速度快。MHSACAE 网络参数如表 1 所示。CNN 网络参数如表 2 所示。图 2 自注意力机制原理图Fig.2 Principle diagram of self-attentio

25、n mechanism图 3 MHSACAE 网络结构图Fig.3 MHSACAE network structure diagram图 4 MHSACAE-CNN 网络结构图Fig.4 MHSACAE-CNN network structure diagram1 1 7 1振动工程学报第 36 卷对于整个 MHSACAE-CNN 诊断模型，优化器统一采用 Adam 优化器，学习率为 0.001。MHSACAE 采用 MSELoss 损失函数，CNN 采用交叉熵损失函数。3.2故障诊断步骤本文将无监督

26、学习的 MHSACAE 与有监督学习的 CNN 网络相结合，构造了一种端到端的基于深度学习的轴承故障诊断网络，具体的故障诊断过程如下。3.2.1数据预处理采集电机在正常、外圈故障、内圈故障和滚动体故障 4 种状态下的轴承振动信号。然后将信号分为训练集、验证集和测试集。在测试集上加入不同信噪比的噪声，得到不同噪声等级的测试集。3.2.2网络训练对 MHSACAE 网络和 CNN 网

27、络分别进行训练。首先采用无监督学习方式对 MHSACAE 网络进行训练，以原始无噪声的振动信号作为输入数据，同样的数据作为标签作为误差反馈，使去噪网络可以充分学习到原始数据的特征。训练原理图如图 5 所示。CNN 采用有监督训练的方式，将原始无噪声的振动信号作为输入，各种故障种类作为标签，训练CNN 网络对故障进行分类。训练原理如图 6 所示。3.2.3网

28、络验证和测试训练时使用无噪声的数据，而在验证和测试的时候向原始数据中加入不同信噪比（Signal to Noise Ratio，SNR）的高斯白噪声。信噪比的计算公式如下：SNR=10 lg(PSignalPNoise)（4）式中 PSignal和 PNoise分别表示原始信号和噪声的能量。将带噪声的数据作为 MHSACAE 降噪网络的输入，而降噪网络的输出作为 CNN 网络的输入，最终通过分类网络得到故障诊

29、断精度。精度计算公式如下：accuracy=NTrueNall（5）式中 NTrue和 Nall分别表示分类正确的样本数和测试集总的样本数。故障诊断原理图如图 7 所示。4实验结果与分析所有的实验均是在单张 GT730 GPU 上完成，表 1 MHSACAE 网络参数Tab.1 MHSACAE network parameters层名Conv1Selfattention1Conv2Selfattention2Conv3Conv4DConv1DConv2DConv3Selfattention3DC

30、onv4DConv5卷积核大小32141414131314141131步长444422442卷积核数量1632641281286432161Head数221激活函数PReLUPReLUPReLUPReLUPReLUPReLUPReLUPReLUPReLU表 2 CNN 网络参数Tab.2 CNN network parameters层名Conv1Conv2Conv3Conv4Conv5卷积核大小3131313131步长161111卷积核数量163264128128池化长度2222222222激活函数ReLUReLUReLUReLUReLU图 5 MH

31、SACAE 无监督去噪训练原理图Fig.5 MHSACAE unsupervised denoising training principle diagram图 6 CNN 网络有监督分类训练原理图Fig.6 CNN supervised denoising training principle diagram图 7 MHSACAE-CNN 故障诊断原理图Fig.7 MHSACAE-CNN fault diagnosis principle diagram1 1 7 2第 4 期文斌，等：MHSACAE-CNN 在噪声下的电机

32、轴承故障诊断使用 PyTorch 深度学习框架。在本节通过两个实验案例验证所提方法的效果，并可视化各种噪声等级下去噪实验的结果，展现降噪网络的性能。最后在各个已知的噪声水平下，通过与其他去噪方法进行比较，展示所提方法的优越性。4.1实验一实验采用美国凯斯西储大学的轴承故障数据验证本文方法的有效性，其轴承数据采集系统如图 8所示。通过在电机驱

33、动端以 48 kHz 的采样频率进行采样获得故障数据。被诊断的轴承一共有 4 种状况，分别是正常、内圈故障、外圈故障和滚动体故障，对于每种故障考虑了 3 种故障大小，共计 9 种故障情况。为了使多头自注意力层最大限度地提取样本在时序上的相关性，通过重叠采样的方法，将各种不同故障状况的数据划分为 660 个样本，每个样本 2048个数据点，并按照 8 1 1 的比例划

34、分为训练集、验证集和测试集。训练集总共 5280 个样本，测试集和训练集各 660 个样本。为了符合实际情况，以及充分体现所提方法的去噪能力，在训练时用的数据是原始无噪声数据，验证和测试时用带噪声的数据。为了模拟实际情况，在验证集和测试集中都分别加入一定信噪比的噪声来污染数据，希望通过训练好的网络消除噪声，并对轴承故障进行诊断。4.1.1超参数的选择本

35、文采用多头自注意力机制与卷积自编码结合对数据降噪，其中自注意力层的头数和其层数至关重要。本文通过多次实验选择最优的参数。自注意力层数实验如表 3 所示。在表 3 中，解码部分层数代表 MHSACAE 网络的解码部分中包含的自注意力层的层数，同样的编码部分层数代表网络中编码部分自注意力层的层数。为了得到网络最优参数，表 3 以 0 dB 下的故障诊断精

36、度作为参数选取的标准。从表 3 可以看出，解码部分层数增加会明显削弱 MHSACAE 的抗噪性，导致在高噪声情况下故障诊断精度下降。所以通过实验，选择在 MHSACAE网络编码部分加入两层自注意力层，在解码部分加入一层自注意力层。确定自注意力层后，在确定的网络模型下，继续通过实验选择自注意力层的头数。其实验参数如表 4 所示。表 4 中编码部分头数表示编码

37、部分自注意力层的头数，解码部分头数表示解码部分自主注意力层的头数。由 2.3 节所知，MHSACAE 网络的作用主要分为两个部分：一个部分是对噪声的滤除；另一部分是对原始数据的恢复。由表 4 数据可知，在 MHSACAE 网络中，编码部分的自注意力层的头数增加更加注重于噪声的滤除，但会降低原始数据恢复能力，解码部分自注意力层的头数增加更有利于原始数据恢复

38、，但是会降低抗噪能力。通过实验综合分析，选择 MHSACAE 网络解码部分自注意力层头数为 2，编码部分为 1。4.1.2降噪实验分析为了检验 MHSACAE 网络的降噪能力，首先对网络的降噪部分进行了可视化。选取 3 种信噪比情况下的噪声数据，即 4，0，-2 dB。通过将 3 种情况下的去噪前数据、原始数据和去噪后的数据同时进行可视化对比，直观地展现了网络的去噪能力，其数据可视

39、化如图 9 所示。图 9 从左到右分别为原始无噪声数据，加噪信号和去噪后的信号。由图 9 可以看出在各个噪声等图 8 CWRU 轴承数据采集系统Fig.8 CWRU bearing data acquisition system表 3 0 dB 下自注意力层数对 MHSACAE 网络抗噪性的影响Tab.3 Influence of the number of self-attention layers on the noise immunity of MHSACAE network at 0 dB编码部

40、分层数123解码部分层数189.84%90.45%80.60%285.30%85.90%84.24%375.60%76.67%55.60%表 4 0 dB 下自注意力层头数对 MHSACAE 网络抗噪性的影响Tab.4 Influence of the number of self-attention layers heads on the noise immunity of MHSACAE network at 0 dB编码部分头数123解码部分头数190.00%95.30%92.87%293.74%92.12%89.24%395.15%93.18%85.76

41、%1 1 7 3振动工程学报第 36 卷级下，去噪效果都比较好。再通过用本文方法去噪后的故障诊断精度与其他方法在不同噪声情况下的精度进行对比，来展示所提方法的优越性。其在-46 dB 下的精度对比如图 10 所示。在图 10 中，CNN 是仅通过卷积神经网络进行诊断的方法，DCAE-CNN 是普通的卷积自编码去噪后再用 CNN 诊断的方法，MHSACAE-CNN 是本文提出的方法，SV

42、M 是使用传统机器学习中支持向量机的诊断方法。由图 10 可知，当信噪比在 6 dB 的情况下，3 种深度学习方法得到的诊断精度差异均不大，达到 98%，说明 3 种网络对于低噪声都具有一定的抵抗力，但 SVM 的预测精度仅为 70%，其抗噪性能较差。随着信噪比逐渐降低，3 种深度学习方法的精度差异也越来越大。在 0 dB 情况下，本文的方法依然有 95.30%的精度，DCAE-CNN 的

43、方法却只有 70%的精度，用CNN 进行故障诊断的精度仅仅只有 48%。当信噪比低于 0 dB 时，后面两种方法的精度会更低。本文所提出的方法在-2 dB 的情况下诊断精度依然超过 90%，-4 dB 的情况下也有超 80%的精度，充分体现了 MHSACAE-CNN 方法的抗噪能力。前面只采用了高斯白噪声检验网络的抗噪性能，在此使用脉冲噪声与高斯白噪声混合的混合噪声进一步检验

44、MHSACAE 网络的抗噪性能。在振动信号中最明显的特征是脉冲特征，用脉冲噪声来代表强干扰下产生的噪声，可以对原始特征产生有效干扰。加噪后信号如图 11 所示，图 11 从左到右分别为原始无噪声信号、加高斯白噪声信号和加混合噪声后的信号。与其他方法在 0 dB 混合噪声下的诊断精度对比如图 12 所示。由图 12 可知，在 0 dB 的混合噪声情况下，基于MHSACAE-CNN

45、的诊断精度高于其他方法，表现出良好的抗噪性能。为了进一步明确在噪声情况下使用本文方法对轴承故障诊断的情况，在测试数据信噪比为 0 dB 的情况下进行测试，并对测试结果做分类混淆矩阵热力图，展示各个类别故障的分类情况，混淆矩阵热力图如图 13 所示。图 9 各噪声等级下 MHSACAE 网络去噪效果图Fig.9 MHSACAE network denoising effect diagra

46、m under various noise levels图 10 凯斯西储大学数据集实验精度对比图 Fig.10 Comparison of experimental accuracy of CaseWestern Reserve University data set1 1 7 4第 4 期文斌，等：MHSACAE-CNN 在噪声下的电机轴承故障诊断在图 13 中，横坐标为网络预测的故障种类，纵坐标为实际的故障总类。测试数据集有 10 类故障，各类故障 66 个样本，

47、共 660 个样本。B 代表滚动体故障，IR 代表内圈故障，OR 代表外圈故障，NO 代表正常状态；0.17，0.35 和 0.53 分别代表故障损伤直径，单位为 mm。对角线为各类故障预测正确的数量，其余为各类别预测混淆数量。由图 13 可知，在0 dB 的信噪比下，0.35 mm 损伤的故障混淆程度最大，其中滚轴故障与内圈故障混淆了 11 个样本，与外圈故障混淆 5 个样本。4.2实验二为了进一步验

48、证 MHSACAE 网络的去噪效果，采用巴西里约热内卢联邦大学所提供的轴承诊断数据集进行实验。该数据集由机械故障模拟器对中平衡振动训练器上的传感器获得。该数据集包括正常状态、不平衡故障、外圈故障、内圈故障和滚轴故障5 种状态。为了与实验一作对比，选取正常、外圈故障、内圈故障和滚轴故障 4 种状态作为本次实验数据集。每种状态有 500 个样本，每个样本

49、有 2048 个数据点。同样按照 8 1 1 的比例划分为训练集、验证集和测试集。网络的结构和超参数与实验一相同。与其他方法的实验比较结果如图 14 所示。由图 14 可知，采用 SVM 时诊断精度整体低于深度学习方法，且抗噪性能较低，在 0 dB 信噪比下诊断精度仅有 30%。在只采用 CNN 的方法时，在信噪比为 15 dB 的情况下，诊断精度为 97%，而当信噪比降低，噪声量加大，其诊

50、断精度迅速下降。当信噪比为 10 dB 时，CNN 诊断精度为 86%，当信噪比为 6 dB 时，诊断精度只有 73%。由图 14 可知，在采用 DCAECNN 和MHSACAECNN 的方法时，抗噪性有了明显提升，尤其是在使用 MHSACAE-CNN 方法的情况下。在信噪比为 415 dB 的情况下，使用 MHSACAE-CNN 方法的诊断精度一直稳定在 98%以上，而DCAE-CNN 的方法诊断精度下降明显，说明了MHSACAE-CNN

展开阅读全文