Coal block abnormal behavior identification based on improved YOLOv5s + DeepSORT
-
摘要: 煤块检测方法主要包括传统图像检测方法和深度学习目标检测方法。传统图像检测方法检测精度不高、实时性较差、无法对堆煤进行准确判断；深度学习目标检测方法虽然可以实现实时检测，但没有对煤块的数量、滞留和堵塞状态进行识别，而且识别模型参数较多。针对上述问题，提出了一种基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法。首先通过摄像头和巡检机器人采集煤矿综采工作面带式输送机上煤块视频图像，并制作数据集。然后利用MobileNetV3_YOLOv5s_AF−FPN模型进行煤块图像目标检测：通过MobileNetV3替换原始YOLOv5s主干特征提取网络，减少参数量，提高推理速度；将YOLOv5s中原有的特征金字塔网络改进为增强特征金字塔网络（AF−FPN），以提高YOLOv5s网络对多尺度煤块目标的检测性能。利用DeepSORT进行煤块多目标跟踪：将改进YOLOv5s模型检测后的煤块图像作为DeepSORT的输入进行多目标跟踪，利用DeepSORT对煤块进行状态估计、数据关联匹配和跟踪器参数更新，确定跟踪结果，并对连续跟踪的煤块进行ID编码，对当前帧的煤块数量进行计数。最后在目标跟踪器中取出连续跟踪的目标，设置距离阈值，判断其是否滞留；设置数量阈值，判断其是否堵塞，最终实现煤块滞留和堵塞行为异常识别。利用自建dkm_data2021数据集对基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法的可靠性进行实验验证，结果表明：改进YOLOv5s模型相比YOLOv5s模型平均检测精度提高了1.45%，参数量减少了35.3%，推理加速了12.7%，平均漏检率降低了11.08%，平均误检率降低了11.54%；基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法检测精度为80.1%，可准确识别煤块滞留、堵塞状态，验证了该方法的可靠性。Abstract: Coal block detection methods mainly include traditional image detection methods and deep learning target detection methods. The traditional image detection method has low detection precision and poor real-time performance, and can not accurately determine the coal pile. Although the deep learning target detection method can achieve real-time detection, it does not identify the number, retention, and blockage of coal blocks. And there are many identification model parameters. To solve the above problems, a coal block abnormal behavior identification method based on improved YOLOv5s + DeepSORT is proposed. Firstly, video images of coal blocks on a belt conveyor in a fully mechanized coal mining face are collected by the camera and inspection robot, and data sets are made. Secondly, the MobileNetV3_YOLOv5s_AF-FPN model is used for detecting the coal image target. The original YOLOv5s backbone feature extraction network is replaced by MobileNetV3 to reduce the number of parameters and improve the reasoning speed. The original feature pyramid network in YOLOv5s is improved to AF-FPN to improve the detection performance of the YOLOv5s network for multi-scale coal targets. DeepSORT is used for multi-target tracking of coal blocks. The coal block image detected by the improved YOLOv5s is taken as the input of DeepSORT for multi-target tracking. DeepSORT is used to estimate the state of coal blocks, perform data association and matching, and update the tracker parameters to determine the tracking results. The continuously tracked coals are ID-coded, and the number of coals in the current frame is counted. Finally, the continuously tracked target is taken out from the target tracker, and a distance threshold is set. Whether the target is detained or not is determined. The quantity threshold is set to determine whether it is blocked. The identification of abnormal behavior of coal block retention and blocking state is finally realized. The reliability of the coal abnormal behavior identification method based on the improved YOLOv5s + DeepSORT is experimentally verified by using the self-built dkm_data2021 data set. The results show that compared with the YOLOv5s model, the average detection precision of the improved YOLOv5s model is improved by 1.45%, the parameter quantity is reduced by 35.3%, the reasoning is accelerated by 12.7%, the average missed detection rate is reduced by 11.08%, and the average false detection rate is reduced by 11.54%. The detection precision of coal block abnormal behavior identification method based on the improved YOLOv5s+DeepSORT is 80.1%, which can accurately identify the status of coal block retention and blockage. The result verifies the reliability of the method.
-
0. 引言
矿井提升机作为连接煤矿井下与地面的关键设备，担负着提升煤炭、矸石，下放材料，升降人员和设备的重要任务，其运行状况将直接影响煤矿生产。轴承作为提升机的关键部件之一，一旦发生异常状态，可能造成重大安全生产事故，因此，研究提升机轴承故障诊断方法具有重要意义[1-4]。
近年来，许多研究者对基于人工智能的提升机轴承故障诊断方法进行了大量研究。张梅等[4]提出了一种基于模糊故障树和贝叶斯网络的矿井提升机故障诊断方法，实现了故障类型的快速识别。王保勤[5]提出了一种基于一维卷积神经网络的提升机轴承故障诊断方法，利用卷积神经网络算法对振动信号进行提取与处理，对提升机发生的故障进行分类。刘旭等[6]设计了一种基于小波包与隐马尔可夫的矿井提升机主轴故障诊断模型，实现了矿井提升机主轴故障数据特征提取，并提高了抗干扰性，实现了较高的故障诊断准确率。马辉等[7]为提高提升机轴承故障诊断精度，提出了一种基于深度神经网络的双层次故障诊断系统，该系统利用滑动窗口重叠采样技术对数据进行增强，利用自编码器减少噪声影响，实现了诊断精度的提升。虽然上述基于人工智能的提升机轴承故障诊断方法取得了一定的效果，但缺乏足量有标签故障数据用于故障诊断模型训练，未充分考虑提升机在实际工作中常处于变工况，会导致相同故障数据间存在分布差异，使故障诊断准确率下降和适应性减弱。 针对上述问题，本文在深度学习方法基础上，融合近年来逐渐被研究者关注的迁移学习方法，提出了一种基于深度迁移特征选取（Deep Transferable Feature Selection，DTF）与平衡分布自适应（Balance Distribution Adaptation，BDA）的提升机轴承智能故障诊断方法。首先利用深度置信网络(Deep Belief Network，DBN)[8-9]对原始故障信号进行高维深度特征提取；其次利用基于ReliefF与域间差异的迁移特征选取（Transferable Feature Selection Based on ReliefF and Differences between Domains，TFRD）方法对各特征的可迁移性进行量化评估，选取可迁移特征构建深度特征子集；然后采用BDA处理源域和目标域特征集，降低域间分布差异；最后采用源域特征集训练故障模式识别分类器，对目标域样本进行故障识别与分类。
1. 提升机轴承故障诊断
1.1 故障诊断流程
基于DTF−BDA的提升机轴承智能故障诊断流程如图1所示，具体步骤如下。
![]()
图 1 基于 DTF−BDA 的提升机轴承智能故障诊断流程Figure 1. Flow of hoist bearing intelligent fault diagnosis based on deep transferable feature selection and balance distribution adaptation（1） 对不同工况下的轴承故障信号进行时频分析，提取时域、频域统计特征，采用DBN提取深度特征。
（2） 为从高维深度特征集中选取出既有利于故障模式识别，也有利于跨域故障诊断的特征，采用TFRD方法对各深度特征进行类别区分度和域不变性量化评估。采用ReliefF算法处理各类特征数据，获得表征类别区分度的权重值；计算同一特征在不同域间的最大均值差异(Maximum Mean Discrepancy，MMD)，表征其域不变性，构建一种新的特征可迁移性量化指标。
（3） 基于TFRD 方法，选取特征可迁移性大的深度特征构建特征子集，利用BDA对源域和目标域的特征子集进行分布适应，降低两者间的分布差异。
（4） 基于特征迁移学习后的源域有标签特征数据训练故障模式识别分类器，本文采用支持向量机（Support Vector Machine，SVM）作为模式识别分类器。将迁移学习后的目标域无标签特征数据输入训练好的分类器，输出故障模式分类结果。
1.2 基于DBN的深度特征提取
采用经典的DBN从时频域统计特征集中进一步挖掘深度特征。本文采用受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)和反向传播(Back Propagation，BP)网络堆叠而成的多隐含层神经网络构建深度特征提取网络，如图2所示，图中，
$ {v_1} $ ，$ {v_2} $ ，$ {v_3} $ 分别为RBM1，RBM2和RBM3的输入层数据，$ {h_1} $ ，$ {h_2} $ ，$ {h_3} $ 分别为RBM1，RBM2和RBM3的隐藏层数据[9]。本文将RBM3的隐性神经元作为深度特征，构建深度特征集，用于后续的特征可迁移性量化分析和特征迁移学习。![]()
图 2 基于3层RBM构建的DBNFigure 2. Deep belief network based on three layer restricted Boltzmann machine1.3 TFRD
虽然深度学习具有强大的隐藏特征挖掘能力，但其挖掘出来的特征并非全部都具有良好的故障模式识别和分类能力，尤其在变工况情况下，相同故障数据间存在分布差异，导致大多数基于深度学习的故障诊断模型会出现诊断效果不佳且泛化能力较弱的结果。因此，本文通过对深度特征的可迁移性进行量化分析，提出了TFRD方法，选取既有利于故障模式识别，也有利于迁移学习的深度特征，用于特征迁移学习和故障诊断模型训练。TFRD方法从特征的类别区分度和特征域不变性2个方面对深度特征的可迁移性进行量化评估。
1.3.1 特征的类别区分度量化
ReliefF算法作为经典的特征评价方法，能够根据各个特征与类别的相关性赋予特征不同的权重，实现特征类别区分度的量化[10]。在TFRD方法中，采用ReliefF算法对各深度特征数据进行处理，获取表征类别区分度的权重值。
给定包含P种特征样本源域特征集
${{\boldsymbol{F}}_{\rm{S}}}= [ {\bar f_1^{\rm{s}}}\;{\bar f_2^{\rm{s}}}\; \cdots \;{\bar f_P^{\rm{s}}}]^{{\rm{T}}}$ ，共有K种故障类别数据，其中，第p（$p \in [1,P]$ ）个特征为$$ {\bar {\boldsymbol{f}}_p^{\rm{s}}}{\text{ = }}\left[ {\begin{array}{*{20}{c}} {f_{11}^p}&{f_{12}^p}& \cdots &{f_{1N}^p} \\ {f_{21}^p}&{f_{22}^p}& \cdots &{f_{2N}^p} \\ \vdots & \vdots & & \vdots \\ {f_{K1}^p}&{f_{K2}^p}& \cdots &{f_{KN}^p} \end{array}} \right] $$ (1) 式中
$f_{kn}^p$ ($k \in [1,K],n \in [1,N] $ ，N为各种特征样本数)为第k种故障类别的第n个特征样本。基于ReliefF算法，获得P种特征的权重值，构成类别区分度权重值序列：
$$ {L_W} = \{ w(1),w(2), \cdots ,w(P)\} $$ (2) 式中
$ w(p) $ 为第p个特征经ReliefF算法得到的权重值，当特征的权重值越大，其类别区分度越好，则越有益于故障模式识别与分类。1.3.2 特征域不变性量化
MMD目前被广泛用于迁移学习中度量数据间分布差异[11-12]。因此，本文采用MMD来计算同一特征在不同域下的分布差异。给定概率分布不同的源域样本
${{{D}}_{\rm{S}}}{\text{ = \{ }}{x_1},{x_2}, \cdots ,{x_{{n_{\rm{S}}}}}{\text{\} }}$ 和目标域样本${{{D}}_{\rm{T}}}{\text{ = \{ }}{x_{{n_{\rm{S}}} + 1}}, {x_{{n_{\rm{S}}} + 2}}, \cdots ,{x_{{n_{\rm{S}}} + {n_{\rm{T}}}}}{\text{\} }}$ ，${n_{\rm{S}}}$ 与${n_{\rm{T}}}$ 分别为源域和目标域样本数。$ {{{D}}_{\rm{S}}} $ 和$ {{{D}}_{\rm{T}}} $ 间边缘概率分布的分布差异为$$ B = \left\| {\frac{1}{{{n_{\rm{S}}}}}\sum\limits_{{x_i} \in {{{D}}_{\rm{S}}}} {\phi ({x_i}) - \frac{1}{{{n_{\rm{T}}}}}\sum\limits_{{x_j} \in {{{D}}_{\rm{T}}}} {\phi ({x_j})} } } \right\|_{{H}}^2 $$ (3) 式中：
$x_i $ ，$x_j $ 分别为第i个源域样本和第j个目标域样本，$i \in [1,{n_{\rm{S}}}],j \in [{n_{\rm{S}}} + 1,{n_{\rm{S}}} + {n_{\rm{T}}}]$ ；H为再生核Hilbert空间；$ \phi (\cdot)$ 为H中的非线性映射函数。本文采用轴承正常状态下的源域特征集和目标域特征集样本计算特征的分布差异，可获得各特征的分布差异序列：
$$ {J_{\rm{M}}} = \{ m(1)，m(2)， \cdots ，m(P)\} $$ (4) 式中
$ m(p) $ 为第p个特征在源域和目标域间的分布差异。当分布差异越大，表明该特征在不同工况下数据分布差异越大，因此，特征在不同域下样本的分布差异越小，其域不变性越好，越有利于特征迁移学习。
1.3.3 特征可迁移性量化指标构建
基于表征特征类别区分度的权重值和表征域不变性的分布差异，构建一种新的特征可迁移性量化指标−类别权重与最大均值差异比（Ratio of Class Weight and Maximum Mean Discrepancy，RCM），表达式如下：
$$ r(p){\text{ = }}\frac{{w(p)}}{{m(p)}} $$ (5) 对于P种特征，基于式（5），可获得对应的RCM序列：
$$ {O_{\rm{R}}} = \{ r(1),r(2), \cdots ,r(P)\} $$ (6) 当特征的RCM值越大，其类别区分度和域不变性的综合性能越好，即可迁移性越好，越有利于特征迁移学习。因此，本文将计算各深度特征的RCM序列，并对其降序排列，选取排序靠前的深度特征构建新的可迁移特征集，用于后续的特征迁移学习和故障诊断分类器的训练。
1.4 基于BDA的特征迁移学习
BDA是由Wang Jindong等[13]于2017年提出的一种新的特征迁移学习方法，用于不同域数据之间的分布适应，降低分布差异。BDA旨在解决经典的特征迁移学习方法的迁移成分分析（Transfer Component Analysis，TCA）和联合分布自适应（Joint Distribution Adaptation，JDA）在进行不同域数据间分布适应时，边缘概率分布和条件概率分布存在的问题。为此，BDA引入了一种动态平衡因子，对边缘概率分布和条件概率分布的自适应进行动态调整，进而提高不同域间分布自适应的效果。
给定2个边缘概率分布和条件概率分布均不相等的域数据，有标签源域
${{{D}}_{{\text{S\_Class}}}}{\text{ = \{ }}({x_1},{c_1}),({x_2},{c_2}), \cdots , ({x_{{n_{\rm{S}}}}},{c_{{n_{\rm{S}}}}}){\text{\} }}$ （${c_i}$ 为对应样本${x_i}$ 的类别标签）和无标签目标域${{{D}}_{\text{T}}}{\text{ = \{ }}{x_{{n_{\rm{S}}}{\text{ + }}1}},{x_{{n_{\rm{S}}}{\text{ + }}2}}, \cdots ,{x_{{n_{\rm{S}}} + {n_{\rm{T}}}}}{\text{\} }}$ 。BDA的优化目标是通过源域有标签样本和目标域无标签样本学习得到一个映射矩阵A，使得映射变换后的源域和目标域间分布差异最小：$$ \left\{ \begin{array}{l} \mathop {{\text{min}}}\limits_{\boldsymbol{A}} {\left( {\mu Y({{{D}}_{{\text{S\_Class}}}}, {{{D}}_{\text{T}}}){{ + (1 - }}\mu {\text{)}}{Y_{{\rm{Conditional}}}}({{{D}}_{{\text{S\_Class}}}}, {{{D}}_{\text{T}}})} \right)_{{H}}}{{ + \lambda }}\left\| {\boldsymbol{A}} \right\|_{{F}}^{\text{2}} \\ {\text{s}}{\text{.t}}{\text{.}}\;\;{{\boldsymbol{A}}^{\mathbf{T}}}{\boldsymbol{X}}{{\boldsymbol{H}}_0}{{\boldsymbol{X}}^{\mathbf{T}}}{\boldsymbol{A}}={\boldsymbol{I}} \end{array} \right. $$ (7) 式中：
$ \mu $ 为平衡因子，$ \mu \in [0,1] $ ，根据人工经验确定数值，实现动态调整对源域和目标域的边缘概率分布和条件概率分布的适应；$ {Y_{}}({{{D}}_{{\text{S\_Class}}}},{{{D}}_{\text{T}}}) $ 和${Y_{{\rm{Conditional}}}} ({{{D}}_{{\text{S\_Class}}}},{{{D}}_{\text{T}}})$ 分别为经映射矩阵A变换后的源域和目标域数据间的边缘概率分布距离和条件概率分布距离，采用的度量方法为经典的MMD距离；$\lambda \left\| {\boldsymbol{A}} \right\|_{{F}}^{\text{2}}$ 为Frobenius规范正则项，$\lambda$ 为权衡参数；X为源域和目标域样本矩阵；$ {{\boldsymbol{H}}_0} $ 为中心矩阵；I为单位矩阵。$$ \begin{split} Y({{{D}}_{\text{S\_Class}}},{{{D}}_{\text{T}}}) =& \left\| {\frac{1}{{n_{\text{S}}^{}}}\sum\limits_{i = 1}^{{n_{\rm{S}}}} {{{\boldsymbol{A}}^{\text{T}}}{{{x}}_i} - \frac{1}{{n_{\text{T}}^{}}}\sum\limits_{j = {n_{\rm{S}}} + 1}^{{n_{\rm{S}}} + {n_{\rm{T}}}} {{{\boldsymbol{A}}^{\text{T}}}{{{x}}_j}} } } \right\|_{{H}}^2 = \\ & {\rm{tr}}({{\boldsymbol{A}}^{\text{T}}}{\boldsymbol{X}}{{\boldsymbol{M}}_{\bf{0}}}{{\boldsymbol{X}}^{\text{T}}}{\boldsymbol{A}}) \end{split} $$ (8) $${\{{\boldsymbol{M}}_{\bf{0}}\}}_{ij}{\rm{ = }}\left\{ {\begin{array}{*{20}{l}} {\dfrac{1}{{{n_{\rm{S}}}{n_{\rm{S}}}}}}&{{x_i},{x_j} \in {{D}}_{\rm{S}}^{}}\\ {\dfrac{1}{{{n_{\rm{T}}}{n_{\rm{T}}}}}}&{{x_i},{x_j} \in {{D}}_{\rm{T}}^{}}\\ {\dfrac{{ - 1}}{{{n_{\rm{S}}}{n_{\rm{T}}}}}}&{其他} \end{array}} \right. $$ (9) $$ \begin{split} {Y_{{\rm{Conditional}}}}({{{D}}_{\text{S\_Class}}},{{{D}}_{\text{T}}}) = & \sum\limits_{c = 1}^Z {\left\| {\frac{1}{{n_{\text{S}}^{(c)}}} \sum\limits_{{x_i} \in {{D}}_{\text{S}}^{{{(c)}}}} {{{\boldsymbol{A}}^{\text{T}}}{{{x}}_i} - \frac{1}{{n_{\text{T}}^{(c)}}} \sum\limits_{{x_j} \in {{D}}_{\text{T}}^{{{(c)}}}} {{{\boldsymbol{A}}^{\text{T}}}{{{x}}_j}} } } \right\|_{{H}}^2} = \\ & \sum\limits_{c = 1}^Z {{\rm{tr}}({{\boldsymbol{A}}^{\text{T}}}{\boldsymbol{X}}{{\boldsymbol{M}}_c}{{\boldsymbol{X}}^{\text{T}}}{\boldsymbol{A}})} \\[-15pt] \end{split} $$ (10) $${\{{{\boldsymbol{M}}_{\boldsymbol{c}}}\}_{ij}}{\rm{ = }}\left\{ {\begin{array}{*{20}{l}} {\dfrac{1}{{n_{\rm{S}}^{(c)}n_{\rm{S}}^{(c)}}}}&{{x_i},{x_j} \in {{D}}_{\rm{S}}^{({{c}})}}\\ {\dfrac{1}{{n_{\rm{T}}^{(c)}n_{\rm{T}}^{(c)}}}}&{{x_i},{x_j} \in {{D}}_{\rm{T}}^{({{c}})}}\\ {\dfrac{{ - 1}}{{n_{\rm{S}}^{(c)}n_{\rm{T}}^{(c)}}}}&\begin{array}{l} {x_i} \in {{D}}_{\rm{S}}^{({{c}})},{x_j} \in {{D}}_{\rm{T}}^{({{c}})}\\ {x_i} \in {{D}}_{\rm{T}}^{({{c}})},{x_j} \in {{D}}_{\rm{S}}^{({{c}})} \end{array}\\ 0&{其他} \end{array}} \right. $$ (11) 式中：
$ c \in [1,Z] $ ，Z为目标域样本类别；$ {{D}}_{\text{S}}^{{{(c)}}} $ 为第c类的源域样本；$ {{D}}_{\text{T}}^{{{(c)}}} $ 为第c类的目标域样本；$ n_{\text{S}}^{{{(c)}}} $ 为第c类的源域样本数；$ n_{\text{T}}^{{{(c)}}} $ 为第c类的目标域样本数。2. 实验验证
2.1 实验数据与任务设置
为验证基于DTF−BDA的提升机轴承智能故障诊断方法的有效性与优越性，采用美国凯斯西储大学轴承故障数据集[4,5,8,13]开展不同工况下数据故障诊断的实验分析。实验台如图3所示，数据集见表1。本文采用4种工况下的12种轴承状态数据开展实验验证，设置4个域数据：电动机转速为1 797 r/min时的12种状态数据为1个域数据(域1)，电动机转速分别为1 772，1 750，1 730 r/min时的12种状态数据为另外3个域数据（域2−域4）。每个域数据中包含随机抽取的720个样本，每个样本由2 000个连续数据点构成。
表 1 凯斯西储大学轴承故障数据集Table 1. Bearing fault dataset of Case Western Reserve University轴承状态 缺陷尺
寸/cm不同轴承工况下的样本数 类别标签 域1 域2 域3 域4 正常状态 0 60 60 60 60 1 滚动体缺陷 0.017 78 60 60 60 60 2 0.035 56 60 60 60 60 3 0.053 34 60 60 60 60 4 0.071 12 60 60 60 60 5 内圈缺陷 0.017 78 60 60 60 60 6 0.035 56 60 60 60 60 7 0.053 34 60 60 60 60 8 0.071 12 60 60 60 60 9 外圈缺陷 0.017 78 60 60 60 60 10 0.035 56 60 60 60 60 11 0.053 34 60 60 60 60 12 由于实际工业场景下的提升机轴承运行状态常为变工况，与训练故障诊断模型的样本所处工况不同，因此，实验分析共设置4个故障诊断任务。任务1：电动机转速为1 750 r/min时的数据作为源域（训练样本），电动机转速为1 730 r/min时的数据作为目标域（测试样本）；任务2：电动机转速为1 730 r/min时的数据作为源域，电动机转速为1 750 r/min时的数据作为目标域；任务3：电动机转速为1 772 r/min时的数据作为源域，电动机转速为1 750 r/min时的数据作为目标域；任务4：电动机转速为1 750 r/min时的数据作为源域，电动机转速为1 772 r/min时的数据作为目标域。在该4个任务下进行故障诊断对比实验。
2.2 实验结果分析
根据图1所示的基于DTF−BDA的提升机轴承智能故障诊断流程构建对应的DTF−BDA故障诊断模型。首先，将原始轴承振动信号经小波包变换（Wavelet Packet Transform, WPT）4层分解后，对终端16个节点进行单支重构，提取重构信号的Hilbert包络谱和边际谱，再计算11种统计参数（能量、偏度、波峰因子、能量熵、平均值、极差、峰度、标准差、形状因子、脉冲因子和纬度因子）[9,14-15]，共获得352个特征，即原始时频特征集。将352个时频特征输入DBN进行深度特征提取。激活函数选用sigmoid函数，隐含层神经元个数设置为500，300，200，学习率为0.01。本文共提取200个深度特征构建深度特征集。其次，采用TFRD方法对深度特征集中各特征进行可迁移性量化，获得RCM序列，并对其降序排列，选取RCM值大的深度特征构建特征子集。然后，使用BDA对来自源域有标签和目标域无标签的特征子集进行分布适应，减少分布差异。最后，利用BDA处理后的源域特征集训练故障模式识别分类器(SVM)，将已训练好的SVM分类器用于目标域无标签样本的故障模式识别与分类。
本文采用经典机器学习方法、深度学习方法和迁移学习方法构建了8种故障诊断模型，分别为FS（Feature Set，特征集）−SVM，FS−KNN（k-Nearest Neighbor，K−最近邻），FS−DBN−Softmax（Soft Version of Max），FS−DAE（Deep Auto-Encoder，深度自编码器）−Softmax，FS−TCA−SVM，FS−JDA−SVM，FS−TFRD−TCA和FS−TFRD−JDA，用于与DTF−BDA故障诊断模型进行对比。FS−SVM模型是将原始数据经时频方法处理后提取的时频特征集直接输入SVM进行模型训练和测试。FS−KNN模型是将原始数据经时频方法处理后提取的时频特征集直接输入KNN进行模型训练和测试。FS−DBN−Softmax模型是将时频特征经DBN做深度特征提取，再输入Softmax模型进行模型训练和测试。FS−DAE−Softmax模型是将时频特征经DAE做深度特征提取，再输入Softmax模型进行模型训练和测试。FS−TCA−SVM模型是将时频特征集经TFRD特征选取后输入TCA进行特征迁移学习，再采用SVM分类器进行故障模式识别与分类。FS−JDA−SVM模型是将时频特征集经TFRD特征选取后输入JDA进行特征迁移学习，再采用SVM分类器进行故障模式识别与分类。FS−TFRD−TCA模型是将时频特征集经TFRD特征选取后输入TCA进行特征迁移学习，再采用SVM分类器进行故障模式识别与分类。FS−TFRD−JDA模型是将时频特征集经TFRD特征选取后输入TCA进行特征迁移学习，再采用SVM分类器进行故障模式识别与分类。
9种模型在不同工况下故障诊断准确率对比结果见表2，FS−TFRD−TCA，FS−TFRD−JDA和DTF−BDA模型的故障诊断实验结果见表3。
表 2 不同故障诊断模型在4个任务下的故障诊断准确率对比Table 2. Comparison of fault diagnosis accuracy of different fault diagnosis models under 4 fault diagnosis tasks% 故障模型 故障诊断准确率 任务1 任务2 任务3 任务4 FS−SVM 95.00 73.13 87.50 78.96 FS−KNN 96.88 82.50 90.13 85.00 FS−DBN−Softmax 85.21 85.63 82.50 80.13 FS−DAE−Softmax 59.17 53.96 53.33 51.67 FS−TCA−SVM 77.50 78.75 72.67 76.13 FS−JDA−SVM 83.33 81.67 79.17 77.50 FS−TFRD−TCA 96.88 96.67 95.42 95.00 FS−TFRD−JDA 98.13 98.96 97.71 97.08 DTF−BDA 100.00 100.00 100.00 100.00 表 3 不同故障诊断模型实验结果Table 3. Experimental results of different fault diagnosis models可迁移特征
选取数故障诊断准确率/% FS−TFRD−TCA FS−TFRD−JDA DTF−BDA 任务1 任务2 任务3 任务4 任务1 任务2 任务3 任务4 任务1 任务2 任务3 任务4 20 66.04 67.08 60.67 63.17 68.67 65.83 61.67 60.50 71.33 69.83 70.33 68.17 40 71.67 73.13 66.83 68.50 74.50 73.17 72.50 71.33 77.50 76.67 75.00 74.83 60 79.79 81.88 76.00 78.67 80.00 81.67 80.33 79.29 83.33 82.67 82.67 82.50 80 83.54 86.04 82.67 84.50 89.83 87.00 87.50 88.13 91.67 92.00 92.50 93.13 100 88.96 88.33 84.83 86.50 95.17 96.83 94.83 94.50 99.50 99.17 99.67 99.50 120 95.00 95.63 91.33 89.17 97.67 96.00 97.50 96.33 98.33 98.17 99.13 98.67 140 96.46 96.00 96.33 95.50 95.67 95.17 94.83 94.33 96.67 96.50 97.67 96.46 160 89.38 92.67 86.50 84.83 88.00 86.83 89.33 87.00 94.83 93.33 95.50 94.83 180 80.83 82.50 76.33 82.67 84.33 82.50 86.17 84.67 92.17 91.50 93.13 92.67 200 77.50 78.75 72.67 76.13 83.33 81.67 79.17 77.50 88.75 86.46 83.75 82.08 （1） 从表2可看出：在4个故障诊断任务下，DTF−BDA模型的故障诊断准确率明显高于其他模型，最高可达100%，验证了基于DTF−BDA的提升机轴承智能故障诊断方法的有效性。
（2） 从表2还可看出：仅采用经典机器学习方法SVM，KNN和经典深度学习方法DBN和DAE构建的故障诊断模型用于不同工况下的故障诊断，其故障诊断性能较低，FS−SVM和FS−KNN模型仅任务1的故障诊断准确率可达95%以上，其余任务的故障诊断准确率均明显降低；FS−DBN−Softmax和FS−DAE−Softmax模型的故障诊断准确率更低，与DTF−BDA模型的故障诊断准确率差距较大。FS−TFRD−TCA和FS−TFRD−JDA模型的最高故障诊断准确率均能达到95%以上，明显高于FS−TCA−SVM和FS−JDA−SVM模型，表明由于TFRD方法的引入，使故障诊断准确率得到了明显提高。
（3） 从表3可看出：选取不同数量的可迁移特征时，对模型故障诊断准确率有明显影响：FS−TFRD−TCA模型在选取140个可迁移特征时，任务1能够达到96.46%的故障诊断准确率，比200个可迁移特征时（即未使用TFRD方法，此时与FS−TCA−SVM模型等效）的故障诊断准确率高18.96%；FS−TFRD−JDA和DTF−BDA模型也有类似的规律。基于表2中FS−TCA−SVM，FS−JDA−SVM，FS−TFRD−TCA和FS−TFRD−JDA模型的结果对比和表3结果，表明了TFRD能够明显提升基于迁移学习方法的故障诊断模型在不同工况下的故障诊断性能。
（4） BDA相比于TCA和JDA在提升故障诊断模型在不同工况下的故障诊断性能上更具优势。根据表3中当可迁移特征数为200时，3个模型在4个任务下的故障诊断准确率可知，DTF−BDA模型在任务1−4下的故障诊断准确率分别为88.75%，86.46%，83.75%和82.08%，均明显高于FS−TFRD−TCA和FS−TFRD−JDA模型的准确率，表明BDA方法的故障诊断性能优于TCA和JDA。
3. 结论
（1） 提出了一种基于DTF−BDA的提升机轴承智能故障诊断方法。首先利用DBN对原始故障信号进行高维深度特征提取；其次利用TFRD方法对各特征的可迁移性进行量化评估，选取可迁移特征构建深度特征子集；然后采用BDA处理源域和目标域特征集，降低域间分布差异；最后采用源域特征集训练故障模式识别分类器，对目标域样本进行故障识别与分类。
（2） 为验证基于DTF−BDA的提升机轴承智能故障诊断方法的有效性和TFRD与BDA方法的优势，采用美国凯斯西储大学轴承故障数据集开展了故障诊断对比实验分析。实验结果表明：① DTF−BDA在获得理想的故障诊断准确率方面优势突出，最高故障诊断准确率达100%。② TFRD在提升迁移学习方法的故障诊断性能方面具有明显优势，FS−TFRD−TCA和FS−TFRD−JDA模型最高故障诊断准确率分别可达96.46%和97.67%。③ BDA相比于TCA和JDA，在提升故障诊断模型在不同工况下的故障诊断性能上更具优势，DTF−BDA模型在使用所有200个可迁移特征时在任务1−4的故障诊断准确率分别为88.75%，86.46%，83.75%和82.08%，均明显高于FS−TFRD−TCA和FS−TFRD−JDA模型的故障诊断准确率。
-
![]()
图 4 MobileNetV3_YOLOv5s_AF−FPN网络结构
Figure 4. MobileNetV3_YOLOv5s_AF-FPN network structure
![]()
图 9 YOLOv5s模型与MobileNetV3_YOLOv5s_AF−FPN模型的煤块检测效果对比
Figure 9. Comparison of coal detection effect of YOLOv5s model and MobileNetV3_YOLOv5s_AF-FPN model
表 1 MobileNetV3_Large结构
Table 1 MobileNetV3_Large structure
Input Shape Operator SE AF Stride 2242×3 Conv2d − HS 2 1122×16 Bneck,3×3 − RE 1 1122×16 Bneck,3×3 − RE 2 562×24 Bneck,3×3 √ RE 1 562×24 Bneck,3×3 √ RE 2 282×40 Bneck,3×3 √ RE 1 282×40 Bneck,3×3 − RE 1 282×40 Bneck,3×3 − HS 2 142×80 Bneck,3×3 − HS 1 142×80 Bneck,3×3 − HS 1 142×80 Bneck,3×3 − HS 1 142×80 Bneck,3×3 √ HS 1 142×112 Bneck,3×3 √ HS 1 142×112 Bneck,5×5 √ HS 1 72×160 Bneck,5×5 √ HS 2 72×160 Bneck,5×5 √ HS 1 72×160 Conv2d,1×1 − HS 1 72×160 Pool, 7×7 − − 1 12×960 Conv2d,1×1 − HS 1 12×1280 Conv2d,1×1 − − 1 
下载: 导出CSV
表 2 特征提取网络实验对比
Table 2 Comparison of feature extraction network experiments
模型 召回率 平均精度 参数量/M 平均漏检率 平均误检率 推理时间/ms YOLOv5s 0.785 0.821 7.09 0.334 0.026 18.9 MobileNetV3_ YOLOv5s 0.766 0.795 3.56 0.365 0.027 15.0
下载: 导出CSV
表 3 特征融合网络实验对比
Table 3 Comparison of feature fusion network experiments
模型 召回率 平均精度 参数量/M 平均漏检率 平均误检率 推理时间/ms YOLOv5s 0.785 0.829 7.09 0.334 0.026 18.9 YOLOv5s_AF−FPN 0.824 0.870 8.12 0.365 0.027 15.0 MobileNetV3_YOLOv5s 0.766 0.795 3.56 0.365 0.027 15.0 MobileNetV3_YOLOv5s_AF−FPN 0.810 0.841 4.59 0.297 0.023 16.5
下载: 导出CSV
表 4 多目标跟踪结果对比
Table 4 Comparison of multi-target tracking results
模型 MOTA/% MOTP/% 漏检数 误检数 推理速度/
（帧·s−1）YOLOv5s+DeepSORT 60.5 76.5 119 57 34 MobileNetV3_YOLOv5s_
AF−FPN+DeepSORT63.4 80.1 95 42 40
下载: 导出CSV
-
[1] 王国法,赵国瑞,任怀伟. 智慧煤矿与智能化开采关键核心技术分析[J]. 煤炭学报,2019,44(1):34-41. DOI: 10.13225/j.cnki.jccs.2018.5034 WANG Guofa,ZHAO Guorui,REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining[J]. Journal of China Coal Society,2019,44(1):34-41. DOI: 10.13225/j.cnki.jccs.2018.5034
[2] 王国法,徐亚军,张金虎,等. 煤矿智能化开采新进展[J]. 煤炭科学技术,2021,49(1):1-10. WANG Guofa,XU Yajun,ZHANG Jinhu,et al. New development of intelligent mining in coal mines[J]. Coal Science and Technology,2021,49(1):1-10.
[3] 张渤,谢金辰,张后斌. 矿井下输送带大块物体检测[J]. 煤炭技术,2021,40(4):154-156. DOI: 10.13301/j.cnki.ct.2021.04.046 ZHANG Bo,XIE Jinchen,ZHANG Houbin. Detection of large objects in transportation belt under mine[J]. Coal Technology,2021,40(4):154-156. DOI: 10.13301/j.cnki.ct.2021.04.046
[4] 许军,吕俊杰,杨娟利,等. 基于图像处理的溜槽堆煤预警研究[J]. 煤炭技术,2017,36(12):232-234. XU Jun,LYU Junjie,YANG Juanli,et al. Research on early warning of coal chute blocking based on image processing[J]. Coal Technology,2017,36(12):232-234.
[5] 张立亚. 矿山智能视频分析与预警系统研究[J]. 工矿自动化,2017,43(11):16-20. ZHANG Liya. Research on intelligent video analysis and early warning system for mine[J]. Industry and Mine Automation,2017,43(11):16-20.
[6] 吴帅,徐勇,赵东宁. 基于深度卷积网络的目标检测综述[J]. 模式识别与人工智能,2018,31(4):335-346. DOI: 10.16451/j.cnki.issn1003-6059.201804005 WU Shuai,XU Yong,ZHAO Dongning. Survey of object detection based on deep convolutional networks[J]. Pattern Recognition and Artificial Intelligence,2018,31(4):335-346. DOI: 10.16451/j.cnki.issn1003-6059.201804005
[7] 管皓,薛向阳,安志勇. 深度学习在视频目标跟踪中的应用进展与展望[J]. 自动化学报,2016,42(6):834-847. DOI: 10.16383/j.aas.2016.c150705 GUAN Hao,XUE Xiangyang,AN Zhiyong. Advances on application of deep learning for video object tracking[J]. Acta Automatica Sinica,2016,42(6):834-847. DOI: 10.16383/j.aas.2016.c150705
[8] 罗海波,许凌云,惠斌,等. 基于深度学习的目标跟踪方法研究现状与展望[J]. 红外与激光工程,2017,46(5):14-20. LUO Haibo,XU Lingyun,HUI Bin,et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering,2017,46(5):14-20.
[9] 南柄飞, 郭志杰, 王凯, 等. 基于视觉显著性的煤矿井下关键目标对象实时感知研究[J/OL]. 煤炭科学技术: 1-11[2022-01-12]. https://kns.cnki. net/kcms/detail/11.2402.TD.20210512.1304.004.html. NAN Bingfei, GUO Zhijie, WANG Kai, et al. Real-time method of target ROI in coal mine underground based on visual saliency [J/OL]. Coal Science and Technology: 1-11[2022-01-12]. https://kns.cnki.net/kcms/detail/11.2402.TD.20210512.1304.004.html.
[10] 杜京义,郝乐,王悦阳,等. 一种煤矿井下输煤大块物检测方法[J]. 工矿自动化,2020,46(5):63-68. DU Jingyi,HAO Le,WANG Yueyang,et al. A detection method for large blocks in underground coal transportation[J]. Industry and Mine Automation,2020,46(5):63-68.
[11] WANG Yujing,WANG Yuanbin,DANG Langfei. Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J]. Journal of Ambient Intelligence and Humanized Computing,2020,46(7):1-10.
[12] 胡璟皓,高妍,张红娟,等. 基于深度学习的带式输送机非煤异物识别方法[J]. 工矿自动化,2021,47(6):57-62,90. DOI: 10.13272/j.issn.1671-251x.2021020041 HU Jinghao,GAO Yan,ZHANG Hongjuan,et al. Recognition method of non-coal foreign objects of belt conveyor based on deep learning[J]. Industry and Mine Automation,2021,47(6):57-62,90. DOI: 10.13272/j.issn.1671-251x.2021020041
[13] 叶鸥,窦晓熠,付燕,等. 融合轻量级网络和双重注意力机制的煤块检测方法[J]. 工矿自动化,2021,47(12):75-80. YE Ou,DOU Xiaoyi,FU Yan,et al. Coal block detection method integrating lightweight network and dual attention mechanism[J]. Industry and Mine Automation,2021,47(12):75-80.
[14] 张伟,庄幸涛,王雪力,等. DS−YOLO:一种部署在无人机终端上的小目标实时检测算法[J]. 南京邮电大学学报(自然科学版),2021,41(1):86-98. ZHANG Wei,ZHUANG Xingtao,WANG Xueli,et al. DS-YOLO:a real-time small object detection algorithm on UAVs[J]. Journal of Nanjing University of Posts and Telecommunications ( Natural Science Edition),2021,41(1):86-98.
[15] MITTAL S. A survey on optimized implementation of deep learning models on the NVIDIA Jetson platform[J]. Journal of Systems Architecture,2019,97:428-442. DOI: 10.1016/j.sysarc.2019.01.011
[16] WANG Junfan,CHEN Yi,GAO Mingyu,et al. Improved YOLOv5 network for real-time multi-scale traffic sign detection[J]. IEEE Sensors Journal,2021,38(8):1724-1733.
[17] WANG Chenyao, LIAO Hongyuan, WU Yuehua, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle, 2020: 390-391.
[18] HE Kaiming,ZHANG Xingyu,REN Shaoqing,et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916. DOI: 10.1109/TPAMI.2015.2389824
[19] LIU Shu, QI Lu, QIN Haifang, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8759-8768.
[20] BEWLEY A, GE Z, OTT L, et al. Simple online and real time tracking[C]//2016 IEEE International Conference on Image Processing （ ICIP）, Phoenix, 2016: 3464-3468.
-
期刊类型引用(11)
1. 尹波，彭雷祥，王正超，张磊，尹宜辰. 基于精细地质建模的开采沉陷预计算法优化与应用研究. 煤炭工程. 2025(01): 23-28 . 
百度学术
2. 王忠宾，李福涛，司垒，魏东，戴嘉良，张森. 采煤机自适应截割技术研究进展及发展趋势. 煤炭科学技术. 2025(01): 296-311 . 百度学术
3. 文广超，王一博，冯雅杰，周彦斌，张一帆，赵梦余. 煤矿井下三维透明地质环境建设探索. 河南理工大学学报(自然科学版). 2025(03): 71-80 . 百度学术
4. 韩晓刚，王江梅，朱万成，李荟，徐晓冬，秦涛，景树柱，韩国平. 多源数据融合的双阳煤矿精细化建模及虚拟现实平台搭建. 矿业研究与开发. 2024(03): 178-184 . 百度学术
5. 于建军，王建成，刘百祥. 基于地质物探数据的工作面透明地质模型构建研究与应用. 山东煤炭科技. 2024(04): 157-161+167+173 . 百度学术
6. 赵亦辉，周转会，杨青，孙永锋，吴振. 采煤机单刀截割曲线最优生成算法研究. 煤炭技术. 2024(06): 224-227 . 百度学术
7. 王海军，郑三龙，王相业，董敏涛，吴艳，马良，杨伟，朱玉英. 地质构造隐蔽致灾因素透明化勘查技术——以新疆屯宝煤矿为例. 煤炭科学技术. 2024(09): 173-188 . 百度学术
8. 李蔚林，赵嘉良，阮柳谭，李泽荃. 基于空间自回归插值方法的煤层厚度预测研究. 煤炭工程. 2024(S1): 112-119 . 百度学术
9. 贾建称，贾茜，桑向阳，吴艳. 我国煤矿地质保障系统建设30年:回顾与展望. 煤田地质与勘探. 2023(01): 86-106 . 百度学术
10. 李森，李重重，刘清. 基于透明地质的综采工作面规划截割协同控制系统. 煤炭科学技术. 2023(04): 175-184 . 百度学术
11. 刘亚，王静宜. 煤层智能化开采设备状态远程监测系统设计. 自动化与仪器仪表. 2023(05): 332-336 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 497
- HTML全文浏览量: 332
- PDF下载量: 92
- 被引次数: 14
