0.   引言

带式输送机是现代化生产中一种连续运输设备，已被广泛应用于煤炭、港口、电力、矿山、冶金、化工等领域^[1-2]。带式输送机主要由输送带、机架、托辊、滚筒、张紧装置、传动装置等组成，其中滚筒是带式输送机主要的传动部件，由于其长期工作在复杂、条件恶劣的环境中，负荷大、负载不平衡，经常产生筒体开焊、包胶破损、包胶脱落等故障，造成重大安全事故，为此需要对滚筒故障进行实时检测。

传统的带式输送机滚筒故障检测方法是靠检修人员通过观察滚筒表面状态主观判断滚筒故障，需要停机检测，不仅影响生产，而且检测效率低、准确性和安全性较差。近年来，随着信号处理技术与神经网络模型的快速发展，不少学者对滚筒故障检测进行了研究，并取得了一定进展。韩越^[3]提出了基于小波降噪的集合经验模态分解（Ensemble Empirical Mode Decomposition，EEMD）包络解调算法，利用小波软阈值法将掺杂的噪声去除后进行EEMD，将其中能量较大的本征模态函数（Intrinsic Mode Function，IMF）分量进行希尔伯特变换，得到包络后的 IMF分量进行频谱分析，从而提取滚筒的故障特征频率。但微弱的故障信号难以提取，准确率仍有一定的提升空间。李丹宁等^[4]提出了基于模糊神经网络的滚筒实时故障预警方法，实时采集滚筒表面温度并进行模糊化处理，以降低成本。但仅通过温度检测可能会造成误检，准确率不高。张强^[5]提出了一种基于音频小波包分解和卷积神经网络(Convolutional Neural Network，CNN)的滚筒故障检测方法，利用小波包分解算法将滚筒的音频数据分解为多个频段，利用CNN对各频带特征进行分类，自动提取滚筒的故障特征，提高了带式输送机滚筒故障诊断效率。但这种检测方法需要提取滚筒音频数据，由于工业现场环境复杂，具有一定难度。丁秀荣等^[6]提出了一种基于热成像相机的滚筒检测方法，采用基于人工神经网络的深度学习模型进行目标检测和分割，实现滚筒故障检测。这种检测方法在检测精度上有所提升，但样本数据量较少，普适性不高。

针对上述问题，本文提出了一种基于改进YOLOv5s的带式输送机滚筒故障检测方法。首先，在YOLOv5s网络模型中增加小尺寸检测层，增强对小目标检测的学习能力。然后，在主干网络（Backbone）和颈部网络（Neck）间引入卷积注意力机制（Convolutional Block Attention Mechanism，CBAM），在通道维度和空间维度上进行特征优化，提高目标检测的准确率。最后，在Neck中引入高效通道注意力机制（Efficient Channel Attention Mechanism，ECA），在通道维度上关注重要信息，提升目标特征的提取能力。

1.   YOLOv5s网络模型及其改进

1.1   YOLOv5s网络模型

YOLOv5s网络模型由输入端（Input）、Backbone、Neck和Head 4个部分组成^[7-11]，如图1所示。

图  1  YOLOv5s网络结构

Figure  1.  YOLOv5s network structure

下载: 全尺寸图片 幻灯片

Input对数据集进行预处理，主要包括输入图像尺寸自适应调整、数据增强及自适应锚框的计算。Backbone对特征进行初步提取，输出有效特征层。采用CSPDarknet进行特征提取，主要包含Focus、SPP、CBS及CSP模块^[12-13]。Neck进一步加强特征提取能力，采用特征金字塔结构（Feature Pyramid Networks，FPN）^[14]和路径聚合网络（Path-Aggregation Network，PANet）^[15]实现不同尺度特征信息的融合。Head是YOLOv5s的分类器与回归器，用于检测大小不同的目标。YOLOv5s网络模型由3个检测层组成，生成3个大小不同的特征向量预测图像特征，得到位置信息、类别信息和置信度。

1.2   改进YOLOv5s网络模型

改进的YOLOv5s网络模型如图2所示。首先，增加小尺寸检测层，由原来的3个检测层变为4个检测层，因此Head也由原来的3个检测头变为4个检测头，使尺寸较小的滚筒故障更易被检测到。然后，在Backbone和Neck间引入CBAM^[16]，在通道维度和空间维度上进行特征优化，使滚筒故障特征更加明显，提高目标检测的准确率。最后，在Neck中引入ECA^[17-19]，在通道维度上进一步优化，以增强对滚筒故障的特征提取能力。

图  2  改进YOLOv5s网络结构

Figure  2.  Improved YOLOv5s network structure

下载: 全尺寸图片 幻灯片

1.2.1   小尺寸检测层增加

随着网络的加深，底层特征图经过多次卷积操作后，图像分辨率降低、目标信息模糊，导致小尺寸目标丢失，且滚筒故障的发生具有突发性和隐蔽性，微小故障在短时间内急剧扩大，造成安全事故。因此，在YOLOv5s网络模型中增加小尺寸检测层，由原来的3个检测层变为4个检测层，通过引入少量参数，减少底层特征信息的丢失，增强对小目标检测的学习能力。

1.2.2   Backbone和Neck间区域改进

YOLOv5s网络模型对于检测环境较复杂的目标仍具有局限性，容易导致误检和漏检问题，检测准确率下降。由于卷积操作通过融合通道和空间信息来提取特征，因此，在Backbone和Neck间引入CBAM，沿2个独立的维度即通道和空间维度依次学习特征，并进行自适应特征细化，强调或选择目标处理对象的重要信息，并且抑制无关的其他细节信息，从而起到提高模型检测精度的效果。

CBAM将通道和空间注意力机制进行结合。在通道维度上进行特征优化，获得特征图上需要重点关注的目标内容；在空间维度上进行特征优化，获得特征图上需要重点关注的目标位置。通道注意力机制是保持通道维度不变，压缩空间维度，先对输入的单个特征层分别进行全局平均池化和全局最大池化操作，经过共享全连接层后，将输出的2个特征图像进行加和操作，再经过Sigmoid激活，此时获得输入特征层每一个通道的权值，将得到的权值与原始的特征层相乘得到新的特征图。空间注意力机制是保持空间维度不变，压缩通道维度，将输入的特征图在每一个特征点的通道上取最大值和平均值，将最大值和平均值后的2个结果进行堆叠，经过一个卷积操作调整通道数，并经过Sigmoid激活，获得输入特征层每一个特征点的权值，将得到的权值与原始的特征层相乘得到新的特征图。

1.2.3   Neck区域改进

Neck区域需要更好地利用网络所提取的特征信息，但经过自上而下的特征提取和多次卷积操作后，造成许多重要信息丢失，导致模型的准确率下降。因此，在Neck区域引入ECA，在不改变输入特征图大小的情况下，对输入的特征图进行通道特征加强，提取通道间的依赖关系，进而提高模型的检测性能。

ECA属于通道注意力机制，相比于压缩和激励网络（Squeeze and Excitation Networks，SENet）注意力机制，ECA可以避免降维，去除了SENet的全连接层，直接在全局平均池化后的特征上进行一个一维卷积，高效实现局部跨通道交互。先对输入的特征图进行全局平均池化，使用适合的卷积核大小进行一维卷积操作后，将结果经过Sigmoid激活，得到的各个通道的权重与原始输入特征层相乘得到新的特征图。

2.   基于改进YOLOv5s的滚筒故障检测

2.1   数据集制作

工业现场中滚筒故障图像难以获得，而训练所需样本数据较多。因此，本文主要通过对实验室小型带式输送机的滚筒进行拍摄获取数据。数据集包括滚筒筒体开焊、包胶磨损和包胶脱落３种图像数据，通过手动拍摄、视频取帧、煤矿现场拍摄3种手段获得原始数据集。为了使模型具有更强的鲁棒性和泛化能力，防止过拟合，通过亮暗变换、颜色随机、水平翻转、角度旋转等对原始数据集进行扩增，得到19 522张滚筒图像，组成新的数据集。采用LabelImg软件进行标注，按8∶2比例划分训练集与验证集，按6∶2比例划分训练集与测试集，得到12 329张训练集图像，3 083张验证集图像，4 110张测试集图像。

2.2   模型训练

模型训练平台为Windows10 专业版操作系统、Intel(R) Core(TM) i7−7700 CPU @ 3.60 GHz处理器、NIVIDIA GeForce GTX 1080Ti、CUDA−10.2，使用Pytorch−1.2.0搭建深度学习框架。为提升模型收敛速度，在模型的训练过程中采用随机梯度下降法进行学习和更新模型参数，训练超参数见表1。

表  1  训练超参数

Table  1.  Training hyperparameterss

训练超参数	值
初始学习率	0.01
学习率衰减	0.000 1
动量	0.973
批处理大小	32
训练批次	300
图像输入尺寸	416×416

下载: 导出CSV 

| 显示表格

2.3   滚筒故障检测

基于改进YOLOv5s的滚筒故障检测流程如图3所示。首先将工业相机采集到的滚筒图像通过图像变换的方式进行数据扩增，使用得到的新数据集训练网络模型，在训练开始前，需要按照合适的比例划分训练集、验证集与测试集。然后，为了达到更好的训练效果，需要载入YOLOv5s预训练模型，修改相关参数后开始训练，训练集与验证集的损失函数会随着迭代次数的增加而发生变化，当训练集与验证集的损失值重合并趋于稳定时，表示损失函数达到收敛状态，此时模型的训练效果较好。最后，通过测试集对模型进行性能评估，若平均准确率与平均准确率均值均得到提升，则满足改进需求，否则应修改网络参数重新进行训练。

图  3  基于改进YOLOv5s的滚筒故障检测流程

Figure  3.  Drum fault detection process based on improved YOLOv5s

下载: 全尺寸图片 幻灯片

3.   改进YOLOv5s网络模型性能实验

3.1   消融实验

以 YOLOv5s网络模型作为基础模型，采用不同改进策略进行消融实验，结果见表2。

表  2  消融实验结果

Table  2.  Ablation experimental results

改进策略			平均准确率均值/%	帧速率/（帧·s−1）
小尺寸检测层	CBAM	ECA
×	×	×	92.81	32.969
√	×	×	93.76	26.366
×	√	×	93.88	32.375
×	×	√	93.87	31.238
√	√	√	94.46	25.227

下载: 导出CSV 

| 显示表格

由表2可看出，在YOLOv5s网络模型中单独增加小尺寸检测层后，平均准确率均值达93.76%，较改进前提升了0.95%，这是由于增加小尺寸检测层后，底层信息丢失减少，模型对小目标检测的学习能力进一步提高，且帧速率达26.366帧/s，降低了6.603帧/s，这是由于增加了检测层后模型的参数量和计算量都随之增加，检测速度变慢；在YOLOv5s网络模型的Backbone和Neck间增加CBAM后，模型的平均准确率均值达93.88%，较改进前提升了1.07%，这是由于增加CBAM注意力机制可使网络更加关注待检测目标，在通道维度和空间维度上进行了特征优化，提高了目标检测的准确率，且帧速率达32.375帧/s；在YOLOv5s网络模型的Neck中增加ECA后，模型的平均准确率均值达93.87%，较改进前提升了1.06%，这是由于增加ECA后模型在通道维度上提升了目标特征的提取能力，检测性能进一步提高，且帧速率达31.238帧/s；在YOLOv5s网络模型中加入小尺寸检测层、CBAM和ECA后，改进YOLOv5s网络模型平均准确率均值达94.46%，较改进前提升了1.65%，且帧速率降至25.227帧/s，这是由改进网络模型后参数量增加所致，但仍满足实时检测的要求。

3.2   分类实验

YOLOv5s网络模型与本文改进YOLOv5s网络模型在滚筒开焊、包胶磨损和包胶脱落3种故障类别上的性能对比，实验结果见表3。

表  3  YOLOv5s网络模型改进前后性能对比

Table  3.  Performance comparison before and after YOLOv5s network model improvement

模型	类别	平均 准确率/%	平均 准确率均值/%	参数量
YOLOv5s	滚筒开焊	93.73	92.81	7 066 239
	包胶磨损	95.54
	包胶脱落	89.15
改进YOLOv5s	滚筒开焊	95.29	94.46	7 210 354
	包胶磨损	96.43
	包胶脱落	91.65

下载: 导出CSV 

| 显示表格

由表3可看出，改进YOLOv5s网络模型对滚筒开焊、包胶磨损和包胶脱落检测的平均准确率分别为95.29%，96.43%，91.65%，较改进前分别提升1.56%，0.89%和2.50%，改进YOLOv5s网络模型的参数量整体上较改进前增加了2.04%，平均准确率均值达94.46%，较改进前增加了1.65%。

4.   带式输送机滚筒故障检测性能测试

4.1   带式输送机滚筒故障检测系统

将改进YOLOv5s网络模型应用到带式输送机滚筒故障检测中，利用嵌入式平台设计带式输送机滚筒故障检测系统。该系统由LED光源、工业相机、滚筒故障检测器、报警器和上位机等组成，如图4所示。该系统利用A5131MG75面阵工业相机采集滚筒图像，通过以太网接口传输给滚筒故障检测器，滚筒故障检测器利用改进YOLOv5s网络模型对滚筒图像进行处理、故障检测与分类，并通过以太网将检测结果传输给上位机，当滚筒发生故障时，启动报警器报警。

图  4  基于改进YOLOv5s的带式输送机滚筒故障检测系统架构

Figure  4.  Architecture of belt conveyor drum fault detection system based on improved YOLOv5s

下载: 全尺寸图片 幻灯片

采用Jetson Nano^[20-21]嵌入式开发板设计了滚筒故障检测器硬件，其由主处理器电路、USB接口电路、通用输入输出（General Purpose I/O，GPIO）接口电路、HDMI接口电路、以太网接口电路等组成，如图5所示。主处理器电路包含CPU和GPU，用于滚筒图像处理、故障检测与分类；USB接口电路是主处理器电路与鼠标和键盘间的接口电路，用于输入滚筒故障检测器设置命令；主处理器电路通过GPIO接口电路与报警器相连；主处理器电路通过HDMI接口电路与显示器相连，以图形化界面的方式显示故障信息；以太网接口电路1是主处理器电路与工业相机间的接口电路，用于传输采集的滚筒图像；以太网接口电路2是主处理器电路与以太网间的接口电路，用于将滚筒故障信息传送给上位机。

图  5  带式输送机滚筒故障检测器硬件框架

Figure  5.  Hardware frame of the belt conveyor drum fault detector

下载: 全尺寸图片 幻灯片

采用Python语言设计了滚筒故障检测器软件。使用Ubuntu18.04 操作系统，配置相应环境和各项依赖包，将基于改进YOLOv5s网络模型的滚筒故障检测方法移植到嵌入式开发板中。

4.2   实验室测试

将基于改进YOLOv5s的滚筒故障检测算法移植到嵌入式开发板Jetson Nano中进行实验，搭建带式输送机滚筒故障检测系统实验平台，如图6所示。

图  6  带式输送机滚筒故障检测系统实验平台

Figure  6.  Experimental platform of belt conveyor drum fault detection system

下载: 全尺寸图片 幻灯片

实验数据来源于工业相机在实验室采集的模拟滚筒故障（包括滚筒开焊、包胶磨损和包胶脱落3种表面故障）视频。

利用带式输送机滚筒故障检测系统对模拟图像和视频进行检测，结合带式输送机工程设计要求和实验需求，工业相机最高在2.0 m/s的传动速度下采集视频，滚筒故障检测可视化结果如图7所示。

图  7  带式输送机滚筒故障检测可视化结果

Figure  7.  Visual result of the belt conveyor drum fault detection

下载: 全尺寸图片 幻灯片

可看出在实时速度为15.15帧/s时，滚筒开焊的置信度为0.95，包胶磨损的置信度为0.97；在实时速度为15.00帧/s时，滚筒开焊的置信度为0.94，包胶脱落的置信度为0.94。

基于改进YOLOv5的带式输送机滚筒故障检测系统实验结果见表4。可看出系统对滚筒开焊、包胶磨损和包胶脱落检测的平均准确率分别达95.29%，96.43%，91.65%，3种故障检测的平均准确率均值达94.46%。

表  4  带式输送机滚筒故障检测系统检测性能

Table  4.  Detection performance of the belt conveyor drum falut detection system %

类别	精确率	召回率	平均准确率	平均准确率均值
滚筒开焊	93.10	90.98	95.29	94.46
包胶磨损	97.12	95.33	96.43
包胶脱落	98.21	90.85	91.65

下载: 导出CSV 

| 显示表格

控制终端显示界面如图8所示，可看出滚筒故障类别、位置信息和实时检测速度，检测速度约为14帧/s。

图  8  控制终端显示界面

Figure  8.  Display interface of control terminal

下载: 全尺寸图片 幻灯片

实验结果表明，基于改进YOLOv5s的带式输送机滚筒故障检测系统准确性和可靠性较高，并满足实时检测要求。

4.3   现场测试

为了进一步验证带式输送机滚筒故障检测系统的实际适用性，收集了山西省大同市某煤矿故障停机时拍摄的少量滚筒故障（包胶磨损和包胶脱落）图像进行测试，该矿井下环境昏暗，拍摄时进行了光源补光处理，检测结果如图9所示。可看出包胶磨损和包胶脱落的置信度分别为0.92，0.97，且可以较为准确地检测出滚筒的故障类型和位置。

图  9  煤矿现场带式输送机滚筒故障检测结果

Figure  9.  Fault detection results of belt conveyor drum in coal mine field

下载: 全尺寸图片 幻灯片

5.   结论

1） 在YOLOv5s网络模型中增加了小尺寸检测层，增强了对小目标检测的学习能力；在Backbone和Neck间引入了CBAM，在通道维度和空间维度上进行特征优化，提高了目标检测的准确率；在Neck中引入了ECA，提升了目标特征的提取能力。

2） 通过消融实验可知，与YOLOv5s网络模型相比，改进YOLOv5s网络模型的平均准确率均值增加了1.65%，帧速率达25.227帧/s，可进行实时检测。

3） 改进YOLOv5s网络模型对滚筒开焊、包胶磨损和包胶脱落检测的平均准确率分别为95.29%，96.43%，91.65%，较改进前分别提升了1.56%，0.89%和2.50%。

4） 设计了基于改进YOLOv5s的带式输送机滚筒故障检测系统。实验结果表明，基于改进YOLOv5s的带式输送机滚筒故障检测方法对滚筒开焊、包胶磨损和包胶脱落检测的平均准确率分别达95.29%，96.43%，91.65%，3种故障检测的平均准确率均值达94.46%，检测速度约为14帧/s。现场测试结果表明，包胶磨损和包胶脱落的置信度分别为0.92，0.97，并能准确地检测出滚筒的故障信息，说明设计的带式输送机滚筒故障检测系统具有可行性。