0.   引言

随着“双碳”战略的实施，煤炭清洁高效开发利用成为煤炭开采行业新的发展要求，煤炭智能绿色生产是煤炭行业长期发展的必然方向^[1]。传统的重介质分选法和跳汰分选法等煤矸分选技术对环境都有一定的污染，随着新一代信息技术的发展，智能化选煤方法成为研究热点。实时高效的煤矸目标检测是智能选煤系统的重要环节之一。煤矸目标检测方法主要包括基于图像、声波、振动信号、自然${\text{γ}} $射线等的方法^[2-5]。其中基于图像的方法相较于其他几种方法更安全、易维护、技术更新快，是煤矸检测的重要发展方向。

煤与矸石相比具有明显的纹理特征，在一定照度下拍摄的照片中，二者的区别更明显，因而可通过图像处理方法进行识别。传统的煤矸图像检测方法需要人工提取图像特征，在实际应用中需要根据环境人为调整参数，且准确率不高，实用性不强^[6-7]。近年来，深度学习技术逐步被应用到煤矸图像检测中，其中关于YOLO系列算法的应用研究最为广泛^[7-9]。雷世威等^[10]改进了YOLOv3的网络结构及损失函数，在识别时间相当的情况下，将识别准确率提升了2.2%。来文豪等^[11]从多光谱中选取3个波段构建煤矸数据集，对YOLOv4的网络结构进行改进，将检测时间从6.07 s缩短到4.18 s。李永上等^[12]在YOLOv5算法框架中加入注意力机制，引入深度可分离卷积结构来提升检测速度。沈科等^[13]在YOLOv5s模型的主干网络（Backbone）中嵌入深度可分离卷积块作为特征提取网络，并精简了颈部网络（Neck）结构，降低了模型复杂程度，同时提高了检测实时性，通过锚框缩放提升了检测精度。

上述研究虽然在煤矸目标检测速度和精度方面有所提升，但仍不能很好地满足选煤厂带式输送机实时智能煤矸分选需求。因此，本文在YOLOv5s模型基础上改进，结合注意力模块、深度可分离卷积网络和边界框回归损失函数，构建了YOLOv5s−SDE模型，基于该模型实现带式输送机煤矸目标检测，可在保证煤矸目标检测精度的情况下，提升检测速度，减少模型的参数量和计算量。

1.   基于YOLOv5s−SDE的带式输送机煤矸目标检测

1.1   YOLOv5s−SDE结构

YOLOv5模型主要由输入端（Input）、Backbone、Neck和输出端（Prediction）组成^[14-15]。YOLOv5s有较多版本，其中6.0版本用标准卷积替换Backbone部分的Focus模块，用快速空间金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）替换空间金字塔池化（Spatial Pyramid Pooling，SPP），以提升检测精度。Neck部分通过自顶向下和自底向上的特征提取有效融合不同特征，提升检测效果。边界框回归损失函数常用的指标为交并比（Intersection over Union，IoU），Prediction部分使用CIoU（Complete-IoU）作为损失函数估算目标边界框的检测损失，使用3种不同尺度的特征对大、中、小目标进行检测。

YOLOv5s−SDE在YOLOv5s的6.0版本的基础上进行了改进，结构如图1所示。YOLOv5s−SDE在Backbone 部分添加了1个压缩和激励（Squeeze-and-Excitation，SE）模块，以提升煤矸小目标检测效果；将4个普通卷积替换为深度可分离卷积DwConv，以显著减少参数量和计算量；采用EIoU（Efficient-IoU）替换YOLOv5s 的CIoU，以提升检测精度。上述措施可在保证检测精度的情况下，大幅减少参数量和计算量，增强模型实时检测能力，更有利于终端部署。

图  1  YOLOv5s−SDE结构

Figure  1.  YOLOv5s -SDE structure

下载: 全尺寸图片 幻灯片

1.2   SE模块

进行卷积采样时图像中的小目标特征信息容易丢失，YOLOv5s模型对小目标的检测效果不理想。深度学习中的注意力机制可使模型更准确地提取目标特征，强化重要信息，获取最具信息量的特征。

SE是一种通道注意力机制，其目的是学习每个通道的重要程度，增强有用特征，抑制无用特征。本文在YOLOv5s模型中增加SE模块，以改善对小目标煤矸的检测效果，进一步提高检测准确率^[16]。SE模块主要由压缩、激励及特征图标定3个部分组成，如图2所示。

图  2  SE模块

Figure  2.  Squeeze-and-excitation module

下载: 全尺寸图片 幻灯片

压缩操作采用全局平均池化将整个通道上大小为W×H×C（W，H分别为宽度和高度，C为通道数）的特征图矩阵压缩成1×1×C的向量Z：

式中：u_k为卷积得到的特征图，$k=1\text{，}2\text{，}\cdots \text{，}C $；(i，j)为特征图中像素点坐标。

激励操作将全连接层作用于特征图，对每个通道的重要性进行预测，再将得到的重要性权重作用到相应通道上，构建通道之间的相关性。

式中：${\boldsymbol{S}}$为激励操作后所得向量；$\sigma (\cdot)$为Sigmoid函数；${w_1}$和${w_2}$分别为2个全连接层的降维和升维权重；$\delta (\cdot)$为非线性激活函数。

特征图标定操作将各特征通道的权重与原特征图的通道逐个相乘，得到重新标定的特征图。

1.3   深度可分离卷积网络

深度可分离卷积结构如图3所示。先通过深度卷积输出通道特征，再采用逐点卷积对输出的通道属性再次卷积，输出原尺寸特征图。对比标准卷积网络，深度可分离卷积网络可在少量降低精度的情况下，显著减少参数量和计算量，更加适用于轻量化网络^[17-21]。

图  3  深度可分离卷积结构

Figure  3.  Structure of depthwise separable convolution

下载: 全尺寸图片 幻灯片

参数量反映计算的空间复杂度，计算量反应计算的时间复杂度^[14]。设输入通道数为M，输出通道数为N，数据输出宽度为${D_1}$，数据输出高度为${D_2}$，卷积核大小为${D}$，标准卷积的计算量和参数量分别为${c_1}$和${Q_1}$，深度可分离卷积的计算量和参数量分别为${c_2}$和${Q_2}$，可得

由式(3)和式(4)可得深度可分离卷积与标准卷积的计算量之比为

参数量之比与计算量之比相同，本文采用$3 \times 3$的卷积核，输入通道数为3，输出通道数为128。将${D} = 3$，$N$=128代入式(7)，可得深度可分离卷积的计算量约为标准卷积计算量的12%。

1.4   边界框回归损失函数

边界框回归损失函数常用的指标为IoU，通过数据标注真实框和检测目标预测框的重合程度判断预测的准确性。在预测框与真实框不相交的情况下，IoU无法准确描述二者的距离信息。 CIoU不但考虑了边界框的重叠面积和中心点距离，而且增加了高宽比惩罚项，目前YOLOv5s采用CIoU函数作为边界框回归损失函数。EIoU在CIoU基础上改进了宽高损失部分，使目标框与锚盒的宽度和高度之差最小，收敛速度更快。因此本文采用EIoU作为边界框回归损失函数。

2.   实验分析

2.1   参数配置及数据采集

煤矸目标检测实验参数设置：输入图像大小为640×640，输入通道数为3，批次样本数为2，动量因子为0.93，迭代次数为500，权重衰减系数为0.000 5，学习率初始取值为0.01，完成1次循环后取值为0.2。分类损失函数Focal Loss的权重因子$ \alpha =0.25 $，调制因子$\gamma =2 $。实验使用的操作系统为Windows 10，深度学习框架为PyTorch1.10.0，CPU为Intel(R) Xeon(R) Silver 4210R @ 2.40 GHz，GPU为NVIDIA RTX A4000。

在山西大同矿区某矿选煤厂采集带式输送机煤矸样本图像，共采集到不同形态、不同角度的煤矸图像500 张。其中350张作为训练样本，100张作为验证样本，50张作为测试样本。使用LabelImg标注软件对数据进行标注，并以文本格式保存。数据集样本如图4所示。

图  4  数据集样本

Figure  4.  Dataset samples

下载: 全尺寸图片 幻灯片

2.2   YOLOv5s−SDE模型训练结果

为了验证目标检测模型的效果，将煤矸数据集在YOLOv5s模型和YOLOv5s−SDE模型中进行训练，对比2种模型的训练准确率、损失函数及平均精度均值（mean Average Precision，mAP），结果如图5所示。

图  5  目标检测模型训练结果

Figure  5.  Training results of target detection models

下载: 全尺寸图片 幻灯片

从图5（a）可看出，在150次迭代之后，2个模型的mAP都达到近90%，并逐渐趋于平稳，500次迭代后稳定在91%左右。由图5（b）可知，YOLOv5s模型的损失在迭代到250次左右才逐渐降低到0.2%以下，而YOLOv5s−SDE模型收敛更快，在100次迭代后就稳定到0.4%以下。由图5（c）可知，在150次迭代内，2个模型的准确率波动都较大，YOLOv5s−SDE模型迭代初期准确率较低，但在150 次迭代后2个模型准确率差别较小。对比训练效果可看出，YOLOv5s−SDE模型的准确率和mAP最终表现与YOLOv5s模型相差不多，但损失函数明显更优。

2.3   消融实验

通过消融实验分析模型各部分的优化效果。优化模型1在YOLOv5s中嵌入SE模块，优化模型2用深度可分离卷积替换普通卷积，优化模型3用EIoU替换CIoU作为边界框回归损失函数，实验结果见表1，其中每秒浮点运算次数用于衡量计算量。

表  1  消融实验结果

Table  1.  Ablation experiment results

网络模型	SE模块	深度可分离卷积	EIoU	准确率/%	mAP/%	参数量/105个	每秒浮点运算次数/108	速度/（帧·s−1）
YOLOv5s	×	×	×	90.2	91.2	70.2	15.8	56.3
优化模型1	√	×	×	92.8	91.0	70.2	16.0	54.4
优化模型2	×	√	×	85.6	85.8	54.6	12.0	62.1
优化模型3	×	×	√	91.9	92.1	70.2	15.8	56.0
YOLOv5s−SDE	√	√	√	87.9	92.5	54.6	12.0	59.9

下载: 导出CSV 

| 显示表格

由表1可知，与YOLOv5s模型相比，优化模型的指标如下：优化模型1的准确率提升2.6%；优化模型2的参数量下降22.2%，计算量下降24.1%，准确率下降4.8%，检测速度提升10.3%；优化模型3的准确率提升1.7%，mAP提升0.9%；YOLOv5s−SDE模型的准确率下降2.3%，mAP提升1.3%，参数量减少22.2%，计算量下降24.1%，检测速度提升6.4%。

由消融实验可得出以下结论：通过添加SE模块、优化损失函数，可提升模型总体的检测精度；用深度可分离卷积替换普通卷积，可显著减少参数量和运算量，提升检测速度。对比YOLOv5s模型，YOLOv5s−SDE模型尽管准确率有所降低，但是mAP、检测速度均有所提升，同时减少了参数量和运算量，实现了较好的检测效果。

2.4   对比实验

为进一步验证YOLOv5s−SDE模型的性能，将其与YOLOv5s−Ghost^[19]，YOLOv5s−CBAM^[9]，YOLOv5s−STA^[10]模型进行比较，结果见表2。YOLOv5s−Ghost模型将Neck部分的卷积替换为4个Ghost卷积，Ghost卷积首先通过普通卷积减少输入通道数，再通过一个深度卷积和恒等变换生成Ghost特征图，从而减少模型总的参数量和计算复杂度。YOLOv5s−CBAM模型在Backbone中添加了CBAM模块，CBAM是一种轻量级卷积块注意力机制，可增强输入特征图表达能力。YOLOv5s−STA模型在Backbone中添加了1层自校正卷积，并在Neck和Prediction区域删除19×19的特征图分支。

表  2  不同改进YOLOv5s模型对比实验结果

Table  2.  Comparative experimental results of different improved YOLOv5s models

模型	准确 率/%	mAP/%	参数量/ 105个	每秒浮点 运算次数/108	速度/ （帧·s−1）
YOLOv5s	90.2	91.2	70.2	15.8	56.3
YOLOv5s−Ghost	84.2	89.3	62.4	14.0	54.9
YOLOv5s−CBAM	90.7	91.8	72.1	16.0	55.4
YOLOv5s−STA	83.1	84.8	55.2	20.6	75.2
YOLOv5s−SDE	87.9	92.5	54.6	12.0	59.9

下载: 导出CSV 

| 显示表格

由表2可知，与YOLOv5s模型相比，其他模型的指标如下：YOLOv5s−Ghost模型的准确率下降6%，计算量下降11.4%，参数量下降11.1%，检测速度下降2.5%；YOLOv5s−CBAM模型的准确率和mAP均小幅提升，检测速度略下降；YOLOv5s−STA模型的准确率较低，但是参数量下降21.4%，计算量增加30.4%，检测速度提升33.6%。YOLOv5s−SDE模型与YOLOv5s−Ghost模型相比，检测准确率高3.7%，参数量和计算量更小，检测速度更快，性能更优。YOLOv5s−SDE模型与YOLOv5s−STA模型相比，检测精度和mAP优势明显，参数量和计算量更小，但检测速度更慢。

在数据集中随机选取具有小目标、运动模糊、低照度3种特征的煤矸图像，通过5种模型进行目标检测，检测效果对比如图6所示。可以看出，YOLOv5s−STA与YOLOv5s−Ghost模型的检测精度明显偏低，且YOLOv5s−STA模型中出现了置信度为0.69的大块煤目标，尽管平均检测精度不低，但是波动较大。YOLOv5s−SDE模型与YOLOv5s模型及YOLOv5s−CBAM模型的检测效果整体相近，但在运动模糊和低照度情况下，YOLOv5s−SDE模型整体检测效果更优。

图  6  不同改进YOLOv5s模型检测效果对比

Figure  6.  Comparison of detection effects of different improved YOLOv5s models

下载: 全尺寸图片 幻灯片

3.   结论

1） 提出了基于YOLOv5s−SDE的带式输送机煤矸目标检测方法。YOLOv5s−SDE模型在YOLOv5s模型中添加注意力机制，改善了小目标检测效果；利用深度可分离卷积替换普通卷积，显著减少了模型参数量和计算量，加快了检测速度；用EIoU替换CIoU，提高了检测准确率。

2） 实验结果表明：YOLOv5s−SDE模型对煤矸图像的检测准确率可达87.9%，高于YOLOv5s−Ghost和YOLOv5s−STA这2个轻量化模型；YOLOv5s−SDE模型mAP达92.5%，高于所有对比模型；检测速度达59.9帧/s，优于YOLOv5s、YOLOv5s−Ghost及YOLOv5s−CBAM模型。

3） YOLOv5s−SDE模型的检测速度较快，下一步将考虑部署到终端设备进行实时检测，验证动态煤矸检测效果。