0.   引言

矸石的大量存在会严重影响煤炭的热值和开采效率。快速精准分选煤、矸石是选煤工业的重要环节，而煤和矸石的识别则是分选的前提^[1-2]。传统的煤矸石分选技术主要有人工分选、动筛跳汰分选^[3]、重介质分选^[4]和选择性破碎分选^[5]等。人工分选主要依靠工人的视觉和经验，存在很大的安全隐患且效率低下；动筛跳汰分选对煤质和密度有较高要求，无法推广；重介质分选配置困难，经济成本高；选择性破碎分选通常用在脆性煤和硬矸石的情况下，应用范围受限。传统的煤矸石分选存在许多局限性和弊端，智能煤矸石分选^[6]逐渐成为可行的新方案。在智能煤矸石分选中，识别单元采用目标识别算法对煤矸石图像进行处理，为后续执行单元的分选提供基础。

近年来，计算机视觉技术在煤矸石图像目标识别方面应用广泛^[7-9]。文献[10]提出了一种基于深度学习模型的煤矸石分层检测框架，在3个不同的数据集上进行了验证，表明该框架可以有效实现不同尺寸的煤块识别，但识别速度较低。文献[11] 提出了一种基于轻量化Ghost−S网络与混合并联注意力模块(HPAM)YOLOX−S模型（HPG−YOLOX−S模型）的煤矸石识别方法，实现了煤矸石图像精准识别，但速度仍没有达到实时识别。文献[12]基于VGG16和迁移学习思想构建自定义卷积神经网络(Convolutional Neural Network，CNN)模型来识别煤矸石图像，并通过实验证实该模型的识别准确率为82.5%，仍有一定的提升空间。文献[13]搭建了煤矸石识别系统，设计了基于卷积神经网络−极限学习机(Convolutional Neural Network-extreme Learning Machine，CNN−ELM)的混合模型对煤矸石图像进行识别，并通过实验分析了CNN−ELM模型的性能和优势，但图像数据量较小，普适性不高。上述研究在煤矸石图像的识别速度与精度上难以做到良好平衡，且未综合考虑输入图像尺寸不一、重要通道权重较低及卷积参数量大对模型精度的影响。

针对上述问题，本文在tiny YOLO v3模型的基础上，结合井下复杂环境和实际需求，提出一种改进的tiny YOLO v3煤矸石快速识别模型。首先，采用特征金字塔池化(Spatial Pyramid Pooling，SPP)网络对输入图像特征图进行处理，解决特征图尺寸不一致的问题；其次，采用压缩激励(Squeeze-and-Excitation，SE)模块提高重要通道的关注度，使网络更能聚焦于图像中的关键信息；最后，引入空洞卷积以捕捉上下文信息，进而扩大感受野，加快模型识别速度。

1.   tiny YOLO v3模型

目前YOLO系列已推出很多新的版本，但多是在YOLO v3基础上进行的改进^[14-16]。因此，本文不考虑YOLO v3之后的系列网络作为基本框架。

YOLO v3的预测分支结构较YOLO v1^[17]和YOLO v2^[18]有了显著改变。YOLO v3使用Darknet−53网络的前52层作为骨干网络，放弃了全连接层结构^[19]。为了提高检测速度，YOLO v3使用逻辑回归对被锚包围的部分进行客观性评分，选取得分最高的优先项进行预测。在预测分支部分，YOLO v3一共有3个分支，可以分别对不同尺寸的特征图进行预测。由于YOLO v3网络的框架较大，识别速度较慢。tiny YOLO v3是YOLO v3的轻量级版本，在网络结构上与YOLO v3相似，但规模要小得多^[20]，结构如图1所示。结构中去掉了部分特征提取层，只有23层网络和2个输出层（大小分别为13×13，26×26）。tiny YOLO v3中最终的YOLO层尺寸分别为13×13×255和26×26×255。因此，考虑到煤矸石识别的特殊场景及识别目标类别数，本研究选取tiny YOLO v3作为基础模型，并对其进行优化改进。

图  1  tiny YOLO v3的网络结构

Figure  1.  The network structure of the tiny YOLO v3

下载: 全尺寸图片 幻灯片

2.   改进 tiny YOLO v3模型

2.1   SPP网络

在用卷积层提取不同尺寸图像特征时，CNN中的分类器和全连接层要求输入图像的尺寸是固定的，但在煤矸石分选系统中，摄像机所在位置不可避免地会受到带式输送机震动影响，获取到的有效图像存在尺寸偏差。因此，引入SPP网络改进tiny YOLO v3模型，该网络可通过调节卷积核的大小组合来改变输出特征图的维数， 将输入图像的特征图尺寸处理为固定尺寸后输出。

SPP网络结构如图2所示，其中C为特征图通道数，d为维数。首先，输入尺寸为h×w（h为图像的高度，w为图像的宽度）的特征图，对输入特征图进行卷积，输出尺寸为h×w×256的特征图；其次，将输出的特征图根据卷积核大小划分为4×4，2×2，1×1的子图，从每个子图中提取一个特征值(通常采用最大池化)，对特征图进行组合卷积；最后，对组合特征值进行拼接，得到（16+4+1）×256维的特征向量并输出，完成对输入特征图的尺寸固定。

图  2  SPP网络结构

Figure  2.  Structure of SPP network

下载: 全尺寸图片 幻灯片

2.2   SE模块

tiny YOLO v3模型在目标识别中取得了良好的效果，但对RGB各通道的信息没有进行很好的利用。在煤矸石图像识别中，区别煤与矸石的主要特征为目标的灰度和纹理，忽视这些特征会造成煤矸石识别效率降低。因此，引入SE模块以增强前几层特征图各通道之间的联系，强调感兴趣通道的特征值和不同目标特征之间的差异性。SE模块由压缩、激励和尺度化操作组成，结构如图3所示。SE模块共有2个全连接层，第1个全连接层以系数$P$为超参数进行降维，第2个全连接层用于恢复原维数。其工作流程：首先，对整个特征图进行压缩，将原始特征图尺寸h × w ×C₁（C₁为原始图像通道数）压缩为$ 1 \times 1 \times {C_2} $（C ₂为经特征提取后的特征图通道数） ；其次，在全连接层中通过激活函数sigmoid获取不同通道之间的关系，预测各通道的重要性；最后，SE模块将RGB通道激活值(0~1)乘以尺度化部分的原始特征，得到重新分配的通道权重，再生成原维数特征图输出。

图  3  SE模块结构

Figure  3.  SE module structure

下载: 全尺寸图片 幻灯片

2.3   空洞卷积

tiny YOLO v3模型中卷积操作采用CNN完成，带来了相对较多的参数和计算量。为了满足煤矸石分选系统的快速性，利用空洞卷积替代tiny YOLO v3模型中部分卷积层。空洞卷积通过在卷积核中插入一定数量的空洞层来扩大感受野，其中每个原始权重都被0权值点包围。该方法可以在不增加模型参数的前提下，捕捉图像上下文信息以增强信息采集能力，舍弃次要信息来减少计算资源消耗，提升模型整体的计算速度。

2.4   改进的tiny YOLO v3模型结构

改进的tiny YOLO v3煤矸石快速识别模型的结构如图4所示。模型采用SPP网络将输入特征图统一处理为21维特征。为增强重要通道的被关注度，SE模块对13×13×1 024的输入尺寸进行压缩、激励、尺度化处理后变为13×13×256输出。改进tiny YOLO v3模型空洞卷积部分共有2个分支：一个用于输出模型的深层特征，直接进行目标预测；另一个将深层特征与SPP网络处理后的浅层特征进行拼接，以增强特征图的表征能力进而预测目标。

图  4  改进的tiny YOLO v3模型结构

Figure  4.  Improved tiny YOLO v3 model structure

下载: 全尺寸图片 幻灯片

3.   实验与结果分析

3.1   实验环境及数据选择

本文模型实验平台的硬件环境配置：CPU型号为Inter(R) core(TM) i7−8550U，CPU频率为1.99 GHz，显存为8 GiB。此外，通过PyCharm搭建Python3.6+torch1.5+CUDA8.0软件运行环境。

本文所用煤矸石图像数据集来自陕西神木大柳塔选煤厂，该数据集中包含7 018张图像，其中80%用于训练，20%用于测试。鉴于复杂的分选环境，对图像中的无关信息进行剔除，并采用中值滤波法来实现图像降噪。

3.2   性能评估指标

利用二分法计算精确率、召回率、F1得分和平均精度均值(mean Average Precision，mAP)4个统计学性能指标。

3.3   结果分析

3.3.1   性能评估结果

对改进tiny YOLO v3模型进行性能实验验证，获得评价指标曲线，如图5所示。可看出4个性能指标通过前10次迭代均可达到0.9以上，在经历细小波动后达到稳定状态。这是由于精确率、召回率的获取是由当前迭代中正例和反例的数量决定的，但训练集的分离是随机的，所以结果具有一定的随机性。随着训练次数的增加，波动会逐渐减小，模型趋于稳定。在第100次迭代时，精确率和召回率分别达0.994和0.952，mAP在70~100次迭代期间稳定在0.99左右，最终达0.992，F1稳定在0.97左右。这表明改进tiny YOLO v3模型可以实现对煤矸石目标的准确识别。

图  5  评价指标曲线

Figure  5.  Evaluation index curve

下载: 全尺寸图片 幻灯片

3.3.2   对比实验

为验证改进tiny YOLO v3模型的识别效果，将本文模型分别与tiny YOLO v3模型、Faster RCNN模型、YOLO v5系列模型进行对比。

与tiny YOLO v3模型的对比结果如图6所示。可看出本文模型的耗时低于tiny YOLO v3模型的耗时，这说明了本文模型识别速度快；本文模型损失值收敛速度较tiny YOLO v3快，且持续低于tiny YOLO v3，这说明本文模型的拟合性与鲁棒性较好；本文模型在前期平均交并比低于tiny YOLO v3，但在迭代15次时赶上并最终在迭代100次时达到1.0，这是由于本文模型中存在空洞卷积，丢失了图像中的少量细节，导致前期平均交并比较低。

图  6  本文模型与tiny YOLO v3模型对比结果

Figure  6.  The results compare the model with the tiny YOLO v3 model

下载: 全尺寸图片 幻灯片

Faster RCNN模型是两阶段目标识别模型的杰出代表，是目前最先进的识别模型之一^[21]。Faster RCNN将端到端方法应用于目标识别领域，极大地改进了目标识别的精度和速度。因此，将本文模型与Faster RCNN模型进行对比。

在训练阶段，对改进tiny YOLO v3模型和Faster RCNN模型分别进行100次训练。本文模型耗时12.06 h，Faster RCNN模型耗时35.18 h，本文模型的训练时间较Faster RCNN模型减少了65.72%。将本文模型与Faster RCNN模型的识别性能进行对比，结果见表1。可看出本文模型的识别精度增幅最大，为11.83%，识别召回率增幅最小，为0.5%，模型mAP增幅为3.02%。与Faster RCNN相比，本文模型的识别精度和速度都有较大提升。

表  1  本文模型和Faster RCNN识别数据对比

Table  1.  Comparison of identification data between the proposed model and Faster RCNN %

模型	类别	精确率	召回率	F1	mAP
本文模型	煤	95.3	95.5	97.4	99.4
	矸石	97.2	99.9	98.6
Faster RCNN	煤	89.9	94.1	92.0	96.4
	矸石	85.7	99.4	92.0
提升	煤	5.67	5.43	5.54	3.02
	矸石	11.83	0.5	6.69

下载: 导出CSV 

| 显示表格

为验证本文模型与目前先进的YOLO系列模型之间的性能优劣性，选取YOLOv5模型、改进YOLOv5s模型、卷积块注意力−YOLO (Convolution Block Attention−YOLO，CBA−YOLO)模型^[9]与本文模型进行性能对比，结果见表2。可看出本文模型的mAP为99.4%，较YOLOv5s模型、改进YOLOv5s模型、CBA−YOLO模型分别提升了3.4%、1.1%、0.3%，在煤矸石目标平均识别精度上性能最好；本文模型的识别速度为80 帧/s，较YOLOv5s模型、改进YOLOv5s模型、CBA−YOLO模型分别提高了87.4%、77.4%、71.3%，在煤矸石目标识别速度上本文模型具有明显的优势。本文模型与YOLO系列模型相比，在保持识别精度优势的情况下，识别速度得到了很大提升。

表  2  本文模型与YOLOv5系列识别数据对比

Table  2.  Comparison between the proposed model and the identification data of YOLOv5 series

模型	识别速度/(帧·s-1)	mAP/%
YOLO v5s	42.7	96.1
改进YOLO v5s	45.1	98.3
CBA−YOLO	46.7	99.1
本文模型	80	99.4

下载: 导出CSV 

| 显示表格

为了更为直观显示各模型识别效果，将本文模型与YOLOv5系列模型识别效果进行可视化对比，如图7所示，其中图像Ⅰ中全为煤，图像Ⅱ中全为矸石，图像Ⅲ中全为煤矸混合物。可看出本文模型的置信度最高，且不存在漏检、误检的现象，说明了本文模型在煤矸石目标识别上具有较好的性能。

图  7  本文模型与YOLO v5系列模型识别效果可视化对比

Figure  7.  Visualization comparison between this model and YOLO v5 series model recognition effectiveness

下载: 全尺寸图片 幻灯片

3.3.3   消融实验

为测试本文模型的效果，进行消融实验。首先，将加入SPP网络的tiny YOLO v3模型作为基础模型，然后，分别测试加入SE模块和空洞卷积的效果，最后，将2种改进策略同时加入基础模型。消融实验结果见表3。可看出：在加入SPP网络的tiny YOLO v3模型中单独加入SE模块后，模型识别准确率较加入SPP网络的tiny YOLO v3模型识别准确率提高了2.8%，测试每张图片耗时增加了0.6 ms，说明SE模块提升感兴趣通道注意力后确实提升了模型准确率，但带来了少量计算耗时增加；在加入SPP网络的tiny YOLO v3模型中单独引入空洞卷积，模型识别准确率较加入SPP网络的tiny YOLO v3模型识别准确率提高了0.022，测试每张图片耗时减少了2.6 ms，这表明空洞卷积减少了计算耗时；引入SE模块、空洞卷积的完整改进模型识别准确率为99.4%，较加入SPP网络的tiny YOLO v3模型识别准确率提高了4.9%，测试每张图片耗时12.5 ms，较加入SPP网络的tiny YOLO v3模型耗时减少了1 ms，这表明改进后模型性能提升明显。

表  3  各模块消融实验数据对比

Table  3.  Comparison of ablation data of each module

改进策略		准确率/%	每张图片耗时/ms
SE模块	空洞卷积
×	×	94.5	13.5
√	×	97.3	14.1
×	√	96.7	10.9
√	√	99.4	12.5

下载: 导出CSV 

| 显示表格

4.   结论

1） 在tiny YOLO v3模型中引入SPP网络，解决图像存在尺寸偏差的问题；引入SE模块以增强前几层特征图各通道之间的联系，强调感兴趣通道的特征值和不同目标特征之间的差异性；利用空洞卷积替代tiny YOLO v3模型中部分卷积层，在不增加模型参数的前提下，捕捉图像上下文信息以增强信息采集能力。

2） 与tiny YOLO v3模型相比，改进tiny YOLO v3煤矸石快速识别模型的识别准确性和快速性都有显著提升；与Faster RCNN模型相比，改进tiny YOLO v3煤矸石快速识别模型训练时间减少了65.72%，mAP增加了3.02%；与YOLO系列模型相比，改进tiny YOLO v3煤矸石快速识别模型在保持识别精度优势的情况下识别速度有大幅增长。

3） 通过消融实验可知：改进tiny YOLO v3煤矸石快速识别模型识别准确率为99.4%，较加入SPP网络的tiny YOLO v3模型识别准确率提高了4.9%，测试每张图片耗时12.5 ms，较加入SPP网络的tiny YOLO v3模型耗时减少了1 ms。