0.   引言

煤炭作为我国最丰富的能源资源，是国家能源安全的“压舱石”^[1-4]。随着人工智能技术的不断发展，基于计算机视觉的深度学习算法在提升煤炭开采效率、保障采煤安全及煤炭智能化开采等方面发挥的作用愈发重要^[5-9]。目标检测是计算机视觉技术的重要分支，针对综采工作面关键设备及人员的目标检测算法，是煤炭智能化开采信息感知的重要内容^[10]。

目前，应用于煤矿井下的目标检测常用算法有传统目标检测算法和基于卷积神经网络（Convolutional Neural Networks，CNN）的目标检测算法^[11]。传统目标检测算法通过人工提取特征实现目标检测，如赵谦^[12]提出了一种基于小波分解的Canny边缘检测算法对井下员工进行检测，程健等^[13]针对带式输送机视觉场景复杂、视频图像质量差等问题，采用改进的高斯混合模型提取视频背景，实现视频背景分离，从而实现煤矸石检测和识别。但上述算法复杂度高，不具有普适性，易受环境影响，且无法适应待检测目标的大幅度动作，稳定性很差。随着深度学习的兴起，基于CNN的目标检测算法被应用到综采工作面智能化建设中。与传统目标检测算法相比，基于CNN的目标检测算法可以自适应地提取深层信息，具有泛化能力强、稳定性高等特点。李伟山等^[14]以Faster RCNN为基础，对候选区域网络结构进行改进并加入特征融合技术，构建了一种金字塔结构的煤矿井下行人检测算法。刘备战等^[15]提出了一种具有层级相连结构的RetinaNet算法，可实现井下人员检测。付燕等^[16]使用YOLOv3算法设计了一种井下工作人员持续检测系统。任志玲等^[17]提出了一种改进的CenterNet算法，可对煤矿胶带运输异物进行准确识别。但上述算法大多仅针对简单场景，且检测目标单一。而综采工作面常见的是多个检测目标出现在同一场景，且常伴有煤尘干扰、目标运动、光照干扰等，导致采集的视频图像质量较差，检测精度难以保证；另外，基于CNN的目标检测算法大多网络结构复杂、参数多、计算量大^[18]，不利于综采工作面工业部署的实际应用。

本文提出了一种基于改进YOLOv4的综采工作面目标检测算法。为解决井下复杂环境下目标难以检测问题，在YOLOv4^[19]模型基础上，融合CNN的高效局部信息聚合能力和残差自注意力（Residual Self-Attention，RSA）模块的长距离依赖信息获取能力，在确保局部上下文信息质量的同时加强全局信息的获取，增强待检测目标的显著度，进而提升检测精度；为减小综采工作面目标检测模型的工业部署难度，引入深度可分离卷积来简化模型，以减少模型参数量和计算量。

1.   综采工作面目标检测

1.1   改进YOLOv4模型

为准确从综采工作面复杂环境中检测到所需目标，借鉴Google提出的BoTNet^[20]设计思想，本文提出轻量级改进YOLOv4模型。该模型主要由特征提取网络CSPDarkNet53、空间金字塔池化（Spatial Pyramid Pooling，SPP）模块、路径聚合网络（Path Aggregation Network，PANet）模块构成，结构如图1所示（Conv为卷积，dw为深度可分离卷积，Conv_dw_ Conv表示分别进行卷积、深度可分离卷积、卷积操作）。特征提取网络CSPDarkNet53融合了RSA模块，在提取局部特征的同时增强全局信息获取能力；SPP模块利用13×13、9×9、5×5和1×1这4个不同尺度的最大池化对特征进行处理，以增大特征感受野，丰富特征图表达能力；PANet模块引入深度可分离卷积，简化网络的同时加强了特征融合，有利于多样化特征的提取。

图  1  改进YOLOv4模型结构

Figure  1.  Improved YOLOv4 model structure

下载: 全尺寸图片 幻灯片

1.2   融合RSA模块的CSPDarkNet53

针对综采工作面复杂环境，原有CSPDarkNet53网络仅能捕获局部信息，无法获取长距离依赖信息，可能导致网络提取过多的冗余信息而不能提取到关键信息，减弱语义信息和位置信息的依赖关系，进而导致误检、漏检现象产生。RSA模块主要通过局部之间的关系来引入权重，分别在通道、空间2个层面，通过计算每个单元（通道与通道之间、像素与像素之间）的值，来加强局部信息间的联系，进而掌握长距离依赖信息，从而增强待检测目标的显著度。因此，在CSPDarkNet53中引入RSA模块，既可以发挥CNN参数共享及高效局部信息聚合优势，又能充分利用自注意力获取全局信息能力，增强图像关键目标特征表达能力，进而提高特征提取网络聚集关键信息的能力。

RSA模块结构如图2所示。

图  2  RSA模块结构

Figure  2.  Residual self-attention module architecture

下载: 全尺寸图片 幻灯片

输入特征图经过3次1×1逐点卷积进行单点特征提取，分别得到查询Q、键K、值V。Q与K相乘得到局部关系矩阵，并加入垂直、水平位置嵌入矩阵R_h和R_w，分别从垂直、水平2个方向逐元素求和，之后再与Q交互，得到相对位置编码S_rel，以增强网络对输入特征图位置信息的感知能力。局部关系矩阵与相对位置编码求和后通过softmax操作与V相乘，可得

式中：A为自注意力；$\sqrt {{d}} $为超参数，其作用是防止分子向量点积后结果过大，确保softmax梯度稳定性。

RSA模块对输入特征图先进行1次下采样操作以减小特征图尺寸，之后将输入支路分成主分支和短连接分支。主分支的特征图通过多个由1×1卷积和自注意力模块堆叠而成的残差结构对输入特征图进行上下文信息处理和聚合，以获得融合全局信息的主分支输出，增强特征表达能力。主分支输出经过1×1卷积后与短连接分支的特征图拼接，得到输出特征图。

1.3   深度可分离卷积

为了提升网络检测性能，引入深度可分离卷积^[21]替代传统卷积，如图1中绿色模块所示。深度可分离卷积通过串联深度卷积和逐点卷积的方式提取特征信息。先使用深度卷积逐通道独立进行卷积计算来过滤空间信息，再串联逐点卷积来映射通道信息。这种将空间信息与通道信息相结合的方式既提取了关键特征，又大大减少了计算量和参数量。

传统卷积是将通道数为M的输入特征图与相应的N个卷积核进行卷积操作，其计算量为

式中：${D_{\rm{k}}}$为卷积核大小；${D_{\rm{w}}}$，${D_{\rm{h}}}$分别为输出特征图的宽和高。

深度可分离卷积过程如图3所示，将通道数为M的输入特征图与相应的M个卷积核进行深度卷积，再用N个1×1卷积核对深度卷积得到的特征图进行逐点卷积，其计算量为

图  3  深度可分离卷积操作

Figure  3.  Depthwise separable convolution operation

下载: 全尺寸图片 幻灯片

深度可分离卷积与传统卷积的计算量比值为

本文输入图像大小为416×416×3，假设经过通道数为16的3×3卷积，最后输出16个特征图，则N₂与N₁比值约为1∶6。利用深度可分离卷积后，计算量和参数量大幅度减少，提高了特征提取网络的运算速度，节约了运算成本。

2.   实验结果与分析

实验平台为Ubuntu18.04操作系统，硬件配置：Intel Xeon Gold 6146 CPU，12核24线程；显卡为6块RTX 2080Ti，显存72 GB；内存250 GB。网络基于PyTorch框架实现，并调用OpenCV，CUDA，cuDNN库。在网络训练过程中，设定输入图片尺寸为416×416，训练轮次为100，1轮训练处理16张样本图片，初始学习率为0.001，采用等间隔学习率调整方法（StepLR），设置调整间隔（step_size）为1，动量（momentum）为0.92，权值衰减（weight_decay）为0.000 5。当网络连续多个训练轮数（epoch）的损失差值在0.01以内振荡时，则完成网络训练，得到最优的模型权重。

2.1   数据集制作与评价

实验数据集来自某煤炭开采公司调度室存储的各个角度摄像视频，将视频中包含工作面关键设备及人员的选取出来进行剪辑、拼接，使用视觉目标标注工具（Visual Object Tagging Tool，VOTT）对处理过的视频图片进行标注处理。

为了使神经网络模型更好地适应井下工作面复杂环境，数据集涵盖各种情况下的工作面关键设备及人员，包括采煤机、滚筒、线槽、刮板输送机、大煤块、护帮板和行人等7类，共29 569张图片。数据集分为训练集、验证集及测试集，其中23 951张图片用于训练模型，2 661张图片用于验证模型，2 957张图片用于测试模型。

本文采用目标检测常用的评价指标：平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）、参数量、浮点运算次数（Floating-point Operations，FLOPs）和模型大小。AP和mAP越大，则检测精度越高；参数量、FLOPs和模型大小越小，则检测性能越好。

mAP与查准率和召回率密切相关。查准率是指在所有正样本中，被检测为正确的设备及人员所占比例；召回率是指在所有真实目标中，被模型正确检测的设备及人员所占比例。

式中：p为查准率；n_TP为被检测为正确目标的关键设备及人员数量；n_FP为被误测为正确目标的非关键设备及人员数量；r为召回率；n_FN为漏检的样本数量。

以查准率为横坐标，召回率为纵坐标，绘制p（r）曲线。该曲线在坐标轴上的面积即AP。

式中P_AP为AP。

根据各个类别的p（r）曲线在坐标轴上的面积，求取mAP。

式中：P_mAP为mAP；c为工作面关键设备及人员的类别数；P_APd为第d（d=1，2，…，c）个类别的AP。

2.2   模型对比

为验证本文改进YOLOv4模型的优势，选取YOLOv3，CenterNet，YOLOv4这3种井下常用目标检测模型与改进YOLOv4模型进行对比实验。YOLOv3，CenterNet，YOLOv4模型分别使用DarkNet53，ResNet50，CSPDarkNet53作为骨干特征提取网络。

不同模型在井下综采工作面数据集上的mAP见表1。可看出改进YOLOv4模型的mAP最高，达92.59%，且改进YOLOv4模型在综采工作面各个关键设备及人员上的检测精度均为最高。

表  1  不同模型在井下综采工作面数据集上的检测结果

Table  1.  Test results of different models on data set of underground fully-mechanized mining face

类别	AP/%
	YOLOv3	CenterNet	YOLOv4	改进YOLOv4
护帮板	97.28	89.92	97.97	98.50
采煤机	94.86	94.84	97.51	97.90
滚筒	94.46	95.80	96.23	96.87
大煤块	90.57	90.90	93.44	94.65
行人	84.14	87.41	89.67	91.17
线槽	81.41	82.91	87.21	89.93
刮板输送机	65.64	72.75	73.14	79.14
mAP/%	86.91	87.79	90.74	92.59

下载: 导出CSV 

| 显示表格

不同模型检测性能对比见表2。由于改进YOLOv4模型使用了大量深度可分离卷积结构，使得模型大小、参数量及计算量得到改善。由表2可知：与YOLOv4模型相比，改进YOLOv4模型的大小压缩了123.1 MB，参数量减少了30.86×10⁶，FLOPs减少了10.42×10⁹，mAP提升了1.85%；与CenterNet模型相比，改进YOLOv4模型的参数量和模型大小不相上下，但在FLOPs和mAP上有较大提升，FLOPs减少了3.66×10⁹，mAP提升了4.8%；与YOLOv3模型相比，改进YOLOv4模型的参数量减少了28.45×10⁶，模型大小压缩了113.3 MB，FLOPs减少了13.3×10⁹，mAP提升了5.68%。上述结果表明改进YOLOv4模型在参数量、计算量和mAP上具有更优的平衡。

表  2  不同模型检测性能对比

Table  2.  Comparison of detection performance of different models

模型	输入 大小	参数量/106	模型大小/MB	FLOPs/109	mAP/%
YOLOv3	416×416	61.56	246.5	32.78	86.91
CenterNet	416×416	32.67	130.9	23.14	87.79
YOLOv4	416×416	63.97	256.3	29.90	90.74
改进YOLOv4	416×416	33.11	133.2	19.48	92.59

下载: 导出CSV 

| 显示表格

将不同模型在测试集上进行验证，部分结果如图4所示。

图  4  不同模型检测结果

Figure  4.  Detection results of different models

下载: 全尺寸图片 幻灯片

由图4可知：第1组实验，由于煤尘干扰造成待检测目标与背景环境灰度值较为接近，导致YOLOv3、CenterNet及YOLOv4模型均没有检测出行人，而改进YOLOv4模型可以较好地检测出目标；第2组实验，受光照影响，图像亮度分布不均匀且场景中包含各个尺寸大小的目标，改进YOLOv4模型对大中小各个尺度目标的检测均比YOLOv3、CenterNet及YOLOv4模型具有更好的准确性；第3组实验，采煤机滚筒高速运动造成获取的图像较为模糊，改进YOLOv4模型相较于其他3种模型提取到了采煤机的轮廓特征，完整地检测出了目标。上述结果表明改进YOLOv4模型能够在煤尘干扰、光照不均、运动模糊等复杂场景下表现出较好的检测性能，具有更好的鲁棒性。

2.3   消融实验

通过消融实验进一步验证改进YOLOv4模型的有效性，结果见表3。由表3可知：YOLOv4模型仅加入深度可分离卷积后，虽然mAP略有下降，但大大缩减了参数量；增加RSA模块后，相较于仅加入深度可分离卷积模块，mAP提升了2.34%，相较于YOLOv4模型参数量降低了约1/2，满足工业部署的要求。

表  3  消融实验结果

Table  3.  Ablation experiment results

模型	mAP/%	参数量/106
YOLOv4	90.74	63.97
YOLOv4+深度可分离卷积	90.25	35.71
YOLOv4+深度可分离卷积+RSA	92.59	33.11

下载: 导出CSV 

| 显示表格

3.   结论

1） 在YOLOv4模型CSPDarkNet53网络中加入RSA模块，在提取局部特征的同时增强了全局信息获取能力，提升了待检测目标的显著度，进而防止多目标在同一场景下误检、漏检现象的发生。

2） 在YOLOv4模型中引入深度可分离卷积替代传统卷积，减少了模型参数量和计算量，使得模型轻量化，有利于模型的工业部署。

3） 与YOLOv3，CenterNet，YOLOv4模型相比，改进YOLOv4模型的检测精度最高，mAP达92.59%，且在参数量、计算量和mAP上具有更优的平衡，能够在煤尘干扰、光照不均、运动模糊等条件下表现出较好的检测性能。