0.   引言

在煤矿掘进前获知计划掘进区域瓦斯存量并进行瓦斯抽取是预防煤与瓦斯突出事故的重要措施^[1-2]。煤层中的瓦斯通常采用打钻方式抽取，并通过统计钻杆数计算钻孔深度，进而分析瓦斯抽采是否充分^[3]。

传统的矿井钻机钻杆计数方法主要有人工计数法、仪器计数法、应力波法、电驻波法和低压脉冲反射法等^[4]。人工计数法是通过矿井工作人员直接观察记录钻杆的使用数量，该方法操作简单，易于实施，但作业效率低，自动化程度低，准确度受人员影响大。仪器计数法利用现代传感器和电子设备自动记录钻杆数量，与传统的人工计数法相比，仪器计数法提高了计数的准确性和效率，但是受环境的影响较大，成本也相对较高。应力波法^[5]通过钻杆尾部传感器测得反射波信号，根据应力波与反射波的时间差测出钻杆长度。电驻波法^[6]通过钻杆形成的驻波找到驻波节点，获取钻杆数量。但应力波法、电驻波法中波的能量不易控制，存在安全隐患。

随着技术的发展，越来越多的学者利用图像处理算法^[7]实现钻杆计数。方杰等^[8]提出了一种基于ECO−HC（Efficient Convolution Operators−Human Characteristics）的钻杆目标实时跟踪方法，通过分析钻杆目标轨迹的波形图建立计数模型，实现钻杆计数。但ECO−HC主要利用传统特征（如方向梯度直方图和多通道颜色）进行目标跟踪，对钻杆及其变化特征适应性不强。张栋等^[9]提出了一种基于改进MobileNetV2 的钻杆计数方法，根据每帧图像判断钻机的工作状态，进而确定打入钻杆的数量。该方法虽然在特定数据集上表现出色，但在不同类型钻机上的泛化能力未经充分验证。杜京义等^[10]提出了一种基于改进时空图卷积神经网络的钻杆计数方法，通过在图像序列中提取人体的关键点信息来构建表征人体动作的骨架序列，并通过设定打钻动作之间的时间间隔记录动作数量，实现钻杆计数。然而该方法依赖动作识别的准确性，在区分细微动作或非标准动作时存在困难。

针对上述问题，本文提出了一种基于改进YOLOv8n模型的煤矿井下钻杆计数方法。对YOLOv8n模型^[11]进行改进，建立可准确检测矿井钻机工作视频中的钻杆并进行钻杆图像区域分割的YOLOv8n−TBiD模型：为有效捕获钻杆的边界信息，提高模型对钻杆形状识别的精度，使用加权双向特征金字塔网络（Bidirectional Feature Pyramid Network，BiFPN）^[12]替换路径聚合网络（Path Aggregation Network，PANet）^[13]；针对钻杆目标易与昏暗的矿井环境混淆的问题，在Backbone 网络的SPPF（Secure Packet Processing Framework）模块后添加三分支注意力（Triplet Attention），以增强模型抑制背景干扰的能力；针对钻杆在图像中占比小、背景信息繁杂的情况，采用Dice损失函数替换 CIoU损失函数来优化模型对钻杆目标的分割效果。利用YOLOv8n−TBiD模型分割出的钻杆及其掩码信息，根据钻杆打钻中钻杆掩码面积变小而装新钻杆时钻杆掩码面积突然增大的规律，设计了一种钻杆计数算法。选取综采工作面钻机工作视频，对基于YOLOv8n−TBiD模型的钻杆计数方法进行实验验证。

1.   改进的YOLOv8n模型

YOLOv8n−TBiD网络结构如图1所示。

图  1  YOLOv8n−TBiD网络结构

Figure  1.  YOLOv8n-TBiD network structure

下载: 全尺寸图片 幻灯片

1.1   BiFPN

YOLOv8n模型的Neck采用特征金字塔网络（Feature Pyramid Network，FPN）+PANet结构，解决了FPN在处理多尺度特征时低层特征信息容易损失的问题^[14]，但PANet的输入完全取决于FPN处理的特征信息，丢失了来自于主干特征提取网络的部分原始信息，可能会导致模型训练出现偏差，从而影响检测的准确性。鉴此，用BiFPN替换PANet，增强底层信息的表现，有助于减少由于原始信息丢失而导致的偏差问题，促进多尺度融合，从而提高模型的检测性能。PANet与BiFPN结构对比如图2所示。

图  2  PANet与BiFPN结构对比

Figure  2.  Comparison of structure of path aggregation network（PANet） and bi-directional feature pyramid network（BiFPN）

下载: 全尺寸图片 幻灯片

1.2   Triplet Attention

煤矿井下环境复杂，光线昏暗且粉尘较多，钻杆与周围环境对比度小，易发生漏检。针对该问题，在YOLOv8n模型中的SPPF模块后引入Triplet Attention，通过在横向、纵向和深度3个维度上应用注意力机制增强模型的表现，从而提升模型对特征的识别和处理能力。Triplet Attention网络结构如图3所示，主要通过三分支结构增强深度学习网络的特征学习能力，其中2个分支分别用于捕捉通道维度（通道数C）与空间维度（宽度W、高度H）之间的跨通道交互，允许模型深入理解和加工输入数据的复杂关系，第3个分支继续执行传统的空间注意力权重计算，从而提升模型在处理空间信息时的敏感性和准确性。

图  3  Triplet Attention网络结构

Figure  3.  Triplet attention network structure

下载: 全尺寸图片 幻灯片

Triplet Attention分支网络结构如图4所示。给定一个输入张量$ {\boldsymbol{\chi}} $$ \in {{\boldsymbol{{\bf{R}}}}^{C \times H \times W}} $，将其传递到Triplet Attention 3个分支中。输入张量$ {\boldsymbol{\chi}} $经过池化层简化为$ 2\times H\times W $大小的特征图，卷积之后通过Sigmoid激活层生成大小为$ 1\times H\times W $的注意权值。在处理通道维度和空间维度的交互时，将输入特征进行旋转操作，分别变为$ H\times C\times W $和$ W\times H\times C $大小的特征图，再将旋转之后的特征在空间维度上进行Z−Pool池化操作，从而聚合空间维度上的信息，同时保留跨通道的交互信息^[15]。池化后的张量大小分别为$ 2\times C\times W $和$ 2\times H\times C $，通过内核大小为$ 7\times 7 $的卷积层和批量归一化层提供$ 1\times H\times C $大小的中间输出，利用残差连接的方式计算出分支所占权重。批量归一化后输出的特征图经过旋转恢复到$ C\times W\times H $大小，与输入图像大小保持一致，最后将3个分支的输出张量（大小为$ C\times H\times W $）聚合在一起。

图  4  Triplet Attention分支网络结构

Figure  4.  Triplet attention branch network structure

下载: 全尺寸图片 幻灯片

Triplet Attention的跨维度交互特性在矿井环境（光照变化、背景干扰等）下可保持较高的稳定性和鲁棒性，同时优化了信息流动的路径，避免了单一维度处理可能导致的信息丢失或冗余，从而在不显著增加计算成本的情况下提升模型性能。

1.3   损失函数优化

在神经网络训练过程中，通过损失函数计算出模型预测值与真实值之间的偏差，指导模型进行相应优化，从而提升模型的性能和训练效率。由于分割的方法中没有矩形框，网络输出的是概率热图，图中的像素值范围为（0，1） ，代表分类概率^[16]。通过阈值对图像进行二值化处理，即将小于阈值0.5的像素归为背景，将大于阈值0.5的像素归为前景（即钻杆）。分割领域里最常用的损失函数有像素级的Softmax和二元交叉熵，但存在前景像素与背景像素不平衡的问题，即当钻杆逐渐打入煤层时，未打入煤层的钻杆前景区域会越来越小，无关的背景区域占比会逐渐变大，导致分类不平衡。为了解决该问题，引入Dice损失函数替代原网络结构中的CIoU损失函数。

Dice 损失函数源于Dice系数，是一种衡量2个样本相似度的统计工具。Dice系数表达式为

式中$ X $，$ Y $分别为预测的前景区域和真实的前景区域。

Dice系数的取值范围为 [0，1]，取值越高表示预测效果越好。在机器学习中，通常最小化损失函数，目的是最大化预测和真实标签之间的相似度^[17]。Dice损失的表达式为

式中：$ N $为图像像素的总数；$ {y_i} $为第$i$个像素的标签；${p_i}$为第$i$个像素预测为钻杆的概率。

2.   钻杆计数算法

YOLOv8n−TBiD模型不仅可用于钻杆目标的高精度检测和分割，还可为后续的钻杆计数算法提供精确的钻杆掩码。在打钻过程中，钻杆在视频中的横截面积变化具有周期性，即随着钻杆逐渐打入煤层，裸露在外的钻杆面积会逐渐变小。当工人装填新的钻杆后，相应的钻杆掩码面积会突然增大。基于上述原理，设计了基于钻杆掩码面积变化的钻杆计数算法。YOLOv8n−TBiD模型在检测和分割钻杆的过程中，生成一张与原始图像相同尺寸的掩码图像，通过对目标区域进行分类，将属于钻杆的像素标记为1，其他区域的像素标记为0。在分割过程中，首先判断边界框的宽度和高度，如果边界框的宽度和高度不为0（即检测到了钻杆），则从模型结果中提取掩码，计算掩码中值为1的像素点数量，得到分割的面积曲线。每根钻杆的掩码生成后计算其面积，并将该面积添加到掩码列表中，监测面积随时间的变化。

为提高钻杆计数的准确性和鲁棒性，对得到的掩码面积曲线进行二值化处理，将数据转换为二进制形式，再通过平均滤波器平滑二值化数据，最后通过统计二值化滤波处理后数据中的上升沿，计算出新增的钻杆数量。掩码面积曲线二值化滤波处理效果如图5所示。

图  5  掩码面积曲线二值化滤波

Figure  5.  Binarization filtering of mask area curve

下载: 全尺寸图片 幻灯片

3.   钻杆计数实验

3.1   数据集

实验数据来自于安徽省淮南市顾桥矿综采工作面、朱集东矿综采工作面和大庄矿综采工作面安装的分辨率为1 280×720的防爆型矿用摄像机采集的视频。从视频中进行取帧操作，获得高质量钻机作业图像，创建数据集，并采用标注工具Labelme对钻杆图像数据进行详细标注，数据集中部分钻杆标注如图6所示。为确保模型在训练过程中能够接触到充足的数据样本，同时保留独立的测试集和验证集以评估模型的性能，将数据集中5 630张图像按照8∶1∶1的比例划分为训练集、测试集和验证集。

图  6  数据集中部分钻杆标注

Figure  6.  Part of drill pipe annotation in data set

下载: 全尺寸图片 幻灯片

3.2   实验环境

实验硬件配置为NVIDIA Quadro P4000 GPU，编程语言为Python 3.8.1，开发环境为PyCharm 2023.1.4。设定模型的训练轮数为200，批次大小为2，初始学习率为0.01，置信度阈值为0.5。

3.3   评价指标

本文选择平均精度均值（mPA）和平均交并比（mIoU）作为模型评价指标^[18]，并对模型的参数量、浮点运算数、权重大小和帧率进行比较。

3.4   实验结果

3.4.1   模型训练结果

训练集用于优化模型参数，以最小化损失函数为目的，通过反向传播不断调整参数，提高模型对数据的拟合能力和预测准确度^[19]。不同模型在训练集上的损失曲线对比如图7 所示（YOLOv8n−Bi表示在YOLOv8n基础上仅添加了BiFPN，YOLOv8n−T表示在YOLOv8n基础上仅添加了Triplet Attention，YOLOv8n−D表示在YOLOv8n基础上仅添加了Dice）。可看出YOLOv8n−TBiD在初始阶段损失下降最快，表明Triplet Attention，BiFPN和Dice损失结合可显著提高模型的学习速度，同时，在训练过程中有更好的收敛性。

图  7  不同模型在训练集的损失曲线对比

Figure  7.  Comparison of loss curves of different models in training sets

下载: 全尺寸图片 幻灯片

验证集用于在每轮训练结束后进行性能评估，以便监控模型在非训练数据上的表现，并防止模型过拟合。此外，验证集也用于超参数调优，通过对不同超参数设置下的模型性能进行评估，选取能够提升模型泛化能力的最优超参数组合^[20]。不同模型在验证集上的损失曲线对比如图8所示。可看出在验证集上YOLOv8n−TBiD模型的损失最低，表明其在未见数据上有更优的表现，证明了模型具有较强的泛化能力。

图  8  不同模型在验证集的损失曲线对比

Figure  8.  Comparison of loss curves of different models in validation sets

下载: 全尺寸图片 幻灯片

3.4.2   消融实验结果

为验证改进策略对YOLOv8n模型性能提升的效果，在训练集和验证集上进行消融实验，结果见表1。可看出集成Triplet Attention，BiFPN和Dice损失函数的YOLOv8n−TBiD模型的mPA和mIoU最大，分别达94.9%和87.3%，同时保持了较低的参数量和权重大小，检测速度仅略低于YOLOv8n−Bi模型，但较原始YOLOv8n模型提升了17.8%。

表  1  消融实验结果

Table  1.  Ablation experiment results

模型	BiFPN	Triplet Attention	Dice	mPA/%	mIoU/%	参数量/106个	浮点运算数/109	权重大小/MiB	帧率/（帧·s−1）
YOLOv8n	×	×	×	89.2	81.1	3.4	12.8	6.4	90
YOLOv8n−Bi	√	×	×	92.5	85.3	2.3	11.7	4.4	108
YOLOv8n−T	×	√	×	91.9	84.7	3.4	12.8	6.5	87
YOLOv8n−D	×	×	√	90.2	83.6	3.4	12.8	6.5	88
YOLOv8n−TBiD	√	√	√	94.9	87.3	2.3	11.7	4.5	106

下载: 导出CSV 

| 显示表格

3.4.3   钻杆检测实验结果

在相同的实验环境中，将YOLOv8n−TBiD模型与钻杆检测模型GCI−YOLOv4^[4]，ECO−HC^[8]，P−MobileNetV2^[9]及YOLOv5，YOLOX^[21]2种当前主流的目标检测模型进行对比，钻杆检测结果见表2。可看出YOLOv8n−TBiD模型的检测准确率最高，为94.9%，相比于GCI−YOLOv4，ECO−HC，P−MobileNetV2，YOLOv5，YOLOX模型分别提高了4.3%，7.5%，2.1%，6.3%和5.8%。

表  2  不同模型钻杆检测结果对比

Table  2.  Comparison of drill pipe detection results by different models

模型	mAP/%
GCI−YOLOv4	90.6
ECO−HC	87.4
P−MobileNetV2	92.8
YOLOv5	88.6
YOLOX	89.1
YOLOv8n−TBiD	94.9

下载: 导出CSV 

| 显示表格

对测试集中常规场景、强光照射、弱光昏暗及部分遮挡4 种典型场景图像进行测试验证，结果如图9所示。

图  9  不同场景下钻杆检测结果对比

Figure  9.  Comparison of drill pipe detection results in different scenarios

下载: 全尺寸图片 幻灯片

在常规场景中，各算法均能检测到钻杆，但ECO−HC模型出现了多检情况，YOLOv8n−TBiD模型由于采用BiFPN作为特征提取网络，检测精度最高，分割出的图形边缘更加光滑平整。

在强光照射场景中，受光照影响，钻杆部分区域亮度较高，YOLOv5和ECO−HC模型出现漏检情况，YOLOv8n−TBiD模型由于引入了Triplet Attention，提高了钻杆在复杂背景下的显著度，检测精度最高。

在弱光昏暗场景中，作业环境黑暗，YOLOv5模型出现漏检情况，ECO−HC模型出现了多检情况，P−MobileNetV2和GCI−YOLOv4模型检测精度较低，而YOLOv8n−TBiD模型由于引入Triplet Attention及采用Dice损失函数，减少了钻杆目标在整个模糊背景中因占比较小而出现漏检的情况。

在钻杆出现部分遮挡的场景中，ECO−HC模型出现了漏检，YOLOX模型出现了分割面积不完全情况，P−MobileNetV2，GCI−YOLOv4和YOLOv5模型的检测精度低于YOLOv8n−TBiD模型。

3.4.4   钻杆计数实验结果

选取与YOLOv8n−TBiD模型测试时相同的钻机作业视频，将基于YOLOv8n−TBiD模型的钻杆计数方法与其他计数方法进行对比测试，结果见表3。可看出本文钻杆计数方法准确率最高，为99.3%，而人工计数方法存在主观误差和工作强度高的问题，尤其在长时间监控和复杂环境下的准确性和效率难以保证。

表  3  不同计数方法实验结果

Table  3.  Experimental results of different counting methods

方法	实际钻杆数量/个	检测钻杆数量/个	准确率/%
人工计数方法	420	410	97.6
文献[4]方法	420	411	97.8
文献[8]方法	420	410	97.6
文献[9]方法	420	413	98.1
本文计数方法	420	417	99.3

下载: 导出CSV 

| 显示表格

4.   结论

1） 对YOLOv8n模型进行改进，建立了用于钻杆检测和分割的YOLOv8n−TBiD模型。在自建数据集上的实验结果表明，YOLOv8n−TBiD模型的识别精度达94.9%，检测速度相比原始YOLOv8n模型提升了17.8%；相比于其他模型，YOLOv8n−TBiD模型在常规场景、强光照射、弱光昏暗及部分遮挡4种典型井下环境下的检测精度最高，漏检情况最少。

2） 基于YOLOv8n−TBiD模型分割出的钻杆掩码面积具有周期性变化规律的特点，设计了一种钻杆计数算法。实验结果表明，该算法的准确率达99.3%，满足钻杆精确计数的要求。