0.   引言

井下打钻作业是煤矿瓦斯治理的关键技术环节，其施工质量直接关系到瓦斯抽采效果和矿井安全生产水平。随着煤矿智能化建设的深入推进，传统人工打钻作业模式已难以满足现代化矿井高效治理的需求，实现打钻作业的智能化成为当前煤矿安全生产的迫切要求。目前，煤矿企业已全面推行“一钻孔一视频”的监控模式，通过在钻探现场部署视频监控设备，实现了钻进、退钻全过程的实时监控^[1]。然而，实际生产过程中，钻孔深度的精确控制仍是有待解决的技术难题，现有方法主要依赖人工统计钻杆数量来间接推算钻孔深度，存在主观性强、效率低、误差大等问题^[2]。因此，基于钻杆长度固定，通过人工智能图像识别技术自动计算钻机置换钻杆的数目，间接推算钻孔的实际深度，开发基于智能识别技术的钻杆自动计数系统，对减少井下作业人员数量、提升煤矿瓦斯治理效率、保障矿井安全生产具有重要意义^[3]。

钻场视频是煤矿井下打钻监管和验收不可或缺的组成部分。近年来，以图像识别为代表的深度学习技术异军突起，在计算机视觉领域取得巨大成功。基于深度学习的目标检测算法应用水平边界框定位图像中的物体^[4]，可以简洁直观地表示候选区域，水平边界框涉及的参数少，可简化检测模型的训练过程。但是，目标检测中水平边界框的局限性也很明显，如：检测框内存在过多背景区域，增加了分类难度；目标范围表示不准确，检测框之间出现强烈的重叠，降低了检测精度；无法获得目标运动的方向信息等。

姜媛媛等^[5]提出了一种基于改进YOLOv8n模型的煤矿井下钻杆计数方法，利用YOLOv8n−TBiD模型实现了高精度检测与分割，但是该方法只考虑了钻杆掩码面积的变化，没有考虑其他可能影响计数的因素，如钻杆的倾斜角度等。方杰等^[6]将ECO−HC算法应用于井下钻杆计数，克服了传统方法自动化程度低、误差大等问题，实现了实时跟踪和精确计数，使用模板匹配确定首帧目标框位置，避免了人工输入带来的误差和不便捷性，但对于井下环境中钻杆特征及变化特征的适应性不足。高瑞等^[7]提出了一种基于改进ResNet网络的井下钻杆计数方法，通过ResNet−50网络判断视频图像是否包含卸杆动作，并结合预热+衰减的学习率更新策略和积分法滤波，实现了钻杆数量的自动统计，然而该方法依赖于对卸杆动作的识别，若图像中包含卸杆动作而实际并未卸杆，则会导致误统计。冉庆庆等^[8]针对煤矿井下低照度环境，提出了基于改进YOLOv8的钻杆计数方法，虽然在精度上有显著提升，但模型复杂度增加，导致检测速度相比基线模型有所下降。旋转目标检测采用旋转边界框（Oriented Bounding Box，OBB）提供了丰富且直观的形状和方向信息^[9-10]，不仅能够准确识别检测目标（如煤矿井下钻机），更有助于推理钻杆关键点的选取及欧氏距离的计算，可有效解决跨场景、运行不规律钻机的计数推理逻辑问题。张富凯等^[11]提出了融合旋转目标检测与显著性峰值推理的钻杆计数方法，该方法采用改进YOLOv8实现目标检测，通过显著性峰值推理实现精确计数，提升了在复杂环境中的钻杆计数精度，但钻杆计数算法较为复杂。

本文在文献[11]的基础上，基于YOLOv11_ OBB构建打钻图像识别算法，进一步提升目标识别精度和执行速度；通过分析打钻过程中钻机整体（Drill_body）、钻机头部（Drill_head）、钻机尾部（Drill_tail）、钻机钻杆（Drill_pipe）之间的联系及运动规律，设计场景自适应的钻杆计数算法，大幅度提升钻杆识别能力与计数准确性。

1.   基于YOLOv11_OBB的打钻图像识别算法

1.1   YOLOv11_OBB模型结构

传统目标检测方法主要通过识别钻机图像中物体的中心点坐标、宽度和高度来实现物体定位，在处理具有旋转角度的钻机图像时存在局限性，尤其是在钻机视角发生改变的情况下，钻杆识别和计数会产生显著误差。

本文使用YOLOv11_OBB进行旋转目标检测，通过4个角点定位边界框，可精准地贴合钻机图像中4类物体的边界。YOLOv11_OBB模型由输入网络（Input）、主干网络（Backbone）、颈部网络（Neck）和检测头网络（Head）组成，如图1所示。其中，Conv为卷积层，k为卷积核大小，s为卷积核在输入数据上滑动的步长，p为数据边界周围填充的像素数量，c为通道数；C3k2为特征提取组件，可显著降低计算资源消耗；SPPF（Spatial Pyramid Pooling Fast）为空间金字塔池化；C2PSA通过学习图像不同区域的重要性权重，增强对目标细节和边缘的感知能力；Upsample为上采样操作；OBBDetect为OBB的检测模块；DWConv为深度可分离卷积；Conv2d为二维卷积层；Bbox Loss为边界框回归损失函数，用于优化目标检测中的位置预测；Cls Loss为分类损失函数，用于优化目标检测中的类别预测。

图  1  YOLOv11_OBB模型结构

Figure  1.  Structure of YOLOv11_OBB model

下载: 全尺寸图片 幻灯片

1.2   主干网络

主干网络采用C3k2模块进行不同阶段的钻机特征提取。C3k2模块通过分割特征图并应用一系列3×3内核卷积优化信息流，使计算更快且成本更低。

主干网络在SPPF之后增加了C2PSA模块，可增强钻机特征图中的空间注意，提高模型对钻机图像中关键特征的注意。C2PSA是对C2f模块的扩展，通过结合PSA（Pyramid Squeeze Attention）模块，增强钻机特征提取和注意力机制。PSA模块采用Softmax机制对每个特征通道的权重进行比例调整，确保网络能够根据特征的重要性进行选择性关注，有助于网络筛选出关键信息，同时减少对非关键特征的依赖。

1.3   颈部网络

颈部网络受到双向特征金字塔网络的启发，通过增强多尺度特征融合^[12]能力，实现双向跨层连接，允许低分辨率特征图向高分辨率传播，同时也支持信息反方向流动。颈部网络使用加权特征融合^[13] 方式，以更好地区分不同层次间的重要性。为解决由于多次上采样和下采样导致的梯度消失或爆炸问题，对每条路径上的权重实施L2正则化处理，确保训练过程更加稳定、可靠。此外，颈部网络可动态调节各个节点处来自上下相邻层级贡献的比例关系，借助注意力机制自动学习最优配置方案，提高模型在煤矿复杂场景下的鲁棒性。

1.4   检测头网络

检测头网络设计2个并行分支。在训练阶段，分支2通过多标签分配策略，为特征提取层提供丰富的监督信息，促进特征的深入挖掘。同时，分支1与分支2协同训练，采用唯一标签分配机制确定目标的类别与位置信息。这种联合优化策略有助于提升特征提取效能，分支1为每个真实目标分配唯一的预测结果，可有效避免后续的非极大值抑制操作。

此外，检测头引入2个深度可分离卷积模块DWConv，相较于标准卷积，能够显著减少模型计算量。设图像的高度为h，宽度为w，输入通道数为${C_{{\mathrm{in}}}}$，输出通道数为${C_{{\mathrm{out}}}}$，则标准卷积的参数量为${C_{{\mathrm{in}}}} {C_{{\mathrm{out}}}} h w$，深度卷积的参数量为${C_{{\mathrm{in}}}} h w$。

1.5   损失函数

YOLOv11_OBB的损失函数主要由边界框回归损失函数、分类损失函数和分布损失函数组成。边界框回归损失函数用于优化预测边界框与真实边界框之间的差异^[14]；分类损失函数使用交叉熵损失函数^[15]；分布损失函数解决钻机图像识别中类别不平衡问题，并提高模型处理小目标和困难样本的能力^[16]。

2.   钻杆计数算法

基于YOLOv11_OBB打钻图像识别结果，设计钻杆计数算法，详细步骤如下。

1） 获取钻机整体的中心点坐标，并绘制旋转边界框。

2） 获取钻机尾部的中心点坐标，并绘制粉色圆点。

3） 获取目标钻杆。YOLOv11_OBB会识别到视频图像中的所有钻杆，但只关心对计数有帮助的目标钻杆，其他钻杆会被忽略。目标钻杆的选取原则：① 排除钻机整体边界框之外的钻杆。② 排除钻机尾部和头部之间的钻杆。③ 选取与钻机尾部外侧连接的钻杆为目标钻杆。目标钻杆如图2所示，红色方框为边界框，黄色钻杆为目标钻杆。

图  2  目标钻杆

Figure  2.  Target drill pipe

下载: 全尺寸图片 幻灯片

4） 确定目标钻杆的关键点（图2中的蓝色圆点）。钻杆关键点的确定需要区分进钻和退钻2种情况。进钻时，选取目标钻杆上距离Drill_tail最远的点作为关键点；退钻时，选取目标钻杆上距离Drill_tail最近的点作为关键点。

5） 分别绘制目标钻杆和目标钻杆的关键点。进钻时：检测到目标钻杆，直接将其对应的中心点坐标、当前视频帧数、当前时间戳添加于数组中，该数组定义于整体数据集的for循环外，将符合条件的钻杆进行可视化；在Drill_pipe上生成黄色遮罩，钻杆关键点用蓝色圆点标记。退钻时：检测到目标钻杆，首先判断其关键点是否在钻机边界框内，如果在，则将Drill_pipe对应的中心点坐标、当前视频帧数、当前时间戳添加于数组中，该数组定义于整体数据集的for循环外，将符合条件的钻杆进行可视化；在Drill_pipe上生成遮罩，钻杆关键点用蓝色圆点标记。

6） 钻杆计数。通过钻杆关键点与钻机尾部中心点之间的距离d进行计数。首先，初始化一个阈值threshold。其次，从纵坐标考虑寻找所有距离峰值，当d与左边或右边相邻点的纵坐标之比高于threshold时，该点被记为峰值。然后，从横坐标考虑确定有效峰值，定义变量D，当前一个波峰和当前波峰之间的距离大于D时，将前一个波峰位置加入到筛选后的列表中，即完成1次钻杆计数；否则，不进行计数，并舍弃该峰值。最后，持续进行钻杆计数，直到停止打钻。

3.   煤矿钻杆计数数据集

3.1   数据集制作

以山西某煤矿为研究对象，采集井下“一钻一视频”历史视频数据，构建基于OBB的煤矿井下钻杆计数数据集（Coal Mine Drill Pipe Counting Dataset based on Oriented Bounding Box，CMDPC_OBB）^[17]。

打钻工作中，由于摄像头摆放位置不规范，视频画面中的角度和距离与实际差异较大，会严重影响钻杆计数的准确性。因此，通过发布《煤矿井下“一钻一视频”摄像头摆放位置的说明》，对打钻视频画面效果进行规范性约束，具体如下。角度：摄像头与钻机侧面成垂直状态，或摄像头位于钻机尾部，与钻机中心呈约45°角；距离：摄像头与钻机的距离适中，为3～4 m；大小：在视频画面中可见完整钻机体和钻杆，避免仅可见局部钻机、钻机太小或钻杆超出视频画面。

选取42个不同场景下满足要求的打钻视频，按照20帧的间隔将视频切分为图像，尽可能保留具有运动状态的打钻过程，每个场景获得300张图像，使用roLabelImg标注工具对图像进行旋转目标标注。CMDPC_OBB中的数据包括钻机整体、钻机头部、钻机尾部、钻机钻杆4类，如图3所示。

图  3  CMDPC_OBB数据集标签类别

Figure  3.  CMDPC_OBB dataset label categories

下载: 全尺寸图片 幻灯片

经过数据采集、预处理和标注，共得到12 600张图像，包含煤矿井下不同场景、视角、光照、清晰度、遮挡等复杂环境，支持旋转目标检测任务。按照7∶1∶2的比例，将CMDPC_OBB数据集划分为训练集（8 820张图像）、验证集（1 260张图像）和测试集（2 520张图像），数据集各个类别的标注信息见表1。

表  1  CMDPC_OBB数据集划分及标签分布

Table  1.  CMDPC_OBB dataset partitioning and label distribution

数据类别	标签	标注数量/张
		训练集	验证集	测试集	合计
钻机整体	Drill_body	8 716	1 244	2 496	12 456
钻机头部	Drill_head	8 811	1 158	2 465	12 434
钻机尾部	Drill_tail	8 823	1 236	2 521	12 580
钻机钻杆	Drill_pipe	16 840	2 320	4 814	23 974
合计		43 190	5 958	12 296	61 444

下载: 导出CSV 

| 显示表格

3.2   数据增强

为提升YOLOv11_OBB对打钻图像识别的泛化能力，引入Albumentations数据增强技术^[18]，对图像进行旋转、翻转等操作，增加数据集的多样性。Albumentations具有3种级别的增强，如图4所示。像素级变换仅影响图像颜色和亮度，不改变遮罩、边界框或关键点；空间级变换包括翻转、旋转，会同步转换图像及其元素；混合级变换将多张打钻图像合成1张图像，实现复杂的数据增强。

图  4  Albumentations数据增强

Figure  4.  Albumentations data augmentation

下载: 全尺寸图片 幻灯片

4.   实验结果与分析

4.1   模型训练

实验在Ubuntu 20.04.6 LTS系统上使用PyTorch深度学习框架^[19]实现，工作站配备NVIDIA RTX A6000 GPU 48 GiB显卡。模型训练过程中，设定Batch_size为32，图像尺寸为640×640像素，初始学习率为0.000 1，整个训练过程持续300个epoch，模型收敛过程如图5所示。其中训练集和验证集的边界框回归损失在训练过程中逐渐下降，随后保持稳定，这表明模型对物体区域的识别效果较好；训练集和验证集的分类损失函数用于衡量模型预测类别与真实类别的差异，随着损失值逐渐降低，模型的分类准确性不断提高；训练集和验证集的分布式焦点损失通过优化边界框位置的概率分布，引导模型更精准地调整框的位置以提升定位准确度，随着损失值逐渐降低，模型的预测效果持续改善；随着训练轮次的增加，精确率、召回率、IoU阈值为50%时的平均精度均值mAP@0.5及IoU阈值为50%～95%时的平均精度均值mAP@[0.5:0.95]均逐渐提升，表明训练效果越来越好。

图  5  YOLOv11_OBB打钻图像识别模型训练过程

Figure  5.  Training process of YOLOv11_OBB drilling image recognition model

下载: 全尺寸图片 幻灯片

打钻图像识别结果的混淆矩阵^[20]如图6所示。图6（b）是图6（a）的标准化，通过将混淆矩阵中的每个元素除以相应的列总和，将转换为概率形式，以便更直观地分析和比较模型的性能。可看出模型的预测准确率较高。

图  6  混淆矩阵

Figure  6.  Confusion matrix

下载: 全尺寸图片 幻灯片

4.2   打钻图像识别实验

在CMDPC_OBB测试集上设计对比实验，比较常见的目标检测模型对打钻图像的识别效果，结果见表2。其中，CMDPC_OBB测试集符合摄像头摆放位置要求。

表  2  不同目标检测模型在CMDPC_OBB测试集上的识别结果

Table  2.  Recognition results of different target detection models on CMDPC_OBB test dataset

模型	精确率	召回率	mAP@ 0.5	mAP@ [0.5:0.95]	参数量/ 106个	GFLOPs	帧率/ （帧·s−1）
YOLOv5L[21]	0.826	0.590	0.663	0.330	2.5	7.810	42
YOLOv6L[22]	0.834	0.588	0.650	0.306	3.9	10.650	46
YOLOv8L[23]	0.833	0.578	0.643	0.308	4.0	10.330	56
YOLOv10L[24]	0.831	0.596	0.649	0.340	2.6	8.488	32
YOLOv5L_OBB	0.853	0.538	0.646	0.336	1.9	5.810	31
YOLOv8L_OBB	0.905	0.710	0.782	0.482	3.5	9.136	38
YOLOv8_OBB_DG[11]	0.929	0.69	0.780	0.493	2.8	7.500	32
YOLOv11_OBB	0.935	0.686	0.796	0.508	2.5	8.390	34

下载: 导出CSV 

| 显示表格

由表2可知，在煤矿打钻视频识别问题中，相较于目标检测模型YOLOv5L，YOLOv6L，YOLOv8L，YOLOv10L，旋转目标检测模型YOLOv5L_OBB，YOLOv8L_OBB，YOLOv8_OBB_DG，YOLOv11_OBB在精确率、召回率、mAP@0.5及mAP@[0.5:0.95]指标上表现更佳。

在基于旋转目标检测的打钻识别模型中，YOLOv11_OBB的精确率为0.935，召回率为0.686，mAP@0.5和mAP@[0.5:0.95]分别为0.796和0.508。对于精确率，YOLOv11_OBB与YOLOv5L_OBB，YOLOv8L_OBB相比分别提升了8.2%，3%；针对mAP@0.5，YOLOv11_OBB比YOLOv5L_OBB，YOLOv8L_OBB分别提高了15%，1.4%； 对于mAP@[0.5:0.95]，YOLOv11_OBB比YOLOv5L_OBB，YOLOv8L_OBB分别提升了17.2%，2.6%。相较于YOLOv8_OBB_DG模型，YOLOv11_OBB在精确率上提高了0.6%，帧率提高了2帧/s。

模型训练结束后，对测试集中各工况的识别结果如图7所示。其中图7（a）为图像清晰且摄像头距离较为合适时的识别结果；图7（b）为存在异物或人员遮挡、背景复杂时的识别结果，对于部分遮挡区域，YOLOv11_OBB能够利用上下文信息和图像中的其他线索进行智能推测和补偿，最大限度地减少信息缺失对识别结果的影响；图7（c）为强光照且图片模糊时的识别效果，图7（d）为距离远且图片模糊时的识别效果，可看到YOLOv11_OBB模型在背景模糊、光照变化、距离过远等煤矿复杂环境下能获得较好的识别效果。

图  7  YOLOv11_OBB在CMDPC_OBB测试集上的识别结果

Figure  7.  Recognition results of YOLOv11_OBB on CMDPC_OBB test set

下载: 全尺寸图片 幻灯片

4.3   钻杆计数实验

为了验证基于YOLOv11_OBB的钻杆计数方法的有效性，随机选取数据集CMDPC_OBB中的4组视频进行实验，4组视频的摄像头摆放位置均符合要求。实验采用基于YOLOv11_OBB的钻杆计数方法、人工计数及DC_SPC_KEY计数方法^[11]进行对比，以人工计数结果作为真实计数数据，并以误计率和帧率作为评价指标。误计率计算公式为

式中：$ a $为人工计数结果；$ b $为方法计算结果。

钻杆计数方法对比实验结果见表3。对于视频2，基于YOLOv11_OBB的钻杆计数方法误计率为0，即视频2不存在误计，而DC_SPC_KEY计数方法对视频2的误计率为1.923%。对于4组视频，基于YOLOv11_OBB的钻杆计数方法的帧率均略高于DC_SPC_KEY计数方法。整体来看，基于YOLOv11_OBB的钻杆计数方法在CMDPC_OBB数据集上的计数准确率达97.96%，具有较好的准确性；模型的平均识别速度为34帧/s，钻杆计数的平均速度为79帧/s，满足实时计数要求。

表  3  钻杆计数方法对比实验结果

Table  3.  Comparative experimental results of drill pipe counting methods

视频	时长/s	打钻 类型	人工计 数/根	基于YOLOv11_OBB的 钻杆计数方法				DC_SPC_KEY 计数方法
				算法计 数/根	误计 率/%	帧率/ （帧·s−1）		算法计 数/根	误计 率/%	帧率/ （帧·s−1）
视频1	300	退钻	105	103	1.904	80		103	1.904	77
视频2	309	退钻	52	52	0	79		51	1.923	78
视频3	200	进钻	12	12	0	81		12	0	79
视频4	300	进钻	16	15	6.250	77		15	6.250	76

下载: 导出CSV 

| 显示表格

5.   结论

1） 构建了一种面向煤矿井下复杂环境的钻杆自动识别模型YOLOv11_OBB，该模型采用OBB，能够精准捕获具有倾斜角度的打钻图像。在CMDPC_OBB数据集上的实验结果表明，YOLOv11_OBB模型的识别精度为93.5%，能够适应图像拼接合成带来的视角变化和图像部分缺失问题，并且相较于其他模型在mAP@0.5和mAP@[0.5:0.95]上均有所提高。

2） 基于YOLOv11_OBB打钻图像识别结果，设计了场景自适应的钻杆计数算法，通过追踪目标钻杆与钻机尾部关键点之间的运动轨迹及多条件判断峰值实现自动计数。该算法在CMDPC_OBB数据集上的计数准确率达97.96%，识别的平均速度为34帧/s，钻杆计数的平均速度为79帧/s，满足实时计数要求。