A miner queue detection method based on improved YOLOv5s
-
摘要: 传统的目标检测算法识别矿工排队异常行为时需人工提取特征,检测时间长、检测精度低;基于卷积神经网络的目标检测算法在检测速度和精度上有所提升,但在遮挡、昏暗和光照不均等场景下的检测效果难以保障。针对上述问题,提出了一种改进YOLOv5s(HPI−YOLOv5s)模型,并将其用于矿工排队检测。HPI−YOLOv5s模型在YOLOv5s模型的基础上对路径聚合网络(PANet)进行改进,通过删除单个输入边节点、增加双向交叉路径,构建了一种双向交叉特征金字塔网络(BCrFPN)进行多尺度特征融合。鉴于手动设置阈值的标签分配策略鲁棒性不高,在自适应训练样本选择(ATSS)动态设置阈值的基础上,提出动态标签分配策略(ATSS_PLUS),更合理地评估候选样本的质量,动态设定每个真实目标的阈值,具有更高的检测精度和鲁棒性。通过半平面交法计算人脸框与所划定排队区域的相交面积,并将相交面积和人脸框面积之比与设置的阈值比较以判断矿工是否有序排队。实验结果表明:HPI−YOLOv5s模型比YOLOv5s模型的准确率提高了1.9%,权重大小减少了32%,参数量减少了6.9%,检测速度提高了7.8%,且针对遮挡、昏暗、光照不均的矿井图像,能够更准确地识别矿工排队情况。Abstract: Traditional object detection algorithms require manual feature extraction when recognizing abnormal behavior of miners queuing, resulting in long detection time and low detection precision. The object detection algorithm based on convolutional neural networks has improved detection speed and precision. But its detection performance is difficult to guarantee in scenarios of obstruction, dimness, and uneven illumination. In order to solve the above problems, an improved YOLOv5s (HPI YOLOv5s) model is proposed. It is used for miner queue detection. The HPI-YOLOv5s model improves the path aggregation network (PANet) on the basis of the YOLOv5s model. By deleting a single input edge node and adding bidirectional crossing paths, a bidirectional cross feature pyramid network (BCrFPN) is constructed for multi-scale feature fusion. Considering the low robustness of label allocation strategies with manually set thresholds, a dynamic label allocation strategy (ATSS-PLUS) is proposed based on adaptive training sample selection (ATSS) to dynamically set thresholds. It can reasonably evaluate the quality of candidate samples and dynamically set thresholds for each real object, resulting in higher detection precision and robustness. The method calculates the intersection area between the face frame and the designated queue area using the half plane intersection method. The method compares the ratio of the intersection area to the face frame area with the set threshold to determine whether the miners are queuing in an orderly manner. The experimental results show that the HPI-YOLOv5s model has an accuracy improvement of 1.9%, a weight reduction of 32%, a parameter reduction of 6.9%, and a detection speed improvement of 7.8% compared to the YOLOv5s model. Moreover, it can more accurately recognize the queuing situation of miners in obstruction, dimness, and uneven illumination mine images.
-
0. 引言
煤矿智能化无人开采是煤炭开采技术发展的终极目标,是煤矿智能化建设的核心,对实现煤矿减人、增安、提效具有重要意义[1-3]。采煤机作为综采工作面的核心装备,实现其智能截割调控是智能化无人开采的必要基础保障[4]。
采煤机智能截割调控包含截割模板生成、截割路径规划和智能调高控制3个方面,分别对应采煤机运行中的智能感知、智能决策和智能执行。
截割模板生成是确定采煤机滚筒截割高度的重要依据。目前普遍方法是依据煤矿高精度三维地质模型数据,沿工作面倾向剖切获得截割模板数据。李森等[5]以地质模型数据为依据,采用基于趋势分解与机器学习的滚筒截割高度预测方法生成截割模板。侯运炳等[6]利用煤层精细化物探数据构建工作面高精度三维地质模型,并以此提取截割模板。李旭等[7]利用煤矿地质数据、工作面切眼数据和工作面运输巷与回风巷实际数据,采用三次样条插值方法建立了初始三维数字截割模板。但现有方法缺乏对采煤机滚筒状态的分析,使得截割模板生成质量难以保证,甚至会造成无法根据工作面实际煤层变化灵活指导采煤机作业。
截割路径规划是基于生成的初始截割模板,结合预测模型或人工经验等,规划未来时刻的采煤机截割路径,一方面实现工作面倾向的顶底板最优截割曲线(与煤层边界误差最小),另一方面实现工作面连续推进。司垒等[8]建立了多输入、单输出的最小二乘支持向量机滚动预测模型,提出了一种基于煤层分布预测的采煤机截割路径规划方法。董刚等[9]针对采煤机上滚筒截割过程中在顶板煤岩界面弯曲区域极易截割到顶板岩石的问题,提出了一种基于虚拟煤岩界面的采煤机上滚筒路径规划方法。然而现有方法未充分考虑工作面起伏情况和地质环境条件,导致得到的截割路径不是最优,进而使得采煤机无法精准调整滚筒截割高度,影响采煤效率和质量。
智能调高控制是通过软件程序及采煤机高精度控制单元,在截割过程中使滚筒实现自适应调高。符大利[10]分析了基于透明地质模型的截割曲线规划原理,建立了透明工作面自动调高模型,并进行了采煤机规划调高的工程应用。钟立雯[11]设计了一种基于极限学习机的PID控制方法,实现了采煤机的非线性、延时自适应调高。王焕文等[12]针对薄煤层等复杂地质条件下的采煤机自动化开采作业,构建了基于单向示范刀的采煤机记忆截割模型,依照该模型使采煤机实现智能调高,提高了示范刀采样轨迹和截割轨迹的吻合度。李旭东[13]提出了采煤机自动调高控制策略及截割曲线的拟合方式,在此基础上设计了自动调高控制系统。刘送永等[14]采用基于新型神经网络观测器的间接自适应规定性能控制方法,实现采煤机自动调高控制。许连丙[15]研究了基于Elman神经网络的采煤机智能调高控制算法,实现了采煤机截割滚筒自动调高。但是,目前调高控制方法依赖采煤机自身控制单元(例如记忆截割模式),一旦地质条件发生变化,无法及时实现自适应调控,影响截割效果。
为解决上述问题,本文提出了一种基于工艺驱动的采煤机智能截割调控方案。按照工作面液压支架编号采集采煤机滚筒截割高度数据并进行处理,动态生成截割模板;结合工作面顶底板写实数据与人工割煤经验,对截割模板进行修正,得到最优截割路径;根据不同采煤工艺阶段,实现采煤机滚筒自适应调高。该方案适用于不同采煤工艺的综采工作面,可为推进无人化采煤提供技术支撑。
1. 基于工艺驱动的采煤机智能截割调控总体方案
基于工艺驱动的采煤机智能截割调方案如图1所示。集控上位机软件平台位于地面控制中心操作岛,与采煤机通过矿井环网连接。结合采煤机滚筒截割高度历史数据,对采集的滚筒截割高度实时数据进行处理,生成采煤机截割模板;结合工作面顶底板写实数据与人工割煤经验,规划采煤机下一刀的顶底板截割路径;依据采煤工艺,下发滚筒截割高度调节量至采煤机,形成新一代“井上智能决策、煤机智能调控”的采煤机智能截割模式。
2. 基于工艺驱动的采煤机智能截割调控关键技术
2.1 采煤机截割模板动态生成
现有采煤机记忆截割系统输入数据来源于传感器采集的截割高度数据[16-18],并没有考虑支架的位置和宽度,因此,无法在截割模板中准确提取采煤机滚筒到达每个支架时所需的截割高度数据,导致截割模板数据(顶底板曲线)与真实设备的安装部署条件不匹配,截割模板数据可信度明显降低,造成未来的截割路径与煤岩分界线偏差大。因此,本文按照工作面液压支架编号采集采煤机滚筒截割高度数据并进行处理,动态生成采煤机截割模板,具体流程如图2所示。
在采煤机截割过程中,采煤机截割位置支架编号不断变化,左右滚筒位置支架编号也不断变化,集控上位机软件平台实时采集滚筒截割高度数据,并按照滚筒位置支架编号添加到滚筒截割高度数组;同时,集控上位机软件平台对滚筒位置进行周期校验,判断是否存在跳变异常现象(即支架编号不连续),使用拉格朗日多项式插值法补齐跳变位置数据,采用修剪均值算法优化整个数组,最终获得完整的采煤机滚筒截割高度数组。
在采煤机割一刀煤结束时,根据采煤机滚筒截割高度数组,按照0.1架的间隔,采用分段线性插值算法得到顶底板2条曲线。结合历史顶底板曲线数据,使用最近邻插值法优化这2条曲线数据,使滚筒截割高度数据更连续;使用高斯滤波算法去除顶底板曲线中的波峰与波谷,使滚筒截割高度数据更平滑;根据人工设定的阈值,分别对顶底板曲线进行插值平滑处理,最终生成下一刀采煤机截割模板。插值平滑处理具体实现方法:以顶板曲线数据为例,遍历每个顶板曲线数据,按照当前支架编号向小号方向计数N个顶板曲线数据(不足N个从大号方向补全),向大号方向计数N个顶板曲线数据(不足N个从小号方向补全),相邻2N个顶板曲线数据计算平均值,当前顶板曲线数据与平均值求差值,如果差值超过人工设定阈值,则认为当前顶板曲线数据不可靠,采用平均值替换。
2.2 采煤机截割路径优化
采煤机在截割过程中易受到煤层厚度、地质硬度等环境因素的影响,导致截割质量不稳定,截割模板不准确[19]。同时,由于缺乏对已开采空间围岩状态的持续分析,无法对已完成开采的顶底板曲线存在的问题进行综合评估分析,制定相应的曲线修正方案。因此,本文基于工作面顶底板写实数据,结合人工割煤经验,通过集控上位机软件平台预先规划采煤机截割路径,并实时调节截割路径,以实现滚筒截割高度与工作面顶底板曲线的自适应耦合,如图3所示。
1) 工作面顶底板写实数据录入及上传。在每个生产班开始前,井下采煤工人巡检工作面,观察顶底板工程质量,使用APP移动端软件记录工作面顶底板写实数据,上传顶底板照片、录像等真实采场环境素材,根据割煤经验输入注意信息;通过工作面无线网络,将上述数据上传至地面集控上位机软件平台。
2) 工作面顶底板写实数据确认。地面操控中心人员使用集控上位机软件平台人机交互界面查看截割模板,以及工作面顶底板写实数据、采场照片、录像及注意信息,参照工作面倾向起伏曲线数据,调整截割模板数据,并存入SQL关系型数据库。
3) 截割路径预先规划。在采煤机截割过程中,地面操控中心人员关注采煤机截割高度与截割模板之间的差异,同时结合实际情况(如视频、滚筒截割高度),利用集控上位机软件平台预先规划截割路径。
4) 截割路径实时干预。在采煤机截割过程中,集控上位机软件平台自动下发滚筒截割高度数据,控制滚筒采高、卧底量。当地面操控中心人员发现滚筒截割高度不满足采场空间需求时,可使用集控上位机软件平台人机交互功能在线调节采煤机截割路径。
2.3 采煤机自适应调高控制
目前,煤矿综采工作面自动化开采控制大多数处于单机设备自动控制、简单多机设备交互协同辅助的状态[20]。由于煤矿开采设备数量大、工艺复杂度高,且采煤工艺、设备控制工序需根据实际生产情况动态调整频繁[21],目前的设备交互协同控制无法满足生产系统整体层面上的调度控制需求,需要将设备间协同控制与生产实际工艺需求有机结合起来。因此,本文通过编辑采煤工艺和设置截割模板数据,形成采煤工艺表文件;集控上位机软件平台依据采煤工艺表文件,下发采煤机滚筒截割高度调节量,实现采煤机自适应调高控制,如图4所示。
根据采煤机运行方向,将采煤工艺划分为多个工序阶段,每个工序阶段中根据采煤机运行位置与方向作为动作的关联条件,进行采煤机控制逻辑编辑,形成采煤工艺表文件。采煤工艺表文件具备采煤机全工作面割煤工序控制逻辑,该控制逻辑将采煤机在工作面中部段、端部清浮煤段、斜切进刀段、三角煤区域段的工序进行分解,转换为不同采煤工序阶段。每个采煤工序阶段可通过接收上一个工序的反馈数据、延迟时间等逻辑判断作为该采煤工序阶段执行逻辑判断依据,实现整个采煤工艺循环控制。
每个采煤工序阶段对应一个表单化的控制属性参数配置信息,用来配置采煤机控制工序执行的触发条件和结束条件,以及滚筒截割高度、采煤机运行方向等。根据实际采煤生产过程需要,通过控制属性参数配置对每个采煤工序滚筒的具体控制方式进行进一步细化,确定滚筒截割路径。
集控上位机软件平台加载采煤工艺表文件后,将其转换为可执行控制逻辑程序,程序接收采煤机运行状态参数,分析采煤机运行方向及所在位置,判断采煤工艺执行阶段、工序任务是否需要切换;依据采煤机运行方向及所在位置进行采煤工序切换,判断采煤工序触发条件,进行工序调度,按照工序属性参数配置信息,向采煤机发送调度数据(包括截割模板数据、截割路径调整量等),采煤机接收数据后通过解析数据执行相应动作,从而确保采煤机滚筒截割按照参数配置自适应调高。
3. 采煤机智能截割调控示范应用
为验证基于工艺驱动的采煤机智能截割调控应用效果,在神东煤炭集团榆家梁煤矿43207工作面开展了示范应用。
在采煤机截割模板的基础上,规划截割调整量,利用采煤工艺驱动,按照编辑的采煤工序及截割参量,调度采煤机运行方向及速度,并按0.1架的间距,将滚筒截割高度数据自动下发至采煤机执行单元,地面集控上位机软件平台即可实现采煤机全工作面智能截割工序的控制。
2022年10月1日,榆家梁煤矿43207工作面建成采煤机智能截割调控新模式以来,逐渐形成常态化使用,并连续多次刷新单班生产纪录,其中,10月4日零点班首次完成单班完整地面割煤6刀,10月7日首次完成圆班完整地面割煤13刀,10月16日圆班割煤13刀70架,相比传统人工平均圆班生产12刀,效率提升达13%。
采煤机智能截割调控方案的示范应用,实现了无人化采煤常态化作业,将生产班工作面作业人员由3人减少至工作面中部无人,两端头固定岗位监护采煤作业,采煤机自动割煤率达97%以上。
4. 结论
1) 按照工作面液压支架编号实时采集采煤机滚筒截割高度数据,并结合采煤机滚筒截割高度历史数据对实时数据进行处理,动态生成采煤机截割模板。
2) 结合工作面顶底板写实数据与人工割煤经验,预先规划截割路径并实时干预,达到滚筒截割高度与采场空间顶底板曲线自适应耦合的效果。
3) 基于采煤机工艺驱动控制滚筒截割高度,从而实现采煤机自适应调高控制。
-
表 1 不同模型在MAFA数据集上的性能
Table 1 Performance of different models on MAFA dataset
% 模型 准确率 精确率 召回率 特异性 SSD 59.34 60.92 58.60 58.56 YOLOv4 69.00 72.20 68.50 68.44 YOLOv5s 70.00 72.00 71.60 70.34 HPI−YOLOv5s 72.90 73.10 70.80 71.00 表 2 不同模型在Wider Face数据集上的性能
Table 2 Performance of different models on Wider Face dataset
% 模型 准确率 精确率 召回率 特异性 SSD 58.24 61.10 59.56 58.20 YOLOv3 67.50 71.34 69.30 65.80 YOLOv4 69.66 72.12 68.98 67.70 YOLOv5s 71.40 72.50 70.60 71.80 HPI−YOLOv5s 73.20 73.10 71.80 72.00 表 3 不同模型在自建井下矿工人脸检测数据集上的性能
Table 3 Performance of different models on self-built miner face detection dataset
% 模型 准确率 精确率 召回率 特异性 SSD 58.40 57.20 58.00 56.80 YOLOv3 59.34 59.40 58.56 56.70 YOLOv4 59.38 58.60 58.30 59.67 YOLOv5s 60.10 60.60 61.40 61.90 Deit 60.00 60.20 62.90 61.18 HPI−YOLOv5s 61.90 62.00 61.80 62.65 表 4 消融实验结果
Table 4 Ablation experiment results
模型 准确率/% 权重大
小/MiB每秒浮点运
算次数/109参数量/
106个检测速度/
(帧·s−1)YOLOv5s 60.1 15.3 15.9 7.020 92 115 YOLOv5s
(BCrFPN)60.0 9.7 8.5 4.683 97 — YOLOv5s
(ATSS)60.5 14.2 10.7 5.098 05 — YOLOv5s
(ATSS_PLUS)62.1 12.9 9.7 6.452 74 — HPI−YOLOv5s 62.0 10.4 9.0 6.530 91 124 -
[1] 饶天荣,潘涛,徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化,2022,48(10):48-54. RAO Tianrong,PAN Tao,XU Huijun. Identification of unsafe behaviors in coal mines based on cross-attention mechanism[J]. Journal of Mine Automation,2022,48(10):48-54.
[2] 李琰,刘珍,陈南希. 基于矿工大数据的不安全行为主题挖掘与语义分析[J]. 煤矿安全,2023,54(9):254-257. LI Yan,LIU Zhen,CHEN Nanxi. Topic mining and semantic analysis of unsafe behavior based on miner big data[J]. Safety in Coal Mines,2023,54(9):254-257.
[3] 崔丽珍,张清宇,郭倩倩,等. 基于CNN−LSTM的井下人员行为模式识别模型[J]. 无线电工程,2023,53(6):1375-1381. DOI: 10.3969/j.issn.1003-3106.2023.06.017 CUI Lizhen,ZHANG Qingyu,GUO Qianqian,et al. Underground personnel behavior pattern recognition model based on CNN-LSTM[J]. Radio Engineering,2023,53(6):1375-1381. DOI: 10.3969/j.issn.1003-3106.2023.06.017
[4] 王科平,连凯海,杨艺,等. 基于改进YOLOv4的综采工作面目标检测[J]. 工矿自动化,2023,49(2):70-76. WANG Keping,LIAN Kaihai,YANG Yi,et al. Target detection of the fully mechanized working face based on improved YOLOv4[J]. Journal of Mine Automation,2023,49(2):70-76.
[5] 张海彬,黄晶,宋志强,等. 一种基于背景差分法的室内排队人数检测方法[J]. 电子测量技术,2019,42(14):123-126. ZHANG Haibin,HUANG Jing,SONG Zhiqiang,et al. Detection method of the number of people of indoor queues based on background difference method[J]. Electronic Measurement Technology,2019,42(14):123-126.
[6] ZHU Di,ZHANG Fan,WANG Shengyin,et al. Understanding place characteristics in geographic contexts through graph convolutional neural networks[J]. Journal of Planning Literature,2020,35(3):362-363.
[7] JATI A,GEORGIOU P. Neural predictive coding using convolutional neural networks toward unsupervised learning of speaker characteristics[J]. IEEE/ACM Transactions on Audio,Speech,and Language Processing,2019,27(10):1577-1589. DOI: 10.1109/TASLP.2019.2921890
[8] 陈国栋,严铮,赵志峰,等. 一种基于OpenPose和OpenCV的公共场所排队异常行为检测方法:CN202111251971. X[P]. 2022-01-28. CHEN Guodong,YAN Zheng,ZHAO Zhifeng,et al. A method for detecting abnormal queuing behavior in public places based on OpenPose and OpenCV:CN202111251971. X[P]. 2022-01-28.
[9] 侯公羽,陈钦煌,杨振华,等. 基于改进YOLOv5的安全帽检测算法[J/OL]. 工程科学学报:1-15[2023-11-03]. http://kns.cnki.net/kcms/detail/10.1297.TF.20231103.1351.004.html. HOU Gongyu,CHEN Qinhuang,YANG Zhenhua,et al. Safety helmet detection algorithm based on improved YOLOv5[J/OL]. Chinese Journal of Engineering:1-15[2023-11-03]. http://kns.cnki.net/kcms/detail/10.1297.TF.20231103.1351.004.html.
[10] 张释如,黄综浏,张袁浩,等. 基于改进YOLOv5的煤矸识别研究[J]. 工矿自动化,2022,48(11):39-44. ZHANG Shiru,HUANG Zongliu,ZHANG Yuanhao,et al. Coal and gangue recognition research based on improved YOLOv5[J]. Journal of Mine Automation,2022,48(11):39-44.
[11] LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection [C]. IEEE International Conference on Computer Vision,Venice,2017:2999-3007.
[12] 张倩,刘紫燕,陈运雷,等. 融合Transformer和改进PANet的YOLOv5s交通标志检测[J]. 传感技术学报,2023,36(2):232-241. ZHANG Qian,LIU Ziyan,CHEN Yunlei,et al. Fusion transformer and improved PANet for YOLOv5s traffic sign detection[J]. Chinese Journal of Sensors and Actuators,2023,36(2):232-241.
[13] 郭宝鑫,谢晓尧,刘嵩. 改进ResNet50和FPN的多尺度目标检测算法研究[J/OL]. 贵州师范大学学报(自然科学版):1-9[2023-11-03]. http://kns.cnki.net/kcms/detail/52.5006.N.20230925.1017.006.html. GUO Baoxin,XIE Xiaoyao,LIU Song. Research on improved multiscale object detection algorithm of ResNet50 and FPN[J/OL]. Journal of Guizhou Normal University(Natural Sciences):1-9[2023-11-03]. http://kns.cnki.net/kcms/detail/52.5006.N.20230925.1017.006.html.
[14] REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once:unified,real-time object detection[EB/OL]. [2023-02-25]. https://arxiv.org/abs/1506.02640.
[15] REDMON J,FARHADI A. YOLO9000:better,faster,stronger[C]. IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:7263-7271.
[16] ARION N,MASSA F,SYNNAEVE G,et al. End-to-end object detection with transformers[C]. Proceedings of the Computer Vision ,Glasgow,2020:213–229.
[17] 邵文泽,胡洪明,李金叶,等. 一种适应不同距离的低清人脸深度识别算法[J]. 南京邮电大学学报(自然科学版),2023,43(1):1-10. SHAO Wenze,HU Hongming,LI Jinye,et al. Deep recognition of low-res faces in varying different distances[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition),2023,43(1):1-10.
[18] 王星,白尚旺,潘理虎,等. 一种矿井图像增强算法[J]. 工矿自动化,2017,43(3):48-52. WANG Xing,BAI Shangwang,PAN Lihu,et al. A mine image enhancement algorithm[J]. Industry and Mine Automation,2017,43(3):48-52.
[19] 姚超修,蒋泽,胡亚磊. 基于改进EnlightenGAN的煤矿井下图像增强算法[J]. 煤炭技术,2023,42(9):219-222. YAO Chaoxiu,JIANG Ze,HU Yalei. Improved image enhancement algorithm for underground coal mine based on enlightenGAN[J]. Coal Technology,2023,42(9):219-222.
[20] 彭章龙. 基于YOLOX的低光照条件下目标检测算法研究[D]. 荆州:长江大学,2023. PENG Zhanglong. Research on object detection algorithm under low light conditions based on YOLOX [D]. Jingzhou:Yangtze University,2023.
[21] 邵小强,李鑫,杨涛,等. 改进YOLOv5s和DeepSORT的井下人员检测及跟踪算法[J/OL]. 煤炭科学技术:1-12[2023-11-03]. https://doi.org/10.13199/j.cnki.cst.2022-1933. SHAO Xiaoqiang,LI Xin,YANG Tao,et al. Detection and tracking algorithm for underground personnel of improved YOLOv5s and DeepSORT[J/OL]. Coal Science and Technology:1-12[2023-11-03]. https://doi.org/10.13199/j.cnki.cst.2022-1933.
-
期刊类型引用(2)
1. 张彦蕾. 基于模糊控制的采煤机自适应截割控制技术研究. 凿岩机械气动工具. 2025(02): 106-108 . 百度学术
2. 牛宝平. 锦界煤矿31302综采面自动化自适应割煤研究. 中国煤炭. 2024(S1): 180-185 . 百度学术
其他类型引用(0)