Detection and recognition of unsafe behaviors of underground coal miners based on deep learning
-
摘要:
针对井下目标发生多尺度变化、运动目标遮挡及目标与环境过于相似等问题,提出了一种基于深度学习的煤矿井下人员不安全行为检测与识别方法。采用自上而下的策略,构建了一种基于自注意力机制的目标检测模型YOLOv5s_swin:在基于自注意力机制的模型Transformer基础上引入滑动窗口操作,得到Swin−Transformer,再利用Swin−Transformer对传统YOLOv5s模型进行改进,得到YOLOv5s_swin。针对井下人员与监控探头间距不定导致的人体检测框多尺度变化问题,在检测出人员目标的基础上,使用高分辨率特征提取网络对人体的关节点进行提取,再通过时空图卷积网络(ST−GCN)进行行为识别。实验结果表明:YOLOv5s_swin的精确度达98.9%,在YOLOv5s的基础上提升了1.5%,推理速度达102帧/s,满足实时性检测要求;高分辨率特征提取网络能够准确提取不同尺度的目标人体关节点,特征通道数更多的HRNet_w48网络性能优于HRNet_w32;在复杂工矿条件下,ST−GCN模型的准确率和召回率都较高,可准确地对矿工行为进行分类,推理速度达31 帧/s,满足井下监测需求。
Abstract:To address challenges such as multi-scale variations in underground targets, occlusion of moving objects, and the excessive similarity between targets and the environment, a deep learning-based method was proposed for detecting and recognizing unsafe behaviours of underground coal miners. A top-down approach was adopted to construct a YOLOv5s_swin target detection model based on a self-attention mechanism. This model was developed by introducing a sliding window operation into the Transformer-based self-attention mechanism to obtain Swin-Transformer, which was then used to enhance the traditional YOLOv5s model, resulting in YOLOv5s_swin. To tackle the issue of multi-scale variations in human detection bounding boxes caused by the varying distances between underground personnel and surveillance cameras, a high-resolution feature extraction network was employed to extract human keypoints after detecting personnel. Subsequently, a spatiotemporal graph convolutional network (ST-GCN) was utilized for behaviour recognition. Experimental results showed that YOLOv5s_swin achieved an accuracy of 98.9%, an improvement of 1.5% over YOLOv5s, with an inference speed of 102 frames per second (fps), meeting real-time detection requirements. The high-resolution feature extraction network effectively extracted human keypoints at different scales, and the HRNet_w48 network, with more feature channels, outperformed HRNet_w32. Under complex industrial and mining conditions, the ST-GCN model demonstrated high accuracy and recall rates, enabling precise classification of miners' behaviors, with an inference speed of 31 fps, thereby meeting underground monitoring requirements.
-
0. 引言
我国煤矿智能化开采经历了基于远程可视化的智能化开采1.0阶段,以及基于设备自适应的智能化开采2.0阶段,实现了综采工作面“无人操作、有人巡视”生产方式的应用[1-5]。以国家能源集团神东煤炭集团公司为代表的煤炭企业已经实现了煤矿综采装备从单机控制走向集中控制,并在地质条件较好区域进行了自动化采煤,实现了采煤机记忆截割及远程视频干预控制、液压支架跟机自动化等技术的广泛应用。但是综采工作面自动化开采仍依赖于生产人员在工作面内跟随采煤机作业或在远程集控中心监控设备启停、干预调整[6-7],其原因在于当前自动化开采模式下综采设备与煤层地质条件、地理信息未实现有效关联,设备无法根据煤层赋存变化实现自适应控制。
为解决上述问题,临沂矿业集团有限责任公司、黄陵矿业集团有限责任公司开展了自适应工作面地质条件的智能开采技术研究,并分别在临沂矿业集团菏泽煤电有限公司郭屯煤矿和黄陵矿业集团有限责任公司一号煤矿进行工程实践。郭屯煤矿引入测量机器人系统自动追踪巷道导线点三维大地坐标,实现采煤机等固定或移动标志点大地坐标的动态赋值和修正,达到采煤机与地质模型的自适应耦合,并依托钻探、巷道素描、地层分界测量、三维地震勘探等技术实现基于精确大地坐标的三维地质模型构建与动态修正,自动生成采煤截割线、俯仰采基线,用于指导采煤机自适应割煤[8];但存在工程实践复杂的问题,特别是在复杂地质条件下测量机器人无法自动、精确跟踪采煤机运动,导致综采设备无法获取三维空间位置,影响其与具有大地坐标的三维地质模型的空间位置融合。黄陵一号煤矿利用地质写实、钻孔雷达探测、槽波地震勘探获得的地质数据构建综采工作面静态地质模型,再通过隐式迭代建模、动态更新等大数据技术实现静态地质模型动态更新,达到智能精准开采[9];但在地质模构建过程中,选取相对基准点进行绝对坐标转换将导致各类地质勘探数据误差放大,影响模型实际精度,而且利用数据融合算法实现模型优化需要大量地质数据积累,实际应用存在很大的局限性[10-13]。因此,本文提出了综采工作面透明化开采模式,可根据煤层赋存条件指导采煤机自主割煤,达到综采工作面智能自适应开采目标。
1. 透明化开采模式
综采工作面透明化开采模式以煤层赋存勘探为基础,以工作面三维数字化模型为对象,通过剖切三维数字化模型、提取待开采煤层顶底板轨迹坐标,制定采煤机调高控制策略,最终采煤机依据截割轨迹参数进行调高控制,达到自主割煤目标。
透明化开采模式建立过程分为3个阶段:
(1) 模型构建阶段。通过收集地质勘探资料,获取综采工作面概要地质信息,包括工作面切眼和两巷等揭露的待开采煤层三维坐标信息、工作面煤层等厚线图、矿井钻孔采样图中工作面煤层高度及位置绝对坐标信息等。利用精细化物探技术(如定向钻孔雷达探测、槽波地震勘探等),实现对工作面煤层赋存条件的精细化探测。融合工作面概要地质信息和精细化物探信息,利用GIS(Geographic Information System,地理信息系统)软件建立工作面三维数字化模型,实现对工作面开采条件的预先感知。
(2) 待开采空间定位阶段。利用工作面移动装置搭载三维激光扫描装置、惯性导航装置,实现对综采工作面当前所处空间的三维坐标提取,并将获得的三维坐标导入三维数字化模型中实现模型剖切,从模型剖切面提取工作面当前待割煤循环的煤层顶底板坐标。同时根据工作面液压支架推进步距,可从三维数字化模型中提取后续多个割煤循环的煤层顶底板坐标,为工作面连续割煤控制策略制定提供数据支撑。
(3) 截割控制决策与执行阶段。综合分析待开采煤层顶底板坐标数据,考虑工作面顶底板起伏曲率限定条件、俯仰采阶变过程平滑阶梯多级调整要求等,对未来数个割煤循环采煤机调高控制进行分析、决策,提前制定采煤机截割控制方案并形成采煤机截割高度控制参数集,采煤机开放截割高度控制参数在线编辑功能,依据下发的参数执行自动调高控制。
2. 透明化开采关键技术
2.1 三维数字化模型建立
以矿井地质勘探钻孔和工作面切眼、回撤通道及两巷等实测地质信息为基础,构建工作面初始三维地质模型[14]。为提升模型精度,需要开展定向钻孔施工和地质测绘等精细化物探。沿工作面煤层顶底板分界线实施定向钻孔施工,利用随钻测量仪器获取定向钻孔轨迹,之后经过衍生处理可获得煤层顶底板分界线轨迹,确定分界线的空间位置数据。定时开展地质测绘工作,通过全站仪沿工作面测量已揭露顶底板绝对三维坐标。将通过精细化物探获得的煤层赋存精准数据定期导入初始三维地质模型,实现模型动态优化,从而精准构建三维数字化模型。
2.2 三维激光点云模型建立
依托三维激光扫描技术、惯性导航技术及工作面巡检技术,开展工作面采场空间扫描,构建工作面三维激光点云模型[15-16],从而在三维数字化模型中准确定位当前工作面开采位置目标。
集成三维激光扫描装置、惯性导航装置的工作面巡检机构(图1)以里程编码器数据为基准,每运动一定距离,三维激光扫描装置触发1次环形切片扫描,获得当前一定空间范围内的点云坐标数据。同时惯性导航装置记录该扫描位置的三维激光扫描装置位姿信息,待全工作面扫描结束后,将切片扫描获取的点云坐标数据与位姿信息进行拼接、融合处理,形成工作面三维激光点云模型。工作面三维激光扫描工作原理如图2所示。
三维激光点云模型坐标是相对于三维激光扫描装置位置的相对坐标,需要通过点对点坐标传导方式导入绝对坐标数据来实现坐标转换,原理如图3所示。在工作面与巷道交叉区域布置固定式三维激光扫描装置,巷道内布置3个具有绝对坐标的定位标志球。通过地测方式给予巷道3个定位标志球绝对坐标(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),固定式三维激光扫描装置同时获取巷道定位标志球和工作面定位标志球坐标,通过坐标传导方式获得工作面3个定位标志球绝对坐标(x4,y4,z4),(x5,y5,z5),(x6,y6,z6)。三维激光点云模型中已获取工作面3个定位标志球的相对坐标,将(x4,y4,z4),(x5,y5,z5),(x6,y6,z6)导入三维激光点云模型后,通过坐标传导方式即可将三维激光点云坐标由相对坐标转换为绝对坐标。
2.3 模型剖切与截割规划
由于工作面三维激光点云模型中煤壁与顶板的点云密度存在较明显差异,通过相关算法提取2个平面交接处三维坐标,形成采煤机截割轨迹三维坐标数据集,将提取到的采煤机截割轨迹线三维坐标导入三维数字化模型,即可实现对三维数字化模型的剖切。从模型剖切面数据中提取下一割煤循环煤层顶底板分界线的精准三维坐标数据集,通过分析精准三维坐标集,推算工作面倾向角度变化条件,结合采煤机滚筒高度数学模型,解算出下一割煤循环采煤机前后滚筒对应控制采样点的调整参数,从而有效指导采煤机下一割煤循环滚筒调高控制。
为应对工作面连续推进过程中俯仰采变化需要,在剖切三维数字化模型过程中,应根据工作面液压支架推进步距,同时提取后续若干个割煤循环的煤层顶底板坐标数据集,通过综合分析煤层连续变化趋势,在工作面平直度、当前割顶底板情况、采煤机运行状态等大数据基础上,通过优化算法,制定未来10刀的割煤策略,实现采煤机截割控制提前决策,确保出现俯仰采变化时实现平滑阶梯多级调整。
2.4 采煤机调高控制
采煤机控制系统开放针对截割高度控制数据的第三方可编辑数据接口,以导入调高控制数据。系统根据采煤机调高控制边界条件对导入数据进行校验,对不符合边界条件的参数进行优化,最终形成可执行调控参数。采煤机按照最终调控参数执行自主调高控制。
3. 工程应用
以国家能源集团神东煤炭集团公司榆家梁煤矿43102综采工作面为研究对象,开展了综采工作面透明化开采模式及关键技术应用。
全面收集43102综采工作面相关地质资料,构建初始三维地质模型。在工作面巷道布置ZDY−6000LD型定向钻机实施定向钻孔工程,沿煤层顶底板分界线完成钻孔勘测,实现对工作面赋存情况的精准探测。获取的数据导入初始三维地质模型后,获得精准的工作面三维数字化模型,如图4所示。同时在工作面回采过程中每日安排工作面地质测绘工作,通过测绘数据实现三维数字化模型误差纠偏,进一步提升模型精度,确保工作面前方10 m煤层赋存信息的“精准透明化、动态自优化”。
对于单个割煤循环,构建采场实时三维激光点云模型,如图5所示。
提取三维激光点云模型中煤壁、顶板交接处三维坐标数据集形成剖切线,利用剖切线对三维数字化模型进行剖切,获得下一割煤循环的顶底板轮廓曲线,最终通过截割规划确定下一割煤循环的采煤机截割高度控制参数。为验证三维数字化模型顶底板轮廓曲线的准确度,对下一割煤循环结束后工作面顶底板进行地质测绘,将地质测绘顶底板轮廓曲线与三维数字化模型顶底板轮廓曲线进行对比,如图6所示,结果表明三维数字化模型误差小于±0.2 m。
4. 结论
(1) 融合综采工作面概要地质信息和精细化物探信息,建立综采工作面三维数字化模型;依托三维激光扫描技术、惯性导航技术、工作面巡检技术,构建综采工作面三维激光点云模型,并通过点对点坐标传导方式实现点云坐标由相对坐标转换为绝对坐标。三维数字化模型和三维激光点云模型实现了综采工作面煤层赋存条件和采场空间的数字化,为综采工作面透明化开采提供了重要数据支撑。
(2) 通过提取三维激光点云模型中采煤机截割轨迹三维坐标数据集,实现三维数字化模型剖切,从而获得工作面待开采煤层顶底板坐标数据集,通过综合分析煤层赋存变化情况制定截割规划,指导采煤机后续割煤循环过程中滚筒自主调高控制。
(3) 透明化开采模式及技术在榆家梁煤矿43102综采工作面进行了工程应用,初步实现了采煤机依据工作面煤层赋存条件进行自主割煤。
-
表 1 MS COCO数据集中人体关节点分类
Table 1 Classification of human key points in MS COCO dataset
序号 关节点标签 关节点名称 1 nose 鼻子 2 left_eye 左眼 3 right_eye 右眼 4 left_ear 左耳 5 right_ear 右耳 6 left_shoulder 左肩 7 right_shoulder 右肩 8 left_elbow 左肘 9 right_elbow 右肘 10 left_wrist 左腕 11 right_wrist 右腕 12 left_hip 左臀 13 right_hip 右臀 14 left_knee 左膝 15 right_knee 右膝 16 left_ankle 左脚踝 17 right_ankle 右脚踝 表 2 目标检测模型性能比较结果
Table 2 Performance comparison results of object detection models
模型 mAP/% 训练时长/h 帧率/(帧·s−1) Centernet 96.7 11.8 86.0 YOLOv5s 97.4 4.1 156.2 YOLOv5s_swin 98.9 5.3 102.0 表 3 姿态估计网络实验结果
Table 3 Experimental results of pose estimation networks
% 网络 mAP APOKS=0.50 APM APL Alphapose 72.8 85.7 68.8 76.8 HRNet_w32 71.3 86.2 66.1 87.6 HRNet_w48 78.2 87.1 70.9 86.0 表 4 ST−GCN的准确率和召回率
Table 4 Accuracy and recall of ST-GCN
% 动作类别 准确率 召回率 walking 96.8 93.4 running 96.4 94.1 falling 98.2 96.0 detaching 97.2 96.7 -
[1] 郝建营. 煤矿井下人员不安全行为测度模型与应用研究[J]. 山东煤炭科技,2024,42(10):175-178,184. HAO Jianying. Application and research on the measurement model of unsafe behavior of coal mine downhole personnel[J]. Shandong Coal Science and Technology,2024,42(10):175-178,184.
[2] DI Hongxi,SBEIH A,SHIBLY F H A. Predicting safety hazards and safety behavior of underground coal mines[J]. Soft Computing,2023,27(2):1-13.
[3] 曾剑文. 基于AI技术的煤矿井下视频智能分析系统设计[J]. 煤炭科技,2024,45(3):202-206. ZENG Jianwen. Design of intelligent video analysis system for coal mine underground based on AI technology[J]. Coal Science & Technology Magazine,2024,45(3):202-206.
[4] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169. LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
[5] 杨敏. 复杂场景中的在线多目标跟踪方法研究[D]. 北京:北京理工大学,2016. YANG Min. Online multi-object tracking in cluttered scenes[D]. Beijing:Beijing Institute of Technology,2016.
[6] 周波,李俊峰. 结合目标检测的人体行为识别[J]. 自动化学报,2020,46(9):1961-1970. ZHOU Bo,LI Junfeng. Human action recognition combined with object detection[J]. Acta Automatica Sinica,2020,46(9):1961-1970.
[7] 罗会兰,童康,孔繁胜. 基于深度学习的视频中人体动作识别进展综述[J]. 电子学报,2019,47(5):1162-1173. LUO Huilan,TONG Kang,KONG Fansheng. The progress of human action recognition in videos based on deep learning:a review[J]. Acta Electronica Sinica,2019,47(5):1162-1173.
[8] FANG Ming,PENG Siyu,ZHAO Yang,et al. 3s-STNet:three-stream spatial-temporal network with appearance and skeleton information learning for action recognition[J]. Neural Computing and Applications,2023,35(2):1835-1848.
[9] 杜启亮,向照夷,田联房,等. 用于动作识别的双流自适应注意力图卷积网络[J]. 华南理工大学学报(自然科学版),2022,50(12):20-29. DU Qiliang,XIANG Zhaoyi,TIAN Lianfang,et al. Two-stream adaptive attention graph convolutional networks for action recognition[J]. Journal of South China University of Technology (Natural Science Edition),2022,50(12):20-29.
[10] SHU Xiangbo,ZHANG Liyan,SUN Yunlian,et al. Host-parasite:graph LSTM-in-LSTM for group activity recognition[J]. IEEE Transactions on Neural Networks and Learning Systems,2021,32(2):663-674.
[11] DU Wenbin,WANG Yali,QIAO Yu. RPAN:an end-to-end recurrent pose-attention network for action recognition in videos[C]. IEEE International Conference on Computer Vision,Venice,2017:3706-4442.
[12] 朱相华,智敏. 基于改进深度学习方法的人体动作识别综述[J]. 计算机应用研究,2022,39(2):342-348. ZHU Xianghua,ZHI Min. Review of human action recognition based on improved deep learning methods[J]. Application Research of Computers,2022,39(2):342-348.
[13] TRAN T H,LE T L,HOANG V N,et al. Continuous detection of human fall using multimodal features from Kinect sensors in scalable environment[J]. Computer Methods and Programs in Biomedicine,2017,146:151-165.
[14] BI Jingjun,DORNAIKA F. Sample-weighted fused graph-based semi-supervised learning on multi-view data[J]. Information Fusion,2024,104. DOI: 10.1016/J.INFFUS.2023.102175.
[15] YAN Sijie,XIONG Yuanjun,LIN Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]. AAAI Conference on Artificial Intelligence,New Orleans,2018:7444-7452.
[16] SI Chenyang,CHEN Wentao,WANG Wei,et al. An attention enhanced graph convolutional LSTM network for skeleton-based action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:1227-1236.
[17] SHI Lei,ZHANG Yifan,CHENG Jian,et al. Two-stream adaptive graph convolutional networks for skeleton-based action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:12018-12027.
[18] ZHANG Pengfei,LAN Cuiling,ZENG Wenjun,et al. Semantics-guided neural networks for efficient skeleton-based human action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:1109-1118.
[19] SUN Zehua,KE Qiuhong,RAHMANI H,et al. Human action recognition from various data modalities:a review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(3):3200-3225.
[20] AHMAD Z,KHAN N. CNN-based multistage gated average fusion (MGAF) for human action recognition using depth and inertial sensors[J]. IEEE Sensors Journal,2021(3):3623-3634.
[21] 饶天荣,潘涛,徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化,2022,48(10):48-54. RAO Tianrong,PAN Tao,XU Huijun. Unsafe action recognition in underground coal mine based on cross-attention mechanism[J]. Journal of Mine Automation,2022,48(10):48-54.
[22] GUO Menghao,XU Tianxing,LIU Jiangjiang,et al. Attention mechanisms in computer vision:a survey[J]. Computational Visual Media,2022,8(3):331-368.
[23] VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[C]. The 31st International Conference on Neural Information Processing Systems,Long Beach,2017:5998-6008.
[24] WANG Dandan,HE Dongjian. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning[J]. Biosystems Engineering,2021,210:271-281. DOI: 10.1016/j.biosystemseng.2021.08.015
-
期刊类型引用(21)
1. 柳小波,范立鹏,秦丽杰,王连成,张兴帆. 机器视觉技术在矿山行业的应用现状与展望. 有色金属(矿山部分). 2025(02): 1-15 . 百度学术
2. 段晓晖,郭帅. 矿山有轨运输无人化安全保障体系研究. 有色设备. 2025(01): 55-62+68 . 百度学术
3. 李伟,孟飞,王裕,魏洋,程海星,王乃棒. 井下无轨胶轮车多传感器数据融合智能辅助驾驶系统设计. 煤矿安全. 2025(04): 203-212 . 百度学术
4. 李洋,崔飞,李春狄,马晓晨,提潇北. 环境信息实时感知的装配式建筑机器人施工路径自动优化. 电子设计工程. 2024(14): 82-85+90 . 百度学术
5. 王国庆,赵鑫,杨春雨,马磊,代伟. 煤矿地下空间定位技术研究进展. 工程科学学报. 2024(10): 1713-1727 . 百度学术
6. 陈太文. 井下无轨设备的安全与可靠性研究. 今日制造与升级. 2024(06): 163-165 . 百度学术
7. 王维强,孟世华,严运兵. 基于激光点云的矿用无人运输车路径规划研究. 矿山机械. 2024(10): 10-15 . 百度学术
8. 胡青松,李敬雯,张元生,李世银,孙彦景. 面向矿井无人驾驶的IMU与激光雷达融合SLAM技术. 工矿自动化. 2024(10): 21-28 . 本站查看
9. 杨佳佳,张传伟,周李兵,秦沛霖,赵瑞祺. 矿用激光雷达与相机的无目标自动标定方法研究. 工矿自动化. 2024(10): 53-61+89 . 本站查看
10. 张传伟,芦思颜,秦沛霖,周睿,赵瑞祺,杨佳佳,张天乐,赵聪. 融合简化可视图和A~*算法的矿用车辆全局路径规划算法. 工矿自动化. 2024(10): 12-20 . 本站查看
11. 胡青松,李鹤,罗渝嘉,王柳笛,寇志豪,李世银. 多径与非视距影响下的精确目标定位关键技术. 金属矿山. 2024(11): 173-184 . 百度学术
12. 韩燕南,高文,贺耀宜. 基于精确定位技术的煤矿井下小型车避让预警方法. 煤矿安全. 2024(12): 243-249 . 百度学术
13. 魏文玉. 一种井下防爆圆木抓举车机械臂设计. 工矿自动化. 2024(S2): 288-292+297 . 本站查看
14. 吕玉寒,张牧野,鲍久圣,杨阳,杨健健,王茂森. 基于UKF滤波加权C-T融合算法的无人驾驶单轨吊双标签UWB定位. 煤炭科学技术. 2024(S2): 221-235 . 百度学术
15. 郭向东. 矿用无轨胶轮车智能管理系统的设计及应用研究. 矿业装备. 2023(11): 186-188 . 百度学术
16. 杨志方. 基于雷达与视觉融合的双模态煤矿井下环境感知技术. 工矿自动化. 2023(11): 67-75 . 本站查看
17. 马天,李凡卉,杨嘉怡,张杰慧,丁旭涵. 基于改进STDC的井下轨道区域实时分割方法. 工矿自动化. 2023(11): 107-114 . 本站查看
18. 赵伟,王爽,赵东洋. 基于SD-YOLOv5s-4L的煤矿井下无人驾驶电机车多目标检测. 工矿自动化. 2023(11): 121-128 . 本站查看
19. 李定波. 井下智能辅助运输行车安全管理系统设计. 工矿自动化. 2023(S2): 122-124 . 本站查看
20. 包翔宇,单成伟,吴岩明. 基于毫米波雷达技术的煤矿胶轮车管控系统. 煤矿机电. 2023(05): 12-17 . 百度学术
21. 陈湘源,潘涛,周彬. 井工煤矿无轨胶轮车全局调度模型. 工矿自动化. 2023(12): 63-69 . 本站查看
其他类型引用(8)