基于改进YOLOv8n的井下人员多目标检测

问永忠; 贾澎涛; 夏敏高; 张龙刚; 王伟峰

doi:10.13272/j.issn.1671-251x.2024110035

基于改进YOLOv8n的井下人员多目标检测

1.
陕西陕煤蒲白矿业有限公司，陕西渭南　715517
2.
西安科技大学计算机科学与技术学院，陕西西安　710054
3.
西安科技大学安全科学与工程学院，陕西西安　710054

基金项目: 陕西省重点研发计划(2022QCY−LL−70)；陕西省秦创原“科学家+工程师”队伍建设项目(2023KXJ−052)。

详细信息

作者简介:
问永忠（1970—），男，陕西澄城人，高级工程师，硕士，主要研究方向为采矿工程，E-mail：531395120@qq.com

通讯作者:
贾澎涛（1977—），女，陕西蒲城人，教授，博士，主要从事人工智能及应用、机器学习、智能矿山等方面的教学与科研工作，E-mail：jiapengtao@xust.edu.cn。

中图分类号: TD323
计量
- 文章访问数: 108
- HTML全文浏览量: 24
- PDF下载量: 36
出版历程
- 收稿日期: 2024-11-11
- 修回日期: 2025-01-17
- 网络出版日期: 2024-12-18
- 刊出日期: 2025-01-24

Multi-target detection of underground personnel based on an improved YOLOv8n model

1.
Shaanxi Shanmei Pubai Mining Co., Ltd., Weinan 715517, China
2.
College of Computer Science and Technology, Xi'an University of Science and Technology, Xi'an 710054, China
3.
College of Safety Science and Engineering, Xi'an University of Science and Technology, Xi'an 710054, China

摘要

摘要:
针对井下危险区域人员监测视频存在光照不均匀、目标尺度不一致、遮挡等复杂情况，基于YOLOv8n网络结构，提出一种改进的井下人员多目标检测算法—YOLOv8n−MSMLAS。该算法对YOLOv8n的Neck层进行改进，添加多尺度空间增强注意力机制（MultiSEAM），以增强对遮挡目标的检测性能；在C2f模块中引入混合局部通道注意力（MLCA）机制，构建C2f−MLCA模块，以融合局部和全局特征信息，提高特征表达能力；在Head层检测头中嵌入自适应空间特征融合（ASFF）模块，以增强对小尺度目标的检测性能。实验结果表明：① 与Faster R−CNN，SSD，RT−DETR，YOLOv5s，YOLOv7等主流模型相比，YOLOv8n−MSMLAS综合性能表现最佳，mAP@0.5和mAP@0.5：0.95分别达到93.4%和60.1%，FPS为80.0帧/s，参数量为5.80×10⁶个，较好平衡了模型的检测精度和复杂度。② YOLOv8n−MSMLAS在光照不均、目标尺度不一致、遮挡等条件下表现出较好的检测性能，适用于现场检测。
- 煤矿井下危险区域 /
- 井下人员多目标检测 /
- YOLOv8n /
- 多尺度空间增强注意力机制 /
- 自适应空间特征融合 /
- 轻量化混合局部通道注意力机制
Abstract:
This study aims to address the complex challenges in monitoring underground personnel in hazardous areas, including uneven lighting, target scale inconsistency, and occlusion. An innovative multi-target detection algorithm, YOLOv8n-MSMLAS, was proposed based on the YOLOv8n network structure. The algorithm modified the Neck layer by incorporating a Multi-Scale Spatially Enhanced Attention Mechanism (MultiSEAM) to enhance the detection of occluded targets. Furthermore, a Hybrid Local Channel Attention (MLCA) mechanism was introduced into the C2f module to create the C2f-MLCA module, which fused local and global feature information, thereby improving feature representation. An Adaptive Spatial Feature Fusion (ASFF) module was embedded in the Head layer to boost detection performance for small-scale targets. Experimental results demonstrated that YOLOv8n-ASAM outperformed mainstream models such as Faster R-CNN, SSD, RT-DETR, YOLOv5s, and YOLOv7 in terms of overall performance, achieving mAP@0.5 and mAP@0.5: 0.95 of 93.4% and 60.1%, respectively,with a speed of 80.0 frames per second,the parameter is 5.80×10⁶, effectively balancing accuracy and complexity. Moreover, YOLOv8n-ASAM exhibited superior performance under uneven lighting, target scale inconsistency, and occlusion, making it well-suited for real-world applications.

HTML全文

图 1 YOLOv8n−MSMLAS网络结构

Figure 1. YOLOv8n−MSMLAS network structure

下载: 全尺寸图片幻灯片

图 2 MultiSEAM结构

Figure 2. MultiSEAM structure

下载: 全尺寸图片幻灯片

图 3 C2f_MLCA结构

Figure 3. C2f_MLCA structure

下载: 全尺寸图片幻灯片

图 4 MLCA机制结构

Figure 4. MLCA mechanism structure

下载: 全尺寸图片幻灯片

图 5 ASFF结构

Figure 5. Adaptively Spatial Feature Fusion(ASFF) structure

下载: 全尺寸图片幻灯片

图 6 部分图像样本

Figure 6. Sample images

下载: 全尺寸图片幻灯片

图 7 部分数据增强图像

Figure 7. Augmented data images

下载: 全尺寸图片幻灯片

图 8 部分不同算法检测结果

Figure 8. Detection results of various algorithms

下载: 全尺寸图片幻灯片

表 1 环境配置参数

Table 1 Environmental configuration parameters

环境	配置参数
CPU	12th Gen Intel（R） Core（TM） i7−12650H
GPU	RTX 3030 （24 GiB）
运行环境	Python3.9，CUDA 11.8
深度学习框架	Pytorch 1.12.1
编程语言	Python 3.9.7

下载: 导出CSV

表 2 消融实验结果

Table 2 Ablation experiment results

模型	MLCA	MultiSEAM	ASFF	准确率/%	召回率/%	mAP@0.5/%	mAP@0.5：0.95/%	FPS/（帧·s⁻¹）	参数量/10⁶个
YOLOv8n	×	×	×	91.7	87.2	92.0	59.0	128.2	3.01
改进模型1	√	×	×	93.7	86.3	92.9	59.1	109.9	3.01
改进模型2	×	√	×	96.5	86.2	92.5	58.4	108.7	4.42
改进模型3	×	×	√	95.6	88.8	93.4	58.9	104.2	4.38
改进模型4	√	√	×	95.3	89.6	93.4	58.3	101.1	4.43
改进模型5	√	×	√	95.8	85.8	92.9	56.5	91.7	4.38
改进模型6	×	√	√	96.2	89.0	92.6	59.1	88.5	5.80
改进模型7	√	√	√	97.0	87.3	93.4	60.1	80.0	5.80

下载: 导出CSV

表 3 对比实验结果

Table 3 Comparison experiment results

模型	mAP@0.5/%	mAP@0.5：0.95/%	FPS/（帧·s⁻¹）	参数量/10⁶个
Faster R−CNN	91.9	52.7	71.6	137.10
SSD	91.5	55.7	95.1	26.29
RT−DETR	93.3	59.0	88.5	19.87
YOLOv5s	92.7	59.2	109.9	9.11
YOLOv7	93.2	53.5	59.5	36.48
YOLOv8n	92.0	59.0	128.2	3.01
YOLOv8s	93.4	59.9	120.5	11.13
YOLOv8n−MSMLAS	93.4	60.1	80.0	5.80

下载: 导出CSV

参考文献(23)

[1]	GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition,New York,2014:580-587.
[2]	GIRSHICK R. Fast R-CNN[C]. IEEE International Conference on Computer Vision,Santiago,2015:1440-1448.
[3]	REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[4]	LIU Wei,ANGUELOV D,ERHAN D,et al. SSD:single shot MultiBox detector[C]. European Conference on Computer Vision,Cham,2016:21-37.
[5]	王渊,郭卫,张传伟,等. 融合注意力机制和先验知识的刮板输送机异常煤块检测[J]. 西安科技大学学报,2023,43(1):192-200. WANG Yuan,GUO Wei,ZHANG Chuanwei,et al. Detection of abnormal coal block in scraper conveyor integrating attention mechanism and prior knowledge[J]. Journal of Xi'an University of Science and Technology,2023,43(1):192-200.
[6]	赵云辉,程小舟,董锴文,等. 基于MK−YOLOV4的矿区人员无标注视频检索方法[J]. 激光与光电子学进展,2022,59(4):301-309. ZHAO Yunhui,CHENG Xiaozhou,DONG Kaiwen,et al. Unlabeled video retrieval method of mining personnel based on MK-YOLOV4[J]. Laser & Optoelectronics Progress,2022,59(4):301-309.
[7]	谢斌红,袁帅,龚大立. 基于RDB−YOLOv4的煤矿井下有遮挡行人检测[J]. 计算机工程与应用,2022,58(5):200-207. DOI: 10.3778/j.issn.1002-8331.2009-0449 XIE Binhong,YUAN Shuai,GONG Dali. Detection of blocked pedestrians based on RDB-YOLOv4 in coal mine[J]. Computer Engineering and Applications,2022,58(5):200-207. DOI: 10.3778/j.issn.1002-8331.2009-0449
[8]	汝洪芳,王珂硕,王国新. 改进YOLOv4网络的煤矿井下行人检测算法[J]. 黑龙江科技大学学报,2022,32(4):557-562. DOI: 10.3969/j.issn.2095-7262.2022.04.023 RU Hongfang,WANG Keshuo,WANG Guoxin. Coal mine pedestrian detection algorithm based on improved YOLOv4 network[J]. Journal of Heilongjiang University of Science and Technology,2022,32(4):557-562. DOI: 10.3969/j.issn.2095-7262.2022.04.023
[9]	LI Xiaoyu,WANG Shuai,LIU Bin,et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines[J]. Journal of Electronic Imaging,2022,31. DOI: 10.1117/1.JEI.31.1.013017.
[10]	YAO Wei,WANG Aiming,NIE Yifan,et al. Study on the recognition of coal miners' unsafe behavior and status in the hoist cage based on machine vision[J]. Sensors,2023,23(21). DOI: 10.3390/s23218794.
[11]	张磊,李熙尉,燕倩如,等. 基于改进YOLOv5s的综采工作面人员检测算法[J]. 中国安全科学学报,2023,33(7):82-89. ZHANG Lei,LI Xiwei,YAN Qianru,et al. Personnel detection algorithm in fully mechanized coal face based on improved YOLOv5s[J]. China Safety Science Journal,2023,33(7):82-89.
[12]	白培瑞,王瑞,刘庆一,等. DS−YOLOv5:一种实时的安全帽佩戴检测与识别模型[J]. 工程科学学报,2023,45(12):2108-2117. BAI Peirui,WANG Rui,LIU Qingyi,et al. DS-YOLOv5:a real-time detection and recognition model for helmet wearing[J]. Chinese Journal of Engineering,2023,45(12):2108-2117.
[13]	张辉,苏国用,赵东洋. 基于FBEC−YOLOv5s的采掘工作面多目标检测研究[J]. 工矿自动化,2023,49(11):39-45. ZHANG Hui,SU Guoyong,ZHAO Dongyang. Research on multi object detection in mining face based on FBEC-YOLOv5s[J]. Journal of Mine Automation,2023,49(11):39-45.
[14]	SHAO Xiaoqiang,LIU Shibo,LI Xin,et al. FM-YOLOv7:an improved detection method for mine personnel helmet[J]. Journal of Electronic Imaging,2023,32(3). DOI: 10.1117/1.JEI.32.3.033013.
[15]	田子建,阳康,吴佳奇,等. 基于LMIENet图像增强的矿井下低光环境目标检测方法[J]. 煤炭科学技术,2024,52(5):222-235. DOI: 10.12438/cst.2023-0675 TIAN Zijian,YANG Kang,WU Jiaqi,et al. LMIENet enhanced object detection method for low light environment in underground mines[J]. Coal Science and Technology,2024,52(5):222-235. DOI: 10.12438/cst.2023-0675
[16]	薛小勇,何新宇,姚超修,等. 基于改进YOLOv8n的采掘工作面小目标检测方法[J]. 工矿自动化,2024,50(8):105-111. XUE Xiaoyong,HE Xinyu,YAO Chaoxiu,et al. Small object detection method for mining face based on improved YOLOv8n[J]. Journal of Mine Automation,2024,50(8):105-111.
[17]	肖振久,严肃,曲海成. 基于多重机制优化YOLOv8的复杂环境下安全帽检测方法[J]. 计算机工程与应用,2024,60(21):172-182. DOI: 10.3778/j.issn.1002-8331.2402-0147 XIAO Zhenjiu,YAN Su,QU Haicheng. Safety helmet detection method in complex environment based on multi-mechanism optimization of YOLOv8[J]. Computer Engineering and Applications,2024,60(21):172-182. DOI: 10.3778/j.issn.1002-8331.2402-0147
[18]	FAN Yingbo,MAO Shanjun,LI Mei,et al. CM-YOLOv8:lightweight YOLO for coal mine fully mechanized mining face[J]. Sensors,2024,24(6). DOI: 10.3390/S24061866.
[19]	SHAO Xiaoqiang,LIU Shibo,LI Xin,et al. Rep-YOLO:an efficient detection method for mine personnel[J]. Journal of Real-Time Image Processing,2024,21(2). DOI: 10.1007/S11554-023-01407-3.
[20]	YU Ziping,HUANG Hongbo,CHEN Weijun,et al. YOLO-FaceV2:a scale and occlusion aware face detector[J]. Pattern Recognition,2024,155. DOI: 10.1016/J.PATCOG.2024.110714.
[21]	WAN Dahang,LU Rongsheng,SHEN Siyuan,et al. Mixed local channel attention for object detection[J]. Engineering Applications of Artificial Intelligence,2023,123. DOI: 10.1016/J.ENGAPPAI.2023.106442.
[22]	LIU Songtao,HUANG Di,WANG Yunhong. Learning spatial fusion for single-shot object detection[EB/OL]. (2024-08-22]. https://arxiv.org/abs/1911.09516v2.
[23]	YANG Wenjuan,ZHANG Xuhui,MA Bing,et al. An open dataset for intelligent recognition and classification of abnormal condition in longwall mining[J]. Scientific Data,2023,10(1). DOI: 10.1038/S41597-023-02322-9.

施引文献(55)

期刊类型引用(36)

1.	宁少慧，张少鹏，段攀龙，邓功也，杜越. 带式输送机智能托辊设计与仿真. 起重运输机械. 2024(24): 38-43+90 . 百度学术
2.	魏学平. 皮带运输机巡检机器人数据处理系统设计与实现. 机械工程与自动化. 2023(04): 144-146 . 百度学术
3.	于建军. 基于双网冗余通信的矿用带式输送机集控系统开发. 山西焦煤科技. 2023(07): 37-42 . 百度学术
4.	张立峰，武小芳. 基于PAC的输煤皮带巡检机器人设计与研究. 中国设备工程. 2023(23): 198-200 . 百度学术
5.	唐云鹏. 煤矿井下智能安全监测巡检机器人的应用研究. 机械管理开发. 2023(12): 185-186+189 . 百度学术
6.	江新奇，刘敬玉，李忠飞，刘志华，龙永祥. 煤矿巡检机器人智能传感与控制系统设计研究. 煤炭工程. 2022(01): 171-175 . 百度学术
7.	高志敏. 长距离带式输送机巡检系统研究. 煤炭科技. 2022(02): 62-66 . 百度学术
8.	蔡治华，周东旭，赵明辉. 煤矿巡检机器人控制系统设计. 工矿自动化. 2022(05): 112-117 . 本站查看
9.	郝志东. 露天矿巡检机器人设计及严寒环境下电池预热性能研究. 煤炭工程. 2022(05): 115-119 . 百度学术
10.	任俊瑾. 矿用带式输送机巡检机器人控制系统方案研究与应用. 山西焦煤科技. 2022(04): 13-15 . 百度学术
11.	朱明亮，苏士龙，陈骋. 煤矿用双机驱动型吊轨式巡检机器人设计. 煤炭技术. 2022(06): 202-205 . 百度学术
12.	方崇全. 煤矿带式输送机巡检机器人关键技术研究. 煤炭科学技术. 2022(05): 263-270 . 百度学术
13.	杨孝新，刘婷婷，刘福明，王伟. 露天煤矿带式输送机智能巡检机器人. 露天采矿技术. 2022(04): 48-51 . 百度学术
14.	姚华龙. 带式输送机巡检机器人控制系统及样机试验测试. 机械管理开发. 2022(08): 245-246+249 . 百度学术
15.	赵云龙. 煤矿主斜井带式输送机智能巡检系统设计. 煤炭技术. 2022(10): 219-222 . 百度学术
16.	唐俊，李敬兆，石晴，刘阳，宋世现，任成成. 带式输送机上散状物料堆积视频实时检测. 工矿自动化. 2022(10): 62-68+75 . 本站查看
17.	黄世顶，韩雷，芦伟，刘洪刚. 带式输送机巡检机器人研究. 起重运输机械. 2021(01): 79-83 . 百度学术
18.	张伟. 二氧化碳激光治疗仪故障自动检测系统设计. 自动化与仪器仪表. 2021(03): 123-126 . 百度学术
19.	刘宇，郑琳，于力，王春，张琼华，刘明江. 基于多传感器融合技术的配电室智能巡检系统设计. 工业仪表与自动化装置. 2021(02): 63-68 . 百度学术
20.	梁占泽. 矿用带式输送机巡检机器人驱动系统设计. 工矿自动化. 2021(04): 108-112 . 本站查看
21.	刘晓宁. 煤矿带式输送机运输系统故障巡检机器人设计. 中国石油和化工标准与质量. 2021(06): 175-177 . 百度学术
22.	游磊，朱兴林，秦伟，罗明华. 基于曲面重建的带式输送机堆煤识别方法. 工矿自动化. 2021(06): 45-50 . 本站查看
23.	王力浩，丁文捷，郝洪涛，黄政荭. 一种巡检载具及运动特性研究. 宁夏工程技术. 2021(02): 177-182 . 百度学术
24.	隋淼，宗鸣. 自供电的带式输送机速度监测系统研究. 电气技术. 2021(08): 90-94 . 百度学术
25.	金建成. 矿用巡检机器人能源动力技术研究. 中国新技术新产品. 2021(18): 10-12 . 百度学术
26.	李子江. 带式输送机自动巡检机器人的应用研究. 机械管理开发. 2021(12): 228-229+232 . 百度学术
27.	李涛，于志强，史占锋，王永振，张晓光. 选煤厂输煤系统轨道式巡检机器人. 煤炭科技. 2021(06): 104-108 . 百度学术
28.	宣鹏程，孙稚媛，周东旭，涂俊，贾瑞清. 煤矿轨道式带式输送机巡检机器人系统设计. 煤矿机械. 2020(05): 1-3 . 百度学术
29.	赵海明. 矿井带式输送机故障巡检机器人系统的研究. 江西化工. 2020(03): 287-289 . 百度学术
30.	刘惠灵，邓传华，邵彦宁. 基于增强现实的设备运行故障智能巡检系统. 电子设计工程. 2020(15): 124-128 . 百度学术
31.	邹盛，沈科，陈晓晶，徐辉，季亮，王晓波. 基于Hough变换的带式输送机托辊图像分割方法. 能源与环保. 2020(10): 169-172 . 百度学术
32.	马娅莎. 皮带输送机常见故障与解决措施. 陕西煤炭. 2020(06): 176-179 . 百度学术
33.	伊鑫，杨明锦，杨林顺，张海军，彭晨. 基于KNN与SVM两级综合健康指标的托辊故障诊断方法. 选煤技术. 2020(05): 94-102 . 百度学术
34.	程炜. 互联网环境下医院巡视机器人设计和仿真实现的研究. 科技通报. 2020(11): 45-48+88 . 百度学术
35.	刘利明，贺振华，柳骁，李浩. 轨道式输送带巡检机器人设计与应用研究. 煤炭工程. 2020(S2): 6-10 . 百度学术
36.	李康，王宁，李军霞. 液压软制动系统在下运式带式输送机中的应用. 液压与气动. 2019(07): 63-69 . 百度学术