基于DA-GCN的煤矿人员行为识别方法

黄瀚, 程小舟, 云霄, 周玉, 孙彦景

黄瀚，程小舟，云霄,等.基于DA-GCN的煤矿人员行为识别方法［J］.工矿自动化，2021,47（4）：62-66.. DOI: 10.13272/j.issn.1671-251x.17721
引用本文: 黄瀚，程小舟，云霄,等.基于DA-GCN的煤矿人员行为识别方法［J］.工矿自动化，2021,47（4）：62-66.. DOI: 10.13272/j.issn.1671-251x.17721
shu
HUANG Han, CHENG Xiaozhou, YUN Xiao, ZHOU Yu, SUN Yanjing. DA-GCN-based coal mine personnel action recognition method[J]. Journal of Mine Automation, 2021, 47(4): 62-66. DOI: 10.13272/j.issn.1671-251x.17721
Citation: HUANG Han, CHENG Xiaozhou, YUN Xiao, ZHOU Yu, SUN Yanjing. DA-GCN-based coal mine personnel action recognition method[J]. Journal of Mine Automation, 2021, 47(4): 62-66. DOI: 10.13272/j.issn.1671-251x.17721
shu

基于DA-GCN的煤矿人员行为识别方法

  • 1.

    中国矿业大学 信息与控制工程学院， 江苏 徐州221116

  • 2.

    中钢集团马鞍山矿山研究院股份有限公司 选矿及自动化研究所，安徽 马鞍山243000

  • 3.

    中国矿业大学 徐州市智能安全与应急协同工程研究中心， 江苏 徐州221116

基金项目: 

江苏省自然科学基金青年项目(BK20180640)

国家自然科学基金项目(61902404,51734009,51504255,51734009,61771417，62001475)

国家重点研发计划项目(2016YFC0801403)

江苏省重点研发计划项目(BE2015040)

详细信息

  • 中图分类号: TD67

DA-GCN-based coal mine personnel action recognition method

  • 1.

    School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China； 2.Institute of Mineral Processing and Automation, Sinosteel Maanshan General Institute of Mining Research Co., Ltd., Maanshan 243000, China； 3.Xuzhou Engineering Research Center of Intelligent Industry Safety and Emergency Collaboration, China University of Mining and Technology, Xuzhou 221116, China

摘要

    摘要
  • 摘要: 针对煤矿生产区域的监控视频较为模糊且人员行为类型复杂，常规行为识别方法的准确率较低的问题，提出了一种基于动态注意力与多层感知图卷积网络（DA-GCN）的煤矿人员行为识别方法。采用Openpose算法提取输入视频的人体关键点，得到3个维度、18个坐标的人体关键点信息，降低模糊背景信息的干扰；通过动态多层感知图卷积网络（D-GCN）提取人体关键点的空间特征，通过时间卷积网络（TCN）提取人体关键点的时间特征，提高网络对不同动作的泛化能力；使用动态注意力机制，增强网络对于动作关键帧、关键骨架的注意力程度，进一步缓解视频质量不佳带来的影响；使用Softmax分类器进行动作分类。通过场景分析，将井下行为分为站立、行走、坐、跨越和操作设备5种类型，构建适用于煤矿场景的Cumt-Action数据集。实验结果表明，DA-GCN在Cumt-Action数据集的最高准确率达到99.3%，最高召回率达到98.6%；与其他算法相比，DA-GCN在Cumt-Action数据集和公共数据集NTU-RGBD上均具有较高的识别准确率，证明了DA-GCN优秀的行为识别能力。
    Abstract: At present, the monitoring video in coal mine production area is vague, the type of personnel actions is complex, and the accuracy of conventional action recognition methods is low. In order to solve the above problems, a coal mine personnel action recognition method based on dynamic attention and multi-layer perception graph convolutional network (DA-GCN) is proposed. The Openpose algorithm is used to extract the key points of the human body in the input video to obtain the key point information of the human body in 3 dimensions and 18 coordinates, reducing the interference of fuzzy background information. The spatial characteristics of the key points of the human body is extracted by dynamic multilayer perception graph convolution network (D-GCN), and the temporal characteristics of the key points of the human body is extracted by temporal convolutional network (TCN) so as to improve the generalization ability of the network for different actions. The dynamic attention mechanism is used to enhance the network's attention to action key frames and key skeletons to further mitigate the impact of poor video quality. The softmax classifier is used for action classification. Through scene analysis, underground actions are classified into five types, including standing, walking, sitting, crossing and operating equipment. The method constructs a Cumt-Action data set that applicable to coal mine scenes. The experimental results show that the highest accuracy rate of D-GCN in the Cumt-Action data set is 99.3%, and the highest recall rate is 98.6%. Compared with other algorithms, DA-GCN has higher recognition accuracy in both the Cumt-Action data set and the public data set NTU-RGBD.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(61)

  • 期刊类型引用(26)

    1. 王国新，祝建东，汝洪芳. 基于改进YOLOv8s的矸石流目标检测方法. 矿业研究与开发. 2025(04): 229-237 . 百度学术
    2. 程刚，陈杰，潘泽烨，魏溢凡，陈森森. 基于水传热和红外热成像的煤矸识别方法. 工矿自动化. 2024(01): 66-71+137 . 本站查看
    3. 柳圆，司垒，王忠宾，魏东，顾进恒. 基于电磁波的煤岩识别技术研究进展. 工矿自动化. 2024(01): 42-48+65 . 本站查看
    4. 郭栋梁，张延军. 基于轻量化PAM-M-YOLO模型的煤矸石图像检测. 矿业研究与开发. 2024(05): 220-227 . 百度学术
    5. 利健，潘春荣，熊文清. 基于视觉定位的磁铁矿分选方案设计. 矿业研究与开发. 2024(08): 248-254 . 百度学术
    6. 黄可，樊玉萍，董宪姝，马晓敏. 基于优化的VGG-16网络模型的煤矸识别研究. 矿业研究与开发. 2024(09): 219-226 . 百度学术
    7. 黄永进，何剑锋，李卫东，夏菲，王杉，汪雪元，钟国韵，瞿金辉. 基于改进Swin-Transformer模型的铜矿X射线图像分类研究. 有色金属(选矿部分). 2024(12): 112-118+138 . 百度学术
    8. 涂灿. VCS智能干选机的试验研究. 煤炭加工与综合利用. 2023(06): 37-41 . 百度学术
    9. 冯来宏，李克相，顾雷雨，张西斌，高利晶，谭家贵，朱凌涛. 我国井下智能干选技术装备发展及展望. 煤炭工程. 2023(09): 11-15 . 百度学术
    10. 曹现刚，刘思颖，王鹏，许罡，吴旭东. 面向煤矸分拣机器人的煤矸识别定位系统研究. 煤炭科学技术. 2022(01): 237-246 . 百度学术
    11. 李亚坤，马宏伟，王鹏. 基于VGG＿16网络的煤和矸石识别技术研究. 煤炭技术. 2022(09): 156-159 . 百度学术
    12. 张烨，马宏伟，王鹏，曹现刚，魏小荣，周文剑. 煤矸石智能分拣机器人研究进展与关键技术. 工矿自动化. 2022(12): 42-48+56 . 本站查看
    13. 司垒，谭超，朱嘉皓，王忠宾，李嘉豪. 基于X射线图像和激光点云的煤矸识别方法. 仪器仪表学报. 2022(09): 193-205 . 百度学术
    14. 曹珍贯，吕旻姝，张宗唐. 基于热成像技术和深度学习的煤矸石识别方法. 湖南工程学院学报(自然科学版). 2021(01): 48-52 . 百度学术
    15. 范振，陈乃建，黄玉林，张来伟，李映君. 基于支持向量机与多种特征的煤矸石识别. 济南大学学报(自然科学版). 2021(03): 277-284 . 百度学术
    16. 张泽琳，章智伟，胡齐，王黎. 基于深度学习的多产品煤料图像分类方法研究. 煤炭科学技术. 2021(09): 117-123 . 百度学术
    17. 曹现刚，李莹，王鹏，吴旭东. 煤矸石识别方法研究现状与展望. 工矿自动化. 2020(01): 38-43 . 本站查看
    18. 师平，白亚琼，陈亮，申峰. 新型一体化智能干法选煤系统设计与应用. 机械与电子. 2020(07): 36-39+45 . 百度学术
    19. 袁雄兵. 一种基于X射线的铜矿与脉石分离系统. 有色金属设计. 2020(02): 55-58 . 百度学术
    20. 郑钊. 文化创意产业群视觉识别系统设计. 现代电子技术. 2020(17): 158-161 . 百度学术
    21. 林丽凤，靳远志，赵天波，王晓倩. TDS智能选矸系统在滨湖煤矿井下的应用. 选煤技术. 2020(06): 49-52 . 百度学术
    22. 郭永存，于中山，卢熠昌. 基于PSO优化NP-FSVM的煤矸光电智能分选技术研究. 煤炭科学技术. 2019(04): 13-19 . 百度学术
    23. 孙照焱，蒋康生，尹华功，郭劲. XNDT-104智能分选系统在闪星锑业的应用. 有色金属设计. 2019(03): 128-131 . 百度学术
    24. 杨慧刚，乔志敏，高绘彦，刘宇，赵一丁. 煤与矸石分选系统设计. 工矿自动化. 2018(08): 91-95 . 本站查看
    25. 潘越，曾哲，张恩瑜. 基于MATLAB和图像灰度值对X射线探测煤矸识别的研究. 煤炭技术. 2017(11): 307-309 . 百度学术
    26. 葛学海，白云飞，陈鹏，张立功. 煤与矸石分离系统中X射线探测器的设计. 选煤技术. 2017(06): 64-67 . 百度学术

    其他类型引用(35)

    • 资源附件(0)
计量
  • 文章访问数:  219
  • HTML全文浏览量:  28
  • PDF下载量:  28
  • 被引次数: 61
出版历程
  • 刊出日期:  2021-04-19

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(61)
    资源附件(0)

    /

    返回文章
    返回

    苏ICP备 05016349号-2

    本系统由 北京仁和汇智信息技术有限公司 开发  访问量：1225228    百度统计