留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

矿山人员行为视觉语义方法研究

王戈琛 闫雨寒 刘晓文 丁恩杰

王戈琛,闫雨寒,刘晓文,等.矿山人员行为视觉语义方法研究[J].工矿自动化,2021,47(5):40-45..  doi: 10.13272/j.issn.1671-251x.17775
引用本文: 王戈琛,闫雨寒,刘晓文,等.矿山人员行为视觉语义方法研究[J].工矿自动化,2021,47(5):40-45..  doi: 10.13272/j.issn.1671-251x.17775
WANG Gechen, YAN Yuhan, LIU Xiaowen, et al. Research on visual semantic method of mine personnel behavior[J]. Industry and Mine Automation, 2021, 47(5): 40-45. doi: 10.13272/j.issn.1671-251x.17775
Citation: WANG Gechen, YAN Yuhan, LIU Xiaowen, et al. Research on visual semantic method of mine personnel behavior[J]. Industry and Mine Automation, 2021, 47(5): 40-45. doi: 10.13272/j.issn.1671-251x.17775

矿山人员行为视觉语义方法研究

doi: 10.13272/j.issn.1671-251x.17775
基金项目: 

“十三五”国家重点研发计划项目(2017YFC0804400,2017YFC0804401)

详细信息
  • 中图分类号: TD67

Research on visual semantic method of mine personnel behavior

  • 摘要: 煤矿井下人员行为检测是感知矿山建设关注的重点,而现有的基于电磁波、基于可穿戴设备、基于计算机视觉等人员行为检测方法无法综合时间、地点、行为、环境等多方面因素评判矿山人员行为是否安全。提出了一种矿山人员行为视觉语义方法,通过特征提取、语义检测、特征重构、解码等生成描述视频中人员行为的语句。分别采用InceptionV4网络、I3D网络提取视频图像静态、动态特征,在InceptionV4网络中引入基于空间位置注意力模型和通道注意力模型的并行双重注意力机制,提高了网络的特征提取能力。针对视频内容与视觉语义易出现不一致的问题,引入语义检测网络对视频特征添加高级语义标签生成嵌入特征,将其与视频特征、语义特征共同输入解码器,并在解码过程中引入特征重构模块,通过获取解码器隐藏层状态重建视频特征,增强了视频特征与描述语句之间的关联关系,提高了视觉语义生成的准确性。采用MSVD,MSR-VTT公共数据集及自制矿山视频数据集进行实验,结果表明该方法具有较好的语义一致性,能准确获取视频中关键语义,更好地反映视频真实含义。

     

  • 加载中
计量
  • 文章访问数:  168
  • HTML全文浏览量:  14
  • PDF下载量:  9
  • 被引次数: 0
出版历程
  • 刊出日期:  2021-05-20

目录

    /

    返回文章
    返回