Bimodal environment perception technology for underground coal mine based on radar and visual fusion
-
摘要: 环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法，通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合，从而提高环境感知能力。为了更好地提取目标特征信息，提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理，多模态特征融合网络模块提取融合信息中的目标特征，多任务处理网络模块采用不同的任务头处理目标特征信息，完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验，结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%，10%，对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上，有效提升了煤矿井下环境感知能力，可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。Abstract: Environmental perception is a key technology for scenario applications such as coal mine inspection robots and visual measurement systems. The single modal environmental perception technology has poor perception capability for complex environments in underground coal mines. A bimodal space fusion method for radar and vision has been proposed. The modal achieves the fusion of information collected by LiDAR and camera through coordinate conversion, thereby improving environmental perception capability. In order to better extract object feature information, a bimodal fusion environment perception network architecture technology route is proposed. The environmental information collected by the camera and radar is fused and processed by the radar and visual bimodal space fusion method. The multimodal feature fusion network module extracts object features from the fused information. The multitask processing network module uses different task heads to process object feature information, completing environmental perception tasks such as object detection, image segmentation, and object classification. The experiment is conducted using the YOLOv5s object detection algorithm to build a bimodal feature extraction network module. The results show that the success rate of the bimodal environment perception technology for underground coal mine based on radar and visual fusion for personnel detection in underground roadway environments is improved by 15% and 10% compared to visual and radar perception, respectively. The mean average precision of segmentation for various types of objects such as lane lines and signs are improved by more than 10% compared to visual perception. It effectively improves the perception capability of underground environment in coal mines, providing technical support for application scenarios such as coal mine road environment perception, visual measurement systems, unmanned mining vehicle navigation systems, and mine search and rescue robots.
-
0. 引言
目前，煤矿井下人员定位技术主要有WiFi技术、超宽带(Ultra Wide Band, UWB)技术[1]、蓝牙技术等[2]。WiFi技术定位范围广、定位速度快，UWB技术传输速率高、定位精度高，蓝牙技术功耗低、定位成本低，这些技术在一定程度上满足了井下人员定位要求，但存在需要提前铺设设备且井下无线信号覆盖稀疏、定位精度较差等缺点。而基于智能手机内置惯性传感器的行人航位推算(Pedestrian Dead Reckoning，PDR)算法不需要其他额外的设施即可实现定位，不受井下多径效应[3]及矿井复杂环境的影响，适用于在井下复杂环境中对工作人员进行实时精准定位[4]。
PDR算法中步长估计和航向估计对其定位精度有着重要影响[5]，步长估计模型可以总结为经验模型、线性模型、非线性模型、回归模型及神经网络模型等。H.Weinberg[6]提出了一种线性模型，该模型利用每一步Z轴上的最大和最小加速度值来估计步行距离。J.W.Kim等[7]研究的线性模型利用行走过程中每一步加速度幅值的平均值来计算步长。J.Scarlett[8]研究的非线性模型利用步长和加速度值之间的非线性关系计算步长。上述模型仅基于加速度幅值的最大值和最小值估计步长，模型简单,便于步长估计，但均无法有效解决井下人员行走时因姿态不同导致的计算误差。G.Han等[9]提出了基于上下文信息的步长回归模型，该模型精度较高，但无法反映复杂环境因素造成的误差。J.Hannink等[10]提出了一种基于深度卷积神经网络进行步长估计的方法，并取得了较高的精度，然而该方法依赖于特定的鞋载惯导，不适用于智能手机。针对以上问题，本文通过引入深度长短时间记忆网络(Long Short-Term Memory, LSTM)模型对井下人员步长进行个性化估计，利用智能手机内置的惯性传感器估计行人的运动步长，有效减小了井下人员行走姿态及井下复杂环境造成的步长估计误差。
精准的航向估计对PDR算法来讲至关重要，张荣辉等[11]提出采用四元数解算航向角。肖宇[12]通过互补滤波来融合陀螺仪与加速度数据进行姿态解算。N.Yadav等[13]提出了一种互补滤波算法，利用加速度计和磁力计校正陀螺仪进行航向解算。上述航向解算算法逐步提高了航向估计的精度，但均存在累积误差。本文利用降噪自编码器 (Denoising Auto-Encoder, DAE)[14]对井下惯性传感器数据进行降噪处理，提出基于智能手机陀螺仪、重力计和磁力计的航向估计方法，提高了手机惯性传感器在井下航向估计应用中的稳定性和普适性。
综上，本文提出了一种基于LSTM个性化步长估计的井下人员精准定位PDR算法，引入深度LSTM模型对井下人员步长进行个性化估计，利用智能手机内置的惯性传感器估计行人的运动步长；利用DAE对井下惯性传感器数据进行降噪处理，得到更加鲁棒的数据输入特征；利用卡尔曼滤波(Kalman Filtering, KF)融合航向估计算法解算井下人员运动航向角，解决了传统PDR算法步长估计误差及航向累积误差较大的问题，提高了井下人员定位精度。
1. 算法原理
1.1 井下人员航位推算原理
PDR算法用于对井下人员行走的步数、步长、方向进行检测与估计，推算出行走轨迹和位置等信息,PDR算法原理如图1所示。
假设井下人员初始位置
$ {S}_{0} $ 坐标为$ ({E}_{0},{N}_{0}) $ ，第n步步长为${d}_{n}(n=\mathrm{1,2}, $ …$ ,k,k\mathrm{为}\mathrm{步}\mathrm{数}) $ 、航向角为$ {\theta }_{n} $ ，已知初始位置，可以得出任意时刻的位置$ {S}_{K}$ (K为为任意时刻)的坐标为$$ \left\{\begin{array}{c}{E}_{K}={E}_{0}+\displaystyle \sum\limits_{n = 1}^k {{d_n}\sin\;{\theta _n}} \\ {N}_{K}={N}_{0}+\displaystyle \sum\limits_{n = 1}^k {{d_n}\cos\;{\theta _n}} \end{array}\right. $$ (1) 1.2 步伐检测
根据人行走时的加速度具有周期性，因此采用峰值检测确定井下人员步频[15]，步骤如下：
(1) 初始化，获取加速度数据。
(2) 初始化滑动窗口，剔除重力加速度值并滤波平滑。
(3) 如果检测到的加速度峰值大于预设的峰值阈值，且相邻2个峰值之间的时间差大于规定的时间阈值，该峰值记为有效峰值。
(4) 检测跨步结束后，统计步频。
1.3 基于LSTM的井下人员个性化步长估计
为了提高步长估计的准确性，本文提出了一种基于LSTM的步长估计方法，用于解决环境复杂的煤矿井下人员运动距离估计引起的PDR算法误差。
在离线阶段,训练预测模型，将矿用本安型智能手机的惯性传感器测量值作为训练数据，鞋载惯导模块中三轴加速度计和三轴陀螺仪实时解算出的单步运动距离作为步长标签。在在线预测阶段，利用矿用本安型智能手机实时采集的传感器数据和前期训练好的模型估计井下人员的运动步长。井下人员个性化步长估计LSTM模型框架如图2所示。
![]()
图 2 井下人员个性化步长估计LSTM模型框架Figure 2. LSTM model framework of underground personnel personalized step size estimation基于井下人员个性化步长估计LSTM模型提取鞋载惯导内置加速度计、陀螺仪在单步上的测量值作为时间特征表示。
$$ D=\left\{\left(\left[{{\boldsymbol{A}}}_{i},{{\boldsymbol{G}}}_{i}\right],{y}_{i}\right),i=\mathrm{1,2},\cdots ,N\right\} $$ (2) $$ {{\boldsymbol{A}}}_{i}=\left[{{\boldsymbol{a}}}_{1} \quad {{\boldsymbol{a}}}_{2} \quad \cdots \quad {{\boldsymbol{a}}}_{m}\right] $$ (3) $$ {{\boldsymbol{G}}}_{i}=\left[{{\boldsymbol{g}}}_{1} \quad {{\boldsymbol{g}}}_{2} \quad \cdots \quad {{\boldsymbol{g}}}_{m}\right] $$ (4) $$ {{\boldsymbol{a}}}_{j}={\left[{{\boldsymbol{a}}}_{xj} \quad {{\boldsymbol{a}}}_{yj} \quad {{\boldsymbol{a}}}_{zj}\right]}^{{\rm{T}}} $$ (5) $$ {{\boldsymbol{g}}}_{j}={\left[{{\boldsymbol{g}}}_{xj} \quad {{\boldsymbol{g}}}_{yj} \quad {{\boldsymbol{g}}}_{zj}\right]}^{{\rm{T}}} $$ (6) 式中：D为LSTM模型的输入；
${{\boldsymbol{A}}}_{i}、{{\boldsymbol{G}}}_{i}$ 分别为第i步时加速度计和陀螺仪在单步时间上的测量值，$ i= \mathrm{1,} $ $ {2}, $ …$ ，N，N\mathrm{为}\mathrm{步}\mathrm{伐}\mathrm{}\mathrm{数})；{y}_{i} $ 为第i步步长；$ {{\boldsymbol{a}}}_{j}、{{\boldsymbol{g}}}_{j} $ 分别为加速度计和陀螺仪第j个固定时间长度的测量值，$ j=\mathrm{1,2},$ …$，m，m $ 为固定时间长度个数；${{\boldsymbol{a}}}_{xj}$ 、${{\boldsymbol{a}}}_{yj}$ 和${{\boldsymbol{a}}}_{zj}$ 分别为三轴方向上的加速度计在第j个固定时间长度的测量值；${{\boldsymbol{g}}}_{xj}$ 、${{\boldsymbol{g}}}_{yj}$ 和${{\boldsymbol{g}}}_{zj}$ 分别为三轴方向上的陀螺仪在第j个固定时间长度的测量值。LSTM模型原理如图3所示，在LSTM单元中，
$ {C}_{t} $ 为为t时刻的单元状态，它用来保存长期的状态C；tanh为激活函数；$ {f}_{t}$ 为t时刻的遗忘门输出；$ {I}_{t} $ 为t时刻的输入门输出；${\tilde C_t} $ 为输入门输出的候选值；$ {O}_{t} $ 为t时刻的输出门输出；σ为sigmoid激活函数；$ {{\boldsymbol{W}}}_{{\rm{F}}} $ 为遗忘门的权重矩阵；$ {{\boldsymbol{W}}}_{{\rm{I}}} $ 为输入门的权重矩阵；$ {{\boldsymbol{W}}}_{{\rm{C}}}$ 为单元状态的权重矩阵；$ {{\boldsymbol{W}}}_{0} $ 为输出门的权重矩阵；${h}_{{{t}}} $ 为隐藏层状态，它对短期状态h敏感；$ {x}_{t} $ 为t时刻的输入向量。LSTM将惯性传感器加速度、陀螺仪测量值作为输入序列，并按顺序反馈给LSTM每一单元。
(1) 更新遗忘门输出，计算信息的遗忘程度。
$$ {f}_{t}=\sigma ({{\boldsymbol{W}}}_{{\rm{F}}} \cdot \left[{h}_{t-1},{x}_{t}\right]+{b}_{{\rm{F}}}) $$ (7) 式中bF为遗忘门的偏置项。
(2) 更新输入门输出。输入门用来计算哪些信息需要保存到单元状态中，包括2个部分内容：一部分是It，表示当前输入有多少信息需要保存到单元状态；另一部分是
${\tilde C_t} $ ，表示将当前输入产生的新信息添加到单元状态。$$ {I}_{t}=\sigma ({{\boldsymbol{W}}}_{{\rm{I}}} \cdot \left[{h}_{t-1},{x}_{t}\right]+{b}_{{\rm{I}}}) $$ (8) $$ {\stackrel{~}{C}}_{t}=\mathit{\tan}{\rm{h}}({{\boldsymbol{W}}}_{{\rm{C}}} \cdot \left[{h}_{t-1},{x}_{t}\right]+{b}_{{\rm{C}}}) $$ (9) 式中：bI为输入门的偏置项；bC为单元状态的偏置项。
(3) 更新单元状态Ct，即当前时刻的单元状态包括遗忘门和上一时刻状态的积加上输入门2个部分的积。
$$ {C}_{t}={f}_{t}*{C}_{t-1}+{I}_{t}*\tilde Ct $$ (10) (4) 更新输出门输出，用于计算当前时刻信息被输出的程度。输出门输出Ot不考虑先前时刻学到信息的输出，
${\rm{tan}}{\rm{h}} \;C_{t} $ 是对先前学到信息的压缩，两者相乘从而得出LSTM模型的最终输出ht。$$ {O}_{t}=\sigma ({{\boldsymbol{W}}}_{0}\left[{h}_{t-1},{x}_{t}\right]+{b}_{0}) $$ (11) $$ {h}_{t}={O}_{t}*\mathit{\tan}{\rm{h}}\,{C}_{t} $$ (12) 式中
$b_0 $ 为输出门的偏置项。(5) 输出H(x)，将LSTM模型输出ht映射到时间特征空间。H(x)为输入序列在时间特征空间的嵌入。
$$ H\left(x\right)={h}_{t}={O}_{T}*\mathit{\tan}{\rm{h}}\,{C}_{T} $$ (13) 式中OT,CT 为Ot,Ct 在时间特征空间的映射，T为t在时间特征空间对应的时间。
LSTM模型采用加速度计和陀螺仪测量值作为输入，LSTM层将输入序列映射到时间特征空间，然后添加4个级联的全连接层，在特征空间和目标值(即步长)之间建立映射关系。
1.4 基于KF−DAE的航向估计
针对现有航向解算算法存在累积误差以及不适用于井下特殊环境等问题，本文利用KF−DAE算法解算井下人员运动航向角。KF−DAE算法包括利用KF算法融合陀螺仪积分、九轴传感器航向解算及旨在消除原始惯性传感器数据噪声的DAE。首先利用DAE对井下惯性传感器数据进行降噪处理，训练DAE中的编码器和解码器来最小化重构误差，学习重构分布来获得更加鲁棒的数据特征；然后基于智能手机陀螺仪、重力计和磁力计的航向估计方法，依据陀螺仪不受磁扰影响和磁力计不受长期漂移影响的互补特性，采用加速度和磁力计数据对陀螺仪进行补偿，利用四元数互补滤波更新解算航向角；最后利用KF算法融合陀螺仪直接积分获取的航向角来提高算法在煤矿井下的适应能力，提高手机惯性传感器在井下航向估计应用中的稳定性和普适性。基于KF−DAE的航向估计算法如图4所示。
2. 试验与结果分析
2.1 井下人员个性化步长估计LSTM模型验证
2.1.1 LSTM模型参数设置及训练
为验证本文PDR算法的可行性与实用性，在内蒙古鄂尔多斯市高头窑煤矿进行了试验。由于无法携带鞋载惯导在矿井下采集原始数据，所以试验者(井下工作人员，年龄为26~45岁，身高为1.60~1.85 m，体重为58~80 kg)右脚绑定鞋载惯导模拟井下行走姿态，采样频率为100 Hz，采集原始惯性传感器数据作为基准数据集，采用零速修正和姿态识别方法将试验者运动轨迹以单步长划分，解算单步步长。本文使用六通道加速度、陀螺仪原始惯性信息构建步长数据，训练标签为鞋载惯导模块中每一步的运动距离，井下人员个性化步长估计模型的输入如图5所示。
![]()
图 5 井下人员个性化步长估计LSTM模型的输入Figure 5. Input of LSTM model of underground personnel personalized step size estimation井下人员个性化步长估计LSTM模型以单步加速度、陀螺仪原始惯性训练样本为输入，以对应的实际步长作为网络的标签，将固定长度的步长数据输入LSTM网络进行训练，隐含层选择ReLU激活函数，预测层由于是一个回归任务而没有激活函数，训练完成的井下人员个性化步长估计LSTM模型将用于预测井下人员运动的步长。井下人员个性化步长估计LSTM模型的结构参数如图6所示。
![]()
图 6 井下人员个性化步长估计LSTM模型的结构参数Figure 6. Structural parameters of LSTM model of underground personnel personalized step size estimation井下人员个性化步长估计LSTM模型是在Windows平台下基于Keras环境实现，使用Adam算法进行优化，模型的超参数值见表1。MSE(Mean Square Error，均方误差)损失函数用来衡量模型预测与实际之间的差距。
表 1 井下人员个性化步长估计LSTM模型的超参数Table 1. Super parameter of LSTM model of underground personnel personalized step size estimation批量大小 激活函数 优化器 学习率 迭代次数 早停次数 损失函数 128 ReLU Adam 0.001 500 50 MSE 为了防止过拟合，对模型训练采用了早停法。当迭代次数达到50而损失函数没有下降时，系统自动停止迭代，训练和验证过程损失函数曲线如图7所示，可以看出训练数据及验证数据的损失函数均随着迭代次数的增加而减小，当迭代到220次时损失函数不再下降，模型停止迭代,此时模型达到最优。
2.1.2 步伐检测
为验证本文步伐检测算法的实用性，随机选取3名试验者进行试验，模拟井下行走姿态，智能手机采样频率为100 Hz，行走50步，重复5次，步伐检测算法结果见表2。从表2可看出，本文步伐检测算法的精度为96.5%，满足井下人员PDR定位中步伐检测需求。
表 2 步伐检测算法结果Table 2. Results of step detection algorithm试验
次数试验者1 试验者2 试验者3 误检步数 准确率/% 误检步数 准确率/% 误检步数 准确率/% 1 3 94 1 98 2 96 2 2 96 0 100 6 88 3 1 98 0 100 1 98 4 0 100 0 100 7 86 5 1 98 1 98 1 98 2.1.3 步长估计
为验证本文个性化步长估计LSTM模型的可行性，进行行走对比试验，行走路线为直线，行走总距离为61.45 m，步数为100步。
3种不同算法在行走过程中的实际步长估计数据见表3。由表3可看出：本文算法的步长估计精度较高，比Kim算法[7]提高9 %,比Weinberg算法[6]提高5 %；同时，本文算法得到的步长大小及变化幅度较合理，与实际的步长吻合较好。
表 3 不同算法步长估计结果对比Table 3. Comparison of step size estimation results of different algorithms为了清楚地表示步长估计误差的分布，使用CDF(误差累积分布函数)来比较本文步长估计算法与其他常用步长估计算法(Weinberg算法[6]，Kim算法[7])单个步长估计的误差(自然行走100步)，如图8所示。从图8可看出，本文步长估计算法的相对误差小于Weinberg算法和Kim算法，误差为0.125 m时CDF达到100%。
![]()
图 8 不同步长估计算法误差分布对比Figure 8. Comparison of error distribution of different step size estimation algorithms2.2 井下试验
基于地面训练好的井下人员个性化步长估计LSTM模型，在高头窑煤矿真实井下环境进行井下人员精准定位PDR算法试验，井下测试场景如图9所示。试验对传统PDR算法[6，11]与本文基于LSTM个性化步长估计的井下人员精准定位PDR算法进行对比，验证本文PDR算法在煤矿井下的可行性与实用性。
在高头窑煤矿2−3煤3号大巷联络巷进行试验，路线从起点开始向北行走经过1次直角转弯到达电缆通道，后沿电缆通道向西行走到下一直角拐弯进入北向联络巷，井下人员行进路线及起始点如图10所示，参考路径全长75 m。
传统PDR算法[6,11]与本文基于LSTM个性化步长估计的PDR算法在煤矿井下行走的路径对比如图11所示，传统PDR算法距离误差为17.17 m，即定位误差为22.89%，不能满足井下人员定位需求；而本文提出的基于LSTM个性化步长估计的PDR算法距离误差为1.75 m，定位误差为2.33%，远低于传统PDR定位误差，满足井下人员定位需求。
![]()
图 11 传统PDR算法与基于LSTM个性化步长估计的PDR算法在煤矿井下行走路径对比Figure 11. Comparison of walk routes of traditional PDR algorithm and PDR algorithm based on LSTM personalized step size estimation in coal mine3. 结语
针对传统PDR算法受井下复杂环境的干扰，导致定位精度低，不能满足井下人员定位需求的问题，提出了基于LSTM的井下人员个性化步长估计及基于KF−DAE的航向估计的PDR算法。该算法首先离线训练井下人员个性化步长估计LSTM模型；然后通过步伐检测算法、个性化步长估计LSTM模型及KF−DAE航向估计算法获得井下人员运动的步伐、每一步的步长及运动航向角，最后根据步长及运动航向角预测井下人员当前位置。试验结果表明：基于LSTM个性化步长估计的井下人员精准定位PDR算法对井下人员运动中的步伐检测精度为96.5%，步长估计精度为90%，均满足井下人员定位的精度要求；在井下真实环境中的相对定位误差为2.33%，有效提高了井下人员定位精度，满足井下定位导航的需求。
-
![]()
图 2 雷达坐标系与世界坐标系的转换关系
Figure 2. Conversion relationship between radar coordinate system and world coordinate system
![]()
图 5 双模态融合环境感知技术网络架构
Figure 5. Network architecture of bimodal fusion environment perception technology
CPU i9−9820X GPU NVIDIA RTX 2080 Ti GPU×2 操作系统 Ubuntu 20.04 架构 PyTorch 实验总轮数 100 批数大小 4 初始学习率 0.001 模型优化器 AdamW 权重衰减项 1×10−4 
下载: 导出CSV
表 1 模型轻量化效果
Table 1 Model lightweighting effects
模型 模型大小/MiB 平均精度/% 平均帧率/
（帧·s−1）每秒浮点运算
次数/106轻量化前 256 87.7 28.7 53.17 轻量化后 52.6 82.6 49.8 30.23
下载: 导出CSV
表 2 单模态与双模态检测结果对比
Table 2 Comparison between of unimodal and bimodal detection results
感知方式 目标总数/个 检测数/个 漏检数/个 成功率/% 视觉 60 45 15 75 雷达 60 48 12 80 融合 60 54 6 90
下载: 导出CSV
表 3 煤矿井下各类目标分割结果的评价指标
Table 3 Evaluation indexes of segmentation results of various types of object in underground coal mine
% 目标 纯图像 双模态空间融合图像 mIoU 召回率 mAP mIoU 召回率 mAP 背景 83.21 75.74 99.22 85.62 89.61 99.78 车辆 77.48 81.62 79.82 79.40 84.50 88.92 路面 79.27 79.80 72.31 82.12 91.30 82.38 车道线 74.21 67.90 68.35 80.21 91.56 77.62 标志牌 74.01 78.33 60.54 78.88 90.37 79.85 行人 84.21 83.44 66.95 90.25 95.65 83.44
下载: 导出CSV
-
[1] 胡青松,孟春蕾,李世银,等. 矿井无人驾驶环境感知技术研究现状及展望[J]. 工矿自动化,2023,49(6):128-140. HU Qingsong,MENG Chunlei,LI Shiyin,et al. Research status and prospects of perception technology for unmanned mining vehicle driving environment[J]. Journal of Mine Automation,2023,49(6):128-140.
[2] XING Zhizhong,ZHAO Shuanfeng,GUO Wei,et al. Identifying balls feature in a large-scale laser point cloud of a coal mining environment by a multiscale dynamic graph convolution neural network[J]. ACS Omega,2022,7(6):4892-4907. DOI: 10.1021/acsomega.1c05473
[3] 王国法,赵国瑞,任怀伟. 智慧煤矿与智能化开采关键核心技术分析[J]. 煤炭学报,2019,44(1):34-41. WANG Guofa,ZHAO Guorui,REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining[J]. Journal of China Coal Society,2019,44(1):34-41.
[4] 鲍久圣,章全利,葛世荣,等. 煤矿井下无人化辅助运输系统关键基础研究及应用实践[J]. 煤炭学报,2023,48(2):1085-1098. DOI: 10.13225/j.cnki.jccs.2022.1600 BAO Jiusheng,ZHANG Quanli,GE Shirong,et al. Basic research and application practice of unmanned auxiliary transportation system in coal mine[J]. Journal of China Coal Society,2023,48(2):1085-1098. DOI: 10.13225/j.cnki.jccs.2022.1600
[5] LI Xiaohu,WAN Shaoke,LIU Shijie,et al. Bearing fault diagnosis method based on attention mechanism and multilayer fusion network[J]. ISA Transactions,2022,128:550-564. DOI: 10.1016/j.isatra.2021.11.020
[6] ZHANG Di. Interoperability technology of sports health monitoring equipment based on multi-sensor information fusion[J]. Eurasip Journal on Advances in Signal Processing,2021,2021(1):1-18. DOI: 10.1186/s13634-020-00710-6
[7] 蔡峰,孔令华,程志恒. 大型煤炭企业煤矿智能化建设进展、问题和对策研究[J]. 中国煤炭,2023,49(6):14-18. DOI: 10.3969/j.issn.1006-530X.2023.06.003 CAI Feng,KONG Linghua,CHENG Zhiheng. Research on the progress,problems,and countermeasures of intelligent construction in large coal enterprises' coal mines[J]. China Coal,2023,49(6):14-18. DOI: 10.3969/j.issn.1006-530X.2023.06.003
[8] 张鹏鹏,俞阿龙,孙诗裕,等. 多传感器数据融合在矿井安全监测中的应用[J]. 工矿自动化,2015,41(12):5-8. ZHANG Pengpeng,YU Along,SUN Shiyu,et al. Application of multi-sensor data fusion in mine safety monitoring[J]. Industry and Mine Automation,2015,41(12):5-8.
[9] 张静. 基于多传感器融合的露天矿山障碍物检测方法研究[D]. 长沙:湖南大学,2022. ZHANG Jing. The obstacle detection method based on multi-sensor fusion in open-pit mines[D]. Changsha:Hunan University,2022.
[10] 胡荣华,安冬,史梦圆,等. 智能矿用机器人研究现状及发展趋势[J]. 黄金,2023,44(9):59-68. DOI: 10.11792/hj20230910 HU Ronghua,AN Dong,SHI Mengyuan,et al. Research situation and development tendency of intelligent mining robots[J]. Gold,2023,44(9):59-68. DOI: 10.11792/hj20230910
[11] 杨静宜,赵莉娅,梁月肖. 基于机器视觉的矿用巡检机器人环境感知研究[J]. 煤炭技术,2023,42(9):227-229. DOI: 10.13301/j.cnki.ct.2023.09.047 YANG Jingyi,ZHAO Liya,LIANG Yuexiao. Study on mine patrol robot environment perception based on machine vision[J]. Coal Technology,2023,42(9):227-229. DOI: 10.13301/j.cnki.ct.2023.09.047
[12] 党相卫,秦斐,卜祥玺,等. 一种面向智能驾驶的毫米波雷达与激光雷达融合的鲁棒感知算法[J]. 雷达学报,2021,10(4):622-631. DOI: 10.12000/JR21036 DANG Xiangwei,QIN Fei,BU Xiangxi,et al. A Robust perception algorithm based on a radar and LiDAR for intelligent driving[J]. Journal of Radars,2021,10(4):622-631. DOI: 10.12000/JR21036
[13] 江良玉. 基于激光雷达与毫米波雷达的矿区路侧感知算法[J]. 控制与信息技术,2022(5):75-79. JIANG Liangyu. Roadside perception system based on LiDAR and millimeter-wave radar fusion in mining area[J]. Control and Information Technology,2022(5):75-79.
[14] 张海波. 基于视觉与激光雷达融合的煤岩识别技术研究[D]. 徐州:中国矿业大学,2022. ZHANG Haibo. Research on coal-rock recognition technology based on fusion of vision and lidar[D]. Xuzhou:China University of Mining and Technology,2022.
[15] 袁晓明,郝明锐. 煤矿辅助运输机器人关键技术研究[J]. 工矿自动化,2020,46(8):8-14. YUAN Xiaoming,HAO Mingrui. Research on key technologies of coal mine auxiliary transportation robot[J]. Industry and Mine Automation,2020,46(8):8-14.
[16] 杨春雨,张鑫. 煤矿机器人环境感知与路径规划关键技术[J]. 煤炭学报,2022,47(7):2844-2872. YANG Chunyu,ZHANG Xin. Key technologies of coal mine robots for environment perception and path planning[J]. Journal of China Coal Society,2022,47(7):2844-2872.
[17] 陈少杰,朱振才,张永合,等. 基于3D特征点的激光雷达与立体视觉配准方法[J]. 激光与光电子学进展,2020,57(3):58-65. CHEN Shaojie,ZHU Zhencai,ZHANG Yonghe,et al. Extrinsic calibration for lidar and stereo vision using 3D feature points[J]. Laser & Optoelectronics Progress,2020,57(3):58-65.
[18] 张赛赛,于红绯. 基于多维动态卷积的激光雷达与相机外参标定方法[J/OL]. 激光与光电子学进展:1-12[2023-08-03]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1803.070.html. ZHANG Saisai,YU Hongfei. LiDAR and camera external parameter calibration method based on multi-dimensional dynamic convolution[J/OL]. Laser & Optoelectronics Progress:1-12[2023-08-03]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1803.070.html.
[19] PHILION J,FIDLER S. Lift,splat,shoot:encoding images from arbitrary camera rigs by implicitly unprojecting to 3D[C]. Computer Vision-ECCV,Glasgow,2020:194-210.
[20] LI Zhiqi,WANG Wenhai,LI Hongyang,et al. Bevformer:learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers[C]. European Conference on Computer Vision,Tel Aviv,2022:1-18.
[21] 许志,李敬兆,张传江,等. 轻量化CNN及其在煤矿智能视频监控中的应用[J]. 工矿自动化,2020,46(12):13-19. XU Zhi,LI Jingzhao,ZHANG Chuanjiang,et al. Lightweight CNN and its application in coal mine intelligent video surveillance[J]. Industry and Mine Automation,2020,46(12):13-19.
[22] 魏东,王忠宾,司垒,等. 采煤机作业区域人员精确检测方法研究[J]. 工矿自动化,2022,48(2):19-28. WEI Dong,WANG Zhongbin,SI Lei,et al. Research on precise detection method of personnel in shearer operation area[J]. Industry and Mine Automation,2022,48(2):19-28.
[23] 饶中钰,吴景涛,李明. 煤矸石图像分类方法[J]. 工矿自动化,2020,46(3):69-73. RAO Zhongyu,WU Jingtao,LI Ming. Coal-gangue image classification method[J]. Industry and Mine Automation,2020,46(3):69-73.
[24] 杜青,杨仕教,郭钦鹏,等. 地下矿山作业人员佩戴安全帽智能检测方法[J]. 工矿自动化,2023,49(7):134-140. DU Qing,YANG Shijiao,GUO Qinpeng,et al. Intelligent detection method of working personnel wearing safety helmets in underground mine[J]. Journal of Mine Automation,2023,49(7):134-140.
[25] 余乐文. 地下矿山非结构环境地图创建与自主探索方法研究[D]. 北京:北京科技大学,2022. YU Lewen. Research on methods of mapping and autonomous exploration in underground mine unstructured environment[D]. Beijing:University of Science and Technology Beijing,2022.
[26] RONNEBERGER O,FISCHER P,BROX T. U-net:convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer Assisted Intervention,Munich,2015:234-241.
[27] 沈科,季亮,张袁浩,等. 基于改进YOLOv5s模型的煤矸目标检测[J]. 工矿自动化,2021,47(11):107-111,118. SHEN Ke,JI Liang,ZHANG Yuanhao,et al. Research on coal and gangue detection algorithm based on improved YOLOv5s model[J]. Industry and Mine Automation,2021,47(11):107-111.
[28] 张旭辉,闫建星,张超,等. 基于改进YOLOv5s+DeepSORT的煤块行为异常识别[J]. 工矿自动化,2022,48(6):77-86,117. ZHANG Xuhui,YAN Jianxing,ZHANG Chao,et al. Coal block abnormal behavior identification based on improved YOLOv5s + DeepSORT[J]. Journal of Mine Automation,2022,48(6):77-86,117.
[29] WANG C Y,LIAO H Y M,WU Y H,et al. CSPNet:a new backbone that can enhance learning capability of CNN[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops,Seattle,2020:390-391.
-
期刊类型引用(1)
1. 赵兴国，秦汝祥，刘泽功，戴广龙. 羊场湾易自燃综放工作面CO来源分析. 煤矿安全. 2022(09): 137-143 . 
百度学术
其他类型引用(3)
计量
- 文章访问数: 363
- HTML全文浏览量: 107
- PDF下载量: 81
- 被引次数: 4
