0 引言
煤矿井下巷道错综复杂且工作环境恶劣，将无人驾驶技术引入煤矿开采，实现矿用车辆自动化，有利于提高煤矿井下安全系数。行人检测是煤矿井下无人驾驶的关键技术，许多学者对此展开了研究。J. S. Dickens等[1]采用多信息融合技术，结合3D传感器和红外成像传感器实现了井下矿用车辆的行人检测。董观利等[2]先对图像提取高斯模型前景，再对前景进行分类，可快速识别行人位置及越界方向。李伟山等[3]以深度学习通用目标检测框架Faster RCNN(Faster Region-based Convolutional Neural Networks)为基础，对候选区域网络结构进行改进，采用3种不同尺度的卷积核来计算候选区域，提高了煤矿井下行人检测的鲁棒性。李现国等[4]对基于SSD(Single Shot MultiBox Detector)网络的行人检测方法进行改进：设计了一种基于DenseNet网络的轻量级卷积神经网络作为SSD网络的基础网络，以满足井下视频行人检测实时性需求；同时设计了基于ResNet网络的辅助网络，提高了行人检测准确性。魏力等[5]采用通道注意力机制，在增强图像中人员前景特征信息的同时抑制背景信息，提高了在低分辨率、遮挡等影响下的目标判别能力。然而，受煤矿井下光照不均匀、背景复杂、红外线干扰、光线昏暗和图像中目标小且密集等影响，应用上述方法时检测精度不理想。本文提出了一种面向无人驾驶的井下行人检测方法。该方法通过融合可见光传感器、红外传感器和深度传感器获得的图像，可提高井下行人检测精度；在ResNet的基础上加入Dense连接来优化RetinaNet网络，优化后的Dense-RetinaNet对小目标的检测能力更加突出。
1 数据采集
为获得足够多的煤矿井下环境数据，采用包含可见光传感器、深度传感器和红外传感器的Kinect摄像机(图1)。将Kinect摄像机中3个传感器安装在井下防爆无轨胶轮车车头，如图2所示。
图1 Kinect摄像机
Fig.1 Kinect camera
图2 传感器安装位置
Fig.2 Sensors installation position
煤矿井下采集的原始数据以视频方式保存，视频数据处理流程如图3所示。首先，将采集的视频经过OpenCV逐帧提取可视度良好的图像帧来获得单张图像。其中，可见光图像分辨率为1 920×1 080，红外图像和深度图像分辨率为400×600。可见光图像和红外图像的通道数为3；深度图像格式为RGB-D，共4个通道，其中前3个通道为图像色彩信息，最后1个通道为图像深度信息。然后，对单张图像进行数据增强(包括直方图均衡[6]、双边滤波、反转、旋转、缩放和平移)。最后，选用LabelImg软件对图像进行手动标注标签，标注的信息包括目标边界、目标类别和目标中心坐标(每张图像中包括的行人数量为1～10)。
图3 视频数据处理流程
Fig.3 Video data processing process
经处理后的煤矿井下行人图像部分实例如图4所示。可看出可见光图像色彩丰富，成像距离长，但物体轮廓较模糊；深度图像中物体轮廓凸出，但成像距离短，长距离成像稀疏；红外图像能够过滤其他光线干扰，但同样有成像距离短的缺点。
(a) 可见光图像
(b) 深度图像
(c) 红外图像
图4 煤矿井下行人图像
Fig.4 Underground mine pedestrian images
2 目标检测网络
2.1 分步多特征融合
为充分利用多个传感器联合来加强图像中信息，基于Dense块进行分步多特征融合，如图5所示。首先，将红外图像和可见光图像通过卷积之后送入各自数据流的Dense块中提取特征，并在每一个特征层上执行拼接操作。红外图像和可见光图像经过Dense块处理后，输出特征图大小分别为13×13×1 024，26×26×512，52×52×256。然后，分别将这3种特征图在其对应的尺度上进行特征融合，形成红外图像和可见光图像特征融合金字塔。同时，深度图像经过3个卷积层后，对每一个卷积层结果提取深度信息，形成深度金字塔。最后，将深度金字塔和融合金字塔中大小对应的特征层进行拼接，形成融合特征。融合特征经过一个1×1的卷积层后输入到Dense-RetinaNet中。
图5 分步多特征融合原理
Fig.5 Principle of step by step multi-characteristic fusion
2.2 Dense-RetinaNet
RetinaNet网络由残差网络ResNet、特征金字塔和分类定位模块3个部分组成[7]。ResNet作为特征提取器，可使网络极大限度地保持图像特征在传递过程中不会丢失。特征金字塔可从提取到的特征中计算出多尺度的候选区域[8]，形成信息更具体、表达更强的特征图。分类定位模块是在特征金字塔中每一个特征层上定位和分类，以保证获得多尺度检测结果。
井下环境获得的图像所包含干扰更加复杂，为解决由光照等因素引起的井下图像中小目标不明显问题，本文对RetinaNet进行改进，在ResNet的基础上加入Dense连接[9]，形成一种具有层级相连结构的Dense-RetinaNet，有助于在特征前向流动过程中使更多细节被保存，同时在反向传播过程中计算梯度时信息会被更加充分利用。改进的ResNet结构如图6所示。改进的ResNet中包含5个Dense残差块，每个Dense残差块中有4个特征层，特征层之间进行局部特征连接，各残差块之间进行全局特征连接。通过对局部特征和全局特征的连接，使得特征能够充分被传递，让网络可从图像中提取更丰富的特征，并且可抵抗梯度消失问题。
图6 改进的ResNet结构
Fig.6 Improved ResNet structure
2.3 损失函数
Dense-RetinaNet在分类上采用RetinaNet原有的Focal Loss损失函数。不同于标准的交叉熵损失函数，Focal Loss为了平衡正负样本数量[10]，特别加入了一个平衡因子ε(ε>0)。
交叉熵损失函数为
(1)
式中：l为真实样本数据；p为l=1的概率。
加入平衡因子后的Focal Loss损失函数为
Lf=-(1-Lc)εlog2Lc
(2)
定位损失函数Lloc为
Lloc=αLsize+β Lpos+γLcof
(3)
Lsize=
(4)
Lpos=
(5)
(6)
式中：Lsize，Lpos，Lcof分别为锚框[11]的大小、位置、置信度所对应的损失函数；α，β，γ分别为Lsize，Lpos，Lcof的权重，本文分别取0.3，0.3，0.4；λscale，λclass分别为锚框的尺度系数和类别项系数，本文分别取0.5，
为目标落入第i(i=1，2，…，G，G为网格数量)个网格第j(j=1，2，…，A，A为每个网格的预测框数量)个预测框的系数；
分别为预测框和真实框的中心点坐标；
分别为预测框和真实框的宽和高；
分别为第i个网格中预测框和真实框包含目标的置信度。
3 实验及结果分析
网络训练平台为NVIDIA AGX Xavier Developer Kit，内存为32 GB，操作系统为Ubuntu 18.04 LTS，采用PyTorch开源框架。网络训练分为预训练和调参2个阶段。在PASCAL VOC2007+2012[12]数据集上预训练网络。将训练好的部分网络参数冻结，在调参阶段采用Adam优化器，设置动量参数为0.9，均方根参数为0.999，学习率为0.001，批处理大小为32，迭代次数为3 000。
为验证分步多特征融合的有效性，分别将可见光图像和可见光图像+红外图像+深度图像输入Dense-RetinaNet，检测结果见表1。可看出经过分步多特征融合的图像有利于网络在暗光和遮挡情况下提高mAP(mean Average Precision，平均精度均值)，分别较单一可见光图像时提高了14.02%和4.03%；但进行分步多特征融合时网络要处理更多数据，会增加运行时间。
表1 不同输入图像下检测结果对比
Table 1 Comparison of detection results under different input images
场景数据源mAP/%运行时间/ms暗光可见光图像58.3243.01可见光图像+红外图像+深度图像72.3456.35遮挡可见光图像76.3945.19可见光图像+红外图像+深度图像80.4254.96
为验证Dense-RetinaNet的有效性，分别采用Dense-RetinaNet和RetinaNet对煤矿井下行人图像进行检测，结果如图7所示。可看出Dense-RetinaNet比RetinaNet有更好的小目标和多目标检测能力。
图7 煤矿井下行人检测结果
Fig.7 Underground mine pedestrian detection results
RetinaNet和Dense-RetinaNet检测结果对比见表2。可看出Dense-RetinaNet相较于RetinaNet在多目标检测精度上提高了1.22%，小目标检测精度上提高了6.49%。
表2 RetinaNet和Dense-RetinaNet检测结果对比
Table 2 Comparison of detection results between RetinaNet and Dense-RetinaNet
场景网络mAP/%多目标RetinaNet87.93Dense-RetinaNet89.15小目标RetinaNet84.79Dense-RetinaNet91.28
4 结语
针对煤矿井下环境中光照复杂、目标尺度小等问题，提出了一种面向无人驾驶的井下行人检测方法。该方法通过分步多特征融合方式将可见光传感器、红外传感器和深度传感器采集的图像进行特征融合，获得了更加丰富的图像特征；在RetinaNet的基础上，将Dense连接引入ResNet，形成一种具有层级相连结构的Dense-RetinaNet网络，能够从输入的多传感器融合图像中提取深层特征，增强了对小目标的检测能力。实验结果表明，多传感融合图像相较于单一图像可获得更加丰富的目标特征，有利于提高目标检测精度；Dense-RetinaNet相较于RetinaNet在多目标和小目标检测精度上均有所提高。
[1] DICKENS J S,WYK M A,GREEN J J.Pedestrian detection for underground mine vehicles using thermal images[C]//IEEE AFRICON Conference,Victoria Falls,2011:1-6.
[2] 董观利,宋春林.基于视频的矿井行人越界检测系统[J].工矿自动化,2017,43(2):29-34.
DONG Guanli,SONG Chunlin.Underground pedestrian crossing detection system based on video[J].Industry and Mine Automation,2017,43(2):29-34.
[3] 李伟山,卫晨,王琳.改进的Faster RCNN煤矿井下行人检测算法[J].计算机工程与应用,2019,55(4):200-207.
LI Weishan,WEI Chen,WANG Lin.Improved Faster RCNN approach for pedestrian detection in underground coal mine[J].Computer Engineering and Applications,2019,55(4):200-207.
[4] 李现国,李斌,刘宗鹏,等.井下视频行人检测方法[J].工矿自动化,2020,46(2):54-58.
LI Xianguo,LI Bin,LIU Zongpeng,et al.Underground video pedestrian detection method[J].Industry and Mine Automation,2020,46(2):54-58.
[5] 魏力,云霄,程小舟,等.井下复杂环境人员重识别研究[J].工矿自动化,2021,47(6):63-70.
WEI Li,YUN Xiao,CHENG Xiaozhou,et al.Research on personnel re-identification in complex underground environment[J].Industry and Mine Automation,2021,47(6):63-70.
[6] 徐辉,贺耀宜.一种煤矿井下监控视频图像预处理方法[J].工矿自动化,2016,42(1):32-34.
XU Hui,HE Yaoyi.An image preprocessing method for underground monitoring video[J].Industry and Mine Automation,2016,42(1):32-34.
[7] 谭章禄,陈孝慈.RetinaNet图像识别技术在煤矿目标监测领域的应用研究[J].矿业安全与环保,2020,47(5):65-70.
TAN Zhanglu,CHEN Xiaoci.Application research of RetinaNet image recognition technology in coal mine target monitoring[J].Mining Safety & Environmental Protection,2020,47(5):65-70.
[8] LIN T Y,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:936-944.
[9] HUANG Gao,LIU Zhuang,MAATEN L V D,et al.Densely connected convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:2261-2269.
[10] LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for dense object detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(2):318-327.
[11] 李世雄,曹广忠,李庆,等.基于锚点的边缘检测优化算法研究[J].电子测量与仪器学报,2018,32(11):9-16.
LI Shixiong,CAO Guangzhong,LI Qing,et al.Research on anchor points based edge detection optimization[J].Journal of Electronic Measurement and Instrumentation,2018,32(11):9-16.
[12] EVERINGHAM M,ESLAMI S M A,GOOL L V,et al.The PASCAL visual object classes challenge: a retrospective[J].International Journal of Computer Vision,2015,111(1):98-136.
