0.   引言

为保证煤矿井下作业的安全性，需对井下工作人员进行识别^[1-2]。受技术上的限制和井下低光照、浮灰等环境影响，由同一类设备拍摄的单一源图像往往不能提供对整个场景的全面描述。因此，从不同的源图像中提取有效特征并融合，以提高人员识别精度。

在图像融合领域，红外和可见光图像融合是应用最广泛的图像融合技术^[3-5]。可见光图像包含丰富的纹理信息，更能适应视觉感知，但在低光照环境下，可见光会出现光照不均、对比度低等问题。红外图像可以在煤矿井下低光照或其他极其恶劣的环境中，通过获取灰度信息以突出重要目标。因此，红外和可见光图像融合不仅可以减少数据冗余，还可以产生对比度显著、纹理丰富和色彩保真的高质量图像。

随着深度学习技术在计算机视觉方面的应用，基于深度学习的红外和可见光图像融合技术快速发展。文献[6]提出了基于卷积神经网络（Convolutional Neural Network，CNN）的红外和可见光融合方法，使用CNN从源图像生成权重图，使用拉普拉斯金字塔对源图像进行分解，使用高斯金字塔对权重映射图进行分解，并以多尺度方式进行融合。文献[7]提出了使用CNN进行特征提取和图像重建的无监督端到端红外和可见光融合网络，自适应融合红外信息和纹理信息，并在一定程度上抑制了噪声干扰；基于自编码器（Auto Encoder，AE）方法对可见光和红外图像进行预训练，使用训练后的编码器进行特征提取和图像重建。文献[8]提出了一种无暗度红外可见光图像融合方法，设计了一个场景−照明解缠网络 ，以去除夜间可见光图像中的照明退化特征，同时保留源图像的信息特征；设计纹理−对比度增强融合网络（Texture-Contrast Enhancement Fusion Network，TCEFNet）来整合互补信息并增强融合特征的对比度和纹理细节。文献[9]提出了一种基于AE的方法，采用附加策略和信道选择策略进行特征融合。文献[10]将生成对抗网络（Generative Adversarial Network，GAN）引入图像融合，提出了一种基于GAN的红外和可见光融合方法，通过设计生成器用于突出目标的融合图像，并设计鉴别器使得融合图像包含更多的纹理信息。文献[11]提出了新型红外与可见光图像融合方法，结合对称双向交互模块和Transformer网络，能够有效提升图像的局部与全局信息交互，改善了低光照环境下的图像质量。文献[12]利用Swin Transformer在图像融合中加强了长距离语义信息的提取，有效保留了图像边缘细节和全局信息，增强了融合效果。

虽然上述融合方法可以有效整合来自可见光和红外图像的重要和互补信息，但仍有一些问题需要解决：① 现有方法都是针对正常光照条件设计的，忽略了夜间可见光图像中光照退化的困难。在弱光条件下，现有融合方法只使用红外信息来填补可见光图像光照退化造成的场景缺陷，导致在黑暗环境下可见光图像中丰富的场景信息无法在融合图像中表达出来。② 现有方法通常使用弱光增强算法对可见光图像进行预增强，并通过融合方法对源图像进行融合。然而，将图像增强和图像融合作为单独的任务来处理常常会带来不兼容的问题，从而导致融合结果较差。

针对上述问题，本文提出一种基于低光照增强的红外和可见光图像融合模型，通过设计低光照增强网络和纹理−对比度增强融合网络，实现在低光照环境下生成具有高对比度和丰富纹理的融合图像，以解决井下低光照导致人员特征不明显的问题。构建可见光和红外双模态矿井人员数据集，在双模态矿井人员数据集上实现多模态融合，并在YOLOv8n检测网络上实现对矿井下人员识别，确保模型能够针对矿井低光照环境完成人员识别任务。

1.   Retinex图像增强原理

D. J. Jobson等^[13]首次使用单尺度Retinex原理，将低光照图像剥离照明亮度特征，调整反射率以增强图像细节。Retinex^[14]在保留图像细节信息的前提下，抑制由于光照不均导致的图像质量退化。其在多个尺度上分离照明与反射成分，并融合各尺度的特征，以更好地兼顾细节提取和噪声抑制，能够在不同空间频率上有效处理图像，增强细节的同时避免过度增强噪声^[15-17]。

在井下低光照环境下，可见光图像容易出现亮度不足、细节丢失等问题，直接影响融合效果。本文采用Retinex去除退化的照明特征，有效分离并剔除低质量的照明特征，仅保留具有判别力的反射率特征，有助于实现低光照增强。

2.   基于低光照增强的红外和可见光图像融合模型

2.1   低光照增强网络设计

低光照增强网络由1个编码器、3个并行序列压缩块和3个并行解码器组成，如图1所示。其中，$ I_{{\mathrm{Vi}}}^{{Y}} $为Y通道的可见光图像，$ {I_{{\mathrm{ir}}}} $为红外图像，$ {\phi _{\mathrm{l}}} $为光照特征，$ \phi _{{\mathrm{Vi}}}^{{\mathrm{en}}} $为可见光特征，$ {\phi _{{\mathrm{ir}}}} $为红外特征，$ {D_{\mathrm{l}}} $为光照特征解码器，$ {D_{{\mathrm{vi}}}} $为可见光特征解码器，$ {D_{{\mathrm{ir}}}} $为红外特征解码器，$ w_{\mathrm{n}} $为权重。编码器包含4个卷积层，其核大小为3×3，激活函数为泄漏校正线性单元（LeakyReLU）。3个并行序列压缩块（SEBlocks）用于加强互补信息和消除退化照明，包括最大池化层、全连接层、LeakyReLU层和Sigmoid层。并行解码器由4个3×3卷积层组成。

图  1  低光照增强网络结构

Figure  1.  Structure of low light enhancement network

下载: 全尺寸图片 幻灯片

2.2   纹理−对比度增强网络设计

纹理−对比度增强网络由边缘纹理增强模块和对比度增强模块组成。边缘纹理增强模块由1个主特征流和2个残差特征流组成，如图2所示。主流部署了2个常见的3×3卷积层，包括LeakyReLU激活函数和1个1×1卷积层。第1个残差流集成了索贝尔（Sobel）算子，以保留较强的特征纹理，并通过1×1卷积层消除通道尺寸的差异。第2个残差流采用了拉普拉斯算子，进一步提取弱纹理特征。将边缘纹理增强模块的输入和Sobel算子的输出进行对应特征相加，得到纹理增强的输出，然后和拉普拉斯算子的输出进行通道维度连接，得到增强后的特征输出$ {\phi _{\mathrm{g}}} $，以捕获更细节的深度特征。

图  2  边缘纹理增强模块结构

Figure  2.  Structure of edge texture enhancement module

下载: 全尺寸图片 幻灯片

对比度增强模块主要由多尺度空洞卷积和对比度计算模块组成，如图3所示，其中$ {\phi _m} $为第$ m $层特征图的特征，${\phi _{\mathrm{f}}} $为经过网络处理后的特征。为了充分提取不同特征层次下的多尺度信息，避免因固定大小卷积核而受限，本文在对比度增强模块中引入了3种不同空洞率(r₁=1，r₂=2，r₃=5)的空洞卷积。为了进一步减少特征提取过程中的信息损失，对比度增强模块采用连续卷积代替传统的池化操作，以保持特征图的分辨率。不同空洞率的空洞卷积提取的特征首先通过LeakyReLU激活函数进行非线性变换，然后在通道维度上进行拼接，形成融合后的多尺度特征表示，最后输入到对比度计算模块中。

图  3  对比度增强模块结构

Figure  3.  Structure of contrast enhancement module

下载: 全尺寸图片 幻灯片

对比度计算模块主要负责在特征级别上自适应增强对比度信息。首先，计算输入特征中每个空间位置（i，j）邻域的局部标准差，以估计局部区域内的对比度变化程度。然后，通过最大池化操作强化显著区域，并通过带有LeakyReLU激活函数的全连接层和带有Sigmoid激活函数的全连接层，生成一组通道权重向量。最后，残差特征流与主特征流通过逐通道加权融合，实现特征对比度的动态增强。

2.3   融合模型整体结构

将可见光和红外图像进行灰度化、几何校正等预处理操作，将处理后的图像传入低光照增强网络，在特征层面去除可见光图像的照度分量特征。经过纹理–对比度增强网络实现特征级融合，从纹理和对比度等方面增强整体的视觉感知。基于低光照增强的红外和可见光图像融合模型结构如图4所示，$I_{\mathrm{f}} $为经过处理后的图像。

图  4  基于低光照增强的红外和可见光图像融合模型结构

Figure  4.  Structure of infrared and visible light image fusion model based on low light enhancement

下载: 全尺寸图片 幻灯片

首先，将红外图像和可见光图像在通道上连接，并输入到低光照增强网络的编码器，从而获得2个图像的混合特征$ \phi $。

式中$ E(·) $为编码器。

其次，将具有2个图像信息的混合特征输入到3个自注意力模块中并有选择地加强特征，压缩不必要的特征。SEBlocks的目标是从混合特征中选择红外和可见光图像的特定特征。在特征层将可见光图像分解以得到红外特征$ {S_{{\mathrm{ir}}}}\left( \phi \right) $、退化光照特征$ {S_{\mathrm{l}}}\left( \phi \right) $和可见光特征$ S_{{\mathrm{Vi}}}^{{\mathrm{en}}}\left( \phi \right) $。将分离出来的3个特征输入到3个解码器中重建相应的图像，其中只选取红外特征和可见光特征。$ S_{{\mathrm{Vi}}}^{{\mathrm{en}}}\left( \phi \right) $和$ {S_{{\mathrm{ir}}}}\left( \phi \right) $被连接到同一个维度上，作为低光照增强网络的输出和后续纹理–对比度增强网络的输入。

式中${\mathrm{concat}}(\cdot) $为通道维度上的拼接操作。

然后，为了提高融合后图像的纹理信息，低光照增强网络的输出直接输入纹理增强网络，用来增强特征的表示，使用Sobel算子和拉普拉斯算子共同增强混合特征，得到纹理增强网络的输出特征$ {\phi _{\mathrm{g}}} $。

式中：$ {\text{conv}}\left( \cdot \right) $为卷积操作；$ \nabla $和$ {\nabla ^2} $分别为Sobel 算子和拉普拉斯算子。

对比度增强网络采用空洞率不同的空洞卷积来增大感受野，用于获取多尺度信息，通过对比度计算模块为对比度高的特征分配更高的权重，实现对比度增强，最终得到纹理−对比度增强网络输出$ {\phi _{\mathrm{f}}} $。

式中：$ n \times n $为卷积核大小；$ {{\boldsymbol{V}}_{\mathrm{c}}} $为激活向量。

融合图像只注重亮度增强的图像融合，导致增强后的图像$ I_{\mathrm{f}}^Y $具有严重的颜色失真。将初始融合图像的颜色空间转换为RGB空间，与原始可见光图像的通道$ {C_{\mathrm{b}}} $和$ {C_{\mathrm{r}}} $相匹配，确保消除颜色失真的同时保持场景亮度。

式中：$ \xi \left( \cdot \right) $为将图像从原始图像颜色空间转换为RGB空间的传输矩阵；$ I_{{\mathrm{Vi}}}^{{C_{\mathrm{b}}}} $和$ I_{{\mathrm{Vi}}}^{{C_{\mathrm{r}}}} $为通道$ {C_{\mathrm{b}}} $和$ {C_{\mathrm{r}}} $的原始可见光图像。

3.   实验结果与分析

为验证本文模型在低光照条件下的有效性，选用公开的低光照可见光红外配对（Low-Light Visible-Infrared Paired，LLVIP）数据集和自建的双模态矿井人员数据集进行实验。LLVIP数据集由双目摄像系统采集，图像经过严格配准与裁剪，分辨率为 640×480。拍摄环境多为极暗场景，具备光照复杂、噪声干扰、目标遮挡等特点，适用于低光照条件下的图像融合与目标检测研究。本文从中选取 600 对图像用于训练，并通过裁剪、旋转等数据增强方法验证模型泛化能力。

3.1   LLVIP实验验证

基于 PyTorch 深度学习框架，采用 Python 3.9 作为编程语言，结合 OpenCV，NumPy，Matplotlib 等进行数据处理、图像预处理与结果可视化。实验环境：CPU为AMD Ryzen 7 5800 H,CPU频率为3.20 GHz，GPU为NVIDIA GeForce GTX3070,显存为6 GiB，内存为16 GiB。软件配置见表1。

表  1  软件配置

Table  1.  Software configuration

库	版本		库	版本
Python	3.9		OpenCV	4.7
Pytorch	1.13		NumPy	1.23
TorchVision	0.14		Matplotlib	3.7
CUDA	11.7		SciPy	1.10

下载: 导出CSV 

| 显示表格

3.1.1   模型性能定性对比

为了说明本文所提模型的优点，在 LLVIP 数据集上将其与主流融合模型Densefuse^[18]，SeAFusion^[19]和CCDFusion^[20]进行了对比实验，可视化结果如图5所示。可看出Densefuse和SeAFusion融合后拥有更多的对比度，但整个场景缺少更多的纹理信息。CCDFusion虽然具有一定的纹理信息，但缺少源图像的颜色信息。本文所提模型即使在黑暗中也能获得丰富的场景、纹理和对比度，为后续人员识别奠定数据基础。

图  5  各融合模型在LLVIP数据集上的可视化结果

Figure  5.  Visualization results of each fusion model on the LLVIP dataset

下载: 全尺寸图片 幻灯片

3.1.2   模型性能定量对比

为进一步验证本文模型的优越性，从LLVIP数据集中选择50对图像，选取熵（Entropy，EN）、标准偏差（Standard Deviation，SD）、空间频率（Spatial Frequency，SF）、互信息（Mutual Information，MI）、差异相关性之和（Sum of Correlations of Differences，SCD）、视觉信息保真度（Visual Information Fidelity，VIF）^[21]、$ {\text{Q}}^{\text{AB/F}} $、结构相似性指数（Structural Similarity Index Measure，SSIM）^[22]8个指标作为评价指标，进行了融合结果的定量对比，结果见表2。EN用于衡量融合图像的信息量；SD反映图像灰度值的离散程度，值越大则图像清晰度更高；SF用于评价图像灰度变化的速率；MI用于衡量融合图像与源图像间的信息共享程度；SCD用于评估融合图像与源图像之间细节和结构的保持程度；VIF基于人眼视觉系统评价图像的视觉保真度，值越大表明视觉效果越优；$ {\text{Q}}^{\text{AB/F}} $值越高表示融合图像在保持源图像信息的同时也具备较好的视觉效果；SSIM综合考虑亮度、对比度和结构信息，用于评估图像的结构一致性。

表  2  不同模型各指标对比

Table  2.  Comparison of various indicators of different models

模型	EN	SD	SF	MI	SCD	VIF	$ {{\text{Q}}^{{\text{AB/F}}}} $	SSIM
Densefuse	6.93	45.49	8.21	1.78	1.27	0.91	0.41	0.96
SeAFusion	7.57	46.44	11.15	2.69	1.57	1.14	0.50	0.64
CDDFusion	7.18	44.96	13.28	3.12	1.55	0.94	0.62	0.94
本文模型	7.59	49.68	16.36	3.45	1.69	1.10	0.69	1.03

下载: 导出CSV 

| 显示表格

由表2可看出，本文模型在7个指标上表现最好：EN最优，表明融合图像中蕴含的信息量丰富，融合算法的性能表现出色；SD最优，表明融合图像具有更丰富的对比度信息，与可视化结果一致；在SF度量的指标最优，表明融合图像具有更多的细节和纹理信息；MI最优，表明越多的信息从源图像传输到融合图像，具有良好的融合性能；SCD最优，表明融合后的结果包含了更多的真实信息；$ {\text{Q}}^{\text{AB/F}} $最优，表明有更多源图像的边缘信息被保留到融合图像；SSIM最优，表明源图像和融合图像之间的结构相似性最大。本文模型VIF略低于SeAFusion，因为VIF是用于衡量源图像与融合图像之间的信息保真程度，但本文模型通过低光照增强实现融合后的高对比度，所以在源图像与融合图像中存在一定的失真，但融合后的场景更加明亮，人员特征细节更突出，更有利于后续的人员识别任务。

3.1.3   模型检测性能对比

为了验证融合图像在不同检测网络中的效果，本文在Faster−RCNN，YOLOv5和YOLOv8n检测网络分别对可见光、红外和融合图像进行对比，可视化结果如图6所示。其中Faster−RCNN以ResNet−50为主干网络，并有5个特征金字塔网络（Feature Pyramid Networks，FPN）特征层进行特征融合。 YOLOv8n以CSPDarknet为主干网络，结合自适应特征池化进行特征提取，并通过路径聚合特征金字塔网络（Path Aggregation Feature Pyramid Network，PAFPN）结构进行多尺度特征融合，PAFPN特征融合层包括多个上采样和下采样操作，以充分整合不同尺度的特征信息，增强对小目标的检测能力。

图  6  不同检测网络下人员识别效果对比

Figure  6.  Comparison of personnel recognition effects in different detection networks

下载: 全尺寸图片 幻灯片

由图6可看出，若处于低光照环境下，可见光图像中由于人员特征不明显，出现置信度低甚至无法检测的情况；而红外图像虽然解决了特征不明显的问题，但会出现特征不突出导致错检的情况；融合图像在不同检测网络中均解决了单模态所存在的问题，实现了良好的检测效果。说明本文模型具有一定的优越性，也验证了先融合后检测可以解决由低光照引起的问题，为后续井下人员识别奠定基础。

3.2   自建双模态矿井人员数据集实验验证

为确保实验的全面性，在西安科技大学煤炭主体专业综合实验实训中心的井下模拟区域模拟井下低光照环境，使用海康微视GQ35L拍摄RGB图像和红外图像双对准视频，自建一个双模态矿井人员数据集，包含1 368对红外和可见光图像，涵盖矿井走道、矿井大厅、设备周围等典型低光照场景。数据集通过同步拍摄高分辨率红外与可见光图像，保证空间和时间的一致性，并经过人工标注，确保目标位置与标签的准确性。通过这种多场景、多条件下的数据收集，数据集为低光照环境下人员识别提供了有力支持，确保模型能够在实际应用中具有较强的泛化能力和鲁棒性。

本文提出的基于低光照增强的红外和可见光图像融合模型在自建双模态矿井人员数据集上人员识别结果见表3。可看出基于低光照增强的红外和可见光图像融合较可见光图像准确率平均提高了8.2%，召回率提高了12.5%，mAP@0.5提高了8.3%，较红外图像准确率平均提高了2.1%，召回率提高了5.1%，mAP@0.5提高了4.1%，同时可见光图像和红外图像检测速度分别达46.7和53.4 帧/s，虽然融合模型的检测速度为31.2 帧/s，较可见光图像和红外图像有一定下降，但同样满足井下人员识别实时性基本要求。

表  3  不同图像在矿井双模态人员数据集上的人员识别结果

Table  3.  The personnel recognition results of different images on the mine bi-modal personnel data set

输入图像	准确率/%	召回率/%	mAP@0.5/%	帧速率/（帧·s−1）
可见光	85.5	79.1	86.1	46.7
红外	91.6	86.5	90.3	53.4
融合	93.7	91.6	94.4	31.2

下载: 导出CSV 

| 显示表格

不同融合模型在矿井双模态人员数据集上通过YOLOv8n检测网络的人员识别结果见表4。可看出本文模型在准确率、召回率、mAP@0.5和帧速率等指标上均表现最佳。SeAFusion和Densefuse在准确率和召回率上稍显逊色，导致漏检或假阳性现象。而CDDFusion因为其双分支特征分解方法在低光照环境下无法有效捕捉到红外和可见光图像的关键信息，准确率和召回率明显低于其他模型。

表  4  不同融合模型在矿井双模态人员数据集上的人员识别结果

Table  4.  Personnel recognition results of different fusion models on the underground personnel data set

模型	准确率/%	召回率/%	mAP@0.5/%	帧速率/（帧·s−1）
Densefuse	89.5	80.9	88.2	30.1
SeAFusion	90.6	88.6	91.3	30.5
CDDFusion	83.5	79.6	82.6	29.8
本文模型	93.7	91.6	94.4	31.2

下载: 导出CSV 

| 显示表格

为了验证本文所提模型的有效性，通过自建的双模态矿井人员数据集进行多模态融合，人员识别可视化结果如图7所示。可看出由于井下低光照导致人员特征不明显，在YOLOv8n检测网络中，可见光图像均出现漏检和置信度低的问题；红外图像虽然解决了人员特征不明显的问题，但画面缺少纹理和对比度信息，在矿井这类复杂场景下，无法及时发现场景细节信息；而将可见光和红外图像融合后，不仅解决了可见光人员特征不明显的问题，还保留了更多场景信息。

图  7  不同图像下人员识别可视化

Figure  7.  Visualization of personnel identification in different modalities

下载: 全尺寸图片 幻灯片

4.   结论

1） 为解决煤矿井下低光照问题，提出了一种基于低光照增强的红外和可见光图像融合的井下人员识别模型，通过增强网络提升了图像的对比度和纹理，有效减少了红外和可见光图像融合不兼容问题，解决了由低光照导致的人员错检、漏检等问题。

2） 在双模态矿井人员数据集上实现多模态融合，并在YOLOv8n检测网络上实现了对人员的精准识别，与可见光图像相比，融合图像人员识别准确率平均提高了8.2%，召回率提高了12.5%，mAP@0.5提高了8.3%，检测速度达31.2 帧/s，有效实现了低光照环境下矿井人员识别，并满足煤矿井下人员识别需求。