0.   引言

矿井图像为井下安全监控、煤矸石运输、人员定位等提供重要参考依据。受井下特殊环境（粉尘大、照度低等）的影响及图像采集设备的限制，矿井图像往往分辨率低且细节模糊，阻碍信息表达^[1-2]。因此，研究矿井图像超分辨率重建具有重要意义。

传统的图像超分辨率重建算法主要有基于插值的重建算法、基于重构的重建算法、基于传统学习的重建算法。基于插值的重建算法主要有最邻近插值法^[3]、边缘导向插值法^[4]、双线性插值法^[5]、双三次线性插值法^[6]等。该类算法操作简单，但重建效果有限。基于重构的重建算法包括非均匀内插法^[7]、凸集投影法^[8]、最大后验概率法^[9]等。该类算法对先验信息的依赖性较强，且对边缘信息的提取能力不足。基于传统学习的重建算法包括样例学习法^[10]、邻域嵌入法^[11]、稀疏表示法^[12-13]等。该类算法通过学习图像内部相关性来重建图像，但学习能力有限，不能很好地关注图像细节特征。

近年来，深度学习在图像处理领域得到广泛应用，许多学者尝试将深度学习用于图像超分辨率重建，取得了不错的效果。Dong Chao等^[14]提出超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network，SRCNN）算法，首次将图像超分辨率重建算法与深度学习相结合，利用卷积神经网络进行特征提取，极大地提高了重建图像质量。为解决SRCNN训练数据多、训练速度慢等问题，Dong Chao等^[15]提出了快速超分辨率卷积神经网络（Fast Super-Resolution Convolutional Neural Network，FSRCNN），利用反卷积上采样层，在网络的最后进行上采样，直接将低分辨率图像作为输入，提高了网络训练速度。随着深度学习技术的发展，J. Kim等^[16]提出了极深超分辨率卷积网络，利用残差结构构建更深的网络，提取更多的特征图，使重建后的图像拥有更丰富的细节纹理。但随着网络的不断加深，可能出现训练偏向一些不重要信息的情况。对此，Zhang Yulun等^[17]将通道注意力机制与残差块相结合，抑制了低频信息的表达，使模型更专注于对重建有益的高频信息。程德强等^[18]利用多尺度密集特征融合网络对图像进行特征提取，有效提取了丰富的图像特征，提高了图像重建质量。基于卷积神经网络的图像超分辨率重建算法重建的图像有较高的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），但通常缺乏高频细节信息，导致观感较差。C. Ledig 等^[19]提出了超分辨率生成对抗网络（Super-Resolution Generative Adversarial Network，SRGAN）模型，采用跳跃连接的深度残差网络构成生成器，对低分辨率图像进行重建，利用判别器判断图像的真实性，采用感知损失代替原来的均方损失，使该模型重建的图像更加清晰自然。

虽然图像超分辨率重建技术得到了很好的发展，但在矿井图像重建上应用较少。程德强等^[20]针对矿井图像边缘模糊不清的问题，对不同类型图像块训练不同的字典库，提出了多字典超分辨率图像重建算法。张剑英等^[21]对非局部均值超分辨重建算法进行改进，通过对图像进行分区处理，实现了矿井视频图像的超分辨率重建。汪海涛等^[22]利用在线字典学习优化多字典学习阶段的字典，提出了在线多字典学习的超分辨率重建方法，完成了矿井图像重建任务。程德强等^[23]提出了基于卷积神经网络的矿井图像超分辨率重建算法，通过添加特征融合模块和坐标注意力机制来获取更多的高频信息，并构建了用于矿井图像超分辨率重建训练的数据集CUMID。上述方法针对矿井图像超分辨率重建问题取得了一定效果，但仍存在以下问题：① 矿井图像尺寸大小不一，单一尺度的特征提取不能很好地提取不同尺度的图像信息。② 矿井图像有大量的背景信息，纹理、轮廓等细节信息含量较少，部分网络忽略了中间层的信息交流，导致重建后的图像出现细节丢失、边缘轮廓模糊等问题。③ 随着网络的加深，会引入一些多余的结构，使得重建图像出现伪影，且会导致网络参数过大，影响模型的重建速度。

针对上述问题，本文提出一种基于多尺度密集通道注意力SRGAN的矿井图像超分辨率重建算法：构建了一种融合高效通道注意力（Efficient Channel Attention，ECA）机制^[24]的多尺度密集通道注意力残差块（Multi−scale Dense Residual Channel Attention Block，MDRCAB）来代替SRGAN原有的残差块，利用纹理损失^[25]代替感知损失对网络训练进行监督，采用深度可分离卷积（Depthwise Separable Convolution，DSC）^[26]进行特征提取。采用矿井数据集对该算法进行测试，通过主客观评价验证了该算法对井下图像的重建效果优于经典图像超分辨率重建算法。

1.   多尺度密集通道注意力SRGAN

多尺度密集通道注意力SRGAN是在SRGAN基础上对生成器进行改进。改进的生成器由浅层特征提取模块、多尺度密集残差通道注意力网络（Multi−scale Dense Residual Channel Attention Net，MDRCAN）和图像重建模块3个部分组成，如图1所示。

图  1  改进的SRGAN生成器

Figure  1.  The generator of the improved super-resolution generative adversarial network （SRGAN）

下载: 全尺寸图片 幻灯片

1.1   浅层特征提取模块

采用1个卷积核尺寸为9×9、输出通道数为64的卷积层对低分辨率矿井图像进行初步特征提取，得到浅层特征图a₀作为MDRCAN的输入。

式中：${\boldsymbol{\delta}} $为PReLU激活函数；F_9×9为卷积层；I_LR为输入图像。

1.2   MDRCAN

矿井图像含有大量低频信息，而反映图像结构的轮廓、纹理等高频信息较少，且矿井图像包含不同尺度的特征信息，普通的残差结构利用单一尺寸的卷积核对图像进行特征提取，难以捕捉到不同尺度的图像特征。另外，普通残差结构忽略了中间层的信息交流，不利于特征提取。针对上述问题，提出MDRCAN进行深层特征提取。MDRCAN由5个MDRCAB级联而成。MDRCAB结构如图2所示。其包含2路卷积核大小分别为3×3和5×5的密集残差块（Dense Residual Block，DRB），当有图像输入时，2路DRB分别进行特征提取，并在通道方向进行拼接，完成不同尺度的局部特征融合，实现了对矿井图像的多尺度特征提取。同时DRB加强了不同层的信息交流。以卷积核大小为3×3的DRB为例，其建立了前面层与后面所有层的连接关系，从全局角度挖掘深层次信息，实现特征在通道维度上的复用。在DRB中设置瓶颈结构，利用卷积核大小为1×1的卷积固定输出通道的大小，避免网络参数过大。在局部特征融合之后，采用ECA模块来提高富含高频信息特征图的权重，增强图像重建质量。第n（n=2，3，4，5）个MDRCAB的输出可表示为

式中：E为ECA模块；D₃，D₅分别为3×3，5×5的DRB；$* $为拼接符号。

图  2  MDRCAB结构

Figure  2.  Structure of multi-scale dense residual channel attention block （MDRCAB）

下载: 全尺寸图片 幻灯片

1.2.1   ECA模块

矿井图像的边缘纹理等高频信息较少，利用注意力机制提高对高频信息的关注度有利于矿井图像重建。目前，大多数注意力模块在提升性能的同时，会使模型变得更加复杂。ECA模块克服了性能和复杂性权衡的悖论，在只增加极少参数的同时带来极好的性能增益。ECA模块结构如图3所示。在不降维的通道全局平均池化聚合全局特征之后，将获得的特征向量输入卷积核大小为K的一维卷积中，对当前通道及邻近的K−1个通道的信息进行捕捉，实现局部跨通道交互。K决定了局部跨通道交互的范围，可以通过与通道维度C的映射关系自适应确定。

式中：| t |_odd为离t的最近奇数；γ，b分别为权重系数和偏置系数，按经验分别取2和1。

图  3  ECA模块结构

Figure  3.  Structure of efficient channel attention （ECA） module

下载: 全尺寸图片 幻灯片

通过softmax操作获得每一个通道权重，将生成的通道权重和与之对应的特征图相乘，得到加权特征图。

1.2.2   DSC

为降低网络参数，实现模型的轻量化，采用DSC对图像进行特征提取。DSC用2种不同的卷积分步提取图像特征。先由逐通道卷积（Depthwise Convolution，DW）对所有通道进行特征提取，过程如图4所示。

图  4  逐通道卷积

Figure  4.  Depthwise convolution

下载: 全尺寸图片 幻灯片

DW无法改变通道数，因此，还需进行逐点卷积（Pointwise Convolution, PW）操作，将提取的不同通道的信息交叉融合，得到新的特征图。PW过程如图5所示。

图  5  逐点卷积

Figure  5.  Pointwise convolution

下载: 全尺寸图片 幻灯片

普通卷积的参数量为

式中：W，H分别为卷积核的宽和长；C_in为输入通道数；C_out为输出通道数。

DSC的参数量为

假设C_in为4，C_out为5，卷积核尺寸为3×3，计算可得普通卷积的参数量为180，而DSC的参数量为56。可见，对于相同的输入图像，得到相同数量的特征图，DSC产生的参数量约为普通卷积的1/3。

1.3   图像重建模块

对矿井图像进行充分的特征提取后，采用亚像素卷积层对特征图进行上采样放大。放大后的图像为

式中：U为亚像素上采样层；B_n为由MDRCAN提取的特征图。

将放大图像输入卷积核大小为9×9的卷积层F_9×9，得到重建图像：

1.4   损失函数

损失函数是影响矿井图像重建质量的关键因素之一。SRGAN采用内容损失和感知损失相结合的损失函数来优化网络参数，以实现对高频细节的关注。虽然感知损失可以提高图像重建效果，但会引入多余的高频信息，从而产生伪影。对此，采用纹理损失代替原来的感知损失，整体损失函数为

式中：$ L_{1_{{\mathrm{loss}}}} $为L₁范数损失；α为权重系数，按经验取值为10⁻³；L_tex为纹理损失。

首先采用预训练网络分别提取重建图像和高分辨率图像的深层特征图，然后计算深层特征图的Gram矩阵， 最后利用L₂损失函数比较深层特征的Gram矩阵，得到纹理损失。

式中：L_tex为纹理损失；G 为 Gram 矩阵；${\boldsymbol{\phi}} $为预训练网络；I_gen为重建图像；I_HR为高清图像。

Gram矩阵可以捕捉图像的整体风格，有助于生成细节纹理。纹理损失的引入抑制了伪影的产生，使重建图像更符合人眼感官。

2.   实验与结果分析

2.1   实验环境及所用数据集

软硬件实验环境：处理器为AMD Ryzen 76800H；16 GiB系统内存；操作系统为Windows 10；显卡为NVIDIA RTX 3060，6 GiB显存容量；CUDA为11.7；深度学习框架为Pytorch1.13；编程语言为Python3. 9。

实验所用数据集为CUMID。其包含600张井下图像，根据图像编号顺序，每10张图像选取1张作为测试集，其余为训练集。为扩充训练样本，将训练集中图像随机旋转和水平翻转，最终将训练集扩充为1 620张。

2.2   客观评价指标

为对算法性能进行客观评价，采用PSNR^[27]和结构相似度（Structural Similarity, SSIM）^[28]对图像重建质量进行评估。

式中：$R_{\mathrm{PSN}} $为重建图像PSNR；P_max为像素点最大值；E_MS为真实高分辨率图像与重建图像之间的均方误差。

PSNR越大，则像素之间的均方误差越小，重建图像质量越好。

SSIM主要从图像结构、对比度和亮度3个方面对图像质量进行评价，相较于PSNR更符合人眼的感官。

式中：$S(x,y) $为重建图像SSIM；x，y分别为真实的高分辨率图像和重建的高分辨率图像；μ_x，μ_y 分别为x和y的平均灰度值；c₁，c₂均为常数；σ_xy为x和y的协方差；σ_x，σ_y分别为x，y的方差。

SSIM与图像质量呈正相关，SSIM越高，图像质量越好。

2.3   训练过程

训练过程中使用ADAM作为优化器，初始学习率设置为0.001。训练周期（epoch）为200，批训练数据量（batch_size）设为16。对生成对抗网络进行训练时，首先将提取的高分辨率图像（High-Resolution，HR）裁剪为像素为88×88的图像块，再将图像块进行4倍下采样，得到低分辨率图像（Low-Resolution，LR）块。将LR块输入生成器，得到一个假的HR块。将假HR块和真HR块输入判别器中进行打分，计算判别器的损失并将其反馈至生成器。生成器在获得判别器传来的对抗损失的同时，计算假HR块与真HR块之间的损失。生成器与判别器形成对抗，不断迭代优化，直至网络收敛。

2.4   实验结果与分析

2.4.1   客观评价结果分析

在相同的实验环境下，对本文算法与BICUBIC，SRCNN，SRRESNET，SRGAN等经典超分辨率重建算法进行4倍图像重建的训练与测试，并将各重建算法在测试集中的平均PSNR与SSIM进行对比，结果见表1。可看出本文算法与BICUBIC，SRCNN，SRRESNET，SRGAN相比，重建图像的平均PSNR分别提高了2.638，0.182，0.095，0.142 dB，平均SSIM分别提高了0.1947 3，0.004 97，0.005 85，0.008 77。PSNR的提高得益于MDRCAN的加入，在特征提取时保留了更完整的图像特征，使得重建后的图像与HR的像素值更加接近。SSIM的提高主要是由于ECA模块的加入，提高了网络对高频信息的关注度，使得重建后的图像在结构上与HR具有更高的相似度。

表  1  不同超分辨率重建算法的客观指标对比

Table  1.  The comparison of objective indexes of different super-resolution reconstruction algorithms

算法	PSNR/dB	SSIM
BICUBIC	23.889	0.644 85
SRCNN	26.345	0.834 61
SRRESNET	26.432	0.833 73
SRGAN	26.385	0.830 81
本文算法	26.527	0.839 58

下载: 导出CSV 

| 显示表格

2.4.2   主观视觉分析

为更好地验证本文算法在井下图像重建方面的优越性，从人眼主观视觉的角度进行进一步验证。实验结果如图6和图7所示。对于场景1，本文算法重建图像中的“高压危险 严禁靠近”8个字较对比算法更接近原图，细节纹理更丰富。相较于SRGAN，本文算法利用纹理损失能更好地匹配局部纹理信息，抑制了伪影的产生，使得重建图像边缘更清晰。对于场景2，本文算法利用MDRCAN在灰暗模糊的图像中提取更多的细节纹理信息，相较于对比算法，更好地恢复了图像中工人头部的细节，同时铁链轮廓与HR更相似。

图  6  场景1各算法重建4倍的效果对比

Figure  6.  The comparison of 4 times reconstruction of different super-resolution reconstruction algorithms in Scene One

下载: 全尺寸图片 幻灯片

图  7  场景2各算法重建4倍的效果对比

Figure  7.  The comparison of 4 times reconstruction of different super-resolution reconstruction algorithms in Scene Two

下载: 全尺寸图片 幻灯片

2.4.3   特征图可视化

为进一步验证本文算法在特征提取方面的优越性，将本文算法和SRGAN算法提取的特征图可视化并进行对比，如图8、图9所示。在场景1中，本文算法提取的细节纹理和轮廓等高频信息更加清晰，表明本文算法对高频信息有更高的关注度。在场景2中，本文算法对于灰暗模糊的图像能提取到更多的高频信息，边缘轮廓信息提取能力更强。

图  8  场景1特征图可视化

Figure  8.  Feature map visualization of Scene One

下载: 全尺寸图片 幻灯片

图  9  场景2特征图可视化

Figure  9.  Feature map visualization of Scene Two

下载: 全尺寸图片 幻灯片

2.4.4   公共测试集上的对比

选取公共数据集DIV2K对模型进行训练，并分别在数据集Set5，Set14，BSD100，Urban100上进行对比，结果见表2。可看出本文算法在Set5，Set14，BSD100数据集上的PSNR与SSIM均取得了最优。对于Urban100数据集，本文算法指标仅略次于SRRESNET。各算法对基准数据集图像的重建效果对比如图10所示。可看出相较于对比算法，本文算法重建的图像拥有更清晰的纹理细节；相较于SRGAN，本文算法有效抑制了伪影的产生。可以得出，本文算法在公共数据集上具有明显的优越性。

表  2  各算法在公共数据集上的PSNR和 SSIM 对比（缩放因子为4）

Table  2.  The comparison of PSNR and SSIM of different super-resolution reconstruction algorithms in common data sets （scaling factor is 4）

算法	Set5			Set14			BSD100			Urban100
	PSNR/dB	SSIM		PSNR/dB	SSIM		PSNR/dB	SSIM		PSNR/dB	SSIM
BICUBIC	20.216	0.544 33		19.592	0.471 52		20.271	0.445 42		18.582	0.425 02
SRCNN	27.769	0.807 65		25.113	0.711 13		25.199	0.683 31		22.384	0.670 02
SRRESNET	28.071	0.830 06		25.385	0.727 89		25.481	0.694 45		23.011	0.701 56
SRGAN	27.983	0.818 03		25.369	0.719 52		25.337	0.689 02		22.857	0.693 85
本文算法	28.366	0.832 21		25.594	0.729 29		25.505	0.694 96		22.948	0.701 32
注：粗体为各列最优，下划线为各列次优。

下载: 导出CSV 

| 显示表格

图  10  各算法对基准数据集的重建效果

Figure  10.  The reconstruction effect of different super-resolution reconstruction algorithms in the common data sets

下载: 全尺寸图片 幻灯片

2.5   消融实验

为了验证多尺度密集连接、ECA机制、DSC及纹理损失对算法性能及复杂度的影响，对这4个点进行消融实验。不同组合的模型PSNR和SSIM对比见表3。其中模型a表示原始SRGAN，模型b表示加入多尺度密集连接，模型c表示在模型b的基础上加上DSC，模型d表示在模型b上加入ECA机制，模型e表示同时加入多尺度密集连接、DSC和ECA机制，模型f表示在模型e的基础上使用纹理损失进行训练。

表  3  不同优化策略的消融实验结果对比

Table  3.  The comparison of ablation results of different optimization strategies

模型	多尺度密 集连接	DSC	ECA	纹理 损失	PSNR/dB	SSIM	参数量/个
a					26.385	0.830 81	734 219
b	√				26.471	0.836 02	1 656 336
c	√	√			26.464	0.835 13	715 536
d	√		√		26.530	0.840 73	1 656 351
e	√	√	√		26.523	0.838 60	715 551
f	√	√	√	√	26.527	0.839 58	715 551

下载: 导出CSV 

| 显示表格

从表3可看出，加入多尺度密集连接的模型较原模型在PSNR和SSIM方面分别提升了0.086 dB和0.005 21，但参数量上升了55.6%，说明多尺度密集连接可以提高网络的重建性能，但会大幅度增加网络的复杂度；加入DSC后，模型c较模型b在PSNR和SSIM上有所下降，但参数量减少了56.8%，说明DSC可以极大地减少网络复杂程度，但伴随着一定的性能下降；加入ECA机制后，模型d较模型b在PSNR和SSIM方面分别提升了0.059 dB和0.004 71，参数量几乎不变，说明ECA机制在提升网络性能的同时，几乎不影响网络复杂程度；比较模型f和模型e可看出，使用纹理损失对网络进行优化时，PSNR的增长并不明显，但SSIM增加了0.000 98，说明纹理损失能使网络更加关注图像的结构特征；模型f较模型a参数量减少了2.54%，但PSNR和SSIM分别提高了0.142 dB与0.008 77，可见改进后的模型在性能提升的同时，有效抑制了网络参数的增加。

3.   结论

1） 针对矿井图像分辨率低、边缘细节模糊等问题，在生成对抗网络的基础上，提出了一种基于多尺度密集通道注意力SRGAN的矿井图像超分辨率重建算法。

2） 基于多尺度密集通道注意力SRGAN的矿井图像超分辨率重建算法利用不同尺寸的卷积核对矿井图像进行特征提取，解决了单一尺度的特征提取不能有效获取不同尺度图像信息的问题；将密集连接网络和残差结构结合，加强了网络内部层与层的信息交流，融入ECA机制提高了网络对高频信息的关注度，有效提升了矿井图像的重建效果；利用纹理损失对网络训练进行监督，有效避免了伪影的产生；利用DSC进行特征提取，有效抑制了网络参数的增加。

3） 在井下数据集上进行测试，提出的矿井图像超分辨率重建算法在主客观评价上均优于BICUBIC，SRCNN，SRRESNET，SRGAN等经典算法，有效恢复了矿井图像的高频细节信息，提高了图像重建质量。