0.   引言

随着智能矿山的建设和发展，智能视觉识别技术已逐步应用到矿井工作的各个方面^[1]。矿井存在光线不足、光线不均匀及粉尘等问题，严重影响智能视觉识别。因此，研究矿井图像增强方法变得尤为重要^[2]。

Retinex及其改进算法^[3-5]是目前普遍用于矿井的图像增强方法。张立亚等^[6]通过改进双边滤波并融合多尺度Retinex算法，增强了图像亮度分量及饱和度分量，有效减少了图像的光晕伪影，但存在图像纹理细节模糊等问题。唐守锋等^[7]提出了一种增强矿井低照度图像的方法，首先利用小波分解将图像分解为高频分量和低频分量，然后应用3种阈值函数对高频分量进行去噪处理，对低频分量进行全局亮度校正并估计反射分量，最后通过离散小波反变换对图像的高频分量和低频分量进行小波重构，得到增强后的图像。该方法有效去除了图像的噪声，但小波分解会导致图像边缘模糊化，在图像分解重构过程中，可能会引入不自然振荡，影响图像的视觉效果。洪炎等^[8]通过引入形态学变换算子Tophat改进加权引导滤波算子，使用改进加权引导滤波估计图像的光照分量，并对光照分量及饱和度分量做自适应伽马校正，将基于Retinex理论得到的反射分量作为最终的亮度分量，解决了增强图像边缘模糊问题，但在图像灰度范围大时暗区域易出现伪影现象。龚云等^[9]利用改进同态滤波方法对矿井图像进行增强，通过自适应伽马校正结合单参数同态滤波，有效缓解了同态滤波算法参数过多的问题，引入对比度受限的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法提高图像对比度，但CLAHE算法在图像增强过程中易放大噪声，导致细节模糊，且产生的块效应会影响图像的视觉连续性。

针对现有矿井图像增强方法普遍存在图像纹理细节不清晰、视觉效果差的问题，本文提出了一种基于结构纹理分解的矿井图像增强方法，在提高图像亮度和对比度的同时，保证图像细节及图像边缘清晰，并减少噪声。首先，通过maxRGB算法得到图像初始光照分量，并将初始光照分量划分为结构分量、纹理分量及噪声分量。然后，针对求解得到的结构纹理及噪声分量，基于Retinex理论进行重构，得到光照分量和反射分量，进而得到初始增强后的亮度分量。最后，采用加权分布的自适应伽马校正（Adaptive Gamma Correction with Weight Distribution，AGCWD）算法进行亮度校正，避免图像过增强。

1.   相关理论

Retinex理论认为观测的图像可表示为光照分量和反射分量的乘积，去除图像外部光照的影响后，获得体现事物本身固有属性的反射分量，就能达到增强图像的目的。

式中：M为原始图像；R为反射分量；L为光照分量。

常见的估计图像光照分量的方法有传统滤波Retinex方法及变分Retinex方法。相比于传统滤波Retinex方法，变分Retinex方法得到的增强图像细节信息更丰富、质量更佳。变分Retinex方法通过建立最小化目标函数将问题转化为最小二乘问题，依次求解得到光照分量L和反射分量R。原始优化目标函数为

式中：$ \alpha $，$ \beta $为正权重系数；$ \nabla $为梯度算子。

式（2）中第1项用来约束光照分量L与反射分量R的乘积和原始图像M之间的距离，第2项和第3项使用全变分形式（Total Variation，TV）来约束反射分量R和光照分量L。TV可有效去除图像的高频噪声，但会损失反射分量R的细节纹理信息。

2.   改进算法原理

为了避免增强图像的纹理细节模糊问题，减少光晕伪影，提高图像的视觉质量，本文提出了一种基于结构纹理分解的矿井图像增强算法，总体框架如图1所示。

图  1  基于结构纹理分解的矿井图像增强算法总体框架

Figure  1.  Overall framework of mine image enhancement algorithm based on structural texture decomposition

下载: 全尺寸图片 幻灯片

1） 将原始图像M转换到HSV空间，分别获得色调分量H、饱和度分量S、亮度分量V。利用maxRGB算法估计原始图像M的初始光照分量$ \hat{{{\boldsymbol{L}}}} $。

2） 构建变分优化目标函数，依次求解初始光照分量$ \hat{{\boldsymbol{L}}} $中的结构分量L_s、纹理分量L_t及噪声分量N。先使用加权引导滤波处理初始光照分量$ \hat{{{\boldsymbol{L}}}} $，作为约束结构分量L_s的先验信息，迭代求解结构分量L_s。再构建局部偏差函数，作为约束纹理分量L_t的权重因子，迭代求解纹理分量L_t及噪声分量N。

3） 重构得到光照分量L和反射分量R，基于Retinex理论得到重构后的亮度分量V_j。

4） 对重构后的亮度分量V_j进行AGCWD，得到增强后的亮度分量V₀。AGCWD算法通过引入截断标量来限制高亮度区域的累计分布函数值，以此限制高亮区域过曝光，改善图像质量。

5） 将最终增强后的图像转换到RGB颜色空间，得到增强图像O。

2.1   结构纹理分解

maxRGB算法通过在RGB颜色通道选择最大值进行像素混合，可保留图像的颜色信息和细节信息^[10]。为使图像增强前后保持颜色信息一致，本文使用maxRGB算法估计初始光照分量$ \hat{{{\boldsymbol{L}}}} $。

式中M_c为待增强的RGB图像。

由于maxRGB算法处理后得到的初始光照分量$ \hat{{{\boldsymbol{L}}}} $包含较多细节信息，使用式（1）获得反射分量R时，纹理细节会在相除过程中被平滑，造成反射分量R细节模糊。故在此基础上，把初始光照分量$ \hat{{{\boldsymbol{L}}}} $进一步划分为结构分量L_s、纹理分量L_t及噪声分量N。

通过变分优化的方式对初始光照分量$ \hat{{{\boldsymbol{L}}}} $进行结构和纹理分解，以提取初始光照分量$ \hat{{{\boldsymbol{L}}}} $中的细节信息。变分优化的目标函数为

式中：P_s为结构先验信息；W为局部偏差函数；$ \lambda $为正权重系数。

式（5）中第1项是保真项，用于约束结构纹理及噪声信息与初始光照分量$ \hat{{{\boldsymbol{L}}}} $之间的距离。第2项通过引入结构先验信息P_s约束结构分量的强度。第3项通过构建局部偏差函数W作为约束纹理分量梯度信息的权重。第4项约束噪声分量N的影响。

结构先验信息$ {{\boldsymbol{P}}}_{{\mathrm{s}}} $通过加权引导滤波（Weight Guide Filter，WGIF）得到^[11]，WGIF继承了引导滤波的平滑性，且有较好的图像边缘保持能力。局部偏差函数W通过纹理分量L_t最大邻域差（Maximum Neighbor Difference，MND）与指数平均局部变分（Exponentiated Mean Local Variance，EMLV）^[12]的比构建。

2.2   优化求解

将式（5）分解，按顺序依次优化求解结构分量L_s、纹理分量L_t和噪声分量N，求解步骤如图2所示。

图  2  变分模型的求解步骤

Figure  2.  Solution steps of variational model

下载: 全尺寸图片 幻灯片

1） 优化求解结构分量L_s。

式中：$ {{{\boldsymbol{L}}}}_{{{\mathrm{s}}}}^{{i}}，{{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i}} $，Nⁱ分别为第i次迭代产生的结构分量、纹理分量和噪声分量。

对经过第i次迭代后的结构分量$ {\boldsymbol{L}}_{\mathrm{s}}^i $求偏导后置0得

式中$ \boldsymbol{I} $为与初始光照分量$ \hat{{\boldsymbol{L}}} $大小一致的全1矩阵，当$ {\left\| {{\boldsymbol{L}}_{\mathrm{s}}^{i + 1} - {\boldsymbol{L}}_{\mathrm{s}}^i} \right\|_2}/{\left\| {{\boldsymbol{L}}_{\mathrm{s}}^i} \right\|_2} \leqslant \omega $（$ \omega $为收敛因子）时迭代完成，得到最终的结构分量$ {{{\boldsymbol{L}}}}_{{{\mathrm{s}}}}^{{i}} $。

2） 优化求解纹理分量L_t。

式中：$ {{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i+}{1}} $为第i +1次迭代产生的纹理分量；Wⁱ为第i次迭代后得到的局部偏差函数矩阵。

对经过第i次迭代后的纹理分量$ {\boldsymbol{L}}_{\mathrm{t}}^i $求偏导后置0得

式中$ \boldsymbol{D} $为具有前向差分的离散梯度算子，$ \nabla $L_t=DL_t。

从式（9）中可看出，当权重矩阵$|{\boldsymbol{W}}^i| $越小，纹理分量$ \mathbm{_{ }^{ }L_{\mathit{t}}^{\mathit{i}+\mathrm{1}}} $越大，即越有利于提取出图像的细节纹理。$ {\left\| {{\boldsymbol{L}}_{\mathrm{t}}^{i + 1} - {\boldsymbol{L}}_{\mathrm{t}}^i} \right\|_2}/{\left\| {{\boldsymbol{L}}_{\mathrm{t}}^i} \right\|_2} \leqslant \omega $时迭代停止，得到纹理分量$ {{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i}} $。

3） 优化求解噪声分量N。

对经过第i次迭代后的噪声分量${\boldsymbol{N}}^{\boldsymbol{i}} $求偏导后置0得

根据上述提到的终止条件，得到更新完成的噪声分量Nⁱ。

矿井图像的结构纹理分解如图3所示，可看出结构分量L_s边缘清晰，纹理分量L_t有丰富的纹理细节，此外，噪声分量N中包含了图像的噪声信息。

图  3  矿井图像的结构纹理分解

Figure  3.  Structural texture decomposition of mine images

下载: 全尺寸图片 幻灯片

2.3   分量重构

为了使反射分量R中包含更多纹理细节，并削弱噪声分量N对反射分量R的影响，利用Retinex理论将纹理分量L_t去除，保证反射分量R中的纹理信息丰富。重构的光照分量L由结构分量L_s和纹理分量L_t组成，去除了初始光照分量$ \hat{{\boldsymbol{L}}} $的噪声信息，减少了噪声对光照分量L的影响。融合光照分量L和反射分量R，得到重构后的亮度分量V_j。

2.4   照度校正

经过以上变分重构得到的增强图像存在部分图像亮区域过增强。因此，需对得到的初始亮度分量V_j使用带有截断因子的AGCWD算法进行光照校正。

首先计算校正指数$\gamma ({\boldsymbol{V}}_{\mathrm{j}})$，然后使用校正指数$ \gamma ({\boldsymbol{V}}_{\mathrm{j}})$对初始亮度分量V_j进行校正，得到最终增强后的亮度分量V₀。

式中：$ \tau $为截断因子，$ \tau $=0.75；CDF（V_j）为累积分直方图函数（Cumulative Distribution Function, CDF）^[13]；pdf_w（V_j）为对原始灰度直方图pdf（V_j）进行指数加权归一化；pdf_max，pdf_min分别为重构后的亮度分量V_j灰度的最大值和最小值。

3.   实验结果分析

本文实验平台为Windows 11，64 bit操作系统，AMD Ryzen 75800H处理器，16 GiB内存，使用Matlab 2022b软件进行仿真。

3.1   参数分析

在上述变分结构纹理分解的变分模型中，正权重系数$ \alpha $，$ \beta $，$ \lambda $的相对大小决定了结构纹理及噪声分量的正则化强度。

为确定其合理值，参考文献[14-15]，并分析结构纹理分量之间的重要性占比，确定参数取值范围，$ \alpha =0.5,\; \alpha =0.05$，$ \beta =0.7,\;\beta =0.07$，$ \lambda =0.3,\; \lambda=0.03$，即（$ \alpha $,$ \beta $,$ \lambda $）的参数组合共有8种选择。

利用图像的视觉信息保证度指标（Visual Information Fidelity，VIF）^[16]、信息熵（Entropy）及自然图像质量评价（Natural Image Quality Evaluator，NIQE）^[17]作为衡量图像增强的标准，对变分模型进行评估。其中VIF考虑了人眼感知系统的特性，通过建立与人眼感知相关的模型来评估图像的视觉质量。VIF能够更好地捕捉和量化图像中视觉信息的保真度。VIF的值越大，说明图像增强前后失真越小，图像的视觉质量越好^[18]。Entropy表示图像信息量的多少，Entropy越大说明图像的融合效果越好，图像细节越丰富。NIQE用来测量图像的视觉自然性，NIQE的值越低，表明图像质量越好、越自然。

对在Flicker网站收集的不同场景下低照度真实矿井下图像（图4）进行测试，并对VIF，Entropy，NIQE 3种客观指标取平均。

图  4  不同场景下的矿井低照度数据集

Figure  4.  Low lighting datasets for mines in different scenarios

下载: 全尺寸图片 幻灯片

$ \alpha $，$ \beta $，$ \lambda $的8种组合在3种客观指标下的平均值如图5所示。当参数（$ \alpha $，$ \beta $，$ \lambda $）的取值为（0.5，0.07，0.3）时，3个客观指标均能达到最佳。因此本文以$ \alpha $=0.5，$ \beta $=0.07，$ \lambda $=0.3作为正则化参数，最佳正则化参数下矿井低照度图像增强结果如图6所示，可看出图像增强后亮度更均衡，光晕伪影现象明显减弱，纹理细节增强效果明显。

3.2   算法验证

为进一步验证算法的有效性，对在西安科技大学煤炭中心实验室采集的矿井下不同场景图像进行实验验证，分别选取轨道、巷道、采矿工作面及运煤输送带4种场景图像。与结构纹理感知Retinex（Structure and Texture Aware Retinex，STAR）算法^[19]、联合内外先验（Joint intrinsic-extrinsic Prior，JieP）算法^[20]、加权变分模型（Weighted Variational Model，WVM）^[15]、半解耦分解（Semi-Decoupled Decomposition，SDD）算法^[21]、带色彩恢复的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）算法^[5]进行主客观比较。4种场景下不同方法的增强结果如图7−图10所示。可看出本文算法在保证图像边缘清晰的同时，极大改善了图像的视觉效果，STAR算法、JieP算法及WVM对场景2、场景3下图像暗处增强效果不明显，但WVM改善了增强图像的边缘模糊问题，SDD算法增强后的图像存在边缘模糊问题，MSRCR算法则出现了颜色失真。

图  5  不同参数组合下的平均客观指标

Figure  5.  Average objective indicators under different parameter combinations

下载: 全尺寸图片 幻灯片

图  6  矿井低照度图像增强结果

Figure  6.  Enhancement results of low lighting images in mines

下载: 全尺寸图片 幻灯片

图  7  场景1（采矿轨道）图像增强结果

Figure  7.  Enhancement results of image in scenario 1 (mining track)

下载: 全尺寸图片 幻灯片

场景1下不同方法增强后的灰度直方图如图11所示，可看出本文算法增强后图像的灰度分布更加均衡，表明本文算法增强后的图像亮度分布均匀，对比度更高。

根据增强图像客观质量指标对这些方法进行定性和定量评价，评价结果见表1。

由表1可看出，本文算法的NIQE较STAR，JieP，WVM，SSD，MSRCR分别下降了8.69%，29.05%，11.2%，29.53%，33.54%，说明增强后的图像视觉效果更加自然。本文算法的Entropy较STAR，JieP，WVM，SSD，MSRCR分别提高了3.20%，8.02%，4.07%，3.49%，22.68%，VIF较STAR，JieP，WVM，SSD，MSRCR分别提高了91.17%，117.86%，59.38%，48.78%，183.12%，说明增强前后图像的视觉质量有了显著提升，图像纹理细节也更加丰富，图像包含的信息更多。

不同算法在大小为881×660的20张图像上的平均运行时间见表2。可看出WVM复杂度较高，MSRCR算法处理的时间最短但增强效果最差，本文算法耗时较MSRCR算法略长，但获得了更好的增强效果。

图  8  场景2（采矿巷道）图像增强结果

Figure  8.  Enhancement results of image in scenario 2 (mining roadway)

下载: 全尺寸图片 幻灯片

图  9  场景3（采矿工作面）图像增强结果

Figure  9.  Enhancement results of image in scenario 3 (mining face)

下载: 全尺寸图片 幻灯片

图  10  场景4（运煤输送带）图像增强结果

Figure  10.  Enhancement results of image in scenario 4 (coal conveyor belt)

下载: 全尺寸图片 幻灯片

图  11  场景1下不同方法增强后的直方图

Figure  11.  Histograms enhanced by different methods in scenario 1

下载: 全尺寸图片 幻灯片

表  1  不同算法的客观指标对比

Table  1.  Comparison of objective indicators of different algorithms

算法	NIQE					Entropy					VIF
	场景1	场景2	场景3	场景4		场景1	场景2	场景3	场景4		场景1	场景2	场景3	场景4
原图	2.67	3.29	3.21	2.31		6.41	5.89	5.36	4.91
STAR	2.47	2.34	2.41	1.97		7.29	7.16	7.07	7.19		1.17	3.88	3.88	5.11
JieP	2.57	2.38	2.60	4.31		7.25	7.10	6.90	6.20		1.59	3.51	3.34	3.87
WVM	2.81	2.50	2.21	1.90		7.13	7.09	7.31	6.93		2.04	5.22	4.50	5.06
SDD	2.53	3.20	2.77	3.43		7.33	7.25	7.06	7.01		2.56	5.03	5.25	5.19
MSRCR	2.73	2.84	3.55	3.51		6.41	5.89	5.36	6.51		2.41	2.35	1.38	3.33
本文	2.35	2.20	1.99	1.87		7.59	7.37	7.48	7.21		3.08	10.08	8.36	5.31

下载: 导出CSV 

| 显示表格

表  2  平均运行时间

Table  2.  Average running times s

算法	STAR	JieP	WVM	SDD	MSRCR	本文
时间	16.21	16.40	38.16	19 .48	1.38	13.51

下载: 导出CSV 

| 显示表格

4.   结论

1） 针对矿井图像存在低照度，照度不均的问题，提出一种基于结构纹理分解的矿井图像增强方法。首先对图像采用maxRGB算法提取原始图像的初始光照分量，保留图像亮度信息的同时，增强对比度。其次，构建变分优化目标函数，求得初始光照分量中的结构分量、纹理分量及噪声分量。然后，对初始光照分量进行加权引导滤波，再将其作为目标函数中约束结构分量的先验信息，保证了结构分量的边缘轮廓清晰。构建局部变化偏差函数并将其作为约束纹理分量的权重，得到了细节丰富的纹理分量。将迭代得到的结构、纹理及噪声分量进行Retinex重构。最后引入改进AGCWD算法来限制图像亮度过增强，改善了图像视觉效果。

2） 实验结果表明，基于结构纹理分解的矿井图像增强算法对矿井低照度图像有较好的增强效果，能够提高图像的亮度和对比度，同时保持图像细节的丰富性及边缘纹理的清晰，有效地减少了增强过程中可能产生的光晕伪影和颜色失真问题。

3） 相较于STAR，JieP，WVM，SDD及MSRCR算法，基于结构纹理分解的矿井图像增强算法在客观指标NIQE上分别下降了8.69%，29.05%，11.2%，29.53%，33.54%；Entropy分别提高了3.20%，8.02%，4.07%，3.49%，22.68%；VIF分别提高了91.17%，117.86%，59.38%，48.78%，183.12%；客观指标均达到最佳，同时基于结构纹理分解的矿井图像增强算法的灰度直方图分布更加均衡。

4） 基于结构纹理分解的矿井图像增强算法的平均运行时间仅长于MSRCR算法，但得到了更好的图像增强效果。

5） 后续研究将围绕优化目标函数进一步改进和优化，同时扩充矿井视频图像数据集，将图像增强算法应用到矿井目标检测、图像分割等智能视觉任务中。