A mine image enhancement method based on structural texture decomposition
-
摘要: 矿井下存在低照度、多灰尘现象，导致监控视频采集的图像具有光照不均、模糊及细节丢失的问题，影响后续智能图像识别，现有矿井图像增强方法普遍存在图像纹理细节不清晰、视觉效果差的问题。提出了一种基于结构纹理分解的图像增强方法。首先，利用maxRGB算法对原始图像提取初始光照分量，接着构建优化目标函数，依次优化求解初始光照分量中的结构分量、纹理分量及噪声分量：先对初始光照分量进行加权引导滤波，作为先验约束，迭代获得边缘清晰的结构分量；再结合最大邻域差方法和加权平均局部变分构建局部变化偏差函数，作为约束权重，迭代得到细节丰富的纹理分量。然后，将原始图像转换到HSV颜色空间，提取出原始图像的亮度分量，并结合结构分量、纹理分量及噪声分量，利用Retinex理论进行重构，得到增强后的初始亮度分量。为避免亮度过增强，引入带有截断因子的自适应伽马校正（AGCWD）处理图像初始亮度信息，以获得最终的亮度分量。最后，将图像转换到RGB颜色空间，得到增强图像。实验结果表明：① 基于结构纹理分解的图像增强算法能保证图像边缘纹理细节更加清晰，减少了图像增强过程中的光晕伪影，且增强后的图像灰度直方图更均衡。② 与结构纹理感知Retinex（STAR）算法、联合内外先验（JieP）算法、加权变分模型（WVM）、半解耦分解（SDD）算法、带色彩恢复的多尺度Retinex（MSRCR）算法等5种图像增强算法相比，基于结构纹理分解的图像增强算法的自然图像质量评价指标（NIQE）分别降低了8.69%，29.05%，11.2%，29.53%，33.54%，视觉质量保真度（VIF）分别提高了91.17%，117.86%，59.38%，48.78%，183.12%，信息熵指标（Entropy）分别提高了3.20%，8.02%，4.07%，3.49%，22.68%。③ 基于结构纹理分解的图像增强算法运行时间仅长于MSRCR算法，但增强效果更好，能够满足矿井下图像增强的需求。Abstract: There is a phenomenon of low lighting and excessive dust in underground mines, which leads to uneven lighting, blurriness, and loss of details in the images captured by monitoring videos. It affects subsequent intelligent image recognition. Existing mine image enhancement methods generally suffer from unclear texture details and poor visual effects. A method for image enhancement based on structural texture decomposition is proposed. Firstly, the maxRGB algorithm is used to extract the initial lighting component from the original image. Then, an optimization objective function is constructed to sequentially optimize and solve the structural component, texture component, and noise component in the initial lighting component. The weighted guided filtering is applied to the initial lighting component as a prior constraint, and the structural component with clear edges is obtained iteratively. Combined with the maximum neighborhood difference method and weighted average local variation, a local variation deviation function is constructed as constraint weights. The texture component with rich details is obtained iteratively. Secondly, the original image is transformed into the HSV color space, and the lighting component of the original image is extracted. Combined with the structural component, texture component, and noise component, Retinex theory is used for reconstruction to obtain the enhanced initial lighting component. To avoid excessive lighting enhancement, adaptive Gamma correction with weight distribution (AGCWD) is introduced to process the initial lighting information of the image and obtain the final lighting component. Finally, the image is converted to RGB color space to obtain an enhanced image. The experimental results show the following points. ① The image enhancement algorithm based on structural texture decomposition can ensure clearer texture details at the edges of the image, reduce halo artifacts during the image enhancement process, and achieve a more balanced grayscale histogram of the enhanced image. ② Compared with five image enhancement algorithms, including the Retinex algorithm based on structure and texture aware Retinex(STAR), the joint intrinsic-extrinsic prior model (JieP), the weighted variational mode (WVM), the semi-decoupled decomposition (SDD), and multi-scale Retinex with color restoration (MSRCR), the natural image quality evaluator (NIQE) of the image enhancement algorithm based on structural texture decomposition is reduced by 8.69%, 29.05%, 11.2%, 29.53%, and 33.54%, respectively. The visual information fidelity (VIF) increases by 91.17%, 117.86%, 59.38%, 48.78%, 183.12%, and the entropy index (Entropy) increases by 3.20%, 8.02%, 4.07%, 3.49%, and 22.68%, respectively. ③ The image enhancement algorithm based on structural texture decomposition has a running time only longer than the MSRCR algorithm. But the enhancement effect is better, which can meet the needs of image enhancement in underground mines.
-
0. 引言
随着智能矿山的建设和发展，智能视觉识别技术已逐步应用到矿井工作的各个方面[1]。矿井存在光线不足、光线不均匀及粉尘等问题，严重影响智能视觉识别。因此，研究矿井图像增强方法变得尤为重要[2]。
Retinex及其改进算法[3-5]是目前普遍用于矿井的图像增强方法。张立亚等[6]通过改进双边滤波并融合多尺度Retinex算法，增强了图像亮度分量及饱和度分量，有效减少了图像的光晕伪影，但存在图像纹理细节模糊等问题。唐守锋等[7]提出了一种增强矿井低照度图像的方法，首先利用小波分解将图像分解为高频分量和低频分量，然后应用3种阈值函数对高频分量进行去噪处理，对低频分量进行全局亮度校正并估计反射分量，最后通过离散小波反变换对图像的高频分量和低频分量进行小波重构，得到增强后的图像。该方法有效去除了图像的噪声，但小波分解会导致图像边缘模糊化，在图像分解重构过程中，可能会引入不自然振荡，影响图像的视觉效果。洪炎等[8]通过引入形态学变换算子Tophat改进加权引导滤波算子，使用改进加权引导滤波估计图像的光照分量，并对光照分量及饱和度分量做自适应伽马校正，将基于Retinex理论得到的反射分量作为最终的亮度分量，解决了增强图像边缘模糊问题，但在图像灰度范围大时暗区域易出现伪影现象。龚云等[9]利用改进同态滤波方法对矿井图像进行增强，通过自适应伽马校正结合单参数同态滤波，有效缓解了同态滤波算法参数过多的问题，引入对比度受限的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法提高图像对比度，但CLAHE算法在图像增强过程中易放大噪声，导致细节模糊，且产生的块效应会影响图像的视觉连续性。
针对现有矿井图像增强方法普遍存在图像纹理细节不清晰、视觉效果差的问题，本文提出了一种基于结构纹理分解的矿井图像增强方法，在提高图像亮度和对比度的同时，保证图像细节及图像边缘清晰，并减少噪声。首先，通过maxRGB算法得到图像初始光照分量，并将初始光照分量划分为结构分量、纹理分量及噪声分量。然后，针对求解得到的结构纹理及噪声分量，基于Retinex理论进行重构，得到光照分量和反射分量，进而得到初始增强后的亮度分量。最后，采用加权分布的自适应伽马校正（Adaptive Gamma Correction with Weight Distribution，AGCWD）算法进行亮度校正，避免图像过增强。
1. 相关理论
Retinex理论认为观测的图像可表示为光照分量和反射分量的乘积，去除图像外部光照的影响后，获得体现事物本身固有属性的反射分量，就能达到增强图像的目的。
$$ M=\boldsymbol{R}\boldsymbol{L} $$ (1) 式中：M为原始图像；R为反射分量；L为光照分量。
常见的估计图像光照分量的方法有传统滤波Retinex方法及变分Retinex方法。相比于传统滤波Retinex方法，变分Retinex方法得到的增强图像细节信息更丰富、质量更佳。变分Retinex方法通过建立最小化目标函数将问题转化为最小二乘问题，依次求解得到光照分量L和反射分量R。原始优化目标函数为
$$ \mathop {{\mathrm{argmin}}}\limits_{R,L} (|M - {\boldsymbol{RL}}|_2^2 + \alpha |\nabla {\boldsymbol{R}}|_2^2 + \beta |\nabla {\boldsymbol{L}}|_2^2) $$ (2) 式中：$ \alpha $，$ \beta $为正权重系数；$ \nabla $为梯度算子。
式（2）中第1项用来约束光照分量L与反射分量R的乘积和原始图像M之间的距离，第2项和第3项使用全变分形式（Total Variation，TV）来约束反射分量R和光照分量L。TV可有效去除图像的高频噪声，但会损失反射分量R的细节纹理信息。
2. 改进算法原理
为了避免增强图像的纹理细节模糊问题，减少光晕伪影，提高图像的视觉质量，本文提出了一种基于结构纹理分解的矿井图像增强算法，总体框架如图1所示。
![]()
图 1 基于结构纹理分解的矿井图像增强算法总体框架Figure 1. Overall framework of mine image enhancement algorithm based on structural texture decomposition1） 将原始图像M转换到HSV空间，分别获得色调分量H、饱和度分量S、亮度分量V。利用maxRGB算法估计原始图像M的初始光照分量$ \hat{{{\boldsymbol{L}}}} $。
2） 构建变分优化目标函数，依次求解初始光照分量$ \hat{{\boldsymbol{L}}} $中的结构分量Ls、纹理分量Lt及噪声分量N。先使用加权引导滤波处理初始光照分量$ \hat{{{\boldsymbol{L}}}} $，作为约束结构分量Ls的先验信息，迭代求解结构分量Ls。再构建局部偏差函数，作为约束纹理分量Lt的权重因子，迭代求解纹理分量Lt及噪声分量N。
3） 重构得到光照分量L和反射分量R，基于Retinex理论得到重构后的亮度分量Vj。
4） 对重构后的亮度分量Vj进行AGCWD，得到增强后的亮度分量V0。AGCWD算法通过引入截断标量来限制高亮度区域的累计分布函数值，以此限制高亮区域过曝光，改善图像质量。
5） 将最终增强后的图像转换到RGB颜色空间，得到增强图像O。
2.1 结构纹理分解
maxRGB算法通过在RGB颜色通道选择最大值进行像素混合，可保留图像的颜色信息和细节信息[10]。为使图像增强前后保持颜色信息一致，本文使用maxRGB算法估计初始光照分量$ \hat{{{\boldsymbol{L}}}} $。
$$ \hat{{\boldsymbol{L}}}=\max _{c \in\{{{\mathrm{R}}}, {\mathrm{G}},{\mathrm{B}}\}}M_{c} $$ (3) 式中Mc为待增强的RGB图像。
由于maxRGB算法处理后得到的初始光照分量$ \hat{{{\boldsymbol{L}}}} $包含较多细节信息，使用式（1）获得反射分量R时，纹理细节会在相除过程中被平滑，造成反射分量R细节模糊。故在此基础上，把初始光照分量$ \hat{{{\boldsymbol{L}}}} $进一步划分为结构分量Ls、纹理分量Lt及噪声分量N。
$$ \hat {\boldsymbol{L}} = {{\boldsymbol{L}}_{\mathrm{s}}} + {{\boldsymbol{L}}_{\mathrm{t}}} + {\boldsymbol{N}} $$ (4) 通过变分优化的方式对初始光照分量$ \hat{{{\boldsymbol{L}}}} $进行结构和纹理分解，以提取初始光照分量$ \hat{{{\boldsymbol{L}}}} $中的细节信息。变分优化的目标函数为
$$ \begin{split} &\mathop {{{{\mathrm{argmin}}}}}\limits_{{{\boldsymbol{L}}_{\mathrm{s}}},{{\boldsymbol{L}}_{\mathrm{t}}},{\boldsymbol{N}}} (\parallel {{\boldsymbol{L}}_{\mathrm{s}}} + {{\boldsymbol{L}}_{\mathrm{t}}} + {\boldsymbol{N}} - \hat {\boldsymbol{L}}\parallel _2^2 + \alpha \parallel {{\boldsymbol{L}}_{\mathrm{s}}} - {{\boldsymbol{P}}_{\mathrm{s}}}\parallel _2^2 +\\ &\beta \parallel {\boldsymbol{W}} \nabla {{\boldsymbol{L}}_{\mathrm{t}}}{\parallel _1} + \lambda \parallel {\boldsymbol{N}}\parallel _2^2) \end{split} $$ (5) 式中：Ps为结构先验信息；W为局部偏差函数；$ \lambda $为正权重系数。
式（5）中第1项是保真项，用于约束结构纹理及噪声信息与初始光照分量$ \hat{{{\boldsymbol{L}}}} $之间的距离。第2项通过引入结构先验信息Ps约束结构分量的强度。第3项通过构建局部偏差函数W作为约束纹理分量梯度信息的权重。第4项约束噪声分量N的影响。
结构先验信息$ {{\boldsymbol{P}}}_{{\mathrm{s}}} $通过加权引导滤波（Weight Guide Filter，WGIF）得到[11]，WGIF继承了引导滤波的平滑性，且有较好的图像边缘保持能力。局部偏差函数W通过纹理分量Lt最大邻域差（Maximum Neighbor Difference，MND）与指数平均局部变分（Exponentiated Mean Local Variance，EMLV）[12]的比构建。
2.2 优化求解
将式（5）分解，按顺序依次优化求解结构分量Ls、纹理分量Lt和噪声分量N，求解步骤如图2所示。
1） 优化求解结构分量Ls。
$$ {\boldsymbol{L}}_{\mathrm{s}}^{i + 1} = \mathop {{{{\mathrm{argmin}}}}}\limits_{{{\boldsymbol{L}}_{\mathrm{s}}}} (\parallel {\boldsymbol{L}}_{\mathrm{s}}^i + {\boldsymbol{L}}_{\mathrm{t}}^i + {{\boldsymbol{N}}^i} - \hat {\boldsymbol{L}}\parallel _2^2 + \alpha \parallel {\boldsymbol{L}}_{\mathrm{s}}^i - {{\boldsymbol{P}}_{\mathrm{s}}}\parallel _2^2 )$$ (6) 式中：$ {{{\boldsymbol{L}}}}_{{{\mathrm{s}}}}^{{i}}，{{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i}} $，Ni分别为第i次迭代产生的结构分量、纹理分量和噪声分量。
对经过第i次迭代后的结构分量$ {\boldsymbol{L}}_{\mathrm{s}}^i $求偏导后置0得
$$ {\boldsymbol{L}}_{\mathrm{s}}^{i + 1} = \frac{{\alpha {{\boldsymbol{P}}_{\mathrm{s}}} + \hat {\boldsymbol{L}} - {{\boldsymbol{N}}^i} - {\boldsymbol{L}}_{\mathrm{t}}^i}}{{(\alpha + 1){\boldsymbol{I}}}} $$ (7) 式中$ \boldsymbol{I} $为与初始光照分量$ \hat{{\boldsymbol{L}}} $大小一致的全1矩阵，当$ {\left\| {{\boldsymbol{L}}_{\mathrm{s}}^{i + 1} - {\boldsymbol{L}}_{\mathrm{s}}^i} \right\|_2}/{\left\| {{\boldsymbol{L}}_{\mathrm{s}}^i} \right\|_2} \leqslant \omega $（$ \omega $为收敛因子）时迭代完成，得到最终的结构分量$ {{{\boldsymbol{L}}}}_{{{\mathrm{s}}}}^{{i}} $。
2） 优化求解纹理分量Lt。
$$ {{\boldsymbol{L}}_{\mathrm{t}}^{i + 1} = \mathop {{{{\mathrm{argmin}}}}}\limits_{{{\boldsymbol{L}}_{\mathrm{t}}}} (\parallel {\boldsymbol{L}}_{\mathrm{s}}^{i + 1} + {\boldsymbol{L}}_{\mathrm{t}}^i + {{\boldsymbol{N}}^i} - \hat {\boldsymbol{L}}\parallel _2^2 + \beta \parallel {{\boldsymbol{W}}^i} \nabla {{\boldsymbol{L}}_{\mathrm{t}}}{\parallel _1}} )$$ (8) 式中：$ {{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i+}{1}} $为第i +1次迭代产生的纹理分量；Wi为第i次迭代后得到的局部偏差函数矩阵。
对经过第i次迭代后的纹理分量$ {\boldsymbol{L}}_{\mathrm{t}}^i $求偏导后置0得
$$ {\boldsymbol{L}}_{\mathrm{t}}^{i + 1} = \frac{{\hat {\boldsymbol{L}} - {\boldsymbol{L}}_{\mathrm{s}}^{i + 1} - {{\boldsymbol{N}}^i}}}{{{\boldsymbol{I}} + \beta {{\boldsymbol{D}}^{\text{T}}}{{\boldsymbol{W}}^{{i^{\text{T}}}}}{{\boldsymbol{W}}^i}{\boldsymbol{D}}}} $$ (9) 式中$ \boldsymbol{D} $为具有前向差分的离散梯度算子，$ \nabla $Lt=DLt。
从式（9）中可看出，当权重矩阵$|{\boldsymbol{W}}^i| $越小，纹理分量$ \mathbm{_{ }^{ }L_{\mathit{t}}^{\mathit{i}+\mathrm{1}}} $越大，即越有利于提取出图像的细节纹理。$ {\left\| {{\boldsymbol{L}}_{\mathrm{t}}^{i + 1} - {\boldsymbol{L}}_{\mathrm{t}}^i} \right\|_2}/{\left\| {{\boldsymbol{L}}_{\mathrm{t}}^i} \right\|_2} \leqslant \omega $时迭代停止，得到纹理分量$ {{{\boldsymbol{L}}}}_{{{\mathrm{t}}}}^{{i}} $。
3） 优化求解噪声分量N。
$$ {{\boldsymbol{N}}^{i + 1}} = \mathop {{{{\mathrm{argmin}}}}}\limits_{\boldsymbol{N}} (||{\boldsymbol{L}}_{\mathrm{s}}^{i + 1} + {\boldsymbol{L}}_{\mathrm{t}}^{i + 1} + {{\boldsymbol{N}}^i} - \hat {\boldsymbol{L}}||_2^2 + \lambda ||{{\boldsymbol{N}}^i}||_2^2 )$$ (10) 对经过第i次迭代后的噪声分量${\boldsymbol{N}}^{\boldsymbol{i}} $求偏导后置0得
$$ {{\boldsymbol{N}}^{i + 1}} = \frac{{\hat {\boldsymbol{L}} - {\boldsymbol{L}}_{\mathrm{s}}^{i + 1} - {\boldsymbol{L}}_{\mathrm{t}}^{i + 1}}}{{(\lambda + 1){\boldsymbol{I}}}} $$ (11) 根据上述提到的终止条件，得到更新完成的噪声分量Ni。
矿井图像的结构纹理分解如图3所示，可看出结构分量Ls边缘清晰，纹理分量Lt有丰富的纹理细节，此外，噪声分量N中包含了图像的噪声信息。
2.3 分量重构
为了使反射分量R中包含更多纹理细节，并削弱噪声分量N对反射分量R的影响，利用Retinex理论将纹理分量Lt去除，保证反射分量R中的纹理信息丰富。重构的光照分量L由结构分量Ls和纹理分量Lt组成，去除了初始光照分量$ \hat{{\boldsymbol{L}}} $的噪声信息，减少了噪声对光照分量L的影响。融合光照分量L和反射分量R，得到重构后的亮度分量Vj。
$$ {\boldsymbol{R}} = \frac{{\boldsymbol{V}}}{{{{\boldsymbol{L}}_{\mathrm{s}}} + {\boldsymbol{N}}}} $$ (12) $$ {\boldsymbol{L}} = {{\boldsymbol{L}}_{\mathrm{s}}} + {{\boldsymbol{L}}_{\mathrm{t}}} $$ (13) $$ {{\boldsymbol{V}}_{\mathrm{j}}} = {\boldsymbol{R}} {\boldsymbol{L}} $$ (14) 2.4 照度校正
经过以上变分重构得到的增强图像存在部分图像亮区域过增强。因此，需对得到的初始亮度分量Vj使用带有截断因子的AGCWD算法进行光照校正。
首先计算校正指数$\gamma ({\boldsymbol{V}}_{\mathrm{j}})$，然后使用校正指数$ \gamma ({\boldsymbol{V}}_{\mathrm{j}})$对初始亮度分量Vj进行校正，得到最终增强后的亮度分量V0。
$$ \gamma ({{\boldsymbol{V}}_{\mathrm{j}}}) = \max \left( {\tau ,1 - {\text{CDF}}({{\boldsymbol{V}}_{\mathrm{j}}})} \right) $$ (15) $$ {{\mathrm{pdf}}}_{\mathrm{w}}({\boldsymbol{V}}_{\mathrm{j}})={{\boldsymbol{V}}}_{{\mathrm{j}}\max}\left[\frac{{{{\mathrm{pdf}}}}({\boldsymbol{V}}_{\mathrm{j}})-{{\mathrm{pdf}}}_{\min}}{{{\mathrm{pdf}}}_{\max}-{{\mathrm{pdf}}}_{\min}}\right]^{\frac{1}{2}} $$ (16) $$ {{\boldsymbol{V}}_0} = 255 {\left( {\frac{{{{\boldsymbol{V}}_{\mathrm{j}}}}}{{255}}} \right)^{\gamma ({{\boldsymbol{V}}_{\mathrm{j}}})}} $$ (17) 式中：$ \tau $为截断因子，$ \tau $=0.75；CDF（Vj）为累积分直方图函数（Cumulative Distribution Function, CDF）[13]；pdfw（Vj）为对原始灰度直方图pdf（Vj）进行指数加权归一化；pdfmax，pdfmin分别为重构后的亮度分量Vj灰度的最大值和最小值。
3. 实验结果分析
本文实验平台为Windows 11，64 bit操作系统，AMD Ryzen 75800H处理器，16 GiB内存，使用Matlab 2022b软件进行仿真。
3.1 参数分析
在上述变分结构纹理分解的变分模型中，正权重系数$ \alpha $，$ \beta $，$ \lambda $的相对大小决定了结构纹理及噪声分量的正则化强度。
为确定其合理值，参考文献[14-15]，并分析结构纹理分量之间的重要性占比，确定参数取值范围，$ \alpha =0.5,\; \alpha =0.05$，$ \beta =0.7,\;\beta =0.07$，$ \lambda =0.3,\; \lambda=0.03$，即（$ \alpha $,$ \beta $,$ \lambda $）的参数组合共有8种选择。
利用图像的视觉信息保证度指标（Visual Information Fidelity，VIF）[16]、信息熵（Entropy）及自然图像质量评价（Natural Image Quality Evaluator，NIQE）[17]作为衡量图像增强的标准，对变分模型进行评估。其中VIF考虑了人眼感知系统的特性，通过建立与人眼感知相关的模型来评估图像的视觉质量。VIF能够更好地捕捉和量化图像中视觉信息的保真度。VIF的值越大，说明图像增强前后失真越小，图像的视觉质量越好[18]。Entropy表示图像信息量的多少，Entropy越大说明图像的融合效果越好，图像细节越丰富。NIQE用来测量图像的视觉自然性，NIQE的值越低，表明图像质量越好、越自然。
对在Flicker网站收集的不同场景下低照度真实矿井下图像（图4）进行测试，并对VIF，Entropy，NIQE 3种客观指标取平均。
$ \alpha $，$ \beta $，$ \lambda $的8种组合在3种客观指标下的平均值如图5所示。当参数（$ \alpha $，$ \beta $，$ \lambda $）的取值为（0.5，0.07，0.3）时，3个客观指标均能达到最佳。因此本文以$ \alpha $=0.5，$ \beta $=0.07，$ \lambda $=0.3作为正则化参数，最佳正则化参数下矿井低照度图像增强结果如图6所示，可看出图像增强后亮度更均衡，光晕伪影现象明显减弱，纹理细节增强效果明显。
3.2 算法验证
为进一步验证算法的有效性，对在西安科技大学煤炭中心实验室采集的矿井下不同场景图像进行实验验证，分别选取轨道、巷道、采矿工作面及运煤输送带4种场景图像。与结构纹理感知Retinex（Structure and Texture Aware Retinex，STAR）算法[19]、联合内外先验（Joint intrinsic-extrinsic Prior，JieP）算法[20]、加权变分模型（Weighted Variational Model，WVM）[15]、半解耦分解（Semi-Decoupled Decomposition，SDD）算法[21]、带色彩恢复的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）算法[5]进行主客观比较。4种场景下不同方法的增强结果如图7−图10所示。可看出本文算法在保证图像边缘清晰的同时，极大改善了图像的视觉效果，STAR算法、JieP算法及WVM对场景2、场景3下图像暗处增强效果不明显，但WVM改善了增强图像的边缘模糊问题，SDD算法增强后的图像存在边缘模糊问题，MSRCR算法则出现了颜色失真。
![]()
图 5 不同参数组合下的平均客观指标Figure 5. Average objective indicators under different parameter combinations![]()
图 7 场景1（采矿轨道）图像增强结果Figure 7. Enhancement results of image in scenario 1 (mining track)场景1下不同方法增强后的灰度直方图如图11所示，可看出本文算法增强后图像的灰度分布更加均衡，表明本文算法增强后的图像亮度分布均匀，对比度更高。
根据增强图像客观质量指标对这些方法进行定性和定量评价，评价结果见表1。
由表1可看出，本文算法的NIQE较STAR，JieP，WVM，SSD，MSRCR分别下降了8.69%，29.05%，11.2%，29.53%，33.54%，说明增强后的图像视觉效果更加自然。本文算法的Entropy较STAR，JieP，WVM，SSD，MSRCR分别提高了3.20%，8.02%，4.07%，3.49%，22.68%，VIF较STAR，JieP，WVM，SSD，MSRCR分别提高了91.17%，117.86%，59.38%，48.78%，183.12%，说明增强前后图像的视觉质量有了显著提升，图像纹理细节也更加丰富，图像包含的信息更多。
不同算法在大小为881×660的20张图像上的平均运行时间见表2。可看出WVM复杂度较高，MSRCR算法处理的时间最短但增强效果最差，本文算法耗时较MSRCR算法略长，但获得了更好的增强效果。
![]()
图 8 场景2（采矿巷道）图像增强结果Figure 8. Enhancement results of image in scenario 2 (mining roadway)![]()
图 9 场景3（采矿工作面）图像增强结果Figure 9. Enhancement results of image in scenario 3 (mining face)![]()
图 10 场景4（运煤输送带）图像增强结果Figure 10. Enhancement results of image in scenario 4 (coal conveyor belt)![]()
图 11 场景1下不同方法增强后的直方图Figure 11. Histograms enhanced by different methods in scenario 1表 1 不同算法的客观指标对比Table 1. Comparison of objective indicators of different algorithms算法 NIQE Entropy VIF 场景1 场景2 场景3 场景4 场景1 场景2 场景3 场景4 场景1 场景2 场景3 场景4 原图 2.67 3.29 3.21 2.31 6.41 5.89 5.36 4.91 STAR 2.47 2.34 2.41 1.97 7.29 7.16 7.07 7.19 1.17 3.88 3.88 5.11 JieP 2.57 2.38 2.60 4.31 7.25 7.10 6.90 6.20 1.59 3.51 3.34 3.87 WVM 2.81 2.50 2.21 1.90 7.13 7.09 7.31 6.93 2.04 5.22 4.50 5.06 SDD 2.53 3.20 2.77 3.43 7.33 7.25 7.06 7.01 2.56 5.03 5.25 5.19 MSRCR 2.73 2.84 3.55 3.51 6.41 5.89 5.36 6.51 2.41 2.35 1.38 3.33 本文 2.35 2.20 1.99 1.87 7.59 7.37 7.48 7.21 3.08 10.08 8.36 5.31 表 2 平均运行时间Table 2. Average running timess 算法 STAR JieP WVM SDD MSRCR 本文 时间 16.21 16.40 38.16 19 .48 1.38 13.51 4. 结论
1） 针对矿井图像存在低照度，照度不均的问题，提出一种基于结构纹理分解的矿井图像增强方法。首先对图像采用maxRGB算法提取原始图像的初始光照分量，保留图像亮度信息的同时，增强对比度。其次，构建变分优化目标函数，求得初始光照分量中的结构分量、纹理分量及噪声分量。然后，对初始光照分量进行加权引导滤波，再将其作为目标函数中约束结构分量的先验信息，保证了结构分量的边缘轮廓清晰。构建局部变化偏差函数并将其作为约束纹理分量的权重，得到了细节丰富的纹理分量。将迭代得到的结构、纹理及噪声分量进行Retinex重构。最后引入改进AGCWD算法来限制图像亮度过增强，改善了图像视觉效果。
2） 实验结果表明，基于结构纹理分解的矿井图像增强算法对矿井低照度图像有较好的增强效果，能够提高图像的亮度和对比度，同时保持图像细节的丰富性及边缘纹理的清晰，有效地减少了增强过程中可能产生的光晕伪影和颜色失真问题。
3） 相较于STAR，JieP，WVM，SDD及MSRCR算法，基于结构纹理分解的矿井图像增强算法在客观指标NIQE上分别下降了8.69%，29.05%，11.2%，29.53%，33.54%；Entropy分别提高了3.20%，8.02%，4.07%，3.49%，22.68%；VIF分别提高了91.17%，117.86%，59.38%，48.78%，183.12%；客观指标均达到最佳，同时基于结构纹理分解的矿井图像增强算法的灰度直方图分布更加均衡。
4） 基于结构纹理分解的矿井图像增强算法的平均运行时间仅长于MSRCR算法，但得到了更好的图像增强效果。
5） 后续研究将围绕优化目标函数进一步改进和优化，同时扩充矿井视频图像数据集，将图像增强算法应用到矿井目标检测、图像分割等智能视觉任务中。
-
![]()
图 1 基于结构纹理分解的矿井图像增强算法总体框架
Figure 1. Overall framework of mine image enhancement algorithm based on structural texture decomposition
![]()
图 5 不同参数组合下的平均客观指标
Figure 5. Average objective indicators under different parameter combinations
![]()
图 7 场景1（采矿轨道）图像增强结果
Figure 7. Enhancement results of image in scenario 1 (mining track)
![]()
图 8 场景2（采矿巷道）图像增强结果
Figure 8. Enhancement results of image in scenario 2 (mining roadway)
![]()
图 9 场景3（采矿工作面）图像增强结果
Figure 9. Enhancement results of image in scenario 3 (mining face)
![]()
图 10 场景4（运煤输送带）图像增强结果
Figure 10. Enhancement results of image in scenario 4 (coal conveyor belt)
![]()
图 11 场景1下不同方法增强后的直方图
Figure 11. Histograms enhanced by different methods in scenario 1
表 1 不同算法的客观指标对比
Table 1 Comparison of objective indicators of different algorithms
算法 NIQE Entropy VIF 场景1 场景2 场景3 场景4 场景1 场景2 场景3 场景4 场景1 场景2 场景3 场景4 原图 2.67 3.29 3.21 2.31 6.41 5.89 5.36 4.91 STAR 2.47 2.34 2.41 1.97 7.29 7.16 7.07 7.19 1.17 3.88 3.88 5.11 JieP 2.57 2.38 2.60 4.31 7.25 7.10 6.90 6.20 1.59 3.51 3.34 3.87 WVM 2.81 2.50 2.21 1.90 7.13 7.09 7.31 6.93 2.04 5.22 4.50 5.06 SDD 2.53 3.20 2.77 3.43 7.33 7.25 7.06 7.01 2.56 5.03 5.25 5.19 MSRCR 2.73 2.84 3.55 3.51 6.41 5.89 5.36 6.51 2.41 2.35 1.38 3.33 本文 2.35 2.20 1.99 1.87 7.59 7.37 7.48 7.21 3.08 10.08 8.36 5.31 
下载: 导出CSV
表 2 平均运行时间
Table 2 Average running times
s 算法 STAR JieP WVM SDD MSRCR 本文 时间 16.21 16.40 38.16 19 .48 1.38 13.51
下载: 导出CSV
-
[1] 丁恩杰,俞啸,夏冰,等. 矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J]. 煤炭学报,2022,47(1):564-578. DING Enjie,YU Xiao,XIA Bing,et al. Development of mine informatization and key technologies of intelligent mines[J]. Journal of China Coal Society,2022,47(1):564-578.
[2] 王海军,王洪磊. 带式输送机智能化关键技术现状与展望[J]. 煤炭科学技术,2022,50(12):225-239. WANG Haijun,WANG Honglei. Status and prospect of intelligent key technologies of belt conveyor[J]. Coal Science and Technology,2022,50(12):225-239.
[3] JOBSON D J,RAHMAN Z,MEMBER. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing,1997,6(3):451-462. DOI: 10.1109/83.557356
[4] RAHMAN Z,JOBSON D J,WOODELL G A. Multi-scale retinex for color image enhancement[C]. 3rd IEEE International Conference on Image Processing,Lausanne,1996 :1003-1006.
[5] JOBSON D J,RAHMAN Z,WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing,1997,7(6):965-976.
[6] 张立亚,郝博南,孟庆勇,等. 基于HSV空间改进融合Retinex算法的井下图像增强方法[J]. 煤炭学报,2020,45(增刊1):532-540. ZHANG Liya,HAO Bonan,MENG Qingyong,et al. Method of image enhancement in coal mine based on improved retex fusion algorithm in HSV space[J]. Journal of China Coal Society,2020,45(S1):532-540.
[7] 唐守锋,史可,仝光明,等. 一种矿井低照度图像增强算法[J]. 工矿自动化,2021,47(10):32-36. TANG Shoufeng,SHI Ke,TONG Guangming,et. al. A mine low illumination image enhancement algorithm[J]. Industry and Mine Automation,2021,47(10):32-36.
[8] 洪炎,朱丹萍,龚平顺. 基于TopHat加权引导滤波的Retinex矿井图像增强算法[J]. 工矿自动化,2022,48(8):43-49. HONG Yan,ZHU Danping,GONG Pingshun. Retinex mine image enhancement algorithm based on TopHat weighted guided filtering[J]. Journal of Mine Automation,2022,48(8):43-49.
[9] 龚云,颉昕宇. 基于同态滤波方法的煤矿井下图像增强技术研究[J]. 煤炭科学技术,2023,51(3):241-250. GONG Yun,JIE Xinyu. Research on coal mine underground image recognition technology based on homomorphic filtering method[J]. Coal Science and Technology,2023,51(3):241-250.
[10] 龙庆延,王正勇,潘建,等. 基于奇异值分解和引导滤波的低照度图像增强算法[J]. 科学技术与工程,2021,21(12):5018-5023. LONG Qingyan,WANG Zhengyong,PAN Jian,et al. Low light image enhancement algorithm based on singular value decomposition and guided filtering[J]. Science Technology and Engineering,2021,21(12):5018-5023.
[11] LI Zhengguo,ZHENG Jinghong,ZHU Zijian,et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing,2015,24(1):120-129. DOI: 10.1109/TIP.2014.2371234
[12] ZHANG Xiaoting,HE Chuanjiang. Robust double-weighted guided image filtering[J]. Signal Processing,2022,199. DOI: 10.1016/J.SIGPRO.2022.108609.
[13] CHIEN C,KINOSHITA Y,KIYA H. A noise-aware enhancement method for underexposed images[C]. IEEE International Conference on Consumer Electronics Asia ,Bangkok,2019:131-134.
[14] KHAN R,MEHMOOD A,ZHENG Zhonglong. Robust contrast enhancement method using a retinex model with adaptive brightness for detection applications[J]. Optics Express,2022,30(21):37736-37752. DOI: 10.1364/OE.472557
[15] FU Xueyang,ZENG Delu,HUANG Yue,et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]. IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:2782-2790.
[16] SHEIKH H R,BOVIK A C. Image information and visual quality[J]. IEEE Transactions on Image Processing,2006,15(2):430-444. DOI: 10.1109/TIP.2005.859378
[17] MITTAL A,SOUNDARARAJAN R,BOVIK A C. Making a "completely blind" image quality analyzer[J]. IEEE Signal Processing Letters,2013,20(3):209-212. DOI: 10.1109/LSP.2012.2227726
[18] GUO Xiaojie,LI Yu,LING Haibin. LIME:low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing,2017,26(2):982-993. DOI: 10.1109/TIP.2016.2639450
[19] XU Jun,HOU Yingkun,REN Dongwei,et al. STAR:a structure and texture aware Retinex model[J]. IEEE Transactions on Image Processing,2020,29:5022-5037. DOI: 10.1109/TIP.2020.2974060
[20] CAI Bolun,XU Xianming,GUO Kailing,et al. A joint intrinsic-extrinsic prior model for Retinex[C]. IEEE International Conference on Computer Vision,Venice,2017:4000-4009.
[21] HAO Shijie,HAN Xu,GUO Yanrong,et al. Lowlight image enhancement with semi-decoupled decomposition[J]. IEEE Transactions on Multimedia,2020,22(12):3025-3038. DOI: 10.1109/TMM.2020.2969790
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 163
- HTML全文浏览量: 51
- PDF下载量: 28
- 被引次数: 2
