一种矿井低照度图像增强算法

唐守锋, 史可, 仝光明, 史经灿, 李华烁

(中国矿业大学 信息与控制工程学院, 江苏 徐州 221116)

摘要针对小波变换在图像边缘保持和细节处理方面无法保持平衡及多尺度Retinex算法易造成图像出现光晕伪影和噪声污染严重等问题,将小波变换与基于多尺度引导滤波的多尺度Retinex算法相结合,提出了一种矿井低照度图像增强算法。该算法首先将低照度图像进行小波分解得到高频分量和低频分量;然后对图像高频分量采用三段式阈值函数进行小波去噪,对图像低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替传统多尺度Retinex算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升图像边缘细节保持效果;最后对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,解决图像泛灰问题。实验结果表明,该算法具有很强的噪声抑制能力,可有效提升图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影、颜色失真等现象。

关键词矿山视频监控; 低照度图像; 图像增强; 多尺度Retinex算法; 多尺度引导滤波; 小波去噪

0 引言

随着矿山数字化、智能化水平逐步提高,矿山视频监控系统得到广泛应用,在井下生产状况监控、人员定位、灾害应急救援等方面发挥了重大作用[1-2]。然而,煤矿井下环境具有光照较弱、空气中浮游杂质较多等特点,导致矿山视频监控系统采集的图像存在照度低的问题。利用计算机图像处理方法对矿井低照度图像进行增强[3],对于提高图像质量具有一定作用。

目前处理低照度图像的算法主要有四类:直方图均衡化算法[4]、同态滤波算法[5]、基于Retinex理论相关算法[6]及小波变换算法[7]。直方图均衡化算法操作简单、时间复杂度低,但无法统筹部分细节信息,效果图像容易放大噪声且产生过度增强现象。同态滤波算法通过增强对比度与压缩动态范围方式提升图像质量,但时间复杂度高、参数设置复杂。基于Retinex理论相关算法包括单尺度Retinex(Single Scale Retinex,SSR)算法[8]、多尺度Retinex(Multi-Scale Retinex,MSR)算法[9]、具有色彩恢复的多尺度Retinex(Multi-Scale Retinex with Color Restoration,MSRCR)算法[10]:SSR算法复杂度低,但亮度改善有限、噪声抑制能力低及尺度参数选择存在局限性;MSR算法可避免SSR算法尺度参数选取的不确定性,但会放大噪声并出现光晕伪影现象;MSRCR算法可避免局部细节色彩失真和噪声放大,但运行速度较慢。小波变换算法在图像去噪方面性能优越,但在边缘保持和细节处理方面无法保持平衡。针对上述问题,本文在小波变换的基础上,提出了一种基于多尺度引导滤波的MSR算法对矿井低照度图像进行增强,可解决MSR算法的噪声放大问题,有效保留图像边缘细节信息,避免产生光晕伪影现象,使处理后的图像亮度和对比度增强。

1 矿井低照度图像增强算法

矿井低照度图像增强算法流程如图1所示,具体步骤如下:

(1) 通过离散小波变换将原始低照度图像分解为高频分量和低频分量。

(2) 由于噪声主要集中在高频分量,采用三段式阈值函数对高频分量进行去噪处理。

(3) 对于低频分量,进行非线性全局亮度校正以获得全局亮度增强图像,同时采用多尺度引导滤波函数估计照射分量,从而计算反射分量,之后利用主成分分析法对亮度增强图像与反射分量进行融合。

(4) 通过离散小波反变换对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,以提升图像对比度。

图1 矿井低照度图像增强算法流程
Fig.1 Flow of mine low illumination image
enhancement algorithm

1.1 图像高频分量去噪

常见的图像阈值去噪方法包括硬阈值法、软阈值法及半软阈值法[11-12]。硬阈值法有良好的边缘保持性,但硬阈值函数在固定阈值±λ处存在间断点,即间断点在±λ处不连续,因此在小波重构图像过程中易产生振荡现象。软阈值函数在±λ处具有较好的连续性,但当小波分解得到的高频系数ωj,k大于固定阈值时,处理后的高频系数与高频系数ωj,k具有恒定偏差,导致小波重构后的图像产生边缘模糊与细节缺失现象。半软阈值函数在软阈值函数的基础上添加调节参数δ,在阈值选取上更加灵活,可有效保持边缘细节;但是当0.5<δ<1时图像有尖锐的边缘轮廓,当0<δ<0.5时图像会出现振荡现象。

为了使去噪后的图像更好地保留边缘信息,同时避免出现振荡现象,本文结合以上3种常见阈值函数,采用三段式阈值函数:

(1)

1.2 图像低频分量增强

1.2.1 非线性全局亮度校正

为增强原始图像的亮度,同时压缩图像动态范围,对图像进行非线性全局亮度校正[13],获得全局亮度增强图像。

原始图像IC(x,y)((x,y)为像素点坐标)中至少存在1个最大亮度的颜色通道,最大亮度可近似为IC(x,y)的亮度分量。本文取IC(x,y)在RGB颜色空间3个分量中每个像素点的最大亮度构成最大值图像I(x,y)。

I(x,y)=max IC(x,y)

(2)

I(x,y)进行非线性全局亮度校正:

(3)

式中:S(x,y)为全局亮度增强图像;a为变化率,用来控制非线性全局亮度校正曲线的曲率,本文取a=0.06。

1.2.2 基于多尺度引导滤波的MSR算法处理

传统MSR算法大多采用高斯滤波函数作为中心环绕函数来估计图像的照射分量[14]。虽然高斯滤波函数平滑了不同光照区域,但存在各向同性特征,无法较好地保留照射分量中的边缘信息,导致分离出的反射分量边缘产生光晕伪影现象。因此,本文采用多尺度引导滤波函数代替传统的高斯滤波函数来估计照射分量,从而有效避免光晕伪影现象,增强图像边缘细节。

原始图像IC(x,y)可表示为

IC(x,y)=L(x,y)R(x,y)

(4)

式中:L(x,y)为照射分量;R(x,y)为反射分量。

I(x,y)作为边缘引导图像,采用不同尺度的引导滤波函数对IC(x,y)进行滤波处理,保持图像平滑与边缘细节信息的平衡状态。

(5)

式中:qn(x,y)为第n(n=1,2,…,NN为尺度总数,本文取N=3)个尺度的引导滤波函数;Wnqn(x,y)所占权重,本文取表示卷积运算。

依据传统MSR算法原理,结合引导滤波特点,计算反射分量R(x,y)。

log2 R(x,y)=log2 IC(x,y)-log2 L(x,y)

(6)

log2(qn(x,y)*IC(x,y))]

(7)

1.2.3 基于主成分分析法的图像融合

图像融合主要是将若干个子图像的核心信息叠加[15],其原理是以保留源图像中的重要信息为主,尽可能地将相互区别并互补的信息兼容,避免融入无用信息。为了克服传统图像融合中边缘细节信息缺失的问题,本文对全局亮度增强图像S(x,y)与反射分量R(x,y)进行主成分分析,计算权重并叠加,最终得到融合图像。

用矩阵表示待融合子图像,先计算矩阵的协方差矩阵,再计算协方差矩阵的特征值λ1λ2与特征向量ξ1ξ2,并使用最大特征值对应的特征向量计算加权系数:

(8)

根据加权系数计算融合图像:

E(x,y)=ω1S(x,y)+ω2R(x,y)

(9)

1.3 非线性变换

经小波重构后的图像出现一定程度的泛灰现象,本文采用非线性变换方法对小波重构后图像的不同区域进行不同程度的处理。

(10)

式中:Q′(x,y)为非线性变换后的增强图像;α为尺度比例系数;Q(x,y)为小波重构后的图像;Qmax为像素最大值;Qmin为像素最小值。

α较小时图像非线性变换程度较平缓,暗区域增强效果明显,而亮区域对比度增强效果较差;α较大时像素值较小区域非线性变换效果不明显,像素值较低。因此,本文通过灵活调整α取值,获得最优增强图像。通过大量实验证明,α取值范围为[5,15]时图像增强效果较好。

2 实验结果分析

利用Matlab软件进行实验,计算机配置为Intel(R) Core(TM) i5-4210U CPU、4 GB RAM、Windows 7操作系统。选取贵州盘江精煤股份有限公司山脚树矿低照度图像进行增强处理,通过主观评价和客观评价对SSR算法、MSR算法、MSRCR算法及本文算法对图像增强效果进行对比。

2.1 主观评价

不同算法下矿井图像增强效果对比如图2、图3所示。

图2 不同算法下矿井图像1增强效果对比
Fig.2 Comparison of enhancement effects of mine image 1 under different algorithms

图3 不同算法下矿井图像2增强效果对比
Fig.3 Comparison of enhancement effects of mine image 2 under different algorithms

从图2(a)和图3(a)可看出,原始图像整体偏暗,视觉效果较差,人眼很难分辨图像中的细节信息。从图2(b)和图3(b)可看出,经SSR算法处理后的图像在一定程度上提升了高亮区域的亮度,但提升亮度及抑制噪声的能力有限,并且因为尺度参数选择的局限性,SSR算法很难在动态范围压缩与颜色细节信息之间保持平衡。从图2(c)和图3(c)可看出,经MSR算法处理后的图像整体视觉效果较SSR算法明显提升,图像细节信息更加丰富,但放大了图像噪声,图像整体偏白,出现颜色失真现象,且高亮区域出现光晕伪影现象。从图2(d)和图3(d)可看出,经MSRCR算法处理后的图像色彩保真性能优越,但抑制噪声的能力有限,图像整体清晰度还需要进一步加强。从图2(e)和图3(e)可看出,经本文算法处理后的图像亮度和对比度有明显提升,去噪性能突出,图像边缘细节保持较好,有效避免了光晕伪影和颜色失真现象,更加符合人眼观察特性。

2.2 客观评价

选取信息熵、峰值信噪比、对比度、结构相似性等作为图像质量评价指标。信息熵越大,表明图像信息量越丰富。峰值信噪比越大,表明噪声对图像的干扰越小,图像失真程度越小。对比度越大,表明图像明暗渐变层次越多,图像细节越突出,图像越清晰。结构相似性越大,表明原始图像与处理后图像之间的结构相似度越高,图像处理效果越好。

以图2和图3中图像为例,客观评价结果见表1—表3。可看出本文算法在运行时间方面稍差,但经本文算法处理后的图像信息熵、峰值信噪比、对比度和结构相似性最高。

表1 矿井图像1客观评价结果
Table 1 Objective evaluation results of mine image 1

图像信息熵峰值信噪比对比度结构相似性原始图像9.427 220.145 04.214 7—SSR算法处理后图像10.481 121.751 08.245 40.752 3MSR算法处理后图像11.245 421.842 013.742 50.785 1MSRCR算法处理后图像12.247 424.445 813.751 30.824 4本文算法处理后图像15.871 227.987 016.265 00.884 5

表2 矿井图像2客观评价结果
Table 2 Objective evaluation results of mine image 2

图像信息熵峰值信噪比对比度结构相似性原始图像6.542 419.237 02.254 2—SSR算法处理后图像7.417 420.475 04.577 80.714 6MSR算法处理后图像7.980 420.547 08.458 70.724 6MSRCR算法处理后图像8.547 122.687 810.743 70.795 4本文算法处理后图像13.165 026.547 011.481 00.857 3

表3 不同算法运行时间对比
Table 3 Comparison of running time of
different algorithms s

算法矿井图像1矿井图像2SSR算法0.710 50.315 4MSR算法0.887 60.588 7MSRCR算法0.977 40.735 1本文算法0.894 20.601 4

3 结语

提出了一种矿井低照度图像增强算法。首先,通过对矿井低照度图像进行小波分解得到高频分量和低频分量。然后,对高频分量使用三段式阈值函数进行小波去噪;对低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替MSR算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升了图像边缘细节保持效果。最后,对图像高频分量和低频分量进行小波重构,并采用非线性变换对小波重构后的图像进行对比度调整。实验结果表明,该算法能有效去除图像噪声,提高了图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影和颜色失真。

参考文献(References):

[1] 孙继平.煤矿信息化与自动化发展趋势[J].工矿自动化,2015,41(4):1-5.

SUN Jiping.Development trend of coal mine informatization and automation[J].Industry and Mine Automation,2015,41(4):1-5.

[2] 张娟.融合中值滤波与小波软阈值去噪模型的新元矿视频监控图像滤波方法[J].金属矿山,2017(12):103-107.

ZHANG Juan.Xinyuan Mine video surveillance image filtering method based on median filtering and soft wavelet thresholding model[J].Metal Mine,2017(12):103-107.

[3] 应东杰,李文节.煤矿监控图像增强算法的分析与实现[J].工矿自动化,2012,38(8):55-58.

YING Dongjie,LI Wenjie.Analysis of enhancement algorithms of coal mine monitoring image and its realization[J].Industry and Mine Automation,2012,38(8):55-58.

[4] CHANG Yakun,JUNG C,KE Peng,et al.Automatic contrast-limited adaptive histogram equalization with dual gamma correction[J].IEEE Access,2018,6:11782-11792.

[5] 李连志,邢川.基于同态滤波的平面视觉图像色彩增强算法[J].计算机仿真,2021,38(2):249-252.

LI Lianzhi,XING Chuan.Color enhancement algorithm of plane vision image based on homomorphic filtering[J].Computer Simulation,2021,38(2):249-252.

[6] 樊占文,刘波.基于改进的Retinex低照度图像自适应增强技术研究[J].工矿自动化,2021,47(增刊1):126-130.

FAN Zhanwen,LIU Bo.Research on adaptive enhancement technology of low illumination image based on improved Retinex[J].Industry and Mine Automation,2021,47(S1):126-130.

[7] 李庆忠,刘清.基于小波变换的低照度图像自适应增强算法[J].中国激光,2015,42(2):280-286.

LI Qingzhong,LIU Qing.Adaptive enhancement algorithm for low illumination images based on wavelet transform[J].Chinese Journal of Lasers,2015,42(2):280-286.

[8] 陈超.改进单尺度Retinex算法在图像增强中的应用[J].计算机应用与软件,2013,30(4):55-57.

CHEN Chao.Application of improved single scale Retinex algorithm in image enhancement[J].Computer Applications and Software,2013,30(4):55-57.

[9] 赵晓霞,王汝琳,李雪艳.基于多尺度Retinex的雾天降质图象增强算法[J].工矿自动化,2009,35(10):62-66.

ZHAO Xiaoxia,WANG Rulin,LI Xueyan.Enhancement algorithm of fog-degraded image based on multiscale Retinex[J].Industry and Mine Automation,2009,35(10):62-66.

[10] 范新南,鹿亮,史朋飞,等.结合MSRCR与多尺度融合的水下图像增强算法[J].国外电子测量技术,2021,40(2):6-10.

FAN Xinnan,LU Liang,SHI Pengfei,et al.Underwater image enhancement algorithm combining MSRCR and multi-scale fusion[J].Foreign Electronic Measurement Technology,2021,40(2):6-10.

[11] 李维松,许伟杰,张涛.基于小波变换阈值去噪算法的改进[J].计算机仿真,2021,38(6):348-351.

LI Weisong,XU Weijie,ZHANG Tao.Improvement of threshold denoising method based on wavelet transform[J].Computer Simulation,2021,38(6):348-351.

[12] 韩天奇,杨文杰,赵建光.基于小波变换阈值图像去噪分析[J].软件,2021,42(6):19-21.

HAN Tianqi,YANG Wenjie,ZHAO Jianguang.Image denoising analysis based on wavelet transform threshold[J].Software,2021,42(6):19-21.

[13] GUO Xiaojie,YU Li,LING Haibin.LIME:low-light image enhancement via illumination map estimation[J].IEEE Transactions on Image Processing,2017,26(2):982-993.

[14] 赵春丽,董静薇.基于暗通道及多尺度Retinex的雾霾天气图像增强算法[J].激光杂志,2018,39(1):104-109.

ZHAO Chunli,DONG Jingwei.Image enhancement algorithm of haze weather based on dark channel and multi-scale Retinex[J].Laser Journal,2018,39(1):104-109.

[15] 邢鹏昌.基于主成分分析变换和提升小波的图像融合[J].三明学院学报,2012,29(4):24-28.

XING Pengchang.Image fusion based on principal component analysis transform and lifting wavelet[J].Journal of Sanming University,2012,29(4):24-28.

A mine low illumination image enhancement algorithm

TANG Shoufeng, SHI Ke, TONG Guangming, SHI Jingcan, LI Huashuo

(School of Information and Control Engineering, China University of Mining and Technology,Xuzhou 221116, China)

Abstract:The wavelet transform cannot maintain a balance in image edge preservation and detail processing and the multi-scale Retinex algorithm is prone to halo artifacts and serious noise pollution in images. In order to solve the above problems, a mine low illumination image enhancement algorithm is proposed by combining the wavelet transform with the multi-scale Retinex algorithm based on multi-scale guided filtering. Firstly, the algorithm decomposes the low illumination image into wavelets to obtain the high-frequency and low-frequency components. Secondly, the wavelet denoising is applied to the high-frequency components of the image using a three-stage threshold function, and nonlinear global luminance correction is applied to the low-frequency components of the image to enhance the image luminance. Moreover, the multi-scale guided filter function is used to estimate the illumination components instead of the Gaussian filter function of the traditional multi-scale Retinex algorithm, and then the reflection components are obtained. The principal component analysis method is used to fuse the reflection component and the non-linear global luminance correction image so as to improve image edge detail preservation effect effectively. Finally, the wavelet reconstruction is performed on the high-frequency components and low-frequency components of the image, and the wavelet reconstructed image is nonlinearly transformed to solve the image graying problem. The experimental results show that the algorithm has strong noise suppression capability, can improve the image luminance and contrast effectively, make the image edge preservation performance and detail information richness effectively balanced, and avoid the image halo artifacts and color distortion.

Key words:mine video monitoring; low illumination images; image enhancement; multi-scale Retinex algorithm; multi-scale guided filtering; wavelet denoising

中图分类号:TD67

文献标志码:A

扫码移动阅读

文章编号1671-251X(2021)10-0032-05

DOI:10.13272/j.issn.1671-251x.2021060052

收稿日期:2021-06-19;修回日期: 2021-10-08;责任编辑: 盛男。

基金项目:国家重点研发计划项目(2017YFF0205500)。

作者简介:唐守锋(1970-),男,山东淄博人,教授,博士,研究方向为图像处理、传感器应用技术、检测技术与自动化装置、智能仪表和智能机器人技术,E-mail:1563412425@qq.com。

通信作者:史可(1997-),女,江苏徐州人,硕士研究生,研究方向为数字图像处理,E-mail:374094952@qq.com。

引用格式:唐守锋,史可,仝光明,等.一种矿井低照度图像增强算法[J].工矿自动化,2021,47(10):32-36.

TANG Shoufeng,SHI Ke,TONG Guangming,et al.A mine low illumination image enhancement algorithm[J].Industry and Mine Automation,2021,47(10):32-36.