0.   引言

矿井环境中依靠人工照明，监控图像亮度和对比度往往均较低，部分图像亮度分布不均，近光源处较亮，远光源处较暗。因此，矿井图像增强对实现矿井智能视频监控非常重要^[1]。当前常用的矿井图像增强方法主要有直方图均衡化^[2]、基于Retinex理论方法^[3]、基于同态滤波方法^[4]、基于小波分析方法^[5]等。直方图均衡化往往导致局部图像欠增强和过增强问题。对此，S. F. Tan等^[6]对图像直方图进行阈值分割，再分别进行直方图均衡化处理；D. Singh等^[7]提出双平台直方图均衡化方法，在进行直方图均衡化之前，以阈值调整频次较小和较大的灰度级，具有较好的鲁棒性，但会产生部分颜色失真。在基于Retinex理论方法方面，Guo Xiaojie等^[8]采用三通道的最大值对光照图像进行估计，然后采用结构先验对估计值进行优化，以增强图像亮度和对比度，但效果仍有待提升；李晓宇等^[9]针对Retinex算法存在的色彩失真和光晕模糊问题，采用自适应快速引导滤波将图像分解为照度分量和反射分量，采用Sigmoid函数对照度分量进行均衡化，对反射分量进行非线性拉伸，但在亮区产生过增强问题^[10]。基于同态滤波方法对暗区的亮度提升不够，且图像细节容易丢失。对此，邵小强等^[11]将经同态高通滤波和同态低通滤波的矿井图像加权融合，并采用对比度受限的直方图均衡化校正图像亮度。龚云等^[12]针对同态滤波涉及参数较多、难以适用于不同矿井图像的问题，提出基于单一参数同态滤波的井下图像增强方法，对图像的亮度分量进行自适应Gamma校正，提高同态滤波对高光区和阴影区的适用性。基于小波分析方法具有多分辨率分析能力，但对边缘保持和细节增强缺乏鲁棒性。对此，唐守锋等^[13]将小波变换与基于多尺度引导滤波的Retinex算法结合，对图像的高频分量进行小波阈值去噪，对低频分量进行非线性校正以提升亮度。

为了在有效提升矿井图像亮度和对比度的同时，避免图像欠增强和过增强，本文在上述研究基础上，提出了基于多尺度局部直方图均衡化的矿井图像增强方法：将矿井低照度图像由RGB颜色空间转换到HSI颜色空间，采用双边滤波将亮度分量分解为光照图像和反射图像，对光照图像进行多尺度分块并分别进行局部直方图均衡化，对反射图像进行方向梯度增强。实验结果验证了该方法的有效性和实用性。

1.   矿井图像增强方法

基于多尺度局部直方图均衡化的矿井图像增强流程如图1所示。将矿井低照度RGB图像转换到HSI颜色空间，得到色调分量、饱和度分量和亮度分量；采用双边滤波对亮度分量进行Retinex分解，得到光照图像和反射图像；对光照图像进行多尺度划分，并对划分出的各图像块分别进行直方图均衡化；采用方向梯度算子对反射图像进行边缘提取，并将提取到的边缘图像与反射图像融合；将增强后的光照图像和反射图像进行Retinex反变换，得到增强后的亮度分量，并将其联合色调分量和饱和度分量转换至RGB颜色空间，生成最终的增强图像。

图  1  基于多尺度局部直方图均衡化的矿井图像增强流程

Figure  1.  Flow of mine image enhancement based on multi-scale local histogram equalization

下载: 全尺寸图片 幻灯片

1.1   颜色空间转换与Retinex分解

HSI颜色空间中的亮度分量与色彩信息（色调分量和饱和度分量）相互独立，对亮度分量的处理不会影响颜色成分，因此将矿井RGB图像转换至HSI颜色空间更适于图像处理^[14]。二者转换公式为^[15]

式中：I，S，H分别为HSI颜色空间的亮度、饱和度、色调分量；R，G，B分别为RGB颜色空间的红、绿、蓝三原色分量。

Retinex理论认为，图像颜色不受光照条件的影响，而取决于物体对光照的反射特性，因此，可将图像看作是光照与物体对光照的反射相互作用的结果^[16]，即

式中：L为光照图像；F为反射图像。

为了简化计算和方便提取反射图像F，将式(5)转换到对数域，即

光照图像L可用滤波器f进行估计：

对式(6)进行恒等变换，得到反射图像：

传统的Retinex算法采用高斯滤波估计光照图像，但高斯滤波的各向同性难以表示图像的边缘信息。双边滤波能自动识别图像的平滑区域和细节区域，能更有效地保持图像的纹理边缘信息，使后续的图像增强效果更优。令g_i为亮度分量图像中像素i的灰度，N_i(d)为以像素i为中心、大小为d×d的邻域，则双边滤波定义为^[17]

式中W(i，j)为加权系数，由基于空间邻近测度的权值和基于像素相似测度的权值组成。

式中：D_i，j为像素i和像素j的空间距离；σ_d，σ_r分别为邻域像素在空间距离上的标准差和在灰度上的标准差。

高斯滤波与双边滤波效果对比如图2所示。可看出高斯滤波能平滑图像的边缘，而双边滤波能自动识别平滑区域和细节区域，实现平滑区域平滑处理和细节区域边缘保持的双重目标。

图  2  高斯滤波与双边滤波效果

Figure  2.  Effect of Gaussian filtering and Bilateral filtering

下载: 全尺寸图片 幻灯片

1.2   多尺度局部直方图均衡化

直接对图像进行直方图均衡化会合并部分频次较小的灰度级，而过度放大频次较大的灰度级，导致图像欠增强和过增强现象^[18]。因此，提出多尺度局部直方图均衡化方法，对光照图像进行2^2k (k为分解尺度)等分，然后分别进行直方图均衡化。参考文献[19]中多尺度小波分解思想，采用小、中、大3个尺度对图像进行划分，即k=2，1，0，分别代表小、中、大尺度。这3个尺度足以表达图像的局部与全局特征，尺度过多，对增强效果的提升很微小，但会指数级地增加计算复杂度，尺度过少则不足以表达图像的细微特征。

假设光照图像为n位图像，共有2ⁿ个灰度级，多尺度局部直方图均衡化方法步骤如下。

1） 对光照图像L进行2⁴等分，得到图像块L_1t(t=1，2，…，2⁴)，对L_1t进行直方图均衡化。

获取图像块L_1t的直方图：

式中sum(L_1t＝r)为统计图像块L_1t中灰度级为r的像素频次。

对直方图h_1t进行归一化和均衡化：

式中：$ h_{1t}' $为L_1t的直方图归一化结果；s_1t为L_1t的直方图均衡化结果。

根据s_1t进行灰度级映射，得到增强图像块：

式中round（·）为四舍五入取整函数。

2） 将上述增强的光照图像进行2²等分，得到图像块L_2t(t=1，2，3，4)，对L_2t进行直方图均衡化。

获取图像块L_2t的直方图：

对直方图h_2t进行归一化和均衡化，得

式中：$ h_{2t}' $为L_2t的直方图归一化结果；s_1t为L_2t的直方图均衡化结果。

根据s_2t进行灰度级映射，得到增强图像块：

3） 对上述局部直方图均衡化的光照图像进行全局直方图均衡化，得到多尺度局部直方图均衡化的增强光照图像L_e。

对图像进行上述逐尺度的直方图均衡化操作，能够保护频次较小的灰度级不被合并，且对其进行灰度级空间的拉伸，同时对频次较大的灰度级进行控制，避免产生过增强和噪声放大。

1.3   方向梯度增强

井下光照不足，导致图像照度低，且部分暗处的细节信息不能正常获取。为了进一步提升图像对比度，丰富图像的纹理细节，提出8方向梯度算子，如图3所示，可基本识别和表示图像中所有的纹理方向。

图  3  方向梯度算子

Figure  3.  Directional gradient operators

下载: 全尺寸图片 幻灯片

分别用8个方向的梯度算子提取反射图像F的方向梯度，然后求其均值梯度，并与反射图像F融合，得到细节增强的反射图像F_e。

式中：$ \otimes $为卷积运算符号；O_m为方向梯度算子，m=1，2，…，8，分别代表0，45，90，135，180，225，270，315°方向。

将经多尺度局部直方图均衡化的光照图像L_e和经方向梯度增强的反射图像F_e转换到对数域并进行Retinex反变换，得到增强的亮度分量I_e。

将I_e与色调分量H、饱和度分量S转换至RGB颜色空间，得到增强矿井图像。

2.   实验与结果分析

为了验证本文方法的有效性和实用性，采用本文方法对矿井图像进行增强，并与文献[6]、文献[8]、文献[12]和文献[13]方法进行对比。实验硬件为Intel(R) Core(TM) i9−10900 CPU和16 GiB内存，软件为Windows 10和Matlab 2021a。以煤矿井下实际监控图像（图4）为素材，根据增强图像的视觉效果（亮度、对比度和清晰度）进行主观评价，以信息熵^[20]和平均梯度^[21]为指标进行客观评价。

图  4  矿井低照度图像

Figure  4.  Mine low-light images

下载: 全尺寸图片 幻灯片

式中：e为图像的信息熵；P_J为像素取值为J的概率；A_g为图像的平均梯度；l₁，l₂分别为图像的高度和宽度；A_c,x，A_c,y分别为通道图像c在x方向（水平方向）和y方向（垂直方向）的梯度。

信息熵度量图像的有效信息量，信息熵越大，表示图像的细节信息越丰富；平均梯度度量图像的局部灰度变化，平均梯度越大，表示局部灰度变化越大，图像的对比度越高。

2.1   主观评价

不同方法对矿井低照度图像的增强效果如图5所示。可看出各方法均能在一定程度上改善矿井图像的视觉效果，提升图像的亮度、对比度和清晰度。文献[6]方法对直方图均衡化进行了改进，但经该方法增强的图像强光部分仍产生过增强现象，部分暗处的细节信息未能清晰显示。经文献[8]方法增强的图像亮度不足，隐藏于暗处的部分细节信息未正常显示，同时出现颜色失真，色彩偏淡。文献[12]方法的图像增强效果相对较好，图像保真度较高，但个别区域的光照分布依然不均。经文献[13]方法增强的图像亮度较暗，对比度稍低，部分细节出现轻微的模糊现象。而本文方法一方面借助HSI颜色空间的颜色信息与亮度分量的独立性来保持图像颜色信息不变，另一方面通过小、中、大3个尺度的局部直方图均衡化提升图像亮度和对比度，通过方向梯度增强图像细节信息，使得增强图像亮度充足，避免了过增强问题，且隐藏于暗处的图像信息得以正常显示，对比度较高，细节信息较丰富。

图  5  不同方法对矿井低照度图像的增强效果

Figure  5.  Enhancement effect of mine low-light images by different methods

下载: 全尺寸图片 幻灯片

2.2   客观评价

经不同方法增强的矿井低照度图像信息熵和平均梯度分别见表1和表2。

表  1  增强图像的信息熵

Table  1.  Information entropy of enhanced images

图像	经不同方法增强的图像信息熵
	未增强	文献[6] 方法	文献[8] 方法	文献[12] 方法	文献[13] 方法	本文 方法
1	6.85	7.54	7.64	7.59	7.68	7.93
2	6.16	7.13	7.35	7.39	7.32	7.91
3	5.84	6.64	6.91	7.01	6.96	7.74

下载: 导出CSV 

| 显示表格

表  2  增强图像的平均梯度

Table  2.  Average gradient of enhanced images

图像	经不同方法增强的图像平均梯度
	未增强	文献[6] 方法	文献[8] 方法	文献[12] 方法	文献[13] 方法	本文 方法
1	13.1	33.4	34.3	41.5	28.1	50.5
2	9.73	33.3	32.9	36.3	26.1	57.7
3	5.91	21.9	16.8	22.9	13.6	24.4

下载: 导出CSV 

| 显示表格

从表1可看出，经不同方法增强的矿井图像的信息熵均有所提升。经文献[6]方法增强的图像信息熵稍低，与该方法产生过增强、破坏部分图像信息相对应。经文献[8]和文献[13]方法增强的图像信息熵大致相同，均因亮度不足限制了信息熵的提高。经文献[12]方法增强的图像信息熵相对较高，增强图像的细节信息较丰富。经本文方法增强的图像信息熵较其他方法高，其中较文献[12]方法高7.23%，验证了本文方法能显著提升图像的有效信息量。

从表2可知，经不同方法增强的矿井图像平均梯度均有所提高。其中经文献[13]方法增强的图像平均梯度提升最小，结合图5可知该方法的增强图像亮度不足，且图像存在模糊问题，因此对比度较低。经本文方法增强的图像平均梯度提升最大，平均梯度均值较其他方法高31.6%以上，验证了本文方法可显著提升图像对比度和清晰度。

3.   结论

1） 基于多尺度局部直方图均衡化的矿井图像增强方法充分利用HSI颜色空间中颜色分量与亮度分量相互独立的特性，将亮度分量分解为光照图像和反射图像，分别对其进行多尺度局部直方图均衡化和多方向的梯度增强。

2） 实验结果表明，该方法可在避免图像欠增强和过增强的同时，有效提升图像的亮度和对比度，丰富图像的细节信息，较现有图像增强方法具有更优的增强效果。