0.   引言

煤矿井下综采工作面在非生产状态和生产状态下分别呈现不同场景，非生产状态下呈现的基本是无雾的清晰场景，而生产过程中采煤作业的煤尘和喷雾降尘操作^[1]会导致可视化远程视频图像含有不同浓度分布的雾气^[2]，使视频图像画面中关键目标的可视化效果变差，严重影响煤矿井下可视化远程干预性采煤控制及操作。

目前，应用较为广泛的去雾方法是基于大气散射模型在特定假设和约束条件下针对单张图像进行去雾处理^[3]。文献[4]利用同态滤波获取高清晰度图像，采用直方图均衡化增强图像对比度，提取准确的边缘信息，但是在图像局部区域易出现过曝光等问题。依据无雾图像比含雾图像局部对比度高的假设，文献[5]基于马尔可夫随机场提出了对比度最大化去雾方法，但该方法容易引起过补偿问题，造成去雾后图像颜色信息失真现象。文献[6]提出一种单幅含雾图像去雾方法，将含雾场景辐射度分解为反射率和亮度，然后基于独立成分分析估计场景的辐射度，但该方法时间复杂度过高且无法有效估计浓雾场景的辐射度。文献[7]基于暗通道先验（Dark Channel Prior, DCP）方法估计场景目标深度，从而实现单幅图像去雾，该方法在多数场景下简单有效，但对含天空区域较多的图像去雾效果不佳。文献[8-9]使用联合引导双边滤波对文献[7]中的透射率修正方法进行替换，提高了DCP方法的计算效率，但是仍无法满足实时应用要求。文献[10]采用Semi-inverse方法快速获取图像中的含雾区域，从而实现大气光值和投射图估计，该方法可以实现单张图像的去雾，但无法实现视频去雾。文献[11]利用阶乘马尔可夫随机场模型计算反射率和目标深度，但计算复杂度较高。文献[12]基于含雾图像中的固有边界约束提出一种有效的正则化去雾方法，可以很好地处理有雾图像的细节部分，但容易出现局部透射率估计不准确、颜色失真和对比度过饱和等问题。文献[13]提出了对边界约束进行双边滤波优化的图像去雾方法，解决了图像过曝光的问题，但无法实现端到端的去雾操作，且去雾处理时间较长。在视频去雾方面，文献[14]提出一种实时视频去雾方法（以下称Kim方法），在考虑视频图像信息损失的同时增强含雾图像的对比度，根据视频的时间连续性加速透射率估计，但当场景中存在雾浓度变化的视频时，去雾后易出现明显的闪烁现象。文献[15]先估计一个初始的透射图，再利用边缘保持滤波方法精调后得到最终的透射图，但没有考虑视频序列中的时间连续性因子。文献[16]利用场景中的地理信息获取图像中目标的深度值，提高了去雾结果的鲁棒性，但需要额外的场景信息。文献[17]首次提出一种端到端的网络模型，直接学习并估计传输率与有雾图像的关系，取得了很好的去雾效果，但是需要GPU显卡实现模型推理。尽管当前的视频图像去雾处理方法在一定程度上取得了很好的发展，但这些方法中一部分是基于特定假设和约束条件提出的，在一些特殊场景下无法取得很好的去雾效果。另外一部分方法是基于深度学习模型推理，需要利用GPU显卡实现模型推理，过高的计算成本限制了基于深度学习的去雾方法的应用。

煤矿井下工作面的通风作业和喷雾装置的启停会引起场景中雾气浓度变化。这种动态变化使得井下的视频图像呈现出明显的雾气飘动，雾气飘动现象会导致视频实时去雾处理后相邻序列帧图像的局部亮度差异性较大，具体表现为去雾后视频图像画面闪烁，严重影响其可视化视觉效果。

针对上述问题，本文基于颜色衰减先验^[18]提出一种煤矿井下工作面视频雾浓度检测及实时去雾方法。首先，针对雾气浓度变化，在生产状态下有针对性地对视频图像执行去雾处理操作，而在非生产状态下不执行去雾处理操作，从而有效节约处理计算资源，并为降尘喷雾操作自动调节提供反馈信息。其次，在视频实时去雾处理过程中，使用颜色衰减先验对视频时间连续性因子进行矫正，减小视频相邻帧之间的透射率误差，减轻去雾后视频图像画面的闪烁现象。

1.   大气散射模型

在计算机视觉中，大气散射模型^[19]广泛用于图像去雾，即

式中：$I(x)$为有雾图像；x为像素块内的像素点；$J(x)$为无雾图像；$t(x)$为透射率，$t(x) \in {\text{[0, 1]}}$；$A$为全局大气光值；$\rho $为衰减系数，由于光线经过长距离传播会变得发散，故$\rho $=1；$d(x)$为像素点$x$在物理世界的实际深度。

在自然无雾场景下，场景中的目标对光源进行反射，由于传播介质均匀单一，到达相机中的光能量损失很小，此时$ J\left( x \right)t\left( x \right) $对观测到的颜色贡献较大，因此最终的图像呈现出明艳的视觉效果。在雾气场景下，大气中的雾会削弱目标反射的能量，导致到达相机的光能量损失较大，最终观测到的颜色主要由$ A\left( {1 - t\left( x \right)} \right) $构成，在加强图像亮度（大气光值成分）的同时降低了饱和度（原图像的颜色信息）。

2.   雾浓度检测方法

颜色衰减先验指出，含雾图像的亮度值和饱和度值随着雾浓度的增加发生显著变化^[18]，如图1所示。对于无雾区域，其亮度值和饱和度值都相对较高且二者的差别很小；随着雾浓度的增加，区域的亮度值增大，而饱和度值则急剧减小，亮度值和饱和度的差值也急剧增大；浓雾区域内的亮度值持续增大，饱和度持续减小，亮度值和饱和度的差值也达到最大。

图  1  不同含雾浓度像素块的亮度值与饱和度值差异

Figure  1.  The difference of brightness values and saturation values of different fog densty

下载: 全尺寸图片 幻灯片

将图像从RGB颜色空间转换到HSV空间，按照固定大小将图像划分为多个像素块。对于每个像素块D，根据颜色衰减先验计算图像的雾浓度。

式中：g(x)为雾浓度；N为像素块D中的像素点总数；v(x)、s(x)和h(x)为图像在HSV空间的各个通道。

煤矿井下雾浓度检测方法包括雾浓度图的计算、雾浓度图的修正、雾浓度图阈值二值化操作、含雾图像判别等。方法流程如图2所示。

图  2  雾浓度检测方法流程

Figure  2.  Process of fog concentration detection algorithm

下载: 全尺寸图片 幻灯片

首先，对输入图像进行颜色空间转换，将原始图像的颜色空间RGB转换到HSV空间。其次，基于颜色衰减先验计算像素点雾浓度值。利用像素所在区域的饱和度均值和方差差值对雾浓度进行修正。最后，使用二值化对雾浓度分布进行处理，使用二值图提取最大的含雾连通区域，计算提取到的连通区域的面积大小，如果连通区域的面积大于阈值，则确定图像为含雾图像，否则为无雾图像。

3.   煤矿井下视频实时去雾

3.1   全局大气光值估计

根据大气散射模型可知，大气光值的估计精度直接影响后续透射率估计的准确性。因此，为获得正确的透射率值，需要准确估计全局大气光值。

大气散射模型表明，场景目标颜色反射光的散射效应会随着雾浓度的增大而加强，导致图像场景中的颜色变亮。因此通常将图像中最亮的颜色作为全局大气光值，但是场景中会有一些目标的颜色比大气光值还亮（如煤矿井下工作面中的照明光源），如果仍然使用最亮的颜色作为全局大气光值就会导致估计错误，从而影响后续透射率的准确估计。因此，本文先使用四叉树层级搜索方法找到一个均值与方差之差最小的矩形区域，再计算该区域内的最亮值，并将其作为全局大气光值，通过这种层级搜索方法可以有效避免图像中多光源对全局大气光值估计的影响。

3.2   单张视频图像透射率估计

通常情况下，含雾像素块的对比度较小，去雾后像素块的对比度会随着透射率变小而增大。

按照固定大小将图像划分为多个像素块。假设在像素块D内的场景深度相同，则像素块D内所有像素点的透射率t(x)相同。

对于每个像素块D，其对比度$ {C_{{\text{MSE}}}} $为

式中：c为R、G、B三通道的索引序号；$ {J_c} $为单通道无雾图像；$ {\bar J_c} $为像素块D内$ {J_c}\left( x \right) $的均值。

将式（4）代入式（5）可得

式中：I_c(x)为单个通道的有雾图像；$ {\overline I _c} $为像素块D内$ {I_c}\left( x \right) $的均值。

由式（4）可知，输出值$ J\left( x \right) $是输入值$ I\left( x \right) $的线性函数，如图3所示。可看出当输入值$ I\left( x \right) $的取值为$ [a,b] $时，其映射的输出值$ J\left( x \right) $会落在$ [0,255] $，而输入值的取值又直接依赖于透射率值t。对于在$ [a,b] $之外的输入值，其输出值$ J\left( x \right) $就会被截断，从而引起图像颜色信息损失。

图  3  输出$ J\left( x \right) $和输入$ I\left( x \right) $之间的线性关系

Figure  3.  Linear relationship between output $ J\left( x \right) $ and input $ I\left( x \right) $

下载: 全尺寸图片 幻灯片

由式（6）可知，$ {C_{{\text{MSE}}}} $是透射率t的单调递减函数，透射率t过小会使恢复后的像素值截断数目过多，导致图像颜色信息损失严重。因此，在最大化对比度的同时，应该最大程度降低图像颜色信息损失。

将透射率的估计问题转换为求解代价函数E的最小值。

式中：$ {E_{\rm{C}}} $为对比度代价函数；$ {E_{\rm{I}}} $为图像颜色信息损失代价函数。

根据图像颜色信息损失最小的约束条件可知，透射率t应满足以下条件：

式中A_c为单通道的大气光值。

对比度代价函数$ {E_{\rm{C}}} $是关于t的单调递减函数，因此最优透射率${t^ * }$是满足式（11）的最小值。即

3.3   时间连续性因子

将视频帧作为单张图像进行处理，需要对每帧图像进行透射率估计。一方面，对每帧图像应用单张图像的去雾方法计算复杂度高，无法复用相邻帧的透射率估计信息，从而破坏视频帧的时间连续性；另一方面，这会导致相邻帧之间的透射率估计误差较大，也会引起局部闪烁现象，严重影响去雾后视频序列的视觉效果。因此，利用含雾视频序列帧的时间连续性信息提高透射率估计的准确性。

对于连续视频帧而言，场景中目标的运动或相机的运动会引起透射率的变化。当目标靠近相机时，观察到的颜色接近原始场景颜色；而当目标远离相机时，观察到的颜色接近全局大气光值。因此，通过每个像素点亮度的变化来自适应地修改透射率的值。由文献[14]可知，只使用亮度分量的去雾结果与使用RGB分量的去雾结果几乎相同。但是雾气会使场景未发生变化的2张相邻视频图像中估计得到的透射率误差增大，从而导致去雾后的相邻视频帧的颜色亮度差异较大，具体表现为去雾后视频中出现局部闪烁现象。

假设一个场景点在连续2帧内的场景点颜色相同，则对于无雾图像的亮度分量v，有

式中$ {\tau _k}(x)\; $为第k帧的时间连续性因子，表示相邻2帧图像的透射率之比。

在场景目标几乎没有变化的情况下，某个场景点在连续2帧内的场景点颜色相同。然而，场景目标可能发生运动，此时第k−1帧中的像素位置x就会出现在第k帧的其他像素位置上。为了解决这一问题，文献[14]提出一种简单的概率模型来估计2幅图像中的场景变化。在煤矿井下工作面场景中，雾气飘动会导致相邻2帧图像的像素亮度值出现差异，但是这种情况并不属于场景变化。因此基于颜色衰减先验，计算相邻帧图像的亮度分量v和饱和度分量s的差异，建立雾气飘动场景变化概率模型。

式中：${\omega _k}(x)$为场景可能发生变化的概率；${\lambda _{\text{v}}}$为亮度分量差异因子；d_v为相邻2帧的亮度分量差，${d_v} = $$ I_k^v(x){{ - }}I_{k{{ - }}1}^v(x) $；d_s为相邻2帧的饱和度分量差，${d}_{s} $= ${I}_{k}^{s}(x){-}{I}_{k{-}1}^{s}(x) $。

在正常的雾气静止场景中，根据式（15）可知，$I_k^v(x)$和$I_{k{{ - }}1}^v(x)$且$I_k^s(x)$和$I_{k{{ - }}1}^s(x)$越相似，则${\omega _k}(x)$的值就越大，说明2个像素点是可匹配的；当场景中只有雾气飘动而没有目标运动时，$I_k^v(x)$和$I_{k{{ - }}1}^v(x)$较为相似但$I_k^s(x)$和$I_{k{{ - }}1}^s(x)$相差较大，在${\lambda _{\text{v}}}$的作用下${\omega _k}(x)$的值相对较大，说明2个像素点是可匹配的；当场景中只有目标运动而没有雾气飘动时，$I_k^v(x)$和$I_{k{{ - }}1}^v(x)$的差值及$I_k^s(x)$和$I_{k{{ - }}1}^s(x)$的差值较大，在${\lambda _{\text{v}}}$的作用下${\omega _k}(x)$的值仍然很小，说明2个像素点是不可匹配的。

类似地，计算像素块D的时间连续性因子：

使用场景变化概率${\omega _k}(x)$对时间连续性因子$ {\tau _k}(x) $加权，可以准确反映相邻2帧的透射率变化情况。

对每个像素块D，时间连续性代价函数为

式中$ {\bar \omega _k} $为相邻帧对应像素块的相似性，${\overline \omega _k} = $$\dfrac{1}{{{N}}} \displaystyle \sum\limits_{x \in D} {{\omega _k}(x)}$。

3.4   去雾方法代价函数

去雾方法需要优化的总代价函数为

式中：$ {\lambda _{\rm{I}}} $为图像颜色信息权重；$ {\lambda _{\rm{T}}} $为时间连续性权重。

通过计算总代价函数E的最小值，得到最优的透射率值。$ {\lambda _{\rm{I}}} $和$ {\lambda _{\rm{T}}} $可以控制各个代价函数对总代价函数的影响。以$ {\lambda _{\rm{I}}} $为例，较大的$ {\lambda _{\rm{T}}} $对局部闪烁现象的抑制效果更明显；$ {\lambda _{\rm{T}}} $过大会造成其他代价函数对总代价函数的贡献减小，从而导致所有视频图像帧估计得到的透射率值几乎相同。因此需要在去雾结果对比度增强效果、颜色信息损失和局部闪烁现象之间权衡，以选择合适的$ {\lambda _{\rm{I}}} $和$ {\lambda _{\rm{T}}} $。

3.5   视频序列透射率修正

实际场景中某个像素块内可能包含多个场景目标，因此其场景深度和透射率是变化的。如果使用基于像素块的透射率对含雾图像进行恢复，去雾后的图像会出现块状现象。因此，使用引导滤波^[20]方法将基于像素块的透射率修正为基于像素点的透射率，在还原图像细节的同时减轻或消除块状现象。

利用引导滤波对图像I(x)进行处理：

式中：$ \hat t(x) $为滤波后的透射率；S为缩放系数；b为偏置值。

对于任意窗口，使用最小二乘法最小化初始透射率$ t(x) $和滤波后的透射率$ \hat t(x) $之间的误差，可以获得S和b的最优值S^*和b^*。

4.   实验结果及分析

4.1   雾浓度检测结果

在无雾的视频图像上应用去雾方法易造成CPU资源的浪费，通过雾浓度检测方法判断视频图像是否为有雾状态，有针对性地对含雾视频图像进行去雾处理，可以高效地利用处理器的计算资源。

使用煤矿井下工作面场景的生产班图像和检修班图像测试雾浓度检测方法，实验中有雾区域的像素总数阈值设置为图像中所有像素数目的20%。煤矿井下工作面无雾图像和含雾图像检测到的雾浓度结果如图4所示。可看出雾浓度检测方法可以准确地计算出图像场景中的雾浓度分布，并在雾浓度分布图上提取最大的含雾连通区域。图4（b）右侧含雾图像中提取到的雾浓度最大连通区域（即绿色标注区域）像素占图像总像素数的38.693%，该值大于雾浓度阈值20%，则认为该图像为含雾图像，并对该图像进行去雾处理。图4（b）左侧无雾图像中提取到的雾浓度最大连通区域像素数占图像总像素数的5.175%，该值小于雾浓度阈值20%，则认为该图像为无雾图像，不需要对该图像进行去雾操作。因此，根据含雾图像识别结果自动忽略无雾图像，有选择性地对有雾图像进行去雾处理。

图  4  含雾图像和无雾图像的雾浓度检测结果

Figure  4.  Fog concentration detection results for fog-containing images and non-fog images

下载: 全尺寸图片 幻灯片

4.2   视频实时去雾效果

为了验证本文方法的去雾效果，将其与Kim方法^[14]应用在煤矿井下工作面含雾场景视频中，并进行对比。实验硬件配置如下：Intel Core i7 3.20 GHz，RAM 16 GiB， 2 666 MHz，使用并行计算库OpenMP^[21]来加速透射率估计和视频图像恢复运算。

用本文方法对煤矿井下工作面的不同区域（支架区域和煤壁区域）及不同雾浓度（中等雾浓度和较高雾浓度）的生产视频进行去雾处理。对含雾视频和去雾后视频等间隔抽取6帧序列号相同的图像，如图5所示。可看出每组图像中去雾后视频图像对比度明显增强，视觉效果也更加明亮清晰。煤矿井下支架区域场景中通常会出现多光源造成的明亮区域，本文方法可以很好地估计此类图像中的大气光值并进行有效去雾。针对煤壁区域中含雾浓度较高的视频图像，本文方法也可正确估计图像含雾浓度并实现有效去雾。

图  5  煤矿井下工作面支架区域、煤壁区域不同含雾浓度场景去雾前后效果

Figure  5.  The effect before and after fog removal in different fog concentration scenarios in underground working face support area and coal wall area

下载: 全尺寸图片 幻灯片

准确的透射率估计会在很大程度上有效抑制去雾后视频中的闪烁现象，去雾后视频序列相邻帧之间的差异越大，闪烁现象越明显。计算视频连续2帧之间的均方误差：

式中n为图像中的像素个数。

针对煤矿井下场景原始含雾视频、用本文去雾方法和Kim方法得到的去雾视频，计算各个视频相邻帧之间的均方误差，截取其中50帧绘制均方误差曲线，如图6所示。

图  6  2种视频去雾方法的结果图像和原始含雾图像的相邻帧之间的均方误差曲线

Figure  6.  Mean square error curves between adjacent frames of two video defogging result images and original fog-containing images

下载: 全尺寸图片 幻灯片

从图6可看出，原始含雾视频相邻帧之间的均方误差最小，说明原始含雾视频中雾气的存在会导致图像中全局大气光值成分较多，相邻帧的像素亮度差异较小。与Kim方法相比，采用本文方法时，视频中相邻图像的均方误差值在整体上均相对较低。特别地，在均方误差值相对较低（35以下）的区域，用本文方法得到的均方误差曲线在Kim方法的均方误差曲线下方，说明本文方法对连续场景视频去雾后，视频相邻帧的均方误差值减小，有效抑制了去雾结果视频的闪烁现象。相应地，图6中尖峰位置表示视频去雾后相邻帧的均方误差较大，且2个视频去雾方法在尖峰位置处的均方误差值近似相等，此时图像中的场景发生变化，场景变化概率模型自适应地降低时间连续代价函数的权重，使用对比度代价函数和颜色信息损失代价函数估计含雾图像的透射率值，可在场景变化时取得理想的去雾效果。

为验证本文方法的运算效率，采用本文方法和Kim方法对煤矿井下场景有雾视频进行去雾处理，截取50帧，统计每帧图片的处理时间和去雾前后相邻帧之间均方误差值小于35的均值，统计结果见表1。

表  1  不同去雾方法去雾后的视频相邻帧均方误差值和消耗时间统计

Table  1.  Statistics of mean square error value and consumption time of adjacent video frames after different fog removal methods

去雾方法	均方误差均值	每帧处理时间/ms
Kim方法	17.29	33
本文方法	13.03	35

下载: 导出CSV 

| 显示表格

由表1可看出，本文方法的去雾结果视频相邻帧之间的均方误差均值较Kim方法减小4.26，提高了相邻帧之间的相似性，进一步抑制了相邻帧之间的图像闪烁现象。在运行时间方面，本文方法每帧处理时间较Kim方法增加了2 ms，但其每帧处理时间小于40 ms，满足实时性要求。

5.   结论

1） 雾浓度检测方法可以准确地计算出图像场景中的雾浓度分布，并在雾浓度分布图上提取最大的含雾连通区域。

2） 用煤矿井下工作面视频雾浓度检测及实时去雾方法对煤矿井下工作面的不同区域（支架区域和煤壁区域）及不同雾浓度（中等雾浓度和较高雾浓度）的生产视频进行去雾处理，去雾后视频图像对比度明显增强，视觉效果也更加明亮清晰。

3） 与Kim方法相比，采用本文去雾方法时，视频中相邻图像的均方误差值在整体上均相对较低，有效抑制了去雾结果视频的闪烁现象；使用对比度代价函数和颜色信息损失代价函数估计含雾图像的透射率值，可在场景变化时取得理想的去雾效果。

4） 在去雾处理中，使用颜色衰减先验和场景变化概率模型对视频时间连续代价函数进行矫正，去雾后的视频相邻帧的均方误差均值比Kim方法减小4.26，可有效抑制去雾后视频图像画面闪烁现象。视频去雾实验结果表明，所提去雾方法可以实现不同场景和不同雾浓度下的视频去雾，方法运行时间为35 ms每帧，满足实时去雾应用场景要求。