实验研究

煤矿井下雾尘图像清晰化算法

吴开兴1,2, 张琳1,2, 李丽宏1,2

(1.煤矿综合信息化河北省工程实验室, 河北 邯郸 056038;2.河北工程大学 信息与电气工程学院, 河北 邯郸 056038)

摘要:针对由于煤矿井下环境存在大量煤尘、水雾,监控图像出现模糊、退化现象的问题,提出一种基于暗原色原理和主成分分析的煤矿井下雾尘图像清晰化算法。该算法基于大气散射模型,根据暗原色原理计算透射率;用主成分分析法得出能够充分反映雾尘图像信息的亮度、饱和度及对比度,通过对这些指标进行加权处理来计算大气光值,实现了对煤矿井下雾尘图像的清晰化处理。仿真结果表明,该算法可较大程度地还原图像细节,并保持图像的真实性和结构完整性,实时性较好。

关键词:井下视频监控; 雾尘图像; 清晰化算法; 暗原色原理; 主成分分析

0 引言

视频监控在煤矿安全生产中扮演着重要的角色,它能够将井下作业信息及时反馈给生产指挥者,从而指导井下生产有序进行并及时处理危险情况[1-2]。然而,煤矿井下环境恶劣,生产中有大量粉尘产生,并且井下除尘装置会产生大量水雾[3-4],使得监控视频获取的图像对比度及色彩饱和度下降,导致整体模糊,限制了对图像的进一步分析与利用[5]。因此,对煤矿井下监控图像进行清晰化处理具有非常重要的意义。

雾尘图像清晰化处理方法主要分为两类:一类是基于图像增强技术的清晰化方法,另一类是基于物理模型的图像清晰化方法。其中,使用广泛且效果显著的是基于物理模型的方法,该方法根据大气散射模型来恢复图像原始场景[6-9]。陈书贞等[10]通过对大量清晰图像与雾尘图像的统计对比,发现两者之间存在较高的对比度差异,通过恢复对比度的最大值,可实现图像清晰化。但该算法是一种基于图像增强的算法,没有考虑大气散射模型及雾尘图像的退化过程。He K等[11]提出一种基于暗原色原理先验的清晰化算法(简称HE算法),该算法和大气散射模型相结合,利用软抠图技术达到清晰化效果。但是,当目标场景颜色与大气光相似时,该算法清晰化效果很不理想,如对于天空或者大面积白色物体等不符合暗原色原理的区域,其处理后会出现非常严重的亮度下降和偏色失真的现象[12],另外,软抠图技术算法复杂度高,处理速度慢。

针对以上问题,本文在文献[11]的基础上,提出一种基于暗原色原理和主成分分析(Principal Components Analysis,PCA)法的煤矿井下雾尘图像清晰化算法。该算法根据暗原色原理计算大气散射模型中的透射率,并利用PCA法建立雾尘图像像素间的线性关系,提高了大气光值计算的准确度。该算法细节处理较为突出,可对图像整体进行较为全面的处理,能够有效消除井下雾尘对监控画面的影响。

1 煤矿井下雾尘图像清晰化算法

煤矿井下雾尘图像清晰化处理过程如图1所示。

图像清晰化处理步骤:

图1 煤矿井下雾尘图像清晰化处理过程
Fig.1 Sharpening process of fog and dust images in underground coal mine.

(1) 根据已知煤矿井下雾尘图像,分别提取R,G,B三个颜色通道的像素值,并进行比较,将像素值最小的通道图视为暗通道图像。根据暗原色原理计算透射率。

(2) 根据已知图像的数据矩阵,计算其协方差矩阵、特征值及正交化单位矩阵。

(3) 根据步骤(2)得出的3个参数值,将雾尘图像的原数据矩阵正交变换为综合参数,并用PCA法选择主要参数。

(4) 为主要参数赋予相应的权重,计算大气光值。

(5) 根据透射率和大气光值,结合大气散射模型,进行雾尘图像清晰化处理。

1.1 透射率的计算

根据大气散射理论[13],在雾尘条件下,大气散射模型可描述为

I(x,y)=J(x,y)t(x,y)+A[1-t(x,y)]

(1)

式中:I(x,y)为雾尘图像像素值二维矩阵;J(x,y)为清晰图像像素值二维矩阵;t(x,y)为透射率,指太阳光在雾尘条件下的透过程度;A为雾尘条件下的大气光值。

根据暗原色原理,图像中R,G,B三个颜色通道中最暗的一条通道定义为

(2)

式中:Ω(x,y)表示图像J中以像素点(x,y)为圆点的区域,通常情况下设为大小为定值的正方形模板;Jc(x,y)表示图像J的某一个颜色通道像素值的二维矩阵。

将式(2)代入式(1)并进行归一化处理可得

(3)

式中:Ic(x,y)为雾尘图像I某一个颜色通道的像素值二维矩阵;Ac为某一个颜色通道的大气光值。

假设每一个窗口的像素值为N×N,窗口内透射率为定值(x,y),对式(3)等号两边分别进行2次最小化运算处理,并将式(2)代入式(3),得

(4)

1.2 大气光值的计算

1.2.1 PCA原理

大气光值通常是通过图像中最不透明的浓雾区域的像素值进行估算的。文献[11]为了简化算法,直接选择图像中亮度最大的像素值来估算大气光值。但是实际情况中,雾尘图像中亮度最大的像素值可能来自于图像中的光源或者白色物体,直接利用这些像素值进行大气光值的估算,得到的结果并不准确。因此,本文利用PCA原理,分析出形成雾尘图像的主要因素,再进行大气光值的计算。

PCA的主要原理是用一组综合指标Fm代替原变量X1X2,…,Xp(p为雾尘图像像素值二维矩阵的行列数),两者之间的置换依赖一个正交变换关系[14],其中原指标具有某种相关性且数量较大,因此分析时难度和工作量较大,而综合指标Fm数量较小且互不相关。综合指标数学表达式为

(5)

根据以上分析可知:

(1) 已知Fm之间互不相关,并有Var(Fi)=aiΣai,其中ΣX的协方差矩阵,i=1,2,…,m

(2)F1F1F2,…,Fm中方差最大的。

1.2.2 大气光值计算步骤

利用PCA估算大气光值的具体步骤:

(1) 计算已知雾尘图像数据矩阵的协方差矩阵。已知雾尘图像的数据矩阵为二维矩阵,因此,其协方差矩阵为

Σ=(sij)p×p

(6)

式中sij为雾尘图像像素值二维矩阵的方差,其表达式为

(j=1,2,…,p)

(7)

式中:xik为二维矩阵中第i行第k列的数据值;为二维矩阵中第i行数据的平均值;xkj为二维矩阵中第k行第j列的数据值为二维矩阵中第j列数据的平均值。

(2) 计算Σ的特征值λi及其相应的正交化单位矩阵aiΣ的前m个特征值就是前m个原变量的方差,λi对应的单位矩阵ai就是正交变换中原变量的系数,则根据式(5),原变量的第i个指标为Fi

(3) 在F1F2,…,Fm中选择主成分。需要考虑的因素主要有以下2点:

① 根据方差贡献率选择主成分。方差贡献率αi是反映主成分所包含信息量大小的指标参数,其数学表达式为

(8)

式中λi为矩阵Σ的特征值。

根据主成分所包含信息量的大小,由大到小排列,筛选出前50%的主成分变量。

② 通过方差(信息)累计贡献率G(m)确定主成分变量,G(m)数学表达式为

(9)

若步骤①筛选出的主成分累计贡献率大于85%,则证明这些主成分能够充分反映原变量的信息。因此,可确认选择前m个综合指标为主成分。

(4) 对主成分进行加权处理,并用式(10)计算大气光值:

(10)

式中wi为权重,

2 仿真分析

为了验证所提算法的实时性和有效性,利用Matlab软件对分辨率为1 024×768的煤矿井下图像进行清晰化处理仿真。

2.1 主成分特征分析

根据文献[15]选取图像指标参数:亮度、饱和度、对比度、方差、信息熵、均方误差、相关性纹理、信噪比、平滑度、噪声分析、平均梯度、偏移量。对上述参数进行指标化处理,并在Matlab中求出雾尘图像的协方差矩阵、特征值和贡献率,结果见表1。

由表1可知,主成分亮度、饱和度及对比度的累计贡献率达到97.938%,其余9个主成分的累计贡献率仅为2.062%。若将前3个主成分视为综合指标,则信息的丢失量仅为2%,可以反映原12个指标的大部分信息。因此选用主成分亮度、饱和度及对比度为综合指标来代替原来的12个原始指标,以降低大气光值的计算量,提高计算效率。

表1 主成分特征值和贡献率
Table 1 Eigenvalues and contribution rates of principal components

指标方差贡献率/%累计贡献率/%亮度50.79550.795饱和度38.74489.539对比度8.39997.938方差0.76198.699信息熵0.41199.110︙︙︙偏移量0.01699.984噪声分析0.009100

2.2 仿真结果对比

用本文算法进行清晰化处理后的图像如图2所示。由图2可知,本文算法能够有效去除图像中雾尘带来的消极影响,较好地改善降质图像的质量,凸显图像细节。

用本文算法、HE算法、自适应对比度算法对4幅图像进行处理,3种算法处理数据见表2,处理效果如图3所示。表2中PSNR为峰值信噪比,其值越大,表示失真越少;SSIM为结构相似性,是一种衡量2幅图像相似度的指标。图3中从左至右依次为图像1—图像4,原始图像的信息熵分别为6.665 8,6.931 4,7.259 3,6.098 9。

(a) 原始图像

(b) 暗原色原理图像

(c) 透射率图像

(d) 清晰图像

图2 清晰化处理结果
Fig.2 Sharpening results

表2 3种算法处理数据对比
Table 2 Comparison of sharpening data of three algorithms

图像清晰化算法运行时间/ms信息熵PSNRSSIM图像1750×500本文算法9.25617.675465.23960.3952HE算法12.95087.023764.35390.2868自适应对比度算法7.45767.556463.47040.3871图像2300×210本文算法2.79157.552366.91580.6763HE算法5.09017.109266.62080.4115自适应对比度算法2.60487.256764.11850.5865图像3400×600本文算法8.08767.538362.97520.5501HE算法15.11467.137161.39080.5090自适应对比度算法9.71217.211762.79530.5406图像41024×768本文算法25.48077.688262.97550.4831HE算法46.28817.596762.79020.4807自适应对比度算法47.91327.288360.26650.4224

由表2和图3可知,对于不同分辨率的雾尘图像,本文算法与HE算法、自适应对比度算法相比,运行时间有了一定程度的提升,实时性较好;经本文算法处理后图像的信息熵比原始图像的信息熵大,表明图像包含的信息量增大,并且本文算法的信息熵值在3种算法中最大;根据PSNR与SSIM可知,本文算法在处理过程中失真较少,图像结构完整性较好。

(a) 原始图像

(b) 本文算法

(c) HE算法

(d) 自适应对比度算法

图3 3种算法的处理结果对比
Fig.3 Comparison of sharpening results of three algorithms

3 结语

提出了基于暗原色原理和PCA法的煤矿井下雾尘图像清晰化算法,并在Matlab上进行了仿真。该算法根据暗原色原理计算透射率,用PCA法更加精确全面地估算大气光值,具有运行速度快、清晰化效果佳、细节处理较为突出的特点。但是,该算法存在一定的不足,即在透射率与大气光值的求解过程中,两者是相对独立的,没有建立相关联系。今后将针对不足之处进行进一步的研究。

参考文献(References):

[1] 智宁,毛善君,李梅. 基于照度调整的矿井非均匀照度视频图像增强算法[J]. 煤炭学报,2017,42(8):2190-2197.

ZHI Ning, MAO Shanjun, LI Mei. Enhancement algorithm based on illumination adjustment for non-uniform illuminance video images in coal mine[J]. Journal of China Coal Society, 2017, 42(8): 2190-2197.

[2] 杜明本,陈立潮,潘理虎. 基于暗原色理论和自适应双边滤波的煤矿尘雾图像增强算法[J]. 计算机应用,2015,35(5):1435-1438.

DU Mingben, CHEN Lichao, PAN Lihu. Enhancement algorithm for fog and dust images in coal mine based on dark channel prior theory and bilateral adaptive filter[J]. Journal of Computer Applications, 2015,35(5):1435-1438.

[3] 赵艳芹,王振翀,付喜辉. 基于煤矿视频监控系统的图像增强方法研究[J]. 煤矿机械,2012,33(5):63-65.

ZHAO Yanqin, WANG Zhenchong, FU Xihui. Research on image enhancement based on coal mine video monitoring system[J]. Coal Mine Machinery, 2012,33(5):63-65.

[4] 陈长华,刘煜. 基于两次双边滤波的煤矿监控图像去雾研究[J]. 图学学报,2017,38(3):418-424.

CHEN Changhua, LIU Yu. Research on coal mine monitoring image based on twice bilateral filter[J]. Journal of Graphics, 2017, 38(3):418-424.

[5] 张谢华,张申,方帅,等. 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报,2014,39(1):198-204.

ZHANG Xiehua, ZHANG Shen, FANG Shuai, et al. Clearing research on fog and dust images in coal mine intelligent video surveillance[J]. Journal of China Coal Society, 2014, 39(1):198-204.

[6] 刘海波,杨杰,吴正平,等. 基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J]. 自动化学报,2015,41(7):1264-1273.

LIU Haibo,YANG Jie,WU Zhengping,et al. A fast single image dehazing method based on dark channel prior and Retinex theory[J]. Acta Automatica Sinica,2015,41(7):1264-1273.

[7] KIM J H,JANG W D,SIM J Y,et al. Optimized contrast enhancement for real-time image and video dehazing[J]. Journal of Visual Communication and Image Representation,2013,24(3): 410-425.

[8] 黄鹤,宋京,王会峰,等. 雾霾天气下基于二次滤波的交通图像去雾算法[J]. 科学技术与工程,2016,16(30):274-277.

HUANG He, SONG Jing, WANG Huifeng, et al. The traffic image defogging algorithm based on twice filter in haze weather[J]. Science Technology and Engineering, 2016, 16(30):274-277.

[9] 刘万军,赵庆国,曲海成. 变差函数和形态学滤波的图像去雾算法[J]. 中国图象图形学报,2016,21(12):1610-1622.

LIU Wanjun, ZHAO Qingguo, QU Haicheng. Image defog algorithm based on variogram and morphological filter[J]. Journal of Image and Graphics, 2016, 21(12):1610-1622.

[10] 陈书贞,任占广,练秋生. 基于改进暗通道和导向滤波的单幅图像去雾算法[J].自动化学报,2016,42(3):455-465.

CHEN Shuzhen,REN Zhanguang,LIAN Qiusheng. Single image dehazing algorithm based on improved dark channel prior and guided filter[J]. Acta Automatica Sinica,2016,42(3):455-465.

[11] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12): 2341-2353.

[12] 戴声奎. 去雾算法中天空区域直方图分析与模式识别[J]. 信号处理,2015,31(12):1598-1604.

DAI Shengkui. Histogram analysis and pattern recognition of sky region in defogging algorithm[J]. Journal of Signal Processing, 2015, 31(12): 1598-1604.

[13] MCCARTNEY E J. Optics of atmosphere:scattering by molecules and particles[M].New York: John Wiley and Sons Inc,1976.

[14] 霍雷刚,冯象初. 基于主成分分析和字典学习的高光谱遥感图像去噪方法[J]. 电子与信息学报,2014,36(11):2723-2729.

HUO Leigang, FENG Xiangchu. Denoising of hyperspectral remote sensing image based on principal component analysis and dictionary learning[J]. Journal of Electronics & Information Technology, 2014, 36(11): 2723-2729.

[15] 杜宏博,王丽会. 基于改进暗原色先验模型的快速图像去雾方法[J]. 计算机工程与应用,2016,52(1):178-184.

DU Hongbo, WANG Lihui. Fast image de-hazing method based on an improved dark channel prior model[J]. Computer Engineering and Applications, 2016,52(1):178-184.

Sharpening algorithm for underground images with fog and dust

WU Kaixing1,2, ZHANG Lin1,2, LI Lihong1,2

(1.Hebei Provincial Engineering Laboratory of Coal Mine Comprehensive Information, Handan 056038, China; 2.College of Information and Electrical Engineering, Hebei University of Engineering, Handan 056038, China)

Abstract:In view of fuzzy and degenerated images in coal mine environment due to presence of large amounts of coal dust and water mist, a sharpening algorithm based on dark primary principle and principal component analysis was proposed. Based on atmospheric scattering model, transmittance is calculated according to the dark primary principle. The principal component analysis is used to obtain brightness, saturation and contrast, which can fully reflect fog image information. Atmospheric light value is calculated by weighting these indexes, so as to realize sharpening process of underground images with fog and dust in underground coal mine. The simulation results show that the proposed algorithm can restrain image detail to a great extent, maintain authenticity and structural integrity of the image, and have good real-time performance.

Key words:underground video surveillance; fog and dust image; sharpening algorithm; dark primary principle; principal component analysis

文章编号:1671-251X(2018)03-0070-06

DOI:10.13272/j.issn.1671-251x.2017100078

中图分类号:TD67

文献标志码:A 网络出版时间:2018-02-07 08:38

网络出版地址:http://kns.cnki.net/kcms/detail/32.1627.TP.20180206.1755.007.html

收稿日期:2017-10-31;

修回日期:2018-01-13;责任编辑:胡娴。

基金项目:河北省教育厅项目(ZD2014081);河北省自然科学基金资助项目(F2015402150)。

作者简介:吴开兴(1962-),男,陕西渭南人,教授,硕士,主要研究方向为煤矿综合信息化、智能信息处理,E-mail:1127220593@qq.com。通信作者:张琳(1992-),女,河北邢台人,硕士研究生,主要研究方向为数字图像处理,E-mail:15613908692@163.com。

引用格式:吴开兴,张琳,李丽宏.煤矿井下雾尘图像清晰化算法[J].工矿自动化,2018,44(3):70-75. WU Kaixing, ZHANG Lin, LI Lihong. Sharpening algorithm for underground images with fog and dust[J].Industry and Mine Automation,2018,44(3):70-75.