0 引言
煤矿在综采中会产生大块煤矸，过大的煤矸会造成井下输煤设备煤流不畅、堵塞及堆煤等现象，严重影响矿井生产安全[1-4]。因此，对井下胶带输煤过程中大块物检测显得尤为重要[5]。
现有的井下输煤大块物实时检测方法主要有人工检测法、胶带秤法、图像处理法等[6]。其中图像处理法因具有成本低、占用空间少、精度高等特点，在煤矿大块物检测中应用十分广泛[7]。鲍勇豪[8]通过设置敏感检测区域，检测二值图像中黑色像素包围白色像素是否超过限定，从而判断胶带上是否存在大块物。许军等[9]结合大块物在图像中的亮度特征与运动特征，对胶带上大块物进行检测，从而起到预警作用。但文献[8-9]都是通过煤块颜色特征进行大块物特征提取，存在由于煤块堆积造成的误识别，导致无法准确检测大块物数量、检测精度不高等问题。除了选取目标颜色特征，利用目标物边缘特征也能提取目标物。刘丽霞等[10]通过增加Canny边缘算子计算图像梯度和方向，对图像进行有效分割，但Canny算子检测存在边缘丢失的现象。焦安波等[11]通过HED(Holistically-Nested Edge Detection,改进全局嵌套边缘检测)神经网络检测目标边缘，为后续目标识别、跟踪提供良好的基础，但HED神经网络中采用的Relu激活函数可能会导致神经元死亡、权重无法更新的情况[12]，最终导致检测精度不高。
针对以上问题，本文提出了一种基于改进HED神经网络融合Canny算子的煤矿井下输煤大块物检测方法。采用提取反射分量[13]结合边缘保留滤波(Edge Preservation Filtering, EPF)[14]方法对图像进行预处理，增强图像亮度、对比度，加深图像边缘信息；然后利用改进的HED神经网络与Canny算子融合模型对图像边缘进行检测，输出大块物边缘图像，将大块物边缘图像进行非运算并剔除背景图像；最后对目标进行矩形标注并遍历循环大块物，计算出大块物像素个数与面积。实验结果验证了该方法的准确性。
1 大块物检测原理
井下输煤大块物检测流程如图1所示，整个过程主要通过预处理增强图像边缘梯度差异，再通过在改进HED神经网络基础上融合Canny算子计算大块物边缘，从而得到大块物面积。
图1 大块物检测流程
Fig.1 Large blocks detection flow
大块物检测具体步骤：
(1) 安装摄像头，以3～5帧/s速率读取现场图像。
(2) 采用局部直方图均衡化、提取反射分量方法对现场图像进行预处理，从而增强图像亮度、对比度和梯度。
(3) 将预处理图像代入改进的HED神经网络与Canny算子融合模型中，得到连续边缘的大块物边缘图像，根据边缘图像做非运算，标注图像中的大块物，并计算大块物面积。
(4) 统计输煤胶带运输过程中大块物数量并判断大块物面积是否高于设定阈值，若高于设定阈值，则向工作人员报警，反之则正常运行。
2 图像预处理
井下输煤图像预处理流程：① 利用Gamma变换增强图像对比度与亮度。② 基于全局直方图均衡化理论，将图像进行局部直方图均衡化，增强图像中大块物边缘信息。③ 对Gamma变换图利用Retinex提取反射分量，得到反射分量图像。④ 将局部直方图均衡化图像与反射分量图像加权融合，调整得到综合的增强图像。⑤ 将增强图像代入EPF算子，得到消除方块效应的大块物边缘增强图像。
2.1 局部直方图均衡化
由于井下存在照度低、照度非均匀的情况，为便于图像后续处理，预处理首先要增强图像对比度、亮度，选用Gamma增强函数对图像进行预处理。Gamma函数的数学表达式为
g(z)=fa(z)+d
(1)
式中：g(z)为输出图像；f(z)为输入图像；a为原函数的幂；d为图像亮度增强或减少的亮度常量。
由于煤块与煤块间边缘颜色相近，现场图像中存在边缘梯度不明显的情况。为增强图像中大块物之间的边缘梯度信息，利用局部直方图均衡化来解决图像中存在的大块物边缘梯度缩减情况。灰度转换公式为
(2)
式中：y为处理后的图像灰度级；K为原图像的灰度级，K=256；h(xi)为直方图中每个灰度级像素个数；w，h为图像宽与高。
2.2 融合反射分量
原图像虽经过Gamma函数的处理，但依然存在整体亮度低、对比度低的问题，为进一步增强图像对比度与亮度，采用Retinex在增强图像中提取反射分量，增强图像整体亮度。反射分量与原图像的关系式为
I(x,y)=L(x,y)R(x,y)
(3)
式中：I(x,y)为原图像；L(x,y)为原图像的照度分量；R(x,y)为原图像的反射分量。
Retinex核心就是通过估测照度分量，测得反射分量，即通过最大颜色值通道推导出反射分量。反射分量的求解公式为
(4)
式中
为在红、绿、蓝三通道下的最大像素值。
经过局部直方图均衡化处理，由于大块物表面凹凸不平，易出现由于过增强现象而导致的黑斑。反射分量输出图像整体亮度有了极大提高，但边缘信息由于亮度提升，会出现轻微过曝光现象。为解决过增强与过曝光问题，将2种输出图像加权融合，能有效增强图像边缘信息且不会产生过曝光。加权公式为
g(x,y)=βH(x,y)+(1-β)R(x,y)
(5)
式中：g(x,y)为综合增强输出图像；β为均衡参数；H(x,y)为局部直方图均衡化输出图像。
由于井下光照非均匀导致现场图像部分区域像素灰度值降低，图像中易出现方块效应。为解决该问题，利用边缘保留滤波算法消除方块效应，完成预处理流程。
3 大块物分割与检测
3.1 大块物边缘提取
图像预处理后，进行边缘特征检测分析。传统边缘算子用于表面不光滑的煤岩混合物时，经常由于其表面凹凸不平而产生非边缘划分的情况，从而影响大块物图像定位准确性。
为解决传统边缘算子的非边缘划分与边缘不连续问题，本文采用HED神经网络进行边缘检测。HED神经网络结构如图2所示。原图像以224×224大小输入HED神经网络中，经过第1组两层卷积，一层池化提取特征；由于池化层作用，从第2组卷积层开始，每一组输入图像的长、宽都是前一组的一半。针对每一组最后一层卷积输出图像长、宽不同的问题，使用反卷积操作对每组最后一层卷积输出图像做运算，得到相同长、宽的融合输出图像。
图2 HED神经网络结构
Fig.2 HED neural network structure
由于暂时没有适用于大块物的公开数据集，根据HED训练数据集格式，本文以视觉对象数据类(Visual Object Classes,VOC)为模板，利用labelme将现场批量预处理图像划分为json文件，建立井下语义分割数据库，数据量大于3 000张图像。
原有HED神经网络激活函数采用Relu，其特点为收敛速度快，远高于Sigmod、Tanh等激活函数。但如果学习率偏高，会出现神经元输出不变、无法被激活的现象，造成梯度值为0。为此，本文分别采用Maxout与Leaky Relu作为激活函数。经实验发现，Leaky Relu在x<0处没有重合于x轴，保留了Relu线性、不饱和性优点，同时解决了HED神经网络中部分神经元未被激活的现象，相比于Maxout处理速度更快，不会产生新增的参数。Leaky Relu表达式为
Leaky Relu=max(αx,x)
(6)
式中α为Leaky Relu的系数，一般非常小，本文取为0.03，以此来保证不会出现神经元无法被激活的现象。
本文应用Canny算子改进阈值，将Canny阈值分别设定为90，240，相对降低由于煤岩混合物表面梯度差异造成的边缘过拟合现象。将改进的HED神经网络与Canny算子结合形成融合模型，以便获取连接完全、拟合清晰的边缘检测图像。
大块物边缘算法流程如图3所示。① 对预处理图像在颜色阈值上加以划分，将图像划分为前景图像与背景图像。② 将前景图像分别代入改进HED模型与Canny算子。③ 对HED图像进行形态学开运算，用以消除HED输出图像中的孤立点，对Canny输出图像进行形态学闭运算，使Canny输出图像减少断点。④ 对经形态学处理后的图像进行正相加，得到完整边缘轮廓图，再对完整边缘轮廓图进行非运算，得到填充图像。⑤ 获取填充图像与背景图像，在填充图像中去除背景图像，避免算法将非煤缝隙空间识别为煤块。
图3 大块物边缘算法流程
Fig.3 Flow of large blocks edge algorithm
3.2 面积检测
得到上述二值化填充图后，可通过灰度阈值划分目标检测，针对二值图像只需要判断对应像素点灰度为0或255即可。若灰度值为0，则表示为图像非目标区，即图像中非煤块区域；若灰度值为255，则表示为图像目标区，即图像中煤块区域。利用式(7)—式(9)对目标进行质心与矩形标注。
(7)
(8)
(9)
式中：f(x,y)为在图像(x,y)点处的灰度值；B为图像中非目标区；A为图像中大块物目标区；(xi0,yi0)为第i个目标的质心；Ai为目标区中的第i个目标；(xi1,yi1)为在第i个目标中矩形标注的左上角位置；(xi2,yi2)为在第i个目标中矩形标注的右下角位置。
利用矩形标注对二值图像进行标注，以标注完成的矩形为基准，将当前二值图像中所有被标注的目标裁剪出来。
Si=(xi2-xi1)(yi2-yi1)
(10)
式中Si为图像中第i个目标矩形标注像素面积。
比较Si，得出最大矩形标注图像像素面积。遍历循环已截取最大矩形标注图像，计算图像中大块物像素个数。设置大块物总像素个数Ni初始值为0，遍历最大矩形标注图像，当(x,y)处像素值为255时，即该像素点为大块物像素点，则将Ni加1，循环可得最终Ni输出值为大块物像素点个数。利用式(11)计算目标面积占图像面积比重。
(11)
式中：Di为第i个目标占总像素百分比；Nsum为采集单个图像中所有像素的总和；
为第i个目标的实际面积；λ为像素转换系数。
遍历循环检测计算出Di，通过式(11)将Di转换为实际面积。设置大块物面积阈值，若检测图像中存在大块物面积大于阈值则报警，反之则正常运行。
4 实验结果与分析
建立本地井下语义分割数据集，将井下实时采集的图像作为输入图像，得到实验结果如图4所示。
从图4 可看出，在Canny边缘检测中出现了多处边缘不连续的现象，经过在改进HED神经网络基础上融合Canny算子检测边缘，能够有效解决原有Canny边缘检测算子边缘不连续的问题，并将大块物像素占图像总像素的百分比转换为面积，能够有效反映出图像煤块大小。
为了验证实验的准确性，采取基本统计学描述和精确率-召回率(Precision Recall,PR)作为评价指标[15]。在基本统计学描述中，主要涉及4组参数：正确标识的边缘点(True Positive,TP)、错误标识的边缘点(False Positive,FP)、未正确标识的真实边缘点(False Negative,FN)、正确标识的非边缘点(True Negative,TN)。通过上述4组参数，可得到真阳性率Rco、漏检率Rnd以及误检率Rfa三项指标。
(12)
图4 实验结果
Fig.4 Experimental result
式中：N1,NB分别表示通过labelme划分的真实边缘像素点数以及边缘算子检测到的边缘像素点数；NTP表示正确标识边缘像素点数量(N1∩NB)；NFP表示错误标识边缘像素点数量(NB-(N1∩NB))；NFN表示未正确标识边缘像素点数量(N1-(N1∩NB))。
PR算法引入边缘评价中的召回率(RR)与正确率(RP)，边缘算法要求在一定召回率的基础上提升正确率，基于此引出PR算法中的综合评估参数F来评价边缘算法性能。F越大,表明该边缘算法检测精度越高。
(13)
式中δ为加权系数，一般选取0.5。
将基本统计学评价指标与PR算法评价指标代入各边缘图像，评价对比结果见表1。
表1 检测过程评价对比结果
Table 1 Evaluation and comparison results of
testing process
检测算法RcoRfaRndRRRPFCanny11.3220.4188.6811.3235.6917.19HED32.6567.3564.1933.7132.6533.18改进HED34.2665.7457.6737.2634.2635.69融合模型32.0367.9727.2354.0532.0340.22
由表1可知，传统Canny边缘算子相较于HED神经网络准确率较低，同时HED神经网络的漏检率在本文的融合模型处有了极大的下降。在PR综合评价中，改进HED融合Canny边缘算子(融合模型)相较于其他对比算法在综合评估参数F上具有显著提升。
将边缘图像填充标注，统计视频中大块煤数量，验证效果见表2。由表2可知，在一段时间的检测样例中，由于图像帧率设置，会出现重复检测部分煤块的现象，但能够有效地检测出大块煤并统计其数量。
表2 实验验证效果
Table 2 Experimental verification effect
检测样例实际煤块数量检测煤块数量实际大块煤数量检测大块煤数量18911 22733265898333332051511
综上所述，改进HED神经网络融合Canny边缘算子能够有效降低边缘检测的误差，从而有效识别大块物。
5 结论
(1) 针对井下照度非均匀的情况，利用局部直方图均衡化、提取反射分量方法对图像进行预处理，同时将图像边缘信息与亮度信息进行融合，解决了图像预处理过程中存在的过曝光、方块效应问题，增强了图像中大块物边缘的梯度差，便于后续边缘检测。
(2) 在改进HED神经网络基础上融入Canny算子，相比原有边缘算子解决了图像边缘不连续的问题，经过PR评价，改进HED神经网络融合Canny算子综合评估参数F由17.19提升至40.22，能有效提升图像边缘准确性。
(3) 实验结果表明，基于HED神经网络融合Canny算子的煤矿井下输煤大块物检测方法解决了原有检测方法中存在无法检测大块物数量、检测精度不高等问题，能够有效检测大块物数量并计算大块物面积，对井下胶带运输系统具有现实意义。
[1] WARD C R. Analysis, origin and significance of mineral matter in coal: an updated review[J]. International Journal of Coal Geology,2016,165:1-27.
[2] HEKIMOGLU Z O . A pick force calculation method suggested for tool lacing of mechanical excavators employing drag tools[J]. International Journal of Mining,Reclamation and Environment, 2018,32(8):564-585.
[3] SHI Zhiyuan, ZHU Zhencai. Case study: wear analysis of the middle plate of a heavy-load scraper conveyor chute under a range of operating conditions[J]. Wear, 2017, 380-381:36-41.
[4] XIE J C, YANG Z J, WANG X W, et al. Cooperative solving method of chute postures in the bending section of a scraper conveyor[J]. Advances in Mechanical Engineering,2018,10(3):1-13
[5] 杨清翔,向秀华,孟斌,等.一种煤矿带式输送机故障诊断方法[J].工矿自动化,2017,43(12):48-52.
YANG Qingxiang, XIANG Xiuhua, MENG Bin,et al.A fault diagnosis method for coal mine belt conveyor [J].Industry and Mine Automation, 2017,43(12):48-52.
[6] 李阳. 矿用核子皮带秤在线监测系统[D].西安：西安科技大学,2017.
LI Yang. Mine nuclear belt scale online monitoring system [D].Xi'an: Xi'an University of Science and Technology, 2017.
[7] 孙继平,孙雁宇,范伟强.基于可见光和红外图像的矿井外因火灾识别方法[J].工矿自动化,2019,45(5):1-5.
SUN Jiping, SUN Yanyu, FAN Weiqiang. External fire identification method based on visible and infrared images [J].Industry and Mine Automation, 2019,45(5):1-5.
[8] 鲍勇豪.基于视觉信息识别的煤流控制系统[J].电子技术与软件工程,2019,156(10):71.
BAO Yonghao.Coal flow control system based on visual information recognition [J].Electronic Technology and Software Engineering, 2019,156(10):71.
[9] 许军,吕俊杰,杨娟利,等.基于图像处理的溜槽堆煤预警研究[J].煤炭技术,2017,36(12):232-234.
XU Jun, LYU Junjie, YANG Juanli,et al.Research on early warning of coal chute blocking based on image processing [J].Coal Technology, 2017,36(12):232-234.
[10] 刘丽霞,李宝文,王阳萍,等.改进Canny边缘检测的遥感影像分割[J].计算机工程与应用,2019,55(12):54-58.
LIU Lixia, LI Baowen, WANG Yangping, et al. Remote sensing image segmentation with improved Canny edge detection [J]. Computer Engineering and Applications,2019,55(12):54-58.
[11] 焦安波,何淼,罗海波.一种改进的HED网络及其在边缘检测中的应用[J].红外技术,2019,41(1):72-77.
JIAO Anbo, HE Miao, LUO Haibo.An improved HED network and its application in edge detection [J].Infrared Technology, 2019,41(1):72-77.
[12] 石琪. 基于卷积神经网络图像分类优化算法的研究与验证[D].北京:北京交通大学,2017.
SHI Qi. Research and verification of image classification optimization algorithm based on convolutional neural network [D]. Beijing:Beijing Jiaotong University, 2017.
[13] 刘晓阳,乔通,乔智.基于双边滤波和Retinex算法的矿井图像增强方法[J].工矿自动化,2017,43(2):49-54.
LIU Xiaoyang, QIAO Tong, QIAO Zhi. Image enhancement method of mine based on bilateral filtering and Retinex algorithm[J].Industry and Mine Automation, 2017,43(2):49-54.
[14] ZHANG K, ZUO W, CHEN Y, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising.[J]. IEEE Transactions on Image Processing, 2016,26(7):3142-3155.
[15] FU Guanghui,YI Lunzhao,PAN Jianxin. Tuning model parameters in class-imbalanced learning with precision-recall curve[J]. Biometrical Journal,2019,61(3):652-664.