0 引言
煤炭开采过程中混有大量矸石，将矸石从煤炭中分选出来是煤炭生产环节重要的组成部分。传统的煤矸石分选主要依靠人工，存在分选效率低、劳动强度大等问题。随着图像处理技术的快速发展，图像识别逐渐应用到煤矸石分选环节中[1-2]。传统的煤矸石图像识别方法对图像进行滤波、边缘检测和分割等处理，基于灰度、纹理等特征区分煤和矸石[3-5]。然而在实际应用过程中，输送带磨损会给视觉检测带来严重噪声，定位煤或矸石时会出现目标区域过大或过小的情况，导致目标区域出现过多输送带背景或丢失边缘信息，影响煤矸石识别准确率。本文将深度学习引入煤矸石图像识别，利用深度学习进行目标检测，定位目标在图像中的位置，再依据图像灰度直方图的三阶矩特征参数对煤矸石进行分类，从而提高煤矸石识别准确率。
1 煤矸石识别方法
1.1 深度学习网络
利用深度学习网络进行目标检测时，每个检测框只能检测1个目标，如果2个目标同时落在1个检测框中，也只能检测到1个目标。通过引入anchor boxes可实现多目标检测，但增加了深度学习网络的复杂程度，导致训练过程收敛速度慢、网络计算能力降低等问题[6-7]。深度学习网络CornerNet只需通过检测bounding box的左上角关键点和右下角关键点来实现目标检测，消除了对anchor boxes的需求。但CornerNet网络在COCO数据集上测试的平均单帧推理时间为1.147 s[8]，不能满足实时性要求。
CornerNet-Lite是在CornerNet基础上进行优化，具体分为CornerNet-Saccade和CornerNet-Squeeze。CornerNet-Saccade通过降采样减少像素量，同时使用多尺度的卷积，从而降低推理量，提高计算精度。CornerNet-Saccade在COCO数据集上测试，平均每张图耗时190 ms且平均精度达43.2%[9]，适用于离线计算，准确率高。CornerNet-Squeeze通过减少每个像素的计算量来提高计算速度，在Hourglass卷积层将第1层residual block替换为SqueezeNet中的Fire Module，第2层3×3标准卷积替换为MobileNet 3×3深度可分离卷积。CornerNet-Squeeze在COCO数据集上测试，平均每张图耗时30 ms且平均精度达34.4%[9]。由此可见，CornerNet-Saccade是在提高准确率的情况下兼顾计算速度，即准确率优先，而CornerNet-Squeeze是在提高计算速度的情况下兼顾准确率，即速度优先。
在实际生产中，输送带运行速度较快，为保证煤矸石能够被快速识别，本文采用CornerNet-Squeeze网络对煤矸石进行目标检测，网络结构如图1所示。
1.2 灰度特征选取
常用的灰度直方图统计特征参数包括均值、方差、三阶矩和熵[10-11]。
均值反映图像的总体亮度，其表达式为
(1)
式中：i为灰度级；Pi为第i个灰度级出现的概率。
图1 CornerNet-Squeeze网络结构
Fig.1 Network structure of CornerNet-Squeeze
方差反映图像的灰度在数值上的离散分布情况，其表达式为
(2)
三阶矩反映图像直方图分布的不对称程度，其表达式为
(3)
熵反映图像包含的信息量大小，其表达式为
(4)
在实验室条件下，选取50张以输送带为背景的煤和矸石图像，统计煤与矸石图像灰度直方图的均值、方差、三阶矩和熵等特征参数，结果见表1。可看出煤和矸石图像的三阶矩特征差异最明显，因此本文选取三阶矩作为煤矸石分类的依据。
表1 煤和矸石图像灰度直方图统计特征参数
Table 1 Statistical characteristic parameters of gray histogram of coal-gangue images
参数煤矸石均值59.8980.01方差291.341381.08三阶矩23347.47105878.27熵3.565.34
1.3 煤矸石识别流程
煤矸石识别流程如图2所示。采集的图像经过裁切、去噪、灰度化等预处理后，利用训练好的CornerNet-Squeeze深度学习模型判断图像内是否存在待检测的煤或矸石，若存在则定位煤或矸石在图像中的位置，然后对定位区域进行灰度直方图分析，根据三阶矩特征参数判定是煤还是矸石。
2 实验验证
为验证本文方法的有效性，以煤矸石分选机器人系统为实验平台。该系统主要由图像采集系统、工控机、机械臂控制器及机械臂组成，如图3所示。图像采集系统获得输送带上煤及矸石图像，并通过以太网发送给工控机；工控机对图像进行分析处理，经串口发送指令给机械臂控制器，控制多组机械臂将输送带上的矸石从煤流中靶取到矸石洞中[12-14]，实现煤矸石自动分选。图像采集系统采用视觉暗箱降低外部环境光照对图像特征变化的影响，并通过大功率LED表面光源及光源控制器提供均匀稳定的照明环境。过低像素的图像容易造成关键信息丢失，而过高像素的图像不利于数据传输及处理，因此采用Rosa系列千兆网工业相机，采集的图像为200万像素[15]。
图2 煤矸石识别流程
Fig.2 Flow of coal-gangue identification
图3 煤矸石分选机器人系统组成
Fig.3 Composition of coal-gangue separation robot system
调用在Ubuntu下训练好的CornerNet-Squeeze深度学习模型文件，加载到工控机的视觉软件中，进行煤矸石识别实验。实验配置：1080 Ti GPU，Intel Core i7-8700K CPU，Ubuntu 16.04操作系统，PyTorch 1.0.0深度学习框架，CUDA 9.0。
2.1 图像数据集
选取大同煤矿集团有限责任公司同忻矿的煤矸石，共拍摄1 845张图像，其中煤1 249张，矸石596张。为提高数据集容量、解决数据集不平衡问题，对现有图像进行镜像、旋转等正则变换后，共得到7 380张图像，其中7 196张作为训练集，184张作为测试集。对训练集的图像进行打标签处理，即将每张图像的目标区域用矩形框选出并标注分类信息，标记矩形框4个顶点的坐标，对应于csv文件中的第1行，其编码格式为UTF-8。
2.2 参数设置
CornerNet-Squeeze网络模型参数设置：batch_size为32；初始学习率为0.000 25；学习衰减因子为10；优化器为adam；队列预取数据量为5；soft-NMS阈值为 0.5。
2.3 实验结果分析
分别采用传统的煤矸石图像识别方法和本文方法对图像中目标进行检测，结果如图4所示，可看出本文方法能准确定位被检测目标。
(a) 传统的煤矸石图像识别方法
(b) 本文方法
图4 目标检测结果对比
Fig.4 Comparison of target detection results
利用测试集对传统的煤矸石图像识别方法和本文方法的识别准确率和识别速度进行比较，结果见表2。可看出本文方法识别准确率高，且实时性好。
表2 煤矸石识别准确率和识别速度对比
Table 2 Comparison of identification accuracy and identification speed of coal-gangue
参数传统的煤矸石图像识别方法本文方法识别准确率/%78.691.3单张图像识别时间/ms3241
3 结语
提出了一种煤矸石识别方法。该方法使用深度学习网络模型CornerNet-Squeeze对煤矸石进行目标检测，再依据图像灰度直方图的三阶矩特征参数对煤矸石进行分类。实验结果表明，该方法能有效提高煤矸石目标定位精度，避免因输送带磨损造成的背景干扰问题，保证煤矸石能够被快速识别，提高煤矸石识别准确率。
[1] 何敏,王培培,蒋慧慧.基于SVM和纹理的煤和煤矸石自动识别[J].计算机工程与设计,2012,33(3):285-289.
HE Min,WANG Peipei,JIANG Huihui.Recognition of coal and stone based on SVM and texture[J].Computer Engineering and Design,2012,33(3):285-289.
[2] 陈雪梅,张晞,徐莉莉,等.煤与矸石分形维数的差异研究[J].煤炭科学技术,2017,45(7):196-199.
CHEN Xuemei,ZHANG Xi,XU Lili,et al.Study on fractal dimension differences of coal and rock[J].Coal Science and Technology,2017,45(7):196-199.
[3] 谭春超,杨洁明.煤与矸石图像灰度信息和纹理特征的提取研究[J].工矿自动化,2017,43(4):27-31.
TAN Chunchao,YANG Jieming.Research on extraction of image gray information and texture features of coal and gangue image[J].Industry and Mine Automation,2017,43(4):27-31.
[4] 米强,徐岩,刘斌,等.煤与矸石图像纹理特征提取方法[J].工矿自动化,2017,43(5):26-30.
MI Qiang,XU Yan,LIU Bin,et al.Extraction method of texture feature of images of coal and gangue[J].Industry and Mine Automation,2017,43(5):26-30.
[5] 王家臣,李良晖,杨胜利.不同照度下煤矸图像灰度及纹理特征提取的实验研究[J].煤炭学报,2018,43(11):3051-3061.
WANG Jiachen,LI Lianghui,YANG Shengli.Experimental study on gray and texture features extraction of coal and gangue image under different illuminance[J].Journal of China Coal Society,2018,43(11):3051-3061.
[6] 刘志成,祝永新,汪辉,等.基于卷积神经网络的多目标实时检测[J].计算机工程与设计,2019,40(4):1085-1090.
LIU Zhicheng,ZHU Yongxin,WANG Hui,et al.Multi-target real-time detection based on convolutional neural network[J].Computer Engineering and Design,2019,40(4):1085-1090.
[7] 圣文顺,孙艳文.卷积神经网络在图像识别中的应用[J].软件工程,2019,22(2):13-16.
SHENG Wenshun,SUN Yanwen.Application of convolutional neural network in image recognition[J].Software Engineering,2019,22(2):13-16.
[8] LAW H,DENG Jia.CornerNet: detecting objects as paired keypoints[J].International Journal of Computer Vision,2018,128:642-656.
[9] LAW H,TENG Yun,RUSSAKOVSKY O,et al.CornerNet-Lite: efficient keypoint based object detection[EB/OL].[2020-04-17].https://arxiv.org/pdf/1904.08900.pdf.
[10] 张永宏,胡德金,张凯,等.基于灰度矩的CCD图像亚像素边缘检测算法研究[J].光学技术,2004,30(6):693-695.
ZHANG Yonghong,HU Dejin,ZHANG Kai,et al.Gray moment operators for subpixel edge detection on CCD images[J].Optical Technique,2004,30(6):693-695.
[11] 谭春超.基于图像处理技术的煤矸识别与分选技术研究[D].太原:太原理工大学,2017.
TAN Chunchao.The research of coal gangue identification and separation technique based on image processing technology[D].Taiyuan:Taiyuan University of Technology,2017.
[12] 王鹏,曹现刚,夏晶,等.基于机器视觉的多机械臂煤矸石分拣机器人系统研究[J].工矿自动化,2019,45(9):47-53.
WANG Peng,CAO Xiangang,XIA Jing,et al.Research on multi-manipulator coal and gangue sorting robot system based on machine vision[J].Industry and Mine Automation,2019,45(9):47-53.
[13] 宋文革,陶亚东,齐成军,等.智能机器人拣矸系统的设计研究[J].煤炭加工与综合利用,2018(9):5-8.
SONG Wenge,TAO Yadong,QI Chengjun,et al.Design and research of intelligent robot refuse picking system[J].Coal Processing & Comprehensive Utilization,2018(9):5-8.
[14] 曹现刚,费佳浩,王鹏,等.基于多机械臂协同的煤矸石分拣方法研究[J].煤炭科学技术,2019,47(4):7-12.
CAO Xiangang,FEI Jiahao,WANG Peng,et al.Study on coal-gangue sorting method based on multi-manipulator collaboration[J].Coal Science and Technology,2019,47(4):7-12.
[15] 郭永存,于中山,卢熠昌.基于PSO优化NP-FSVM的煤矸光电智能分选技术研究[J].煤炭科学技术,2019,47(4):13-19.
GUO Yongcun,YU Zhongshan,LU Yichang.Research on photoelectric intelligent separation technology of coal and gangue based on NP-FSVM with the PSO algorithm[J].Coal Science and Technology,2019,47(4):13-19.