0.   引言

煤炭是我国的重要能源，2021年全国原煤产量约41.3亿t，占全国能源消费总量的56%。据统计，矸石占原煤的15%～20%，不仅影响原煤品质，还会造成土壤、水等环境污染^[1]。煤矸预分选将原煤中50 mm以上的大块矸石分拣出来，是煤炭洗选过程中的重要工艺工序，也是提高煤炭质量和减少环境污染的重要手段^[2]。目前该工序大多由工人凭借经验手动完成，劳动强度大、分拣效率低，且存在安全隐患^[3-4]。采用煤矸分拣机器人代替工人完成煤矸预分选，是保障工人安全和健康、提高作业效率的有效途径，也是智能选煤的内在要求^[5]。

程学珍等^[6]设计了一种基于双能γ射线和数字图像识别技术的煤与矸石在线分选系统，通过3种不同强度的γ射线判断探测器下方的物料是煤或者是矸石，但当光照条件不足时识别效果不理想。孙稚媛^[7]开展了基于视觉信息的煤矸自动分拣机器人系统的研究，通过最小二乘支持向量机分类器构建煤矸分类模型，取得了75%的识别准确率，但当煤和矸石表面覆盖煤粉时，视觉特征提取难度大，影响识别准确率。曹现刚等^[8]提出了一种多机械臂协同的煤矸分拣机器人，通过基于深度学习网络的煤矸识别方法实现带式输送机上煤矸实时识别，采用双目视觉技术实时获取矸石的相对坐标和深度信息，为机械手分拣煤矸提供依据，但其在煤矸混合样本下的识别准确率较低。王冠军等^[9]采用嵌入式人工智能开发平台EAIDK构建了智能煤矸分拣系统，通过视觉系统实现图像采集与处理，并采用机械臂实现矸石分拣，但当原煤含矸量较高时，系统响应受限。胡平等^[10]选用机器视觉人工智能识别及五联机械手，配合漏抓、错抓判别控制技术，采用两级目标检测网络，利用执行机构模拟人工抓取，研制了煤矸分拣装置，但分拣效率与准确率有待提高。因此，本文搭建了一种基于图像检测的煤矸分拣机器人实验平台，利用ResNet18−YOLOv3深度学习算法实现煤矸快速、精确识别，并通过手眼标定提高煤矸定位精度，从而提高煤矸分拣的精度和实时性。

1.   实验平台组成

煤矸分拣机器人实验平台由图像采集模块、煤矸识别模块、煤矸分拣模块、煤矸运输模块组成，如图1所示。图像采集模块获取带式输送机上原煤流中煤矸图像，并输入至煤矸识别模块。煤矸识别模块对输入图像中的煤矸进行识别，通过TCP通信将矸石的位置信息提供给煤矸分拣模块来完成矸石分拣作业，并在显示器上进行可视化显示。煤矸运输模块模拟煤炭洗选生产线的胶带运输系统。

图  1  煤矸分拣机器人实验平台组成

Figure  1.  Construction of experimental platform for coal-gangue sorting robot

下载: 全尺寸图片 幻灯片

2.   实验平台设计

2.1   硬件设计

1） 图像采集模块。图像采集模块主要由工业相机、相机支架和环形光源组成，如图2所示。工业相机采用MV−CE050−30UC彩色相机，其具有500万像素，支持USB3.0数据传输、手动调节增益和曝光时间等功能。相机支架可灵活调整相机的高度及位姿，确保工业相机视野能够覆盖带式输送机的煤流区域。环形光源采用高密度LED列阵，通过调节环形光源可模拟不同光照条件，为煤矸识别过程提供照明，提高煤矸图像的亮度，从而提高煤矸分拣机器人的分拣精度。

图  2  图像采集模块

Figure  2.  Image acquisition module

下载: 全尺寸图片 幻灯片

2） 煤矸识别模块。煤矸识别模块采用工业控制计算机，其配置为Intel Core−i5处理器、16 GiB内存、GeForce RTX2060显卡，具有USB3.0接口和100M/1 000M自适应RJ45网口。GeForce RTX2060显卡采用NVIDIA Turing GPU架构和RTX平台，搭载6 GiB GDDR6显存，具有1 920个流处理器单元，核心频率达1 680 MHz，可流畅运行深度学习算法。

3） 煤矸分拣模块。煤矸分拣模块接收煤矸识别模块发送的矸石位置信息并进行轨迹规划，控制执行机构对矸石进行夹取，达到煤矸分拣的目的。煤矸分拣模块采用协作机械臂AUBO−i5，可满足轻量化的作业要求，其末端可实现±360°旋转，主要技术指标及参数见表1。

表  1  AUBO−i5协作机械臂的技术指标及参数

Table  1.  Technical indexes and parameters of AUBO-i5 cooperative manipulator

技术指标	参数
自由度	6
最大工作半径/mm	886.5
负载/kg	5
重复定位精度/mm	±0.02
工作速度/（m·s−1）	≤2.8

下载: 导出CSV 

| 显示表格

4） 煤矸运输模块。考虑工业相机的检测区域及机械臂的工作范围，选用定制的可调速、可升降的带式输送机，其技术指标及参数见表2。

表  2  带式输送机技术指标及参数

Table  2.  Technical indexes and parameters of belt conveyor

技术指标	参数
长度/m	1.5
宽度/m	0.4
高度/m	0.8～0.9
运行速度/（m·s-1）	0.3～0.6

下载: 导出CSV 

| 显示表格

为了能够对原煤流中煤矸的图像信息进行实时采集与检测，将图像采集模块的工业相机通过相机支架固定在带式输送机的垂直上方，视场距离为0.55 m，工业相机将采集的图像通过USB接口输入煤矸识别模块的工业控制计算机。工业控制计算机与AUBO−i5机械臂之间使用网线连接，AUBO−i5机械臂安装于工业相机同侧，机械臂分拣工作区域半径为0.886 m。最终搭建的煤矸分拣机器人实验平台如图3所示。

图  3  煤矸分拣机器人实验平台

Figure  3.  Experimental platform for coal-gangue sorting robot

下载: 全尺寸图片 幻灯片

2.2   软件设计

2.2.1   软件环境及上位机界面

实验平台软件环境为Python3.7、Tensorflow2.20和CUDA10.1，在Windows 64系统上运行。

上位机界面采用PyQt开发，具有下列功能：① 打开设备。能够自动搜索相机并打开。② 开始采集。相机开始取流，并对获得的每一帧图像进行检测。③ 停止采集。停止相机采集图像。④ 关闭设备。断开工控机与相机的连接。

TCP服务端程序在工控机中调用Socket协议包编写，TCP客户端程序在机械臂控制器中使用Lua语言编写。

2.2.2   基于ResNet18−YOLOv3的煤矸识别模型

煤矸识别方法主要分为基于传统机器学习的方法和基于深度学习的方法^[11]。基于传统机器学习的煤矸识别方法主要通过提取煤矸的X射线、红外、视频图像的灰度或纹理特征^[12-14]，利用浅层机器学习理论（如K均值聚类、贝叶斯、支持向量机、BP神经网络、随机森林、最大似然估计、多重分形谱、前向神经网络等）构建分类器来进行煤矸分类^[15-20]，但存在人为提取特征和调整参数困难、检测精度不高、过拟合、泛化能力不强等问题。基于深度学习的煤矸识别方法利用深层网络（如ResNet，CNN，DenseNet，AlexNet等）对预处理后的煤矸图像进行特征提取和分类识别^[21-25]，无需人为提取特征，检测精度较高，但需要大量带标签的样本数据，且网络模型复杂，实时性较差。

本文采用基于ResNet18−YOLOv3的煤矸识别模型。该模型由主干特征提取网络（ResNet18前17层卷积层网络）、加强特征提取网络和回归器构成，如图4所示。利用煤矸分拣机器人实验平台制备3 000张煤矸图像（大小为416×416×3）构成数据集。煤矸图像经过主干特征提取网络后得到其主干特征，通过加强特征提取网络进行特征融合，在回归器中通过逻辑回归算法得到图像中煤矸的类别、位置及置信度。利用数据集对煤矸识别模型进行训练，确定模型的网络结构参数，将煤矸识别模型移植到煤矸识别模块中。

图  4  基于ResNet18−YOLOv3的煤矸识别模型结构

Figure  4.  Structure of coal-gangue recognition model based on ResNet18-YOLOv3

下载: 全尺寸图片 幻灯片

3.   实验平台标定

3.1   手眼标定

经相机检测获取的煤矸位置信息是基于相机的像素坐标系，而多自由度的机械臂是基于空间坐标系执行煤矸分拣任务的，需要对相机与机械臂进行手眼标定，从而建立相机与机械臂之间的坐标转换关系。

采用Halcon九点标定法对实验平台进行手眼标定。其原理为通过9个点在机械臂空间坐标系与相机的像素坐标系的位置坐标，计算2个坐标系之间的转换关系^[26]。具体步骤如下：

1） 将空间坐标系XYZ建立在机械臂基底上，如图3所示。

2） 采用示教法，利用示教器控制机械臂依次经过标定盘上的9个点（图5），并记录每个点的空间坐标（x'，y'）。

图  5  标定盘

Figure  5.  Calibration plate

下载: 全尺寸图片 幻灯片

3） 利用相机获取标定盘的图像，并读取图像中9个点对应的像素坐标（x，y）。

4） 利用Halcon标定法求解坐标变换关系：

式中：R为旋转矩阵；M为平移矩阵。

由于相机完成图像信息采集到机械臂抓取存在一个系统延迟时间t，且在系统延迟时间内带式输送机以速度v运行，造成机械臂抓取位置存在偏差，需要对机械臂空间坐标Y轴方向进行位置补偿，即

实验记录的标定盘9个点的空间坐标及对应的像素坐标见表3。带式输送机速度v通过带式输送机控制器设定，延迟时间t由工控机根据开始图像采集到机械臂控制器识别完成所需的时间自动确定。将上述数据代入式（2），即可得到2个坐标系之间的旋转矩阵R和平移矩阵M，完成煤矸分拣机器人的手眼标定。

表  3  标定盘9个点的空间坐标及对应的像素坐标

Table  3.  The space coordinates of 9 points of the calibration plate and the corresponding pixel coordinates

序号	像素坐标/（mm，mm）	空间坐标/（mm，mm）
1	（725，1 849）	（743，−506）
2	（717，1113）	（738，−577）
3	（729，385）	（737，−640）
4	（1 329，1841）	（682，−505）
5	（1 333，1109）	（680，−570）
6	（1 341，377）	（675，−640）
7	（2 069，1849）	（623，−498）
8	（2 081，1113）	（614，−560）
9	（2 077，385）	（620，−636）

下载: 导出CSV 

| 显示表格

3.2   定位误差标定

煤矸分拣机器人实验平台的煤矸定位误差是控制器控制机械臂动作实现煤矸精确分拣的关键。为确定该误差，本文开展了实验平台的定位误差标定实验，10组数据结果见表4。其中，定位坐标由相机获取的像素坐标经过转换之后得到，实际坐标由示教器标定得到。

表  4  煤矸分拣机器人实验平台煤矸定位误差

Table  4.  Coal-gangue positioning error of experimental platform for coal-gangue sorting robot

样本号	定位坐标/ （mm，mm）	实际坐标/ （mm，mm）	X轴误 差/mm	Y轴误 差/mm
1	（663，−243）	（668，−237）	5	6
2	（725，−145）	（728，−136）	3	9
3	（612，224）	（610，217）	2	7
4	（684，148）	（689，140）	5	8
5	（652，−60）	（653，−57）	1	3
6	（605，164）	（609，158）	4	6
7	（534，63）	（528，58）	6	5
8	（476，25）	（469，24）	7	1
9	（588，97）	（581，102）	7	5
10	（523，−56）	（527，−53）	4	3

下载: 导出CSV 

| 显示表格

由表4可知，X轴方向最大误差为7 mm，Y轴方向最大误差为9 mm，对于尺寸均为50 mm以上的煤矸样本，实验平台具有较高的定位精度，满足对煤矸的分拣要求。

4.   实验平台验证

在搭建的煤矸分拣机器人实验平台上进行分拣实验，流程如图6所示。

图  6  煤矸分拣机器人实验平台分拣实验流程

Figure  6.  Sorting flow of experimental platform for coal-gangue sorting robot

下载: 全尺寸图片 幻灯片

将带式输送机运行速度设定为0.4 m/s，在带式输送机上随机布置煤矸，分拣结果见表5，可看出煤矸分拣准确率为82%。

表  5  煤矸分拣结果

Table  5.  Coal-gangue sorting results

矸石数量/个	正确分拣数量/个	错漏拣数量/个	准确率/%	错漏拣率/%
50	41	9	82	18

下载: 导出CSV 

| 显示表格

不同光照条件和煤粉附着情况下煤矸正确检测结果如图7所示，其中预测框左上角标注目标类别及置信度，红色预测框代表类别为煤，蓝色预测框代表类别为矸石。可看出在强光照条件下的识别准确率达99%，在弱光照条件下的识别准确率为95%，在煤粉附着条件下的识别准确率不低于82%，整体识别准确率较高。

图  7  不同光照和煤粉附着情况下煤矸正确检测结果

Figure  7.  Correct coal-gangue detection results under different illumination and pulverized coal adhesion

下载: 全尺寸图片 幻灯片

煤矸错漏检结果如图8所示，其中目标用黄色圆圈圈出。分析错漏检的原因，大致有如下情况：① 同类型的目标（多个矸石或多个煤块）相距较近时，会将多个目标误检测为1个目标，如图8（a）所示。② 光线强度过弱时，在黑色胶带的背景下，边缘梯度不明显，无法通过图像检测到目标，如图8（b）所示。③ 矸石表面大部分被煤粉覆盖时，会被错检测为煤块，如图8（c）所示。④ 当多个煤矸同时出现时，分拣机器人响应时间无法满足要求，导致正确识别的矸石没有被分拣出来。

图  8  煤矸错漏检结果

Figure  8.  Error and omission coal-gangue detection results

下载: 全尺寸图片 幻灯片

因此，煤矸分拣机器人的研究应注重以下方面：① 鲁棒性更好的图像处理算法，提高不同光照条件和复杂背景下的图像增强和处理能力。② 准确率更高的煤矸识别算法，与先进的深度学习算法相结合尤其值得关注。③ 响应速度更快的煤矸分拣机器人，采用并联机器人或多机械臂协同分拣策略，提高拣矸效率，降低煤矸分拣机器人出现漏检等情况的概率。

5.   结论

1） 介绍了煤矸分拣机器人实验平台的组成及软硬件设计，利用Halcon标定法对实验平台进行了手眼标定，分析了实验平台的定位误差，结果表明煤矸定位误差不大于9 mm，满足对煤矸的分拣要求。

2） 利用煤矸分拣机器人实验平台开展了分拣实验，结果表明在不同光照和煤粉附着情况下的煤矸识别准确率不低于82%，煤矸分拣准确率为82%。

3） 下一步研究重点是鲁棒性更好的图像处理算法和更先进的煤矸识别算法，同时还需要考虑采用并联机器人或多机械臂协同等来提高分拣效率。