0.   引言

煤炭是我国能源的压舱石，担负着我国能源安全的兜底保障作用^[1-5]，其中厚煤层的储量和产量分别达到煤层总储量和总产量的一半左右，是我国煤炭开采的主要部分^[6]。放顶煤开采是开采厚煤层的主要方法之一^[7-9]。近年来，煤矿智能化开采成为煤炭行业高质量发展的必然趋势。实现智能放煤的主要技术瓶颈是含矸率的精准识别，因此，研究综放工作面含矸率预测对于煤矿智能化发展具有重要意义。

目前常用的含矸率识别方法有射线识别法^[10-11]、声信号识别法^[12]、振动信号识别法^[13]、图像识别法等。其中射线识别法存在辐射问题，对人体有害，声信号识别法、振动信号识别法受其他声源或振动源的影响较大。含矸率一般包括煤矸图像的投影面积含矸率及真实煤矸堆叠状态下的体积含矸率，因为煤和矸石是三维块体，所以体积含矸率更能反映实际煤矸占比，但现场煤流中煤矸体积很难获取。随着近年来计算机算力的提升及深度学习等技术的发展，基于深度学习的图像识别法因其简单、方便等优势，在含矸率识别领域得到了迅速发展。王家臣等^[14-15]提出了基于图像识别的智能放煤技术，通过建立煤矸块体投影面积含矸率和体积含矸率的关系，实现了体积含矸率识别，但仅仅考虑了单个煤矸块体面积和体积的关系，未考虑煤矸堆积状态下二者的关系。贺海涛等^[16]提出了一种基于U−Net的“见矸关门”阈值计算方法，但未考虑煤矸二维图像与三维形态之间的关系；其他研究多关注于综放工作面煤矸识别技术^[17-21]，并未考虑含矸率识别。

针对上述问题，本文提出了一种基于DeepLab v3+的综放工作面含矸率预测方法，对煤矸图像进行准确识别和分割，建立体积含矸率预测模型，最终实现煤矸堆叠情况下体积含矸率预测。

1.   技术路线

本文技术路线如图1所示。首先，构建煤矸图像数据集，运用DeepLab v3+模型进行煤矸图像语义分割，进而计算煤矸图像的投影面积含矸率。其次，利用PFC^3D放煤数值模拟软件，基于重建的煤矸块体建立数值模型，模拟顶煤放落和刮板输送机运煤过程。然后，通过数值模拟构建煤矸堆积体的体积含矸率预测模型。最后，将煤矸图像投影面积含矸率代入体积含矸率预测模型中，实现综放工作面煤流体积含矸率预测。

图  1  技术路线

Figure  1.  Technology roadmap

下载: 全尺寸图片 幻灯片

2.   煤矸堆积体数据集构建

2.1   煤矸图像采集

现场采集煤和矸石样本，在实验室利用相机、条形照明灯等设备进行煤矸堆积体图像采集工作。拍摄过程中，通过改变摆放的煤矸块体数量，模拟煤矸堆叠从简单到复杂的情况，共采集煤矸图像约200张。

2.2   图像标注

图像标注前将图像裁剪至大小为512× 512。图像标注采用半自动标注加人工调整相结合的方式。先利用半自动标注软件EIseg预加载高精度模型，对选中类别的边界进行初步预测，再辅以人工手动对边界进行微调，完成标注工作。

标注完成后，利用Python对图像深度进行转换，转换后标注类别不变。图像深度转换如图2所示。

图  2  图像深度转换

Figure  2.  Image depth conversion

下载: 全尺寸图片 幻灯片

2.3   图像增强

采用中值滤波对煤矸图像进行去噪处理，以提高图像清晰度（图3（a））。为了使网络模型学习到更多信息，利用限制对比度自适应直方图均衡化法对煤矸图像进行对比度增强处理（图3（b））。对比度增强后直方图呈明显的双峰，达到了对比度增强效果。

图  3  图像增强效果

Figure  3.  Image enhancement effect

下载: 全尺寸图片 幻灯片

2.4   数据集扩充

为丰富数据集，增强网络模型的泛化性、准确度，通过随机裁剪、平移、旋转、透视变换、仿射变换、翻转、加入高斯噪声和椒盐噪声等多种方式对图像数据集进行扩充，最终共得到2 480张图像。部分扩充图像如图4所示。训练网络模型时按照8∶1∶1的比例将图像数据集划分为训练集、验证集和测试集。

图  4  图像数据集扩充

Figure  4.  Image dataset expansion

下载: 全尺寸图片 幻灯片

3.   基于DeepLab v3+的煤矸图像分割

3.1   DeepLab v3+模型结构

DeepLab v3+模型分为编码器和解码器2个部分，如图5所示。编码器部分主要负责提取图像特征，解码器部分则负责将这些特征映射回原始图像大小，从而得到最终的分割结果。在编码器部分引入大量空洞卷积，能在不损失信息的情况下加大感受野，让每个卷积输出都包含较大范围的信息；在解码器部分结合上采样、双线性插值、反卷积等技术，逐步恢复空间信息，使模型能够得到更为精细的分割结果。

图  5  DeepLab v3+模型结构

Figure  5.  DeepLab v3+ model structure

下载: 全尺寸图片 幻灯片

煤矸图像输入后，在编码器部分经过空洞卷积后输出低级特征和高级特征：低级特征直接传输到解码器部分；高级特征经过空洞卷积空间金字塔池化模块进行5种操作，分别为1个1×1卷积、3个不同rate的空洞卷积及1个全局平均池化，最后经过连接层和1×1卷积层得到1个高级特征输出。解码器部分先对编码器输出的低级特征进行1×1卷积，以调整维度；对高级特征进行上采样后连接起来，再通过1个3×3卷积和上采样得到密集预测结果，最终完成煤矸图像分割任务。

3.2   模型参数设置

本文实验在Python−3.9、PyTorch框架下完成，编译软件为PyCharm。硬件环境的配置：GPU为AMD Ryzen7 5800H @ 3.2 GHz，显卡为NVIDIA RTX3060 16 GiB，搭配CUDA 11.0.2进行加速训练。

Deeplab v3+模型参数设置见表1。采用余弦退火下降调整策略（cos），cos策略属于连续下降调整策略，开始迭代时的系数为1，最后一步的迭代系数为0，期间按照余弦曲线下降。因网络模型主干特征提取部分提取的特征通用，为提高模型的训练速度，采用MobileNet模型的预训练权重进行迁移学习。为了使模型能够更好地适应煤矸分割任务，采用冻结训练加解冻训练的方式进行训练：前40步采用冻结训练（迁移学习），冻结模型所有层参数，使模型能够更快地提取到通用特征；后40步采用解冻训练，解冻模型所有层参数，使模型学习到更多煤矸特征。

表  1  DeepLab v3+模型参数设置

Table  1.  DeepLab v3+ model parameter setting

名称	参数		名称	参数
数据集大小	2 480		学习率下降调整策略	cos
Batch size	6		backbone	MobileNet
初始学习率	0.000 1		优化方法	Adam
迭代次数	80

下载: 导出CSV 

| 显示表格

3.3   训练结果分析

模型训练结果如图6所示。可看出在训练阶段，DeepLab v3+模型损失率趋于0.08，平均交并比达95.2%，未出现过拟合现象。最终模型的准确率达到97.68%，类别平均像素准确率（Mean Pixel Accuracy，MPA）达97.72%，帧率达40帧/s，能够满足实时检测要求。

图  6  DeepLab v3+模型训练结果

Figure  6.  DeepLab v3+ model training results

下载: 全尺寸图片 幻灯片

为验证DeepLab v3+模型的效果，选取经典语义分割模型FCN8s和PSPNet进行对比实验，结果见表2。可看出DeepLab v3+模型的准确率、MPA和平均交并比均高于其他2种模型。

表  2  图像分割模型对比实验结果

Table  2.  Comparison of image segmentation models experimental results %

模型	准确率	平均交并比	MPA
FCN8s	87.84	86.52	98.28
PSPNet	97.46	94.86	97.34
DeepLab v3+	97.68	95.33	97.72

下载: 导出CSV 

| 显示表格

为更直观展示各模型的图像分割效果，在测试集上对煤矸堆积体图像进行预测，结果如图7所示，图中黄色框为错检区域，蓝色框为漏检区域。可看出FCN8s模型存在大块错检区域，效果最差；PSPNet模型对煤的分割效果差，漏检了部分区域；DeepLab v3+模型的煤矸分割效果最好，更适用于煤矸堆积体投影面积含矸率计算。

图  7  煤矸图像分割结果

Figure  7.  Coal-gangue image segmentation results

下载: 全尺寸图片 幻灯片

4.   数值模型建立

为了研究综放工作面放煤规律，结合某矿地质条件，利用颗粒流软件PFC^3D建立综放工作面三维模型，尺寸为12 m×7.5 m×18 m。由于煤层为近水平煤层，所以在建立模型时没有考虑煤层倾角。模型初始状态中，分别用不同颜色区分煤层和直接顶，上部为直接顶，下部为煤层，在煤层中设置多条标志线，对放煤过程进行监测。

4.1   煤矸块体三维重建

以往研究中三维放煤模拟一般用三维球体模拟顶煤，或利用随机生成的刚性块体模拟散体顶煤，但这2种方式模拟的顶煤与实际顶煤块体存在很大差异。为更好地模拟现场实际煤矸石块体，本文提出一种煤矸块体三维重建方法。

现场采集形状具有代表性的煤矸块体，包括片状、长条状、块状等；对采集的煤矸块体进行三维重建，如图8所示。最后将重建后块体导入PFC^3D软件中进行模拟运算。

图  8  煤矸块体三维重建

Figure  8.  Three-dimensional reconstruction of coal-gangue block

下载: 全尺寸图片 幻灯片

4.2   综放工作面三维模型

综放工作面三维模型中间设置1个支架进行放煤，支架中心距为1.5 m，中间支架两侧各保留3 m不放煤，支架高度为2.5 m，掩护梁角度为50°，刮板输送机中心距为1.5 m。按照不同顶煤厚度设置3组实验方案，见表3。

表  3  放煤模拟实验方案

Table  3.  Coal caving simulation experiment plans

方案	顶煤块体直径/m	矸石块 体直径/m	顶煤 厚度/m	刮板 速度/（m·s−1）
方案1	0.3	0.4～0.5	5	2
方案2	0.3	0.4～0.5	7.5	2
方案3	0.3	0.4～0.5	2.5	2

下载: 导出CSV 

| 显示表格

综放工作面初始模型如图9所示。刮板输送机采用PFC^3D中的墙单元进行模拟。建立速度、位移均为0的3个墙单元模拟刮板输送机的左、右、下边界；建立若干沿y轴方向速度为2 m/s的墙单元模拟可移动的刮板（图9中红色部分）。

图  9  综放工作面初始模型

Figure  9.  Initial model of fully mechanized caving face

下载: 全尺寸图片 幻灯片

为保证刮板输送机的持续运行，利用fish语言实现放煤过程模拟，具体步骤如下。

1） 模型运行5 000步。

2） 在刮板输送机后方每隔1.5 m生成1个用于模拟刮板的墙单元，生成10个墙单元后停止。

3） 给新生成的10个墙单元分组并沿y轴方向施加2 m/s的速度。

4） 重复步骤1）—步骤3），直至放煤结束。

5.   煤矸堆积体体积含矸率预测

为探究煤矸图像投影面积含矸率与煤矸堆积体体积含矸率之间的关系，对煤矸图像投影面积含矸率与煤和矸石堆积体体积含矸率分别进行计算。通过分析二者相关性，构建体积含矸率预测模型。

5.1   体积含矸率计算

煤和矸石堆积体体积含矸率计算公式为

式中：V_g为截取区域内矸石块体总体积；V_c为截取区域内煤炭块体总体积。

在PFC^3D中通过fish语言读取每个矸石或煤的体积，再进行累加计算，即可获得矸石和煤炭块体的总体积，从而计算体积含矸率。

5.2   投影面积含矸率计算

采集刮板输送机上方的煤矸图像，通过DeepLab v3+模型进行煤矸图像分割，计算煤和矸石的投影面积比例，求得煤矸堆积体的投影面积含矸率：

式中：S_g为截取区域内矸石块体总投影面积；S_c为截取区域内煤炭块体总投影面积。

模拟中的顶煤和矸石是不规则形状的块体，所以块体的投影面积不能像球体一样通过模型坐标和尺寸求得。通过Python程序调取其内置的图像处理库进行投影面积计算。截取刮板上的煤矸图像后，由Python程序读取，对图像的像素点进行遍历，标记出图像中的每一种颜色，并计算与每种颜色匹配的像素数，最后输出代表矸石的颜色所占面积与整个图像面积的比，得到投影面积含矸率，如图10所示。

图  10  刮板上煤矸图像占比

Figure  10.  Proportion of coal-gangue images on the scraper

下载: 全尺寸图片 幻灯片

5.3   体积含矸率预测模型

为保证实验结果的准确性，针对每组实验方案，沿刮板输送机运行方向每间隔1.5 m截取1张煤矸堆积体图像，每组方案分别截取20张图像进行分析，如图11所示。

图  11  煤矸堆积体图像

Figure  11.  Images of coal-gangue accumulation body

下载: 全尺寸图片 幻灯片

分别计算投影面积含矸率和体积含矸率，并对计算结果进行统计，绘制投影面积含矸率和体积含矸率关系曲线，如图12所示。可看出在不同顶煤厚度下煤矸堆积体的投影面积含矸率与体积含矸率存在很强的线性相关性，且投影面积含矸率普遍小于体积含矸率。

图  12  含矸率计算结果

Figure  12.  Calculation results of gangue content rate

下载: 全尺寸图片 幻灯片

将不同方案数据整合汇总，建立体积含矸率预测模型，如图13所示，可看出预测模型的决定系数R²为0.982 8，R²接近1，说明模型预测效果较好。

图  13  体积含矸率预测模型

Figure  13.  Prediction model for volumetric gangue content rate

下载: 全尺寸图片 幻灯片

6.   结论

1） 构建了煤矸堆积体图像数据集，并采用半自动的数据标注方法提高了数据集的标注速度。为了使网络模型学习到更多信息，利用限制对比度自适应直方图均衡化法对煤矸图像进行对比度增强处理。

2） 基于DeepLab v3+模型实现了煤矸图像分割，DeepLab v3+模型的准确率、MPA和平均交并比分别为97.68%，97.72%，95.33%，均高于经典语义分割模型FCN8s和PSPNet。

3） 利用颗粒流软件PFC^3D建立综放工作面三维模型，对放煤过程进行数值模拟，通过fish语言读取每个矸石或煤的体积，计算得到煤矸堆积体体积含矸率。

4） 通过模拟建立二维煤矸图像投影面积含矸率与煤矸堆积体体积含矸率之间的关系，构建体积含矸率预测模型。该模型的决定系数R²为0.982 8，预测效果较好。