Coal mine image instance segmentation method based on improved SOLOv2
-
摘要: 现有的图像分割方法用于清晰度较好的煤矿井下图像时效果良好，但应用于环境复杂的煤矿井下时，获取的图像大多较模糊且目标物体轮廓不清晰，从而影响目标物体的分割精度。针对上述问题，提出了一种基于改进SOLOv2的煤矿图像实例分割方法。将SOLOv2模型的ResNet−50网络替换为ResNeXt−18网络，从而精简网络层数，提升模型的推理速度；引入坐标注意力（CA）模块，以提升模型特征提取能力，保留精确的位置信息，提高模型的图像分割精度；采用ACON−C激活函数替换ReLU激活函数，从而使神经元之间的特征得以充分组合，增强模型的特征表达能力，进一步提高模型的图像分割精度。将改进SOLOv2模型部署在嵌入式平台上进行煤矿图像分割实验，相较于SOLOv2模型，改进SOLOv2模型的Mask AP（掩膜平均精度）提高了1.1%，模型权重文件减小了83.2 MiB，推理速度提高了5.30帧/s，达26.10 帧/s，在煤矿图像分割精度和推理速度上均有一定提升。Abstract: The existing image segmentation methods have good results when used for coal mine underground images with good clarity. But when the methods are applied to coal mine underground images with complex environments, the obtained images are mostly blurry and the contour of the target object is not clear. The result affects the segmentation precision of the target object. In order to solve the above problems, a coal mine image instance segmentation method based on improved SOLOv2 is proposed. The method replaces the ResNet-50 network of the SOLOv2 model with the ResNeXt-18 network to simplify the network layers and improve the inference speed of the model. The method introduces the coordinate attention (CA) module to enhance the model's feature extraction capability, retain precise positional information, and improve the model's image segmentation precision. The method replaces the ReLU activation function with the ACON-C activation function. The features between neurons can be fully combined, enhancing the model's feature expression capability, and further improving the image segmentation precision of the model. The improved SOLOv2 model is deployed on an embedded platform for coal mine image segmentation experiments. Compared to the SOLOv2 model, the Mask AP (mask average precision) of the improved SOLOv2 model increases by 1.1%, the weight file of the model decreases by 83.2 MiB. The inference speed increases by 5.30 frames/s, reaching 26.10 frames/s. Both the precision and inference speed of coal mine image segmentation are improved to a certain extent.
-
0. 引言
煤矿智能化无人开采是煤炭开采技术发展的终极目标，是煤矿智能化建设的核心，对实现煤矿减人、增安、提效具有重要意义[1-3]。采煤机作为综采工作面的核心装备，实现其智能截割调控是智能化无人开采的必要基础保障[4]。
采煤机智能截割调控包含截割模板生成、截割路径规划和智能调高控制3个方面，分别对应采煤机运行中的智能感知、智能决策和智能执行。
截割模板生成是确定采煤机滚筒截割高度的重要依据。目前普遍方法是依据煤矿高精度三维地质模型数据，沿工作面倾向剖切获得截割模板数据。李森等[5]以地质模型数据为依据，采用基于趋势分解与机器学习的滚筒截割高度预测方法生成截割模板。侯运炳等[6]利用煤层精细化物探数据构建工作面高精度三维地质模型，并以此提取截割模板。李旭等[7]利用煤矿地质数据、工作面切眼数据和工作面运输巷与回风巷实际数据，采用三次样条插值方法建立了初始三维数字截割模板。但现有方法缺乏对采煤机滚筒状态的分析，使得截割模板生成质量难以保证，甚至会造成无法根据工作面实际煤层变化灵活指导采煤机作业。
截割路径规划是基于生成的初始截割模板，结合预测模型或人工经验等，规划未来时刻的采煤机截割路径，一方面实现工作面倾向的顶底板最优截割曲线（与煤层边界误差最小），另一方面实现工作面连续推进。司垒等[8]建立了多输入、单输出的最小二乘支持向量机滚动预测模型，提出了一种基于煤层分布预测的采煤机截割路径规划方法。董刚等[9]针对采煤机上滚筒截割过程中在顶板煤岩界面弯曲区域极易截割到顶板岩石的问题，提出了一种基于虚拟煤岩界面的采煤机上滚筒路径规划方法。然而现有方法未充分考虑工作面起伏情况和地质环境条件，导致得到的截割路径不是最优，进而使得采煤机无法精准调整滚筒截割高度，影响采煤效率和质量。
智能调高控制是通过软件程序及采煤机高精度控制单元，在截割过程中使滚筒实现自适应调高。符大利[10]分析了基于透明地质模型的截割曲线规划原理，建立了透明工作面自动调高模型，并进行了采煤机规划调高的工程应用。钟立雯[11]设计了一种基于极限学习机的PID控制方法，实现了采煤机的非线性、延时自适应调高。王焕文等[12]针对薄煤层等复杂地质条件下的采煤机自动化开采作业，构建了基于单向示范刀的采煤机记忆截割模型，依照该模型使采煤机实现智能调高，提高了示范刀采样轨迹和截割轨迹的吻合度。李旭东[13]提出了采煤机自动调高控制策略及截割曲线的拟合方式，在此基础上设计了自动调高控制系统。刘送永等[14]采用基于新型神经网络观测器的间接自适应规定性能控制方法，实现采煤机自动调高控制。许连丙[15]研究了基于Elman神经网络的采煤机智能调高控制算法，实现了采煤机截割滚筒自动调高。但是，目前调高控制方法依赖采煤机自身控制单元（例如记忆截割模式），一旦地质条件发生变化，无法及时实现自适应调控，影响截割效果。
为解决上述问题，本文提出了一种基于工艺驱动的采煤机智能截割调控方案。按照工作面液压支架编号采集采煤机滚筒截割高度数据并进行处理，动态生成截割模板；结合工作面顶底板写实数据与人工割煤经验，对截割模板进行修正，得到最优截割路径；根据不同采煤工艺阶段，实现采煤机滚筒自适应调高。该方案适用于不同采煤工艺的综采工作面，可为推进无人化采煤提供技术支撑。
1. 基于工艺驱动的采煤机智能截割调控总体方案
基于工艺驱动的采煤机智能截割调方案如图1所示。集控上位机软件平台位于地面控制中心操作岛，与采煤机通过矿井环网连接。结合采煤机滚筒截割高度历史数据，对采集的滚筒截割高度实时数据进行处理，生成采煤机截割模板；结合工作面顶底板写实数据与人工割煤经验，规划采煤机下一刀的顶底板截割路径；依据采煤工艺，下发滚筒截割高度调节量至采煤机，形成新一代“井上智能决策、煤机智能调控”的采煤机智能截割模式。
![]()
图 1 基于工艺驱动的采煤机智能截割调控方案Figure 1. Intelligent shearer cutting control scheme based on process driven2. 基于工艺驱动的采煤机智能截割调控关键技术
2.1 采煤机截割模板动态生成
现有采煤机记忆截割系统输入数据来源于传感器采集的截割高度数据[16-18]，并没有考虑支架的位置和宽度，因此，无法在截割模板中准确提取采煤机滚筒到达每个支架时所需的截割高度数据，导致截割模板数据（顶底板曲线）与真实设备的安装部署条件不匹配，截割模板数据可信度明显降低，造成未来的截割路径与煤岩分界线偏差大。因此，本文按照工作面液压支架编号采集采煤机滚筒截割高度数据并进行处理，动态生成采煤机截割模板，具体流程如图2所示。
在采煤机截割过程中，采煤机截割位置支架编号不断变化，左右滚筒位置支架编号也不断变化，集控上位机软件平台实时采集滚筒截割高度数据，并按照滚筒位置支架编号添加到滚筒截割高度数组；同时，集控上位机软件平台对滚筒位置进行周期校验，判断是否存在跳变异常现象（即支架编号不连续），使用拉格朗日多项式插值法补齐跳变位置数据，采用修剪均值算法优化整个数组，最终获得完整的采煤机滚筒截割高度数组。
在采煤机割一刀煤结束时，根据采煤机滚筒截割高度数组，按照0.1架的间隔，采用分段线性插值算法得到顶底板2条曲线。结合历史顶底板曲线数据，使用最近邻插值法优化这2条曲线数据，使滚筒截割高度数据更连续；使用高斯滤波算法去除顶底板曲线中的波峰与波谷，使滚筒截割高度数据更平滑；根据人工设定的阈值，分别对顶底板曲线进行插值平滑处理，最终生成下一刀采煤机截割模板。插值平滑处理具体实现方法：以顶板曲线数据为例，遍历每个顶板曲线数据，按照当前支架编号向小号方向计数N个顶板曲线数据（不足N个从大号方向补全），向大号方向计数N个顶板曲线数据（不足N个从小号方向补全），相邻2N个顶板曲线数据计算平均值，当前顶板曲线数据与平均值求差值，如果差值超过人工设定阈值，则认为当前顶板曲线数据不可靠，采用平均值替换。
2.2 采煤机截割路径优化
采煤机在截割过程中易受到煤层厚度、地质硬度等环境因素的影响，导致截割质量不稳定，截割模板不准确[19]。同时，由于缺乏对已开采空间围岩状态的持续分析，无法对已完成开采的顶底板曲线存在的问题进行综合评估分析，制定相应的曲线修正方案。因此，本文基于工作面顶底板写实数据，结合人工割煤经验，通过集控上位机软件平台预先规划采煤机截割路径，并实时调节截割路径，以实现滚筒截割高度与工作面顶底板曲线的自适应耦合，如图3所示。
1） 工作面顶底板写实数据录入及上传。在每个生产班开始前，井下采煤工人巡检工作面，观察顶底板工程质量，使用APP移动端软件记录工作面顶底板写实数据，上传顶底板照片、录像等真实采场环境素材，根据割煤经验输入注意信息；通过工作面无线网络，将上述数据上传至地面集控上位机软件平台。
2） 工作面顶底板写实数据确认。地面操控中心人员使用集控上位机软件平台人机交互界面查看截割模板，以及工作面顶底板写实数据、采场照片、录像及注意信息，参照工作面倾向起伏曲线数据，调整截割模板数据，并存入SQL关系型数据库。
3） 截割路径预先规划。在采煤机截割过程中，地面操控中心人员关注采煤机截割高度与截割模板之间的差异，同时结合实际情况（如视频、滚筒截割高度），利用集控上位机软件平台预先规划截割路径。
4） 截割路径实时干预。在采煤机截割过程中，集控上位机软件平台自动下发滚筒截割高度数据，控制滚筒采高、卧底量。当地面操控中心人员发现滚筒截割高度不满足采场空间需求时，可使用集控上位机软件平台人机交互功能在线调节采煤机截割路径。
2.3 采煤机自适应调高控制
目前，煤矿综采工作面自动化开采控制大多数处于单机设备自动控制、简单多机设备交互协同辅助的状态[20]。由于煤矿开采设备数量大、工艺复杂度高，且采煤工艺、设备控制工序需根据实际生产情况动态调整频繁[21]，目前的设备交互协同控制无法满足生产系统整体层面上的调度控制需求，需要将设备间协同控制与生产实际工艺需求有机结合起来。因此，本文通过编辑采煤工艺和设置截割模板数据，形成采煤工艺表文件；集控上位机软件平台依据采煤工艺表文件，下发采煤机滚筒截割高度调节量，实现采煤机自适应调高控制，如图4所示。
根据采煤机运行方向，将采煤工艺划分为多个工序阶段，每个工序阶段中根据采煤机运行位置与方向作为动作的关联条件，进行采煤机控制逻辑编辑，形成采煤工艺表文件。采煤工艺表文件具备采煤机全工作面割煤工序控制逻辑，该控制逻辑将采煤机在工作面中部段、端部清浮煤段、斜切进刀段、三角煤区域段的工序进行分解，转换为不同采煤工序阶段。每个采煤工序阶段可通过接收上一个工序的反馈数据、延迟时间等逻辑判断作为该采煤工序阶段执行逻辑判断依据，实现整个采煤工艺循环控制。
每个采煤工序阶段对应一个表单化的控制属性参数配置信息，用来配置采煤机控制工序执行的触发条件和结束条件，以及滚筒截割高度、采煤机运行方向等。根据实际采煤生产过程需要，通过控制属性参数配置对每个采煤工序滚筒的具体控制方式进行进一步细化，确定滚筒截割路径。
集控上位机软件平台加载采煤工艺表文件后，将其转换为可执行控制逻辑程序，程序接收采煤机运行状态参数，分析采煤机运行方向及所在位置，判断采煤工艺执行阶段、工序任务是否需要切换；依据采煤机运行方向及所在位置进行采煤工序切换，判断采煤工序触发条件，进行工序调度，按照工序属性参数配置信息，向采煤机发送调度数据（包括截割模板数据、截割路径调整量等），采煤机接收数据后通过解析数据执行相应动作，从而确保采煤机滚筒截割按照参数配置自适应调高。
3. 采煤机智能截割调控示范应用
为验证基于工艺驱动的采煤机智能截割调控应用效果，在神东煤炭集团榆家梁煤矿43207工作面开展了示范应用。
在采煤机截割模板的基础上，规划截割调整量，利用采煤工艺驱动，按照编辑的采煤工序及截割参量，调度采煤机运行方向及速度，并按0.1架的间距，将滚筒截割高度数据自动下发至采煤机执行单元，地面集控上位机软件平台即可实现采煤机全工作面智能截割工序的控制。
2022年10月1日，榆家梁煤矿43207工作面建成采煤机智能截割调控新模式以来，逐渐形成常态化使用，并连续多次刷新单班生产纪录，其中，10月4日零点班首次完成单班完整地面割煤6刀，10月7日首次完成圆班完整地面割煤13刀，10月16日圆班割煤13刀70架，相比传统人工平均圆班生产12刀，效率提升达13%。
采煤机智能截割调控方案的示范应用，实现了无人化采煤常态化作业，将生产班工作面作业人员由3人减少至工作面中部无人，两端头固定岗位监护采煤作业，采煤机自动割煤率达97%以上。
4. 结论
1） 按照工作面液压支架编号实时采集采煤机滚筒截割高度数据，并结合采煤机滚筒截割高度历史数据对实时数据进行处理，动态生成采煤机截割模板。
2） 结合工作面顶底板写实数据与人工割煤经验，预先规划截割路径并实时干预，达到滚筒截割高度与采场空间顶底板曲线自适应耦合的效果。
3） 基于采煤机工艺驱动控制滚筒截割高度，从而实现采煤机自适应调高控制。
-
![]()
图 2 ResNeXt−18网络的组合模块1结构
Figure 2. The structure of combination module 1 in ResNeXt-18 network
![]()
图 3 CA模块及ResNeXt−18_CA网络结构
Figure 3. The structures of the coordinate attention moduleand the ResNeXt-18_CA network
表 1 ResNeXt−18网络结构参数
Table 1 Parameters of ResNeXt-18 network structure
类型 滤波器
数量输出
大小ResNeXt−18
（16×2d）标准卷积层 64 240×240 7×7，64，步长=2 最大池化层 32 120×120 3×3，32，步长=2 组合模块1 64 120×120 $ \left[ \begin{array}{c}3\times3,32,A=16 \\ 3\times\mathrm{3,64}\end{array} \right]\times2 $ 组合模块2 128 60×60 $ \left[ \begin{array}{c}3\times3,64,A=16 \\ 3\times\mathrm{3,128}\end{array} \right]\times2 $ 组合模块3 256 30×30 $ \left[ \begin{array}{c}3\times3,128,A=16 \\ 3\times\mathrm{3,256}\end{array} \right]\times2 $ 组合模块4 512 15×15 $ \left[ \begin{array}{c}3\times3,256,A=16 \\ 3\times\mathrm{3,512}\end{array} \right]\times2 $ 
下载: 导出CSV
表 2 在煤矿图像数据集上的改进SOLOv2模型的消融实验结果
Table 2 Ablation experiment results of improved SOLOv2 model on coal mine image dataset
模型 主干特征提取网络 特征金字塔网络 激活函数 权重文件大小/MiB Mask AP/% 帧速率/（帧·s−1） SOLOv2 ResNet−50 FPN ReLU 384.7 0.983 20.80 改进模型1 ResNeXt−18 FPN ReLU 293.0 0.984 26.39 改进模型2 ResNeXt−18_CA FPN ReLU 301.4 0.986 26.10 改进模型3 ResNeXt−18 FPN ACON−C 293.0 0.988 26.37 改进SOLOv2 ResNeXt−18_CA FPN ACON−C 301.5 0.994 26.10
下载: 导出CSV
表 3 不同网络模型实验结果比较
Table 3 Comparison of experimental results of different network models
模型 权重文件
大小/MiBMask AP/% 帧速率/（帧·s−1） Mask R−CNN 351.3 0.967 13.90 SOLOv2 338.1 0.986 18.10 改进SOLOv2 301.5 0.994 26.10
下载: 导出CSV
-
[1] LIN Kunqi,HUANG Wenhui,FINKELMAN R B,et al. Distribution,modes of occurrence,and main factors influencing lead enrichment in Chinese coals[J]. International Journal of Coal Science & Technology,2020,7(1):1-18.
[2] JU Yang,ZHU Yan,XIE Heping,et al. Fluidized mining and insitu transformation of deep underground coal resources:a novel approach to ensuring safe,environmentally friendly,low-carbon,and clean utilisation[J]. International Journal of Coal Science & Technology,2019,6(2):184-196.
[3] LONG J,SHELHAMER E,DARRELL T. Fully convolutional networks for semantic segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition,Boston,2015:3431-3440.
[4] REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.
[5] LIU Shu,QI Lu,QIN Haifang,et al. Path aggregation network for instance segmentation[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City,2018:8759-8768.
[6] HE Kaiming,GKIOXARI G,DOLLAR P,et al. Mask R-CNN[C]. IEEE International Conference on Computer Vision,Venice,2017:2980-2988.
[7] BOLYA D,ZHOU Chong,XIAO Fanyi,et al. YOLACT:real-time instance segmentation[C]. IEEE/CVF International Conference on Computer Vision,Seoul,2019:9156-9165.
[8] BAI Min,URTASUN R. Deep watershed transform for instance segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:2858-2866.
[9] DAI Jifeng,HE Kaiming,LI Yi,et al. Instance-sensitive fully convolutional networks[C]. European Conference on Computer Vision,Amsterdam,2016:534-549.
[10] CHEN Xinlei,GIRSHICK R,HE Kaiming,et al. TensorMask:a foundation for dense object segmentation[C]. IEEE/CVF International Conference on Computer Vision,Seoul,2019:2061-2069.
[11] XIE Enze,SUN Peize,SONG Xiaoge,et al. PolarMask:single shot instance segmentation with polar representation[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:12190-12199.
[12] WANG Xinlong,KONG Tao,SHEN Chunhua,et al. SOLO:segmenting objects by locations[C]. European Conference on Computer Vision,Glasgow,2020:649-665.
[13] 李明,鹿朋,朱美强,等. 基于改进YOLO−tiny的闸板阀开度检测[J]. 煤炭学报,2021,46(增刊2):1180-1190. DOI: 10.13225/j.cnki.jccs.2021.0200 LI Ming,LU Peng,ZHU Meiqiang,et al. Opening degree detection of gate valve based on improved YOLO-tiny[J]. Journal of China Coal Society,2021,46(S2):1180-1190. DOI: 10.13225/j.cnki.jccs.2021.0200
[14] 赵小虎,车亭雨,叶圣,等. 煤体红外热像异常区域分割方法[J]. 工矿自动化,2022,48(9):92-99. ZHAO Xiaohu,CHE Tingyu,YE Sheng,et al. Segmentation method of the abnormal area of coal infrared thermal image[J]. Journal of Mine Automation,2022,48(9):92-99.
[15] 冯文彬,厉舒南,田昊,等. 基于融合边缘优化的煤矿图像语义分割方法[J]. 煤矿安全,2022,53(2):136-141. DOI: 10.13347/j.cnki.mkaq.2022.02.022 FENG Wenbin,LI Shunan,TIAN Hao,et al. Images semantic segmentation method based on fusion edge optimization[J]. Safety in Coal Mines,2022,53(2):136-141. DOI: 10.13347/j.cnki.mkaq.2022.02.022
[16] 杨潇,陈伟,任鹏,等. 基于域适应的煤矿环境监控图像语义分割[J]. 煤炭学报,2021,46(10):3386-3396. DOI: 10.13225/j.cnki.jccs.2020.1771 YANG Xiao,CHEN Wei,REN Peng,et al. Coal mine monitoring image semantic segmentation based on domain adaptation[J]. Journal of China Coal Society,2021,46(10):3386-3396. DOI: 10.13225/j.cnki.jccs.2020.1771
[17] 左纯子,王征,张科,等. 基于改进DeepLabV3+的煤尘图像分割方法[J]. 工矿自动化,2022,48(5):52-57,64. ZUO Chunzi,WANG Zheng,ZHANG Ke,et al. Coal dust image segmentation method based on improved DeepLabV3+[J]. Journal of Mine Automation,2022,48(5):52-57,64.
[18] 司垒,王忠宾,熊祥祥,等. 基于改进U−net网络模型的综采工作面煤岩识别方法[J]. 煤炭学报,2021,46(增刊1):578-589. DOI: 10.13225/j.cnki.jccs.2020.1011 SI Lei,WANG Zhongbin,XIONG Xiangxiang,et al. Coal-rock recognition method of fully-mechanized coal mining face based on improved U-net network model[J]. Journal of China Coal Society,2021,46(S1):578-589. DOI: 10.13225/j.cnki.jccs.2020.1011
[19] WANG Xinlong,ZHANG Rufeng,KONG Tao,et al. SOLOv2:dynamic and fast instance segmentation[EB/OL]. [2023-02-20]. https://arxiv.org/abs/2003.10152.
[20] HOU Qibin,ZHOU Daquan,FENG Jiashi. Coordinate attention for efficient mobile network design[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Nashville,2021:13708-13717.
[21] MA Ningning,ZHANG Xiangyu,LIU Ming,et al. Activate or not:learning customized activation[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,2021:8028-8038.
-
期刊类型引用(2)
1. 张彦蕾. 基于模糊控制的采煤机自适应截割控制技术研究. 凿岩机械气动工具. 2025(02): 106-108 . 
百度学术
2. 牛宝平. 锦界煤矿31302综采面自动化自适应割煤研究. 中国煤炭. 2024(S1): 180-185 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 276
- HTML全文浏览量: 79
- PDF下载量: 35
- 被引次数: 2
