Accurate recognition of coal-gangue image based on lightweight HPG-YOLOX-S model
-
摘要: 针对现有基于视觉技术的煤矸石分选方法存在模型参数量大、特征提取能力差、识别精度低等问题,提出了一种基于轻量化Ghost−S网络与混合并联注意力模块(HPAM)YOLOX−S模型(HPG−YOLOX−S模型)的煤矸石识别方法。首先,在YOLOX−S模型主干网络中加入HPAM,以增强图像中重要信息,抑制次要信息,加强主干网络的特征提取能力。其次,将YOLOX−S模型主干网络替换为参数量更小的Ghost−S网络,提高利用率与特征融合能力。最后,在预测层中采用SIOU损失函数来替换YOLOX−S模型的损失函数,提升检测与定位精度,加强对目标的提取能力。为验证所提方法对大块煤矸石的检测效果,将HPG−YOLOX−S模型与YOLOX−S模型进行对比,结果表明,HPG−YOLOX−S模型对煤与矸石的识别准确率分别为99.53%和99.60%,较YOLOX−S模型识别准确率分别提高了2.51%,1.27%。有效性验证结果表明, HPG−YOLOX−S模型的精确率、召回率和F1值均在94%以上,较YOLOX−S模型分别提高了5.68%,3.51%,2.91%; HPG−YOLOX−S模型的参数为7.8 MB,较YOLOX−S模型降低了1.2 MB。消融试验结果表明,HPG−YOLOX−S模型的平均精度均值较YOLOX−S模型提高了9.17%。热力图可视化试验结果表明,HPG−YOLOX−S模型关注煤与矸石的纹理和轮廓等表面差异,对煤矸石目标的全局关注度更加显著。
-
关键词:
- 煤矸石检测 /
- 图像识别 /
- 轻量化网络 /
- HPG−YOLOX−S /
- 混合并联注意力模块
Abstract: The existing coal-gangue separation methods based on vision technology have problems of large model parameter amount, poor feature extraction capability and low recognition precision. In order to solve the above problems, a coal-gangue recognition method based on YOLOX-S model combined lightweight Ghost-S network and hybrid parallel attention module (HPAM) named HPG-YOLOS-S model is proposed. Firstly, HPAM is added to the backbone network of YOLOX-S model. Thus the important information in an image is enhanced, and the secondary information is inhibited. The feature extraction capability of the backbone network is enhanced. Secondly, the backbone network of YOLOX-S model is replaced by Ghost-S network with smaller parameter quantity. The utilization rate and feature fusion capability are improved. Finally, in the predection layer, the SIOU loss function is used to replace the loss function of YOLOX-S model to impsrove the detection and positioning precision and enhance the extraction capability of the target. In order to verify the detection effect of the proposed method on large coal-gangue, the HPG-YOLOX-S model is compared with YOLOX-S model. The results show that the identification accuracy of the HPG-YOLOX-S model for coal and gangue is 99.53% and 99.60% respectively, which is 2.51% and 1.27% higher than those of YOLOX-S model. The results of validation show that the precision rate, recall rate and F1 value of the HPG-YOLOX-S model are all above 94%, which are 5.68%, 3.51% and 2.91% higher than those of YOLOX-S model respectively. The parameters amount of the HPG-YOLOX-S model is 7.8 MB, which is 1.2 MB lower than that of YOLOX-S model. The ablation experiment results show that the mean average precision of the HPG-YOLOX-S model is 9.17% higher than that of YOLOX-S model. The experiment result of visualization of the thermodynamic diagram shows that the HPG-YOLOX-S model focuses on the surface differences between coal and gangue, such as texture and contour. The model pays more attention to the overall target of coal-gangue. -
0. 引言
近年来,我国高产高效综采工作面快速发展,已建成477个智能化综采工作面[1]。工作面开采结束后,下一个待开采工作面需提前做好准备工作,以便及时开采,否则采煤工人空闲导致人力资源浪费,且未使用的综采设备堆放在仓库中增加空间成本和设备维护成本。工作面接续作业效率低下使得工作面开采工期延长,这与工作面高产高效开采理念相悖。针对该问题,需制定综采工作面接续计划。传统工作面接续计划主要依靠人工编制,工作量大,效率低,特别是搬家倒面作业,由于涉及采矿作业、生产装备、井下运输等多方面因素,常出现调度冲突,导致工期延长。合理优化综采设备搬家倒面计划有助于提高煤矿企业生产效率,减少经营成本。目前综采设备快速搬家倒面主要依赖高度机械化作业,如自动锚支、快速掘进设备安装回撤工艺等技术[2]。部分专家从运筹学角度对缩短单一工作面综采设备搬家倒面工期进行研究,如韩国华[3]结合煤矿生产实际,利用网络计划技术,通过分析、研究和计算,求解矿井某一工作面设备的搬家倒面工期。对于综采设备在不同矿井之间或同一矿井不同工作面之间进行搬家倒面工作的优化问题,还有待深入研究。
编制综采设备搬家倒面计划时,考虑每个矿井包含1个或多个工作面,每个工作面选择不同综采设备时对应工期不同,工作面之间没有先后开工顺序约束,因此可将其看作特殊的柔性作业车间调度问题。目前大多采用智能优化算法解决该问题[4],如粒子群算法[5]、灰狼算法[6]、人工蜂群算法[7]、遗传算法[8-10]等。其中遗传算法具有鲁棒性好、搜索过程灵活和全局寻优能力强等优点,在求解柔性作业车间调度问题方面应用广泛。本文将遗传算法引入工作面综采设备搬家倒面计划编制工作,通过分析国能神东煤炭集团有限责任公司(以下称神东集团)综采设备信息及开采情况,确定了搬家倒面工作中设备机械化水平、人员等关键表征参数,建立了综采设备搬家倒面多变量数学模型;采用遗传算法求解该模型,并通过实例验证了算法有效性;开发了一套基于B/S架构的综采设备搬家倒面计划管理系统,解决了传统搬家倒面计划编制工作的低效率问题。
1. 研究背景
在煤矿生产过程中,煤炭开采前需在综采工作面安装设备并试运行,开采结束后将所需设备移至下一个待开采工作面,该过程称为工作面设备搬家倒面。编制综采设备搬家倒面计划的实质是确定各工作面开工顺序、开工时间、完工时间、采用的综采设备及选择的施工队伍,其中综采设备主要为采煤机、液压支架和刮板输送机(简称“三机”)[11],安装时须遵循“三机”配套原则[12]。编制综采设备搬家倒面计划流程:① 确定完成该任务所需的安装、回撤设备及开采工期数据。② 根据综采设备选型和配套原则进行“三机”配套工作,确定各工作面适用的配套设备。③ 确定综采设备搬家倒面问题的假设条件和约束条件,进行变量定义,以最小化最大完工时间为优化目标建立数学模型。④ 设计算法进行模型求解。⑤ 根据求解结果编制综采设备搬家倒面计划。
本文对神东集团14个煤矿73个综采工作面近3 a的开采状况进行调研,收集了72种液压支架、68种采煤机、69种刮板输送机的设备信息,在此基础上进行分析处理,完成综采设备搬家倒面计划编制[13]。
2. 综采设备搬家倒面计划编制数学模型
为简化问题研究,便于数学建模,制定假设条件:① 所有设备在零时刻均可使用。② 每个工作面在可供选择的设备范围内,选择不同型号综采设备进行安装、回撤和开采的时间可不相同。③ 在同一时刻,每个工作面只能选择1套综采设备进行安装、回撤和开采。④ 在同一时刻,1套综采设备和1支施工队伍只能服务于1个工作面。⑤ 综采设备一旦开始在工作面上安装、回撤和开采,便不能中途停止。⑥ 在设备调度过程中,设备均是可用的,无需修理。
定义i为工作面序号,i=1,2,…,n,n为工作面总数;k为综采设备序号,k=1,2,…,m,m为综采设备总数;l为施工队伍序号,l=1,2,…,q,q为施工队伍总数;aik为设备选择变量,aik=1表示工作面i选择设备k,aik=0表示工作面i未选择设备k;hil为施工队伍选择变量,hil=1表示工作面i选择施工队伍l,hil=0表示工作面i未选择施工队伍l;bijk为工作面选择设备顺序变量,j=1,2,…,n,j≠i, bijk=1表示工作面i先于工作面j选择设备k,bijk=0表示工作面i未先于工作面j选择设备k;Lijl为工作面选择施工队伍顺序变量,Lijl=1表示工作面i先于工作面j选择施工队伍l,Lijl=0表示工作面i未先于工作面j选择施工队伍l;si为工作面i开始安装设备时间;ei为工作面i综采设备回撤结束时间;tik为工作面i占用设备k的时间;Tij为设备在工作面i,j之间运输时间;Cmax为综采设备回撤结束的最大完工时间。
根据综采设备搬家倒面计划编制问题特点,将该问题的优化目标确定为最小化最大完工时间,即数学模型的目标函数为
$$ H = \min {C_{\max }} $$ (1) 对该问题建立约束条件,见表1。
表 1 综采设备搬家倒面计划编制问题约束条件Table 1. Constraint conditions of fully mechanized mining equipment removal planning during sequencing working face公式 公式说明 $\displaystyle\sum\limits_{k = 1}^m { {a_{ik} } }= 1$ 1个工作面有多套设备可供选择,但只能选择其中的1套设备进行安装、回撤和开采 $\displaystyle\sum\limits_{l = 1}^q { {h_{il} } } = 1$ 1个工作面有多支施工队伍可供选择,但只能选择其中的1支施工队伍进行安装、回撤和开采 ${s_j} \geqslant \displaystyle\sum\limits_{k = 1}^m { {a_{ik} } } {a_{jk} }{b_{ijk} }{e_i} + {T_{ij} }$ 任意时刻,对于每套综采设备,只能服务于1个工作面 ${s_j} \geqslant \displaystyle\sum\limits_{l = 1}^q { {h_{il} } } {h_{jl} }{L_{ijl} }{e_i} + { {{T} }_{ij} }$ 任意时刻,对于每支施工队伍,只能服务于1个工作面 ${e_i} = {s_i} + \displaystyle\sum\limits_{ {{k} } = {\text{1} } }^{{m} } { {a_{ik} }{t_{ik} } }$ 综采设备的回撤结束时间等于设备开始安装时间加上工作面占用该设备的时间 ${s}_{i}\geqslant 0,{{e} }_{i}\geqslant 0$ 综采设备开始安装时间和回撤结束时间必须非负 $ {C_{\max }} \geqslant {e_i} $ 工作面综采设备回撤结束时间不大于最大完工时间 3. 综采设备搬家倒面计划编制遗传算法
3.1 算法设计
设计遗传算法求解综采设备搬家倒面计划编制数学模型,流程如下。
(1) 确定染色体编码规则。采用一种考虑设备、施工队伍和工作面选择的三段编码方式。设染色体长度为S,由于表示设备和施工队伍选择部分的染色体要与工作面相对应,所以S应为工作面总数的3倍,即S=3n。染色体的1~S/3段表示设备选择,每个基因位对应工作面可选择的设备序号;染色体的(S+3)/3~2S/3段表示工作面选择,每个基因位对应工作面序号;染色体的(2S+3)/3~S段表示施工队伍选择,每个基因位对应工作面可选择的施工队伍序号。
(2) 种群初始化。随机产生初始种群。
(3) 构建适应度函数。适应度函数的有效性直接决定遗传算法的搜索和进化结果,定义适应度函数为
$$ F = 1/{C_{\max }} $$ (2) (4) 选择操作。采用轮盘赌法进行染色体选择操作。
(5) 交叉操作。对于表示工作面选择部分的染色体,采用均匀交叉方式;对于表示设备和施工队伍选择部分的染色体,采用两点交叉方式。
(6) 变异操作。对于工作面和施工队伍选择部分,变异方式为在染色体上的基因位任意取2个位置,将其基因进行倒位;对于设备选择部分,变异方式为任取工作面可用设备范围内除当前设备之外的其他设备。
(7) 考虑最晚开采时间对染色体合法性进行判断和调整。在实际煤矿开采过程中,对于特定工作面,存在最晚开采时间限制,即该工作面的开采时间不能晚于最晚开采时间。对染色体来说,无法直接判断特定工作面的开采时间。因此,新生成的染色体(通过初始化、交叉、变异等操作生成的染色体)可能无法满足最晚开采时间限制,本文将该情况称为染色体不合法。
染色体的合法性判断需要先对染色体进行解码,解码后即可获取每个工作面的开采时间。对于有最晚开采时间要求的工作面,如果其开采时间满足最晚开采时间要求,则称该染色体合法,否则为不合法。出现不合法的染色体时,需对其进行调整,调整思路是将有最晚开采时间要求的工作面提前,具体步骤如下。
步骤1:将不满足最晚开采时间要求的工作面存储至集合A,并按工作面在染色体中的位置从前到后排列。
步骤2:令
$ r = 1 $ ,对于A中第$ r $ 个个体,如果该个体在染色体中的位置为1,则该问题无解,过程执行完毕,否则将其与染色体中该个体前一个位置的工作面交换,即将该工作面提前1位。令$ r = r + 1 $ ,重复步骤2,直到$ r $ 大于A中的个体数量。步骤3:对步骤2得到的调整后的染色体进行合法性判断,如果合法,过程执行完毕,否则转至步骤1。
(8) 终止算法。设置一定迭代次数来终止算法的搜索过程并输出结果。
3.2 算法有效性验证
神东集团2021年度11个综采工作面设备的搬家倒面计划如图1所示,其中绿色矩形块表示综采设备安装工期,蓝色矩形块表示回采工期,黄色矩形块表示综采设备回撤工期,该计划中搬家倒面工期为103 d。
利用本文算法得到优化的综采设备搬家倒面计划,如图2所示。该计划中搬家倒面工期为91 d,与原计划相比缩短了12 d,可看出本文算法在求解综采设备搬家倒面计划编制问题方面是有效的。
4. 综采设备搬家倒面计划管理系统
4.1 需求分析
根据煤矿企业对综采工作面设备搬家倒面计划编制要求,结合本文算法,设计综采设备搬家倒面计划管理系统。系统主要需求如下。
(1) 对管理员、工作面、施工队伍和综采设备等基础信息进行管理。
(2) 在满足工期、资源等约束的条件下,制定优化的综采设备搬家倒面计划。
(3) 系统满足易操作、稳定性高、易维护等要求。
系统E−R关系如图3所示,其中p为任务总数。
4.2 模块设计
(1) 登录/退出模块。考虑到企业信息安全,系统由具备相关权限的用户使用。用户输入账号和密码后登录系统进行相关操作。
(2) 人员管理模块。该模块用于系统用户信息展示和修改,普通员工可在该模块查看和修改个人信息,管理人员还可修改其他用户信息。
(3) 工作面管理模块。该模块用于管理工作面信息,包括添加、删除、修改等操作,还可录入综采工作面安装、回撤和开采工期。该模块的管理人员需能根据各工作面特点和采用的配套设备预测工期。
(4) 施工队伍管理模块。该模块用于录入施工队伍信息,包括添加、删除、修改等操作。
(5) 综采设备管理模块。该模块用于对综采设备基本信息进行管理,包括添加、删除、修改等操作。
(6) 工作面距离信息管理模块。在研究综采设备搬家倒面问题时,需考虑施工队伍在不同矿井之间或同一矿井不同工作面之间运输设备的时间。该模块用于录入各工作面之间的距离信息。
(7) 搬家倒面计划管理模块。该模块主要功能是根据其他模块的信息生成搬家倒面计划。本文设计的遗传算法是该模块的核心,算法参数由人工选择。员工在使用系统过程中积累经验,当面对不同规模的问题时,根据经验选择高效的算法参数。因此,该模块具有算法参数管理功能。
搬家倒面计划生成是系统核心功能,从本质上说,其他模块都是为该功能服务的,因此,搬家倒面计划管理模块可自动读取工作面、施工队伍和综采设备等信息,并根据其状态进行数据筛选,将筛选后的数据作为算法输入,经算法计算生成搬家倒面计划。系统采用甘特图和数据表相结合的方式展示搬家倒面计划。
4.3 数据库设计
系统数据库需满足数据交换的安全性、可靠性、扩展性等原则,以便对系统进行有效维护和管理。根据系统E−R关系设计员工表、工作面表、综采设备表、施工队伍表、工作面距离表、任务表等数据库表。算法配置表和搬家倒面计划表见表2、表3。
表 2 算法配置表Table 2. Algorithm configuration table名称 类型 描述 config_id int 算法配置编号 config_name varchar 配置名称 cross_pro varchar 交叉概率 mutation_pro varchar 变异概率 pop_num int 种群大小 iterate_num int 迭代次数 remark varchar 备注 4.4 系统主要页面设计
工作面管理页面如图4所示,其为系统主页面,可对工作面信息进行添加、删除和修改,并生成搬家倒面计划。
表 3 搬家倒面计划表Table 3. Fully mechanized mining equipment removal plan table during sequencing working face名称 类型 描述 plan_id int 计划编号 create_time datetime 计划创建时间 status varchar 计划执行状态 start_time datetime 开始时间 end_time datetime 结束时间 work_time varchar 工期 remark varchar 备注 点击“添加工作面”按钮,可展示工作面设备选型页面,如图5所示。每个工作面适用的综采设备不局限于1套,因此系统可对1个工作面添加多套设备。
点击“立即生成计划”按钮,会展示施工队伍数量设置页面,完成设置后,系统自动生成综采设备搬家倒面计划。
5. 结论
(1) 以最小化最大完工时间为优化目标,建立了综采设备搬家倒面计划编制数学模型,采用遗传算法对该模型进行求解,并通过实例验证了该算法的有效性。
(2) 基于综采设备搬家倒面计划编制遗传算法,开发了综采设备搬家倒面计划管理系统,解决了传统搬家倒面计划编制方式的低效率问题,有利于提高煤矿企业生产效率,降低企业生产经营成本。
-
表 1 表1 对大块煤矸石的检测效果
Table 1 Detection effect of bulk coal-gangue
模型 类别 准确率/% YOLOX−S 煤 97.09 矸石 98.35 HPG−YOLOX−S 煤 99.53 矸石 99.60 表 2 模型性能参数对比结果
Table 2 Comparison results of the model performance parameters
检测模型 精确率/% 召回率/% F1值/% 参数量/MB YOLOX−S 91.6 91.3 93.1 9.0 YOLOX−M 88.2 82.5 94.9 12.3 YOLOX−L 89.5 85.1 86.5 14.5 HPG−YOLOX−S 96.8 94.5 95.8 7.8 表 3 消融试验结果
Table 3 Ablation test results
模型 模块3 mAP/% HPAM Ghost−S SIOU YOLOX−S × × × 90.5 √ × × 93.6 √ √ × 94.2 √ √ √ 98.8 -
[1] 谢和平,王金华,王国法,等. 煤炭革命新理念与煤炭科技发展构想[J]. 煤炭学报,2018,43(5):1187-1197. DOI: 10.13225/j.cnki.jccs.2018.0517 XIE Heping,WANG Jinhua,WANG Guofa,et al. New ideas of coal revolution and layout of coal science and technology development[J]. Journal of China Coal Society,2018,43(5):1187-1197. DOI: 10.13225/j.cnki.jccs.2018.0517
[2] 王中举,毛馨凯,孙江. 基于视频解析的智能煤矸分选技术研究[J]. 工矿自动化,2021,47(增刊1):122-125. WANG Zhongju,MAO Xinkai,SUN Jiang. Research on intelligent coal-gangue separation technology based on video analysis[J]. Industry and Mine Automation,2021,47(S1):122-125.
[3] 康利,黄金辉,刘畅. GDRT型 $ \text{γ} $ 射线智能干法分选系统在六家煤矿的应用[J]. 煤炭加工与综合利用,2017(3):22-34. DOI: 10.16200/j.cnki.11-2627/td.2017.03.007KANG Li,HUANG Jinhui,LIU Chang. Application of GDRT
$ \text{γ} $ -ray intelligent dry separation system in six coal mines[J]. Coal Processing & Comprehensive Utilization,2017(3):22-34. DOI: 10.16200/j.cnki.11-2627/td.2017.03.007[4] 梁兴国. TDS智能干选机在井下排矸充填技术的应用[J]. 选煤技术,2020(2):30-34. DOI: 10.16447/j.cnki.cpt.2020.02.008 LIANG Xingguo. Application of the technique for underground destoning and stowing using TDS intelligent dry cleaning machine[J]. Coal Preparation Technology,2020(2):30-34. DOI: 10.16447/j.cnki.cpt.2020.02.008
[5] DUAN Chenlong,ZHOU Chenyang,DONG Liang,et al. A novel dry beneficiation technology for pyrite recovery from high sulfur gangue[J]. Journal of Cleaner Production,2018,172(3):2475-2484.
[6] MOHANTA S,MEIKAP B C. Influence of medium particle size on the separation performance of an air dense medium fluidized bed separator for coal cleaning[J]. Journal of the South African Institute of Mining and Metallurgy,2015,115:761-766.
[7] 李思维,常博,刘昆轮,等. 煤炭干法分选的发展与挑战[J]. 洁净煤技术,2021,27(5):32-37. DOI: 10.13226/j.issn.1006-6772.21042555 LI Siwei,CHANG Bo,LIU Kunlun,et al. Development and challenges of dry coal separation[J]. Clean Coal Technology,2021,27(5):32-37. DOI: 10.13226/j.issn.1006-6772.21042555
[8] MCCOY J T,AURET L. Machine learning applications in minerals processing:A review[J]. Minerals Engineering,2019,132:95-109. DOI: 10.1016/j.mineng.2018.12.004
[9] 何敏,王培培,蒋慧慧. 基于SVM和纹理的煤和煤矸石自动识别[J]. 计算机工程与设计,2012,33(3):1117-1121. DOI: 10.3969/j.issn.1000-7024.2012.03.055 HE Min,WANG Peipei,JIANG Huihui. Recognition of coal and stone based on SVM and texture[J]. Computer Engineering and Design,2012,33(3):1117-1121. DOI: 10.3969/j.issn.1000-7024.2012.03.055
[10] 陈立,杜文华,曾志强,等. 基于小波变换的煤矸石自动分选方法[J]. 工矿自动化,2018,44(12):60-64. DOI: 10.13272/j.issn.1671-251x.2018020047 CHEN Li,DU Wenhua ZENG Zhiqiang,et al. Automatic separation method of coal and gangue based on wavelet transform[J]. Industry and Mine Automation,2018,44(12):60-64. DOI: 10.13272/j.issn.1671-251x.2018020047
[11] 王家臣,李良晖,杨胜利. 不同照度下煤矸图像灰度及纹理特征提取的实验研究[J]. 煤炭学报,2018,43(11):3501-3061. DOI: 10.13225/j.cnki.jccs.2018.0866 WANG Jiachen,LI Lianghui,YANG Shengli. Experimental study on gray and texture features extraction of coal and gangue image under different illuminance[J]. Journal of China Coal Society,2018,43(11):3501-3061. DOI: 10.13225/j.cnki.jccs.2018.0866
[12] 何江,张科星. 基于机器视觉的AlexNet网络煤矸石检测系统[J]. 煤炭技术,2022,41(3):205-208. HE Jiang,ZHANG Kexing. Coal gangue detection system based on machine vision of AlexNet net work[J]. Coal Technology,2022,41(3):205-208.
[13] 徐志强,吕子奇,王卫东,等. 煤矸智能分选的机器视觉识别方法与优化[J]. 煤炭学报,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307 XU Zhiqiang,LYU Ziqi,WANG Weidong,et al. Machine vision recognition method and optimization for intelligent separation of coal and gangue[J]. Journal of China Coal Society,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307
[14] 来文豪,周孟然,胡锋,等. 基于多光谱成像和改进YOLOv4的煤矸石检测[J]. 光学学报,2020,40(24):72-80. LAI Wenhao,ZHOU Mengran,HU Feng,et al. Coal gangue detection based on multi-spectral imaging and improved YOLOv4[J]. Acta Optica Sinica,2020,40(24):72-80.
[15] LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,42(2):318-327.
-
期刊类型引用(0)
其他类型引用(4)