Integrated and improved YOLOv8 and triangulated network method for extracting indicators in open-pit mine mining areas
-
摘要:
基于深度学习的露天矿山遥感影像研究为露天矿山采场的快速识别与提取提供了方向,但在露天矿山的实际应用仍局限于识别阶段,存在露天矿山边界提取不准确、模型训练时样本分布不平衡等问题。针对上述问题,提出了一种整合改进YOLOv8与三角网的露天矿山采场指标提取方法。在YOLOv8的基础上进行以下改进,得到Mine−YOLO:添加高效多尺度注意力(EMA)模块,以提高模型对矿山采场边界细节的识别与分割精度;添加全局注意力机制(GAM)模块,从全局尺度保留露天矿山采场特征数据,提高采场目标识别精度;采用Focaler−IoU损失函数优化,增强模型对正样本的区分能力。根据无人机获取的露天矿山数字高程模型(DEM)数据,结合Mine−YOLO模型进行识别与分割处理,获取露天矿山采场区域DEM影像,并自动建立不规则三角网,实现对露天矿山采场面积、体积和采深的精确定量监测。实验结果表明,Mine−YOLO模型在采场识别与分割方面的平均精度均值分别达0.942和0.865,具有较高的识别精度和较好的分割效果。实际应用结果表明,基于Mine−YOLO模型提取的采场数据与传统测量值相差不大,平均面积误差为5.8%,平均体积误差为4.9%,最小采深误差仅为0.2%。
Abstract:The research on remote sensing imagery of open-pit mines based on deep learning has provided a direction for the rapid identification and extraction of open-pit mining areas. However, its practical application in open-pit mining is still limited to the recognition stage, with issues such as inaccurate boundary extraction and unbalanced sample distribution during model training. To address these issues, an improved method for extracting mining field indicators by integrating YOLOv8 with a triangulated network was proposed. Based on YOLOv8, the following improvements were made to obtain Mine-YOLO: the addition of an Efficient Multi-Scale Attention (EMA) module to enhance the model's recognition and segmentation accuracy of mining field boundaries; the inclusion of a Global Attention Mechanism (GAM) module to retain open-pit mining field feature data at a global scale, improving target recognition accuracy; and the optimization of the Focaler-IoU loss function to enhance the model's ability to distinguish positive samples. By utilizing digital elevation model (DEM) data of the open-pit mine obtained by UAVs and combining it with the Mine-YOLO model for recognition and segmentation, DEM images of the mining area were obtained, and a triangulated irregular network was automatically generated. This enabled precise quantitative monitoring of the mining field's area, volume, and depth. Experimental results showed that the Mine-YOLO model achieved average accuracies of 0.942 for recognition and 0.865 for segmentation, demonstrating high recognition accuracy and good segmentation results. Practical application results showed that the mining field data extracted using the Mine-YOLO model were similar to traditional measurement values, with an average area error of 5.8%, an average volume error of 4.9%, and a minimum depth error of only 0.2%.
-
0. 引言
在露天矿山开采中,定期且连续地获取采场信息,对于制定和修改生产计划、评价矿山开采对环境的影响、动态监测矿山开采活动、防止超深超范围开采等具有重要意义[1]。露天矿山往往地形复杂,传统的露天矿山信息获取方法需要实地测查,耗费人力物力。遥感技术作为一种非入侵式的监测手段,在众多露天矿山监测方法中显示出其广泛的应用范围和高效性[2],特别是无人机航测技术的应用,为精确高效获取露天矿山数据提供了新的手段[3-4]。
早期露天矿山遥感影像的识别与提取主要依赖于专家的目视解译方法,该方法存在显著的主观性,并且成本高昂。随着研究的深入,越来越多的学者致力于探索遥感图像的自动化或半自动化分类与提取技术[5-7]。R. Balaniuk等[8]使用CNN模型,基于Sentinel−2卫星数据识别矿区的尾矿坝。Xie Hongbin等[9]利用GaoFen−2卫星图像,通过人工标注创建露天矿山语义分割数据集,提出了基于U−Net的像素级语义分割模型。Chen Tao等[10]提出了一种改进的U−Net+多层特征关联深度学习网络,通过保证网络中每层特征映射的最大值减少露天矿山特征丢失。但是由于露天矿山图斑表现复杂、空间分布不规则等因素,像素级的分割模型在露天矿山这种复杂场景中的分割整体性不好。Xie Hongbin等[11]介绍了一种用于分割露天矿山的新型网络DUSegNet,其同时具有SegNet,UNet和D−LinkNet的优势,在GaoFen−2图像上显示出较好的实体对象分割能力。Liu Yong等[12]提出了一种面向露天矿开采的端到端小物体检测和可行驶区域分割框架,通过轻量级注意力模块增强对小物体空间和通道维度的关注。Meng Xiaoliang等[13]提出一种收集−注入−感知网络GIPNet,从多尺度特征融合中保存信息,提高露天矿区边界的识别定位能力。郭栋梁等[14]提出一种改进轻量化PAM−M−YOLO 模型,实现了矿区煤矸石图像检测。阮顺领等[15]使用了BiFPN特征融合模块,提高小型负障碍物的检测权重占比,同时引入空间和通道双注意力机制,以增强对负障碍物边缘的特征提取和融合能力。
虽然前人基于深度学习的研究为露天矿山采场的快速识别与提取提供了方向,但在露天矿山的实际应用仍局限于识别阶段,存在以下不足:① 轻量级模型在降低参数量时,也降低了模型的特征提取能力,导致露天矿山边界提取不准确。② 模型训练时样本分布不平衡,模型实际应用时露天矿山采场的复杂性和多样性会影响模型的识别提取能力。③ 露天矿山采场图像通常较大,需要进行裁剪,要求模型具有更高的全局特征提取能力。④ 露天矿山采场的自动识别与后续相关指标自动化获取的融合研究较少,难以满足露天矿山精确、快速的监测需求。
针对上述问题,本文提出一种整合改进YOLOv8与三角网的露天矿山采场指标提取方法。通过全局注意力机制(Global Attention Mechanism, GAM)[16]、高效多尺度注意力(Efficient Multi-Scale Attention, EMA)机制[17-18]、Focaler−IoU损失函数[19-20]改进YOLOv8,得到Mine−YOLO轻量级网络模型。基于Mine−YOLO模型提取露天矿山掩膜,结合无人机低空遥感数据生成的数字高程模型(Digital Elevation Model,DEM)数据,利用仿射矩阵获取露天矿山及建筑物地理坐标及高程数据,得到矿山采深信息;利用高程坐标生成不规则三角网(Triangulated Irregular Network,TIN),获取较精确的矿山开采面积、体积信息,实现露天矿山采场数据定量监测。
1. 露天矿山采场数据集构建
本文研究数据来源于湖北省襄阳市露天矿山动态监测项目,包括39座露天矿山2022—2024年的无人机正射影像数据,共有855张可用的露天矿山DEM影像数据。对原始影像数据进行旋转、剪切、反转等几何变换处理后,得到3 100张可用影像数据,部分图像如图1所示。这些转换可修改图像的空间属性、方向和比例,从而允许模型从不同角度和透视图观察数据。数据集中2 170张图像用于模型训练,620张图像用于模型验证,310张图像用于模型测试。
露天矿山遥感影像采集的异质性源于数据采集时间的差异和采集环境的多样性。为了消除颜色偏差对YOLO神经网络模型性能的影响,经过几何变换的部分影像还需要进行颜色等变换处理,本文主要对影像的亮度、饱和度及对比度进行相关处理,如图2所示。
大部分原始数据进行一般图像增强处理即可用于模型训练验证,但由于露天矿山的环境复杂多变,往往会遇到云层等阴影遮盖或恶劣天气等情况。针对露天矿山采场识别及提取受到较大干扰的图像进行直方图均衡化处理,以突出采场细节,便于模型提取相关特征。
2. 整体方法流程
在YOLOv8模型基础上,通过添加增强通道,引入空间与全局多尺度特征捕捉的注意力网络,使模型能兼顾露天矿山采场全局与边界细节信息;通过改进损失函数,增强模型对正样本的区分能力。对露天矿山定期获取的原始无人机影像进行处理,生成露天矿山DEM影像,并对生成的影像进行裁剪等处理。利用处理后的影像制作露天矿山采场标签,训练Mine−YOLO模型,获取最优训练参数,并使用最优模型对露天矿山DEM影像采场区域进行识别和提取。基于仿射矩阵获取采场区域坐标集,生成TIN,获取露天矿山采场的面积、体积及开采深度。具体流程如图3所示。
3. Mine−YOLO模型
Mine−YOLO模型结构如图4所示。Mine−YOLO在YOLOv8的基础上进行了以下改进:添加EMA模块,以提高模型对矿山采场边界细节的识别与分割精度;添加GAM模块,从全局尺度保留露天矿山采场特征数据,提高采场目标识别精度;将原损失函数替换为Focaler−IoU,以增加正确样本对训练过程的梯度贡献。
3.1 EMA模块
EMA通过在不同尺度上计算注意力来捕捉不同层次的信息,使得模型能够同时关注露天矿山采场全局特征和局部特征,提高对于复杂环境的信息捕捉能力[21]。EMA模块结构如图5所示,X Avg Pool表示一维水平全局池,Y Avg Pool表示一维垂直全局池,Re−weight为重构权重,c为通道数,h为图像高度,w为图像宽度。
对于任何给定的输入特征图$ {{\boldsymbol{A}}}\in {\bf{R}}^{{c}\times {h}\times {w}} $,EMA将A分为g个子特征组,每个组学习不同的语义。该分组策略显著增强了语义区域特征的提取能力,并有效抑制了噪声干扰。EMA采用3个并行路径提取分组特征图的注意力权重,其中2个路径为1×1分支,另一个路径为3×3分支。1×1分支采用一维全局平均池化操作,分别在2个空间方向上编码通道信息,基于1×1分支可在不同空间方向获取露天矿山采场的细节特征。3×3分支通过3×3卷积捕获露天矿山采场的多尺度特征表示。具体来说,1×1分支的输出通过二维全局平均池化编码全局空间信息,而3×3分支的输出直接转换为相应的维度形状。然后,通过矩阵点积操作聚合这些输出,生成第1个空间注意力图。每组输出特征图通过Sigmoid函数进行聚合,捕获像素级配对关系,并突出所有像素的全局上下文,使EMA不仅具备编码跨通道信息的能力,还能够将精确的空间结构信息保留在通道中。对于每个尺度,需分别进行注意力权重计算。
露天矿山采场数据常受到天气、光照等因素的影响,造成不同环境下的特征差异。EMA通过全局上下文和空间结构的动态调整,使得模型能在各种复杂条件下保持较高的鲁棒性,特别是在变化较大的采场场景中,能够稳定提取准确的目标信息。
3.2 GAM模块
GAM模块采用通道注意力与空间注意力的架构,较好地获取通道与空间的相互作用,捕捉重要的跨维度信息,并放大跨维度的交互作用,有效提升模型对复杂采场场景的识别和分割精度。GAM模块结构如图6所示。给定输入特征$ {{\boldsymbol{F}}}_{1}\in {{\bf{R}}}^{c\times h\times w} $,中间特征$ {\boldsymbol{F}}_{2} $和输出特征$ {\boldsymbol{F}}_{3} $分别为
$$ {\boldsymbol{F}}_{2}={M}_{{\mathrm{c}}}\left({\boldsymbol{F}}_{1}\right)\otimes {\boldsymbol{F}}_{1} $$ (1) $$ {\boldsymbol{F}}_{3}={M}_{{\mathrm{s}}}\left({\boldsymbol{F}}_{2}\right)\otimes {\boldsymbol{F}}_{2} $$ (2) 式中:$ {M}_{{\mathrm{c}}} $和$ {M}_{{\mathrm{s}}} $分别为通道注意力和空间注意力;$ \otimes $表示元素乘法。
GAM模块中通道注意力子模块使用3D排列保留3个维度信息,通过1个2层多层感知器(Multilayer Perceptron,MLP)放大跨维度的通道−空间依赖性。这一特性使其在处理复杂的露天矿山图像特征时,能够更精确地聚焦于重要细节,提升模型的采场边界提取能力。在露天矿山遥感图像中,目标区域通常呈现高度异质性,导致特征维度复杂。GAM模块中空间注意力子模块使用2层卷积层进行空间信息融合,未使用池化层,通过分组卷积优化空间信息融合,显著减少了计算量,这对于大规模数据处理尤为重要,特别是在需要快速实时分析的采场监测中。
3.3 损失函数改进
YOLOv8采用CIoU损失函数[22],但CIoU本身对目标形状变化不敏感,而露天矿山采场图像中,目标(如矿山边界、采场区域等)往往较为稀缺,背景区域占据了大部分像素,导致样本的严重不平衡问题。在露天矿山采场识别提取模型中使用CIoU效果不好。Focaler−IoU通过加大难分类正样本的权重,使模型聚焦在这些关键区域,减小了标签不平衡问题对模型性能的影响,提升了模型对目标区域和罕见目标类别的识别能力[23]。
$$ {I}^{{\mathrm{focaler}}}=\left\{\begin{array}{ll}0&I < d\\ \dfrac{I-d}{u-d}&d\leqslant I\leqslant u\\ 1&I > u\end{array}\right. $$ (3) $$ {L}_{{\mathrm{Focaler-IoU}}}=1-{I}^{{\mathrm{focaler}}} $$ (4) 式中:$ {I}^{{\mathrm{focaler}}}$为重建的损失值;I为原始交并比;d,u为焦点因子;${L}_{{\mathrm{Focaler-IoU}}} $为定义的损失函数。
Focaler−IoU通过调整焦点因子d和u,能够有效减少训练过程中对背景区域的关注,使模型聚焦于更具代表性的采场区域,提高了计算效率,使得目标识别更加精准。
4. 露天矿山采场指标提取
4.1 采场指标
根据露天矿山监测需要,确定矿山采场定量数据监测指标,包括面积、体积、采深。面积:露天矿山内实际进行采矿的区域总面积;体积:露天矿山实际进行采矿的区域标底上总体积;采深:开采过程中,从地表到最低采矿作业层的垂直距离。
研究区内露天开采的矿产资源为建筑用石料、大理石和砂石,根据无人机获取的露天矿山DEM数据,通过分析影像数据,并结合Mine−YOLO模型进行识别与分割处理,获取露天矿山采场区域DEM影像,并自动建立TIN,快速获取采场的面积、体积、采深。
4.2 TIN建立
基于露天矿山采场的无人机影像,通过Mine− YOLO模型实现了对采场区域的精确识别与分割。获取影像中矿山区域的精确掩膜,利用掩膜提取露天矿山采场区域的高程点集,为后续基于边界约束的三角剖分提供了清晰且高质量的区域坐标集和约束边界,利用仿射矩阵获取对应高程点的投影坐标。基于获取到的区域坐标点集进行基于边界约束的Delaunay三角剖分,生成TIN,为后续自动计算区域面积、体积和采深提供了有效的数据。
TIN生成流程如图7所示。Delaunay三角剖分是计算几何学中经典的三角网生成方法,主要用于将一组离散点集合连接成不重叠的三角形网格。生成的三角形外接圆内不包含其他点,且内切圆半径尽可能最大化,使得三角形更加规则和稳定。通过最大化最小角度,可减小三角形的长宽比,从而提升网格的质量。然而,一般三角网会增加后续面积与体积的计算复杂度。为了提高后续计算的精确性,需对这些离散点施加边界约束条件[24]。
4.3 采场最大采深计算
在露天矿山开采中,采场采深用于衡量矿床开采深度和开采过程中地表的变化情况。最大采深的计算对于矿山开采规划、资源评估和环境影响评估具有重要意义。由于已知采场区域坐标点集,使用插值法对当前采场表面与基准面进行比较,通过二者的高程差计算采深:
$$ h=H-\min {h}_{{\mathrm{list}}} $$ (5) 式中:$ H $为平均地表高程;$ {h}_{{\mathrm{list}}} $为采场区域高程数组。
4.4 采场表面积计算
Delaunay三角网的表面积为区域内所有三角形面积之和。设任意一个三角形的3个顶点为A,B,C,坐标分别为($ {x}_{A} $,$ {y}_{A} $,$ {{\textit{z}}}_{A} $),($ {x}_{B} $,$ {y}_{B} $,$ {{\textit{z}}}_{B} $),($ {x}_{C} $,$ {y}_{C} $,$ {{\textit{z}}}_{C} $),则3条边长分别为
$$ a=\sqrt{{\left({x}_{B}-{x}_{C}\right)}^{2}+{\left({y}_{B}-{y}_{C}\right)}^{2}+{\left({{\textit{z}}}_{B}-{{\textit{z}}}_{C}\right)}^{2}} $$ (6) $$ b=\sqrt{{\left({x}_{A}-{x}_{C}\right)}^{2}+{\left({y}_{A}-{y}_{C}\right)}^{2}+{\left({{\textit{z}}}_{A}-{{\textit{z}}}_{C}\right)}^{2}} $$ (7) $$ c=\sqrt{{\left({x}_{B}-{x}_{A}\right)}^{2}+{\left({y}_{B}-{y}_{A}\right)}^{2}+{\left({{\textit{z}}}_{B}-{{\textit{z}}}_{A}\right)}^{2}} $$ (8) 根据海伦公式,三角形面积为
$$ s=\sqrt{p\left(\left(p-a\right)\left(p-b\right)\left(p-c\right)\right)} $$ (9) 式中$ p=1/2(a+b+c) $。
Delaunay三角网表面积Surface为区域内所有三角形面积之和,即
$$ {s}_{{\mathrm{Surface}}}=\sum _{i=1}^{n}{s}_{i} $$ (10) 式中:n为三角形总数;$ {s}_{i} $为第i个三角形的面积。
4.5 采场体积计算
TIN中1个三角形对应体积的计算如图8所示。鉴于计算矿山体积时标高普遍低于开采面,依据三角形的空间位置关系,计算三角形投影得到的三棱柱体积:
$$ {V}_{i}=\frac{{s}_{{\mathrm{projection}}}({{\textit{z}}}_{A}+{{\textit{z}}}_{B}+{{\textit{z}}}_{C})}{3} $$ (11) 式中$ {s}_{{\mathrm{projection}}} $为三角形的投影面积。
通过累加得到整个Delaunay三角网体积:
$$ {V}_{t}=\sum _{i=1}^{n}{V}_{i} $$ (12) 5. 实验分析
5.1 实验环境及训练参数
实验软硬件配置见表1,改进YOLO模型训练在64位Window 10操作系统的服务器下完成。
表 1 实验软硬件配置Table 1. Experimental software and hardware configuration参数 配置 CPU Intel(R) Xeon(R) Gold 6348 2.59 GHz RAM 256 GiB,3 200 MHz GPU NVIDIA GeForce RTX 3090,24 GiB cuDNN 8.9.7 CUDA 12.4 Deep learning framework Pytorch−2.2.1+python−3.9 实验数据集包括多个采场的高分辨率航拍图像,为了确保模型的泛化能力,数据集被随机划分为训练集(70%)、验证集(20%)和测试集(10%),设定模型训练迭代次数为250次。实验参数设置见表2。
表 2 实验参数设置Table 2. Experimental parameters setting参数 描述 数值 Epochs 训练的周期数 250 batch 每批次的图像数量 10 imgsz 输入图像的大小 640 workers 数据加载的工作线程数 8 lr0 初始学习率 0.01 momentum 学习动量 0.937 box 盒损失增益 7.5 dfl 类别损失增益 0.5 cls dfl损失增益 1.2 为验证模型在矿山开采区、水体、植被恢复区、矿区建筑的分割性能及矿山边坡、塌陷识别性能,选择精确度、召回率、平均精度均值 (Mean Average Precision, mAP) 作为评价指标。
5.2 改进损失函数性能验证
为验证损失函数优化为Focaler−IoU后模型的识别与提取能力,用Focaler−IoU分别替换YOLOv8n,YOLOv7n的损失函数,对比结果见表3。PD为目标识别准确率,RD为目标识别召回率,$ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $为交并比为50%时目标识别的mAP。
表 3 改进损失函数性能验证Table 3. Performance validation of improved loss function模型 参数量/106个 PD RD $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ YOLOv7n 36.5 0.734 0.768 0.713 YOLOv8n 3.1 0.725 0.754 0.786 YOLOv7n+
Focaler−IoU40.5 0.722 0.783 0.751 YOLOv8n+
Focaler−IoU4.7 0.737 0.791 0.829 由表3可看出:YOLOv7n中的损失函数替换为Focaler−IoU后,召回率和mAP分别提高了0.015和0.073;YOLOv8n中的损失函数替换为Focaler−IoU后,精确度、召回率和mAP分别提高了0.012,0.008,0.043。虽然在替换损失函数后,参数量有所增加,但精度有较大提升。Focaler−IoU通过灵活的样本加权机制,能够更加精确地应对露天矿山图像样本形状变化,提高了模型在复杂环境中的性能。
5.3 消融实验
以标准的YOLOv8n模型为基线模型,分别添加YOLO模型中各个注意力机制及损失函数,进行消融实验,结果见表4。PS,RS,mAPS@0.5分别为场景分割的准确率、召回率和mAP。可看出,所有模块的协同作用使得模型在各方面的表现都得到了大幅提升,特别是目标识别的精确度有了显著提高。分析各组实验可知,各模块对模型的性能提升都有积极影响,Focaler−IoU更偏向于提高检测精度,EMA对模型的稳定性和时间序列处理有所帮助,GAM则在全局特征捕捉方面表现突出。
表 4 消融实验结果Table 4. Results of ablation experimentFocaler−IoU EMA GAM $ {P}_{{\mathrm{D}}} $ $ {R}_{{\mathrm{D}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ $ {P}_{{\mathrm{S}}} $ $ {R}_{{\mathrm{S}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $ × × × 0.762 0.685 0.792 0.725 0.754 0.786 √ × × 0.777 0.698 0.833 0.753 0.783 0.818 × √ × 0.789 0.817 0.858 0.764 0.797 0.834 × × √ 0.783 0.843 0.824 0.783 0.743 0.783 √ √ × 0.838 0.858 0.873 0.778 0.793 0.815 √ × √ 0.816 0.843 0.838 0.753 0.828 0.788 × √ √ 0.844 0.858 0.872 0.821 0.797 0.852 √ √ √ 0.905 0.863 0.942 0.842 0.803 0.865 5.4 对比实验
为进一步评价Mine−YOLO模型在矿山采场中的目标识别与分割性能,将Mine−YOLO模型与Mask R−CNN、YOLO系列其他模型进行对比实验,结果见表5。可看出,Mine−YOLO、MaskR−CNN的参数量少于YOLOv5x,但精度更高。Mine−YOLO添加了空间注意力机制,在矿山复杂场景中识别效果较好,$ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $达到0.942,$ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $达到0.865,而YOLOv5n在矿山场景中的目标识别和场景分割效果较差。Mask R−CNN表现良好,后续可进一步研究。
表 5 对比实验结果Table 5. Comparative experimental results模型 参数量/
106个$ {P}_{{\mathrm{D}}} $ $ {R}_{{\mathrm{D}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ $ {P}_{{\mathrm{S}}} $ $ {R}_{{\mathrm{S}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $ YOLOv8n 3.1M 0.762 0.685 0.792 0.725 0.754 0.786 YOLOv8x 68.3M 0.845 0.732 0.811 0.823 0.785 0.804 YOLOv7n 36.5M 0.803 0.828 0.835 0.734 0.768 0.713 YOLOv5n 1.8M 0.688 0.754 0.653 0.618 0.647 0.638 YOLOv5x 86.8M 0.823 0.772 0.817 0.769 0.676 0.759 Mask R−CNN 42.5M 0.856 0.893 0.843 0.837 0.762 0.854 Mine−YOLO 46.5M 0.905 0.863 0.942 0.842 0.803 0.865 利用Mine−YOLO模型与其他深度学习模型对露天矿山的采场数据集进行训练,部分可视化结果如图9所示(红色标注为错误提取,蓝色标注为遗漏提取)。可看出Mine−YOLO模型的识别和分割效果较好,错误提取与遗漏提取较少,在边界区域的处理上,改进YOLO模型显示了较高的细节捕捉能力,能够清晰地分割出复杂的采场边界。在不同地形和环境下,Mine−YOLO模型均展现出较高的鲁棒性和稳定性,能够适应各种复杂的矿山地形。
6. 工程应用结果及分析
对Mine−YOLO模型在露天矿山监测中的部分应用效果进行展示,如图10所示,识别并提取出采场区域后,建立TIN,获取指标数据,提取矿山3个时段的采场数据,见表6,其中下标E表示Mine−YOLO提取值,下标T表示矿山传统ArcGIS计算值。
表 6 露天矿山采场信息提取结果Table 6. Extraction results of open-pit mining information矿山 日期(年−月) 采场面积/m2 采场体积/m3 采深/m sE sT vE vT hE hT a 2022−08 479 454 466 253 14 990 096 14 506 500 212.5 212.2 2023−08 489 230 467 800 12 022 578 12 453 500 203.6 203.4 2023−12 485 322 469 287 11 890 552 11 003 600 197.2 197.2 b 2022−08 168 341 165 445 8 503 314 8 649 732 396.4 396.5 2023−04 169 212 166 521 7 544 540 7 523 549 384.2 384.2 2023−08 166 801 167 480 6 688 480 6 623 547 376.5 376.2 c 2022−08 253 208 211 018 11 566 816 9 978 245 109.5 110.3 2023−04 228 319 215 514 9 983 984 9 768 521 101.5 100.4 2023−08 248 341 221 842 9 864 360 9 088 532 93.9 93.9 基于表6中的数据进行误差分析,结果如图11所示。基于Mine−YOLO模型提取的采场数据与传统测量值相差不大,平均面积误差为5.8%,平均体积误差为4.9%,最小采深误差仅为0.2%。
7. 结论
1) 引入EMA和GAM机制对YOLOv8模型进行改进。EMA模块通过增强不同尺度下的特征捕捉能力,使模型能够精确识别和分割矿山采场边界的细微变化;GAM通过全局尺度的特征交互和信息放大,能够保留露天矿山采场的整体特征信息,并突出与目标相关的关键区域。优化了YOLOv8的损失函数计算,使用Focaler−IoU损失函数使模型更关注难以分类的正样本,从而减少相对容易分类的负样本的权重。
2) Mine−YOLO模型在露天矿山采场目标识别中的精确度为0.905,召回率为0.863,交并比为50%时的mAP为0.942;在影像分割任务中的精确度为0.842,召回率为0.803,交并比为50%时的mAP为0.865,表明该模型在矿山场景中的应用具有较高的识别精度和较好的分割效果。
3) 基于Mine−YOLO模型提取的影像区域生成TIN,实现了对露天矿山采场面积、体积和采深的精确定量监测。实际应用结果表明,基于Mine−YOLO模型提取的采场数据与传统测量值相差不大,平均面积误差为5.8%,平均体积误差为4.9%,最小采深误差仅为0.2%。
-
表 1 实验软硬件配置
Table 1 Experimental software and hardware configuration
参数 配置 CPU Intel(R) Xeon(R) Gold 6348 2.59 GHz RAM 256 GiB,3 200 MHz GPU NVIDIA GeForce RTX 3090,24 GiB cuDNN 8.9.7 CUDA 12.4 Deep learning framework Pytorch−2.2.1+python−3.9 表 2 实验参数设置
Table 2 Experimental parameters setting
参数 描述 数值 Epochs 训练的周期数 250 batch 每批次的图像数量 10 imgsz 输入图像的大小 640 workers 数据加载的工作线程数 8 lr0 初始学习率 0.01 momentum 学习动量 0.937 box 盒损失增益 7.5 dfl 类别损失增益 0.5 cls dfl损失增益 1.2 表 3 改进损失函数性能验证
Table 3 Performance validation of improved loss function
模型 参数量/106个 PD RD $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ YOLOv7n 36.5 0.734 0.768 0.713 YOLOv8n 3.1 0.725 0.754 0.786 YOLOv7n+
Focaler−IoU40.5 0.722 0.783 0.751 YOLOv8n+
Focaler−IoU4.7 0.737 0.791 0.829 表 4 消融实验结果
Table 4 Results of ablation experiment
Focaler−IoU EMA GAM $ {P}_{{\mathrm{D}}} $ $ {R}_{{\mathrm{D}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ $ {P}_{{\mathrm{S}}} $ $ {R}_{{\mathrm{S}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $ × × × 0.762 0.685 0.792 0.725 0.754 0.786 √ × × 0.777 0.698 0.833 0.753 0.783 0.818 × √ × 0.789 0.817 0.858 0.764 0.797 0.834 × × √ 0.783 0.843 0.824 0.783 0.743 0.783 √ √ × 0.838 0.858 0.873 0.778 0.793 0.815 √ × √ 0.816 0.843 0.838 0.753 0.828 0.788 × √ √ 0.844 0.858 0.872 0.821 0.797 0.852 √ √ √ 0.905 0.863 0.942 0.842 0.803 0.865 表 5 对比实验结果
Table 5 Comparative experimental results
模型 参数量/
106个$ {P}_{{\mathrm{D}}} $ $ {R}_{{\mathrm{D}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{D}}}{@}_{0.5} $ $ {P}_{{\mathrm{S}}} $ $ {R}_{{\mathrm{S}}} $ $ {{\mathrm{mAP}}}_{{\mathrm{S}}}{@}_{0.5} $ YOLOv8n 3.1M 0.762 0.685 0.792 0.725 0.754 0.786 YOLOv8x 68.3M 0.845 0.732 0.811 0.823 0.785 0.804 YOLOv7n 36.5M 0.803 0.828 0.835 0.734 0.768 0.713 YOLOv5n 1.8M 0.688 0.754 0.653 0.618 0.647 0.638 YOLOv5x 86.8M 0.823 0.772 0.817 0.769 0.676 0.759 Mask R−CNN 42.5M 0.856 0.893 0.843 0.837 0.762 0.854 Mine−YOLO 46.5M 0.905 0.863 0.942 0.842 0.803 0.865 表 6 露天矿山采场信息提取结果
Table 6 Extraction results of open-pit mining information
矿山 日期(年−月) 采场面积/m2 采场体积/m3 采深/m sE sT vE vT hE hT a 2022−08 479 454 466 253 14 990 096 14 506 500 212.5 212.2 2023−08 489 230 467 800 12 022 578 12 453 500 203.6 203.4 2023−12 485 322 469 287 11 890 552 11 003 600 197.2 197.2 b 2022−08 168 341 165 445 8 503 314 8 649 732 396.4 396.5 2023−04 169 212 166 521 7 544 540 7 523 549 384.2 384.2 2023−08 166 801 167 480 6 688 480 6 623 547 376.5 376.2 c 2022−08 253 208 211 018 11 566 816 9 978 245 109.5 110.3 2023−04 228 319 215 514 9 983 984 9 768 521 101.5 100.4 2023−08 248 341 221 842 9 864 360 9 088 532 93.9 93.9 -
[1] 张兆长,李岩,南贵军. 河北省非金属露天矿山水平分层式开采探索与实践[J]. 中国矿业,2024,33(6):203-209. DOI: 10.12075/j.issn.1004-4051.20240222 ZHANG Zhaochang,LI Yan,NAN Guijun. Exploration and practice of horizontal slicing mining in non-metal open-pit mines in Hebei Province[J]. China Mining Magazine,2024,33(6):203-209. DOI: 10.12075/j.issn.1004-4051.20240222
[2] TOMBE R,VIRIRI S. Remote sensing image scene classification:advances and open challenges[J]. Geomatics,2023,3(1):137-155. DOI: 10.3390/geomatics3010007
[3] JI Haowei,LUO Xianqi. Implementation of ensemble deep learning coupled with remote sensing for the quantitative analysis of changes in arable land use in a mining area[J]. Journal of the Indian Society of Remote Sensing,2021,49(11):2875-2890. DOI: 10.1007/s12524-021-01430-6
[4] XIANG Jie,CHEN Jianping,SOFIA G,et al. Open-pit mine geomorphic changes analysis using multi-temporal UAV survey[J]. Environmental Earth Sciences,2018,77(6). DOI: 10.1007/s12665-018-7383-9.
[5] LIN C H,WANG Tingyou. A novel convolutional neural network architecture of multispectral remote sensing images for automatic material classification[J]. Signal Processing:Image Communication,2021,97. DOI: 10.1016/j.image.2021.116329.
[6] ZHANG Wei,TANG Ping,ZHAO Lijun. Remote sensing image scene classification using CNN-CapsNet[J]. Remote Sensing,2019,11(5). DOI: 10.3390/rs11050494.
[7] LIU Yanfei,ZHONG Yanfei,FEI Feng,et al. Scene semantic classification based on random-scale stretched convolutional neural network for high-spatial resolution remote sensing imagery[C]. IEEE International Geoscience and Remote Sensing Symposium,Beijing,2016:763-766.
[8] BALANIUK R,ISUPOVA O,REECE S. Mining and tailings dam detection in satellite imagery using deep learning[J]. Sensors,2020,20(23). DOI:10.3390/ s20236936.
[9] XIE Hongbin,PAN Yongzhuo,LUAN Jinhua,et al. Semantic segmentation of open pit mining area based on remote sensing shallow features and deep learning[C]. Big Data Analytics for Cyber-Physical System in Smart City,Shanghai,2020:52-59.
[10] CHEN Tao,ZHENG Xiaoxiong,NIU Ruiqing,et al. Open-pit mine area mapping with Gaofen-2 satellite images using U-net+[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2022,15:3589-3599. DOI: 10.1109/JSTARS.2022.3171290
[11] XIE Hongbin,PAN Yongzhuo,LUAN Jinhua,et al. Open-pit mining area segmentation of remote sensing images based on DUSegNet[J]. Journal of the Indian Society of Remote Sensing,2021,49(6):1257-1270. DOI: 10.1007/s12524-021-01312-x
[12] LIU Yong,LI Cheng,HUANG Jiade,et al. MineSDS:a unified framework for small object detection and drivable area segmentation for open-pit mining scenario[J]. Sensors,2023,23(13). DOI: 10.3390/s23135977.
[13] MENG Xiaoliang,ZHANG Ding,DONG Sijun,et al. Open-pit granite mining area extraction using UAV aerial images and the novel GIPNet[J]. Remote Sensing,2024,16(5). DOI: 10.3390/rs16050789.
[14] 郭栋梁,张延军. 基于轻量化PAM−M−YOLO 模型的煤矸石图像检测[J]. 矿业研究与开发,2024,44(5):220-227. GUO Dongliang,ZHANG Yanjun. Coal gangue image detection based on light-weighted PAM-M-YOLO model[J]. Mining Research and Development,2024,44(5):220-227.
[15] 阮顺领,鄢盛钰,顾清华,等. 基于多特征融合的露天矿区道路负障碍检测[J]. 煤炭学报,2024,49(5):2561-2572. RUAN Shunling,YAN Shengyu,GU Qinghua,et al. Negative obstacle detection on open pit roads based on multi-feature fusion[J]. Journal of China Coal Society,2024,49(5):2561-2572.
[16] LIU Yichao,SHAO Zongru,HOFFMANN N. Global attention mechanism:retain information to enhance channel-spatial interactions[EB/OL]. [2024-10-15]. https://arxiv.org/abs/2112.05561v1.
[17] HAO Wangli,REN Chao,HAN Meng,et al. Cattle body detection based on YOLOv5-EMA for precision livestock farming[J]. Animals,2023,13(22). DOI: 10.3390/ani13223535.
[18] REN Zili,WANG Liguan,HE Zhengxiang. Open-pit mining area extraction from high-resolution remote sensing images based on EMANet and FC-CRF[J]. Remote Sensing,2023,15(15). DOI: 10.3390/rs15153829.
[19] ZHANG Hao,ZHANG Shuaijie. Focaler-IoU:more focused intersection over union loss[EB/OL]. [2024-10-15]. https://arxiv.org/abs/2401.10525v1.
[20] 胡佳乐,周敏,申飞. 面向无人机小目标的RTDETR改进检测算法[J]. 计算机工程与应用,2024,60(20):198-206. DOI: 10.3778/j.issn.1002-8331.2404-0114 HU Jiale,ZHOU Min,SHEN Fei. Improved detection algorithm of RTDETR for UAV small target[J]. Computer Engineering and Applications,2024,60(20):198-206. DOI: 10.3778/j.issn.1002-8331.2404-0114
[21] OUYANG Daliang,HE Su,ZHANG Guozhong,et al. Efficient multi-scale attention module with cross-spatial learning[C].The 48th IEEE International Conference on Acoustics,Speech and Signal Processing,Rhodes,2023:1-5.
[22] 易磊,黄哲玮,易雅雯. 改进YOLOv8的输电线路异物检测方法[J]. 电子测量技术,2024,47(15):125-134. YI Lei,HUANG Zhewei,YI Yawen. Improved YOLOv8 foreign object detection method for transmission lines[J]. Electronic Measurement Technology,2024,47(15):125-134.
[23] 李德永,王国法,郭永存,等. 基于CFS−YOLO算法的复杂工况环境下煤矸图像识别方法[J]. 煤炭科学技术,2024,52(6):226-237. DOI: 10.12438/cst.2023-1967 LI Deyong,WANG Guofa,GUO Yongcun,et al. Image recognition method of coal gangue in complex working conditions based on CES-YOLO algorithm[J]. Coal Science and Technology,2024,52(6):226-237. DOI: 10.12438/cst.2023-1967
[24] 谭笑,朱博,王晋扬,等. 一种面向离散高程点的高效TIN生长改进算法[J]. 海军工程大学学报,2023,35(2):25-30. DOI: 10.7495/j.issn.1009-3486.2023.02.004 TAN Xiao,ZHU Bo,WANG Jinyang,et al. An efficient improved TIN growth algorithm for discrete elevation points[J]. Journal of Naval University of Engineering,2023,35(2):25-30. DOI: 10.7495/j.issn.1009-3486.2023.02.004
-
期刊类型引用(3)
1. 宋栓军,张婕. 基于LabVIEW的红外气体传感器自动批量标定测试系统. 仪表技术与传感器. 2024(02): 65-72 . 百度学术
2. 王欢. 矿用气体传感器检定系统开发的研究. 自动化应用. 2022(02): 88-91 . 百度学术
3. 王静. 矿用气体传感器自动标校系统研究. 新型工业化. 2022(04): 152-156 . 百度学术
其他类型引用(1)