基于CenterNet−GhostNet的选煤厂危险区域人员检测

张翼翔, 林松, 李雪

张翼翔,林松,李雪. 基于CenterNet−GhostNet的选煤厂危险区域人员检测[J]. 工矿自动化,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058
引用本文: 张翼翔,林松,李雪. 基于CenterNet−GhostNet的选煤厂危险区域人员检测[J]. 工矿自动化,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058
ZHANG Yixiang, LIN Song, LI Xue. Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet[J]. Journal of Mine Automation,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058
Citation: ZHANG Yixiang, LIN Song, LI Xue. Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet[J]. Journal of Mine Automation,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058

基于CenterNet−GhostNet的选煤厂危险区域人员检测

基金项目: 国家自然科学基金资助项目(61936008)。
详细信息
    作者简介:

    张翼翔(1996—),男,山东泰安人,硕士研究生,研究方向为深度学习,E-mail:2627421136@qq.com

  • 中图分类号: TD67

Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet

  • 摘要: 选煤厂危险区域人员全身目标检测因粉尘、雾气干扰难以准确与生产环境背景区分,而人员头部特征相对易于辨识,且人头在监控视角下被遮挡的可能性较低,因此危险区域人员检测使用人员头部检测代替人员全身目标检测。目前基于深度学习的轻量化目标检测模型在特征提取时信息损失多,对人头目标的检测能力有限。针对该问题,提出了轻量化人员检测模型CenterNet−GhostNet。该模型以CenterNet网络为基础框架,将轻量化网络GhostNet与特征金字塔相结合作为特征提取网络,GhostNet对输入图像进行特征提取,提升网络特征表达能力,特征金字塔对GhostNet提取的不同分辨率的特征图中包含的信息进行融合,在提取高层语义特征的同时保留较多的细节信息;在较高分辨率的单个输出特征图上使用3个相互独立的卷积操作分支进行解码计算,以充分利用特征图包含的细节信息。实验结果表明:CenterNet−GhostNet模型对佩戴安全帽和未佩戴安全帽两类人头目标的检测精度分别为93.7%和91.7%,均优于通用的轻量化模型SSD−MobileNet、YOLOv4 Tiny和CenterNet−Res18;CenterNet−GhostNet模型部署在NVIDIA Jetson Nano上的单帧检测耗时为67 ms,满足选煤厂危险区域人员高精度、实时检测要求。
    Abstract: Due to the dust and fog interference, it is difficult to distinguish accurately the whole body target of personnel in dangerous areas of coal preparation plant from the production environment background. Moreover, the head features of personnel are relatively easy to be identified, and the possibility of head being blocked in the monitoring perspective is low. Therefore, the head detection of personnel in dangerous areas is used instead of the whole body target detection of personnel. At present, the lightweight target detection model based on deep learning has a lot of information loss in feature extraction, and its detection capability of human head target is limited. In order to solve this problem, a lightweight personnel detection model CenterNet-GhostNet is proposed. The model takes CenterNet network as the basic framework, and combines the lightweight network GhostNet and the feature pyramid network(FPN) as the feature extraction network. GhostNet extracts the features of the input image and improves the network feature expression capability. And the FPN fuses the information contained in the feature maps with different resolutions extracted by GhostNet, so that more detailed information is reserved while extracting the high-level semantic features. Three independent convolution operation branches are used to decode and calculate the single output feature map with higher resolution, so as to make full use of the detailed information contained in the feature map. The experimental results show that the detection precision of CenterNet-GhostNet model is 93.7% and 91.7% respectively for the two types of head targets with and without helmet, which are better than the general lightweight models SSD-MobileNet, YOLOv4 Tiny and CenterNet-Res18. The single frame detection time of CenterNet-GhostNet model deployed on NVIDIA Jetson Nano is 67 ms, which meets the requirements of high-precision and real-time detection of personnel in dangerous areas of coal preparation plant.
  • 长壁综采工作面是最高效的煤炭地下开采方法。综采工作面是由滚筒采煤机、液压支架、刮板输送机、破碎机、桥式转载机、带式输送机等十几种、300多台设备构成的机械装备和煤岩交互的复杂系统(图1)。为了提高生产效率,减轻矿工的工作强度,自动化、智能化开采已成为世界煤炭开采行业共同追求的目标。王国法等[1-4]提出,智能化综采系统是指综采工作面采用具有充分全面的感知、自学习和决策、自动执行功能的液压支架、采煤机、刮板输送机等机电一体化成套装备,实现工作面高度自动化远程监控和安全高效开采,并总结了4种智能化综采工作面建设模式:薄煤层及中厚煤层智能化无人开采模式、大采高工作面智能耦合人工协同高效开采模式、综放工作面智能化操控与人工干预辅助放煤模式、复杂条件机械化+智能化开采模式。葛世荣等[5-6]提出智采工作面定义为一个在不同程度上无需人工干预而独立完成采煤作业的生产系统;指出智采工作面的基础是智能机器,特征是自主感控,功能是独立作业,目的是无人化开采;明确了智采工作面应具有自主感知、自主决策、自主控制、自主协同、自主交互等5个智能要素,并根据智能要素的水平差异将智采工作面划分为初级、中级和高级。我国在智能化综采工作面工程实践方面开展了大量的研究工作,制订了《智能化采煤工作面分类、分级技术条件与评价指标体系》[7-8],并已建成约500个不同层次的智能化综采工作面,逐步形成了液压支架电液控制、采煤机记忆截割、工作面视频监控、采煤机惯性导航定位、工作面自动调直等技术[9]

    图  1  综采工作面装备
    Figure  1.  Equipment on fully mechanized working face

    本文在前人研究基础上,总结分析智能化综采工作面面临的问题与挑战,通过综述数字孪生发展现状,寻求应用数字孪生技术解决智能化综采工作面现存问题和挑战的途径。

    智能化综采工作面生产过程以综采机械装备为基础,通过集成先进的传感技术,实现采煤机可靠割煤与装煤,同时保持工作面几何关系与顶板可靠支护。因此,智能化综采工作面无论采取何种原理方法和技术路径,其目标都是自主完成综采工作面可靠割煤、保持工作面几何关系、顶板可靠支护。可靠割煤主要是指控制工作面开采装备始终在煤层中自适应截割;保持工作面几何关系是指工作面开采装备在连续推进过程中始终保持一定的直线度;顶板可靠支护是指液压支架与围岩之间始终保持稳定的耦合作用关系。

    为了实现上述3个目标任务,综采工作面智能控制技术可归纳为液压支架电液控制技术(装置)[10]、综采装备协同控制技术[11-12]、工作面通信技术[13]、工作面可视化技术[14]、采煤机定位技术[15-17]、采煤机自动调高技术[18-20]、工作面自动调直技术[21-22]和工作面围岩支护控制技术[23-24]8项关键技术。这8项技术的内在逻辑关系及其与智能化综采工作面3个目标任务之间的逻辑关系如图2所示。采煤机定位技术、工作面可视化技术、液压支架电液控制技术(装置)、采煤机控制装置、刮板输送机控制装置及综采工作面其他装备的控制装置属于智能化综采工作面的感知与执行层,负责感知各装备运行状态,并执行决策层确定的目标指令。工作面通信技术是智能化综采工作面的传输层,将综采装备状态上传到决策层,同时将决策层的目标指令下发给各控制装置。综采装备协同控制技术、工作面自动调直技术、采煤机自动调高技术和工作面围岩支护控制技术属于智能化综采工作面的决策层。工作面自动调直技术、采煤机自动调高技术和工作面围岩支护控制技术的决策过程须以综采装备协同控制技术为基础,即应该首先解决综采装备内部的协调问题[25]

    图  2  智能化综采工作面关键技术及其逻辑关系[25]
    Figure  2.  Key technologies of intelligent fully mechanized working face and their logical relationship[25]

    智能综采工作面面临的挑战主要体现在决策层、感知与执行层,并与文献[926]的观点基本一致。

    (1) 决策层的自主决策能力不能适应复杂多变的工况。综采工作面是由综采装备和煤层组成的强耦合复杂系统,在煤层赋存、装备与煤岩相互作用(顶板支护、煤层截割)和装备协同作业方面具有不确定性、多样性、复杂性特征。这使得综采工作面仅基于工艺流程规则的智能化控制无法满足工作面智能作业要求,更何况综采工作面基于规则的智能控制算法尚不完备。鉴此,智能化综采工作面分类分级评价指标体系中对智能决策性能暂未进行考评[8]。任何决策算法必须经过大量的实验测试、验证与考核,而目前还没有能够实现综采工作面复杂系统智能决策算法测试的平台,造成大量自主决策功能需要在工作面实际生产过程中检验和完善。但井下繁重的生产任务、恶劣的工况条件、极高的安全要求,使得控制系统决策算法的测试、验证、完善难以系统开展。此外,煤层开采后不复存在,完善后的控制算法无法再次获得相同的测试条件,导致系统完善效果无法验证。因此,决策层面临控制算法完备性、健壮性测验和持续完善升级的重大技术难题。

    (2) 感知与执行层不能支撑决策层的信息需求和决策指令的可靠执行。实现作业执行功能的综采装备长期服役于重载冲击载荷工况与尘雾环境,导致综采装备性能劣化,乃至故障频发[27],综采装备无法可靠执行决策层的目标指令。一方面,综采装备已安装了大量传感器以获得支撑综采工作面智能化的感知信息。这些数量庞大的传感器可靠性较低,反而影响综采工作面运行。另一方面,受限于实际工况,因无法安装传感器,导致综采装备的一些关键状态信息无法获得,如实现机械系统故障预测与健康管理(Prognostics and Health Management,PHM)的振动、噪声等传感器几乎没有安装。综采工作面环境恶劣、装备众多,一味地增加传感器对综采工作面状态感知和可靠运行作用有限,甚至可能降低可靠性、增加投入成本。因此,如何全面获取综采工作面状态信息,准确预测综采装备性能及其劣化程度,并根据装备性能和生产任务可达性决策装备作业强度参数,隔离或抑制早期故障传播,是实现工作面自主决策、近零停机、连续运行的难题。

    1991年,耶鲁大学D. Gelernter教授在所著《Mirror Worlds》中定义了镜像世界(Mirror Worlds):从计算机屏幕中看到的代表真实世界的软件模型,海量的信息通过巨大的软件通道源源不断地涌入模型,如此多的信息使得模型可以模拟现实世界每时每刻的运动[28]。2003年,密歇根大学M. Grieves教授提出产品生命周期管理(Product Lifecycle Management,PLM )的概念设想(图3):在虚拟空间构建的数字模型与物理实体交互映射,忠实地描述物理实体全生命周期的运行轨迹[29]。D. Gelernter教授被认为是第1个数字孪生想法的提出者,而M. Grieves教授虽然没有明确提出“数字孪生”,但被认为是数字孪生的命名者[30]。2012年,NASA的E. H. Glaessgen和美国空军的D. S. Stargel对数字孪生进行了严格的学术定义:数字孪生是飞行器或系统集成的多物理、多尺度的概率性仿真,它使用最好的可用物理模型、更新的传感数据和历史飞行数据等来反映与该模型对应的飞行实体全生命周期的真实性[31]。此外,很多学者也给出了数字孪生的定义,如:数字孪生是以数字化方式创建物理实体的虚拟实体,借助历史数据、实时数据及算法模型等,模拟、验证、预测、控制物理实体全生命周期过程的技术和手段[32]。数字孪生是一个对物理实体或流程的数字化镜像,创建数字孪生的过程,集成了物理特性模型、人工智能/机器学习和传感器数据,以建立一个可以实时更新的、现场感极强的“真实”模型,用来支撑物理产品生命周期各项活动的决策[33]

    图  3  PLM概念设想[29]
    Figure  3.  Conceptual ideal for product lifecycle management(PLM)[29]

    虽然数字孪生至今没有一个被普遍接受的统一定义,但其包括物理实体、虚拟实体、二者之间的连接数据(孪生数据)这一基本概念模型已被广大学者认可。基于数字孪生的基本概念,W. Kritzinger等[34]根据物理实体和虚拟实体之间数据连接集成程度的不同,将数字孪生划分为3种类型:数字模型(Digital Model,DM)、数字影子(Digital Shadow,DS)、数字孪生(Digital Twin,DT)。当物理实体和虚拟实体之间的连接数据均为人工数据流时,虚拟实体被称为数字模型(图4(a)),人工交互数据的过程实质是一个典型的仿真过程。从物理实体反馈到虚拟实体的数据可作为虚拟实体仿真的边界条件或仿真结果验证参数。从虚拟实体反馈到物理实体的数据可以是设计或控制的优化参数和方案。当物理实体到虚拟实体的数据连接是自动的,而虚拟实体到物理实体的数据连接是手动的,此时构成数字影子(图4(b))。物理实体反馈到虚拟实体的数据可以是物理实体的感知状态数据。虚拟实体利用这些数据实现物理实体三维几何再现[35-38]、基于状态的维护(Condition Based Maintenance,CBM)[39-41]等仿真功能。可根据虚拟实体的仿真结果调整优化物理实体的控制方案或对其进行维修、维护。当物理实体和虚拟实体的双向交互数据均为自动时,才是真正意义上的数字孪生(图4(c))。此时虚拟实体利用物理实体自动反馈的状态数据,通过各种模拟方法实现对物理实体状态退化自动预测,优化决策出作业计划[42-44]、维护规划[45-47]乃至实时控制方法[48-49]。虚拟实体自动反馈决策数据到物理实体已被认为是数字孪生的典型特征之一[50]

    图  4  数字模型、数字影子、数字孪生模式下物理实体和虚拟实体之间的数据流[34]
    Figure  4.  Data flow between physical entity and virtual entity in digital model, digital shadow and digital twin modes[34]

    陶飞等[51-52]在物理实体、虚拟实体、孪生数据的基础上,增加了孪生数据的传输通道“连接”、数字孪生的应用功能“服务”,进而将数字孪生扩展为包括物理实体(PE)、虚拟实体(VE)、孪生数据(DD)、连接(CN)和服务(Ss)的五维模型(图5),并对5个要素的含义进行了阐述。物理实体是数字孪生五维模型的构成基础,对物理实体的准确分析与有效维护是建立数字孪生的前提。物理实体具有层次性,按照功能及结构一般包括单元级(Unit)、系统级(System)和复杂系统级(System of Systems)3个层级。虚拟实体包括几何模型、物理模型、行为模型和规则模型,这些模型能够从多时间尺度、多空间尺度对物理实体进行描述和刻画。孪生数据是数字孪生的驱动,包括物理实体数据、虚拟实体数据、服务数据、知识数据及融合衍生数据。连接实现数字孪生各组成部分的互联互通。服务是指对数字孪生应用过程中所需的各类数据、模型、算法、仿真、结果进行服务化封装。

    图  5  数字孪生五维概念模型[52]
    Figure  5.  Five-dimensional conceptual model of digital twins[52]

    根据数字孪生概念模型可知,虚拟实体,也就是能够刻画物理实体多时间尺度、多空间尺度行为的各种模型,是实现数字孪生的基本要素。因此,数字孪生与常规的建模和仿真有着千丝万缕的联系,但二者之间又存在差异。S. Reed等[50]对比分析了数字模型和数字孪生的建模过程。常规建模和仿真过程需要模型开发者人工输入数据并进行监督校验,并根据物理系统的运行机理建立其数字模型。数字模型的仿真通常进行1次即可获得特定工况下的解决方案。数字模型具有静态特性,代表模型开发时物理系统的行为。数字孪生建模首先利用物理装备不同阶段的历史数据进行离线模式开发。与静态的数字模型开发不同,数字孪生模型需要开发模型生成器。模型生成器根据物理系统的实时数据,产生能刻画物理系统实时行为的数字孪生模型。此外,还需要开发模型验证规则。每次模型生成并运行后,需要根据这些验证规则分析仿真结果,以确保模型的合理性和正确性。因此,数字孪生模型具有动态特性,其与传统仿真模型的最主要区别是通过传感器随时获取物理实体的数据,并随着实体一起演变,一起成熟甚至一起衰老[53]。从仿真角度可认为数字孪生技术属于一种在线数字仿真技术。

    数字孪生模型需具备以下功能:① 准确地再现物理对象的性能、行为和规则,从而形成物理对象的准确映射。② 模型自主运行以模拟物理对象的各种行为,进而指导物理对象的操控。③ 实现物理对象的远程状态监测。④ 可预测潜在问题。⑤ 在产品制造完成前验证产品性能。除物理模型外,人工智能和机器学习也可应用于数字孪生。利用人工智能,可以分析识别数据中的模式、干扰和异常现象。物理模型和分析模型之间不断地进行数据交互,以实现数字孪生模型实时刻画物理对象特性[54]

    数字孪生建模方法通常包括数据驱动的数字孪生和基于模型(仿真)的数字孪生2种。

    数据驱动的数字孪生通常将物理对象看作黑箱模型,利用测量数据寻求建立物理对象的输入输出关系。数据驱动的数字孪生系统通常用于预测产量或检测特定的产品异常。但由于该种数字孪生模型基于已测量的数据建立,所以无法预测不在这些数据涵盖范围以内的反常操作。数据驱动的数字孪生不需要物理对象的任何专业知识,因此很多商业化的数字孪生软件通常采用该方法。N. Stojanovic等[55] 利用加工过程的大量历史数据,通过大数据分析技术建立了数据驱动的可“自感知”的数字孪生模型。A. Coraddu等[56]通过搜集货运船只状态数据,利用深度极端学习算法建立了数据驱动的货运船只数字孪生模型,用以估计海洋生物附着对运输速度的影响。Pan Yue等[57]通过集成建筑信息模型(Building Information Modeling,BIM)、物联网(Internet of Things,IoT)和数据挖掘(Data Mining,DM)等技术,建立了闭环数字孪生框架。数据驱动的数字孪生建模方法具有较大的局限性,数据驱动的数字孪生模型只能应用于模型构建数据确定的参数空间内,在没有任何基于物理知识约束条件下使用数据驱动进行外推预测是非常危险的。因此,使用数据驱动的数字孪生模型不能获得建模参数空间外的其他信息,无法像基于仿真的数字孪生模型那样进行虚拟测试和人员培训[58]。由于综采工作面面临感知数据缺乏的难题,所以数据驱动的数字孪生建模方法不适用于综采工作面数字孪生建模。

    基于仿真的数字孪生模型也称作机理模型。这种建模方法的基本原理是第一原理模型(First Principles Models,FPMs),即利用工程、物理或化学机理描述刻画物理对象的行为过程和特征。G. S. Martínez等[59]根据第一原理模型提出了基于仿真的数字孪生模型自动生成方法。模型参数估计技术能够使在线仿真模型与目标物理系统保持相同的状态,使得目标物理系统中一些实时的非测量信息可从模型中获得。基于仿真的数字孪生原理及其应用如图6所示。仿真模型与目标物理系统同时运行,利用参数估计技术使仿真状态始终与目标物理系统保持一致,进而获得高保真的在线仿真模型。通过高保真在线仿真模型的预测,可以获得物理系统无法测量的状态参量,也称为虚拟测试。此外,基于仿真的数字孪生模型可进一步开发为操作工人的培训仿真系统、生成优化系统、故障与失效诊断系统等。基于上述原因,综采工作面数字孪生建模宜采用基于仿真的方法。

    图  6  基于仿真的数字孪生原理及其应用[59]
    Figure  6.  Principle and application of simulation-based digital twin[59]

    随着煤矿智能化研究和建设工作的深入,研究者开展了数字孪生技术在煤矿采掘中的应用研究。葛世荣等[60]提出了数字孪生智采工作面(Digital Twin Smart Mining Workface,DTSMW)的定义,即其是一个数据可视化、人机强交互、工艺自优化的高逼真采煤工作面三维镜像场景,包括物理工作面、数字工作面和数据信息交互3个部分,并提出数字孪生智采工作面技术架构、关键技术、系统构建等,其涉及物理工作面、虚拟工作面、孪生数据、信息交互、模型驱动、边缘计算、沉浸式体验、云端服务、信息物理系统、智能终端等10项关键技术,实现煤矿智采工作面感知互联、学习预测和协同控制。丁恩杰等[61]提出利用矿山运行机理、经验知识、大数据分析与数字孪生建模技术融合的矿山生产场景可信数字孪生模型,作为智能化矿山知识服务的核心。谢嘉成等[62]提出了一种基于数字孪生的综采工作面生产系统设计与运行模式,实现了对生产系统最优配置和装备协同安全高效开采的目的。张旭辉等[63-64]提出了数字孪生驱动掘进装备远程智能控制技术构架,通过构建掘进工作面数字孪生体,将井下人员、设备、环境相关信息呈现到数字空间,虚实融合,共智互驱,达到数字掘进与物理掘进智能协同的目标,破解掘进施工中人−机−环共生安全难题。丁华等[65]提出了一种数字孪生与深度学习融合驱动的采煤机健康状态预测方法,基于物理空间多物理参数构建数字孪生体和深度学习的关键零部件寿命预测模型,实现了采煤机实时状态可视化与关键零部件剩余寿命预测,为采煤机预测性维护提供决策性指导。

    针对智能化综采工作面面临的挑战问题,笔者提出了综采工作面数字孪生系统架构,如图7所示,其包括综采工作面物理实体和虚拟实体。综采工作面物理实体由综采工作面装备及其智能控制系统组成;虚拟实体包括机理模型和行为模型。

    图  7  综采工作面数字孪生系统架构
    Figure  7.  Digital twin system architecture of fully mechanized working face

    (1) 综采装备机理模型。根据第一原理模型构建,包括综采装备作业载荷模型、综采装备机电液耦合模型和综采工作面视景仿真模型。综采装备载荷模型是根据装备与工作面煤岩耦合作用机理和负载变化规律建立的综合考虑煤岩属性、装备作业参数的数学模型,为综采装备机电液耦合模型提供作业载荷数据。综采装备机电液耦合模型是根据综采装备的构成要素,基于机械动力学、流体力学和电磁场学等建立的多领域模型,可根据各综采装备控制器的作业指令和载荷模型预测的作业载荷实现对综采装备作业过程的仿真。综采工作面视景仿真模型可通过Unity3D,3DMax等构建,根据综采装备机电液耦合模型的装备运动参数实时显示综采工作面作业过程。

    综采装备机理模型的输出数据可分为综采装备物理系统可测数据和不可测数据。可测数据是指综采装备传感器能够测量的数据;不可测数据是指综采装备因未安装传感器无法测量的数据,除直接获得的作业载荷外,还包括装备内部齿轮、铰接轴等接触载荷,这些数据是综采装备行为模型进行性能劣化分析预测的基础。

    (2) 综采装备行为模型。包括孪生数据库及应力应变分析、性能劣化、健康状态、故障图谱、模型验证分析等模型,主要用于描述综采工作面物理实体随时间推进的演化行为。综采装备行为模型可根据物理系统测量数据和机理模型仿真数据验证分析综采工作面机理模型的可信度,进而动态调整机理模型参数,以实时获得综采工作面的高保真机理模型;还可根据机理模型提供的载荷数据,通过有限元分析获得装备应力应变历程,进而实现装备性能劣化、健康状态和潜在故障源的预测。

    综采装备行为模型的输出数据主要包括机理模型仿真数据和行为模型分析数据。这些数据为综采工作面智能控制系统提供反映物理装备运行状态的全息信息,解决了决策层数据信息匮乏问题。

    (3) 综采工作面虚拟实体在线与离线运行。综采工作面虚拟实体在线运行是指其与综采工作面物理系统同时运行,二者之间自动传输数据(图7),构成完整的数字孪生系统。利用综采工作面虚拟实体模型全面获取综采工作面状态信息,准确预测综采装备性能及其劣化程度,并根据装备性能和生产任务可达性决策装备作业强度参数,隔离或抑制早期故障传播,实现工作面自主决策、近零停机、连续运行。

    综采工作面虚拟实体离线运行是指其只与综采装备控制器(系统)同时运行,如图8所示。

    图  8  综采工作面虚拟实体离线运行模式
    Figure  8.  Off-line run mode of virtual entities of fully mechanized working face

    当仿真系统只包括综采工作面机理模型、各综采装备控制器和综采工作面集控中心时,该系统实质为硬件在环仿真系统,如图8(a)所示。除作为被控对象的综采机械装备由在计算机上运行的机理模型代替外,硬件在环仿真系统与真实综采工作面完全相同。由于不需要体积、质量庞大的综采装备,硬件在环仿真系统为综采工作面控制系统智能控制算法在地面开发、测试、验证和完善提供了实验平台。综采工作面硬件在环仿真系统在文献[66]已有详细阐述,本文不再赘述。硬件在环仿真系统中的机理模型不能动态更新,只代表特定时刻的综采机械装备。因此作为实验平台只能开发基于工艺规则的智能控制算法,无法考虑综采装备的性能劣化。当仿真系统包括综采工作面机理模型和行为模型,并与各综采装备控制器和综采工作面集控中心集成连接时,该系统为计算实验系统[67]或可实验的数字孪生系统[68],如图8(b)所示。该系统通过综采工作面机理模型和行为模型相互连接,使得综采工作面随时间推演过程中的复杂特性得以涌现。这些涌现事件和特征为综采工作面智能控制系统真正的自主决策复杂算法开发、验证、评估提供了所必须的全息数据。由于缺少真实综采工作面物理系统的数据,这种涌现特征不是某个特定综采工作面的真实映射。将某个特定综采工作面的历史数据注入到行为模型,获得综采工作面模型验证算法,使得综采工作面模型能够随综采工作面历史状态进行自动更新,这是综采工作面数字孪生模型的离线开发。该过程也是开发综采工作面数字孪生系统的必须阶段。

    (1) 通过分析智能化综采工作面目标任务、关键技术及其架构,提出了智能化综采工作面面临的挑战为决策层的自主决策能力不能适应复杂多变的工况、感知与执行层不能支撑决策层的信息需求和决策目标的可靠执行。

    (2) 通过分析数字孪生内涵及其仿真建模方法,指出智能化综采工作面数字孪生模型宜采用基于仿真的数字孪生建模方法。

    (3) 利用基于仿真的数字孪生建模方法,提出了综采工作面数字孪生系统架构。综采装备机理模型是根据装备与工作面煤岩耦合作用机理和负载变化规律建立的综合考虑煤岩属性、装备作业参数的数学模型。利用该模型可以获得综采装备物理系统的不可测数据。综采装备行为模型用于描述综采工作面物理实体随时间推进的演化行为,为综采工作面智能控制系统提供反映物理装备运行状态的全息信息,解决了决策层数据信息匮乏的问题。

    (4) 综采装备机理模型与其控制系统组合,形成综采工作面硬件在环仿真系统,为基于工艺规则的智能控制算法提供测试平台。综采装备机理模型、行为模型与其控制系统组合,形成综采工作面计算实验系统,为综采工作面智能控制系统真正的自主决策复杂算法开发提供测试平台。

  • 图  1   CenterNet−GhostNet模型框架

    Figure  1.   Framework of CenterNet-GhostNet model

    图  2   基于GhostNet和FPN的特征提取网络结构

    Figure  2.   Feature extraction network structure based on GhostNet and feature pyramid network

    图  3   G−bneck结构

    Figure  3.   Structure of G-bneck

    图  4   Ghost模块

    Figure  4.   Ghost module

    图  5   CenterNet−GhostNet模型检测结果

    Figure  5.   Detection results of CenterNet-GhostNet model

    图  6   CenterNet−Res18模型检测结果

    Figure  6.   Detection results of CenterNet-Res18 model

    图  7   选煤厂危险区域人员检测布置

    Figure  7.   Personnel detection arrangement in dangerous area of coal preparation plant

    表  1   GhostNet参数

    Table  1   Parameters of GhostNet

    输入尺寸结构步长
    512×512×3Conv2d(3×3)2
    256×256×16G−bneck×21,2
    128×128×24G−bneck×21,2
    64×64×40G−bneck×21,2
    32×32×80G−bneck×41,1,1,1
    32×32×112G−bneck×21,2
    16×16×160G−bneck×41,1,1,1
    16×16×160Conv2d(3×3)1
    下载: 导出CSV

    表  2   不同模型检测精度和检测速度对比

    Table  2   Comparison of detection accuracy and detection speed among different models

    模型mAP/%FPS/(帧·s−1
    佩戴安全帽未佩戴安全帽
    SSD−MobileNet87.183.3167
    YOLOv4 Tiny91.589.7117
    CenterNet−Res1888.685.1155
    CenterNet−GhostNet93.791.7146
    下载: 导出CSV
  • [1] 张宗华. 选煤厂人员智能视频监控系统设计[J]. 工矿自动化,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020

    ZHANG Zonghua. Design of intelligent video monitoring system of personnel of coal preparation plant[J]. Industry and Mine Automation,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020

    [2] 张圣强,王建军,丁蕾. 选煤厂智能视频监控中的运动人体目标检测方法[J]. 工矿自动化,2011,37(11):60-62.

    ZHANG Shengqiang,WANG Jianjun,DING Lei. Detecting method of moving human in intelligent video monitoring of coal preparation plant[J]. Industry and Mine Automation,2011,37(11):60-62.

    [3] 陈海龙. 煤矿选煤厂巡检机器人的研究与设计[D]. 徐州: 中国矿业大学, 2014.

    CHEN Hailong. The study and design of coal cleaning plant inspection robot[D]. Xuzhou: China University of Mining and Technology, 2014.

    [4] 林娅静. 基于视觉的选煤厂智能监控系统研究[D]. 徐州: 中国矿业大学, 2014.

    LIN Yajing. Research on intelligent monitoring system of coal preparation plant based on vision[D]. Xuzhou: China University of Mining and Technology, 2014.

    [5] 周晨晖. 基于深度学习的煤矿复杂场景人员检测与统计分析方法研究[D]. 徐州: 中国矿业大学, 2019.

    ZHOU Chenhui. Research on personnel detection and statistical analysis in coal mine complex scenes based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2019.

    [6]

    ZHOU Xingyi, WANG Dequan, KRAHENBUHL P. Objects as points[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, 2019: 7263-7271.

    [7]

    HAN K, WANG Yunhe, TIAN Qi, et al. GhostNet: more features from cheap operations[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Seattle, 2016: 1577-1586.

    [8]

    LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, 2017: 2117-2125.

    [9]

    HOWARD A G, ZHU Menglong, CHEN Bo, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2021-08-02]. https://arxiv.org/abs/1704.04861.

    [10]

    DAI Jifeng, QI Haozhi, XIONG Yuwen, et al. Deformable convolutional networks[C]//IEEE International Conference on Computer Vision, Venice, 2017: 764-773.

    [11]

    XU Yuanyuan,YAN Wan,YANG Genke,et al. CenterFace:joint face detection and alignment using face as point[J]. Scientific Programming,2020,2020:1-8.

    [12]

    LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(2):318-327. DOI: 10.1109/TPAMI.2018.2858826

    [13]

    BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2021-08-02]. https://arxiv.org/abs/2004.10934.

    [14]

    EVERINGHAM M,GOOL L V,WILLIAMS C K I,et al. The PASCAL visual object classes( VOC) challenge[J]. International Journal of Computer Vision,2010,88(2):303-338. DOI: 10.1007/s11263-009-0275-4

  • 期刊类型引用(28)

    1. 郭资鉴,李俊士,冯银辉,张勇. 综采自动化控制系统测试方法研究与应用. 煤炭技术. 2025(02): 178-181 . 百度学术
    2. 张帆,李玉雪,李昱翰,邵光耀. 基于数字孪生的煤矿两柱式支架载荷预测方法. 煤炭科学技术. 2025(01): 312-325 . 百度学术
    3. 曲越,李绍良,张磊,付翔,王朋飞,吕月. 基于数据驱动的工作面采煤设备数字孪生系统研究与应用. 自动化应用. 2025(07): 121-124+128 . 百度学术
    4. 邢震. 面向智能矿山的数字孪生技术研究进展. 工矿自动化. 2024(03): 22-34+41 . 本站查看
    5. 张琪,盛武. 基于CiteSpace对国内智能矿山领域数字孪生的可视化分析. 兰州工业学院学报. 2024(02): 85-90 . 百度学术
    6. 周军邮,王伟伟. 采煤机自适应截割轨迹预测方案与试验. 能源与节能. 2024(04): 62-64 . 百度学术
    7. 杨文娟,赵典,张旭辉,陈鑫,郑西利,刘彦徽,张冉,万继成. 数字孪生驱动的掘锚设备跟踪定位与碰撞检测方法研究. 煤田地质与勘探. 2024(05): 160-173 . 百度学术
    8. 李浩,王昊琪,李琳利,张玉彦,杨文超,文笑雨,张旭辉,刘根,张幸福,刘俊,崔科飞,陈录城,王朋静,杨新宇. “人-机-环境”共融的工业数字孪生系统智能优化方法. 计算机集成制造系统. 2024(05): 1551-1570 . 百度学术
    9. 任保将,郭李刚,王书,张凯,杜锋. 基于MapleSim-MATLAB双向耦合技术的液压支架孪生体构建. 煤炭技术. 2024(07): 244-247 . 百度学术
    10. 刘萌,付翔,姜玉龙,刘彬,杨宇琪,秦一凡,孙岩. 液压支架姿态数字孪生精准快速映射方法. 工矿自动化. 2024(06): 136-141+158 . 本站查看
    11. 葛世荣,刘淑琴,樊静丽,赵毅鑫,滕腾. 低碳化现代煤基能源开发关键技术体系. 煤炭学报. 2024(07): 2949-2972 . 百度学术
    12. 李济军. 浅析智能化综采技术在开采含夹矸中厚煤层的应用. 煤. 2024(09): 51-54 . 百度学术
    13. 韦小龙,王方田,何东升,刘超,徐大连. 基于CSPNet-YOLOv7目标检测算法的煤矸图像识别模型. 煤炭科学技术. 2024(S1): 238-248 . 百度学术
    14. 李立宝,袁永,秦正寒,李波,闫政天,李勇. 图像特征与振动频谱多源融合驱动的煤矸识别技术研究. 工矿自动化. 2024(11): 43-51 . 本站查看
    15. 解盘石,杨航,伍永平,黄宝发,林伟典,易磊磊. 基于数字孪生的倾斜采场装备力学行为测控研究. 煤炭科学技术. 2024(12): 259-271 . 百度学术
    16. 姚江,王智强,侯卫钢,毛明革,王润,李璐. 基于工业互联网的露天矿数字孪生建模系统和方法. 金属矿山. 2023(01): 161-171 . 百度学术
    17. 张凯隆. 智能化综采工作面全景视频远控技术研究及应用. 中国煤炭. 2023(02): 70-81 . 百度学术
    18. 刘清,张龙,李天越,杜鹏飞. 综采工作面三机数字孪生及协同建模方法. 工矿自动化. 2023(02): 47-55 . 本站查看
    19. 邢震,韩安,陈晓晶,陈海舰,沈毅. 基于工业互联网的智能矿山灾害数字孪生研究. 工矿自动化. 2023(02): 23-30+55 . 本站查看
    20. 闫泽文,谢嘉成,李素华,沈卫东,王怡荣,王学文. 基于虚拟现实与数字孪生技术的综采工作面直线度求解. 工矿自动化. 2023(02): 31-37 . 本站查看
    21. 吴桐,魏文艳,杜新远,王春喜. 电液控制系统应用软件的自动化测试系统研究. 煤炭工程. 2023(05): 141-146 . 百度学术
    22. 赵墨波. 数字孪生驱动的协作机器人状态监测方法研究. 煤矿机械. 2023(08): 210-212 . 百度学术
    23. 王明耀. 智能化综采工作面自动化高质量技术应用分析. 中国设备工程. 2023(14): 28-30 . 百度学术
    24. 冶运涛,蒋云钟,寇怀忠,顾晶晶,董甲平,黄建雄,关昊哲. 数字孪生流域的基础模型、演化路径与评判准则. 华北水利水电大学学报(自然科学版). 2023(04): 27-38+46 . 百度学术
    25. 崔之超,宋琳哲,杨建童,李君,韦华炜,同飞龙. 基于数字孪生技术的多品种小批量生产过程优化. 电脑知识与技术. 2023(32): 115-118 . 百度学术
    26. 金智新,王宏伟,付翔. HCPS理论体系下新一代智能煤矿发展路径. 工矿自动化. 2022(10): 1-12 . 本站查看
    27. 王宏伟,武亚丹,陈龙. 液压支架数字孪生体联合建模方法. 工矿自动化. 2022(10): 13-19 . 本站查看
    28. 吴林锋,常露,朱金华. 数字孪生技术在智慧供水中的实践应用. 江苏水利. 2022(S2): 58-60 . 百度学术

    其他类型引用(11)

图(7)  /  表(2)
计量
  • 文章访问数:  292
  • HTML全文浏览量:  118
  • PDF下载量:  62
  • 被引次数: 39
出版历程
  • 收稿日期:  2021-08-20
  • 修回日期:  2022-04-01
  • 网络出版日期:  2022-03-04
  • 刊出日期:  2022-04-24

目录

/

返回文章
返回