数字孪生驱动掘进机远程自动截割控制技术

张超1, 张旭辉1,2, 张楷鑫1, 谢楠1, 周创1

(1.西安科技大学 机械工程学院, 陕西 西安 710054;2.陕西省矿山机电装备智能监测重点实验室, 陕西 西安 710054)

摘要目前掘进机远程截割控制方法大多基于视频监控与平面信息,巷道断面成形质量取决于人工操作经验,可靠性较低。针对该问题,研究了数字孪生驱动掘进机远程自动截割控制技术,从数据感知、数据驱动、数据传输、远程自动截割控制等方面介绍了数字孪生驱动掘进机自动截割的实现过程。采用视觉测量技术获取掘进机位姿数据、气体传感器等获取掘进环境数据,构成数字孪生驱动的数据来源;建立掘进机虚拟模型和虚拟场景并完成虚拟模型动作编程及虚拟模型与虚拟场景的耦合,通过求解掘进机运动学正逆解,实现掘进机与虚拟模型交互;基于三次多项式方法进行巷道断面“S”形截割轨迹规划,设计反馈线性积分滑模控制器实现截割轨迹跟踪控制;采用MySQL数据库作为数据交互媒介,通过井下工业以太环网及矿用5G技术实现数据远程传输。实验结果表明,掘进机截割头能稳定跟随规划轨迹,且同一时刻虚拟界面显示的掘进机截割头位姿与实际位姿一致。

关键词综掘工作面智能化; 掘进机智能化; 数字孪生; 掘进机位姿测量; 自动截割控制; 截割轨迹规划

0 引言

我国的煤炭储量和产量均居世界前列,煤炭作为重要的战略资源,有着不可替代的作用。在“采掘并重,掘进先行”的理念下,煤矿智能化建设要实现综采工作面和综掘工作面的智能化[1]。当前综采工作面智能化初见成效,但综掘工作面智能化建设严重滞后,导致采掘失衡问题突出,制约着煤矿安全、高效生产。

掘进机智能化是实现综掘工作面智能化的核心,煤矿巷道断面自动成形截割是其关键技术之一。目前许多学者在掘进机运动学建模、轨迹规划、自动截割控制、远程控制等方面取得了一些研究成果。李军利[2]对悬臂式掘进机的运动学、动力学和电液控制系统进行了研究。王苏彧等[3-4]研究了悬臂式掘进机轨迹规划方法与自主截割技术,并开发了掘进机远程控制与监测系统,实现了掘进过程定向、定位和定形的自动化远程控制。高峰等[5]研究了掘进机截割臂摆速的自动控制。穆晶等[6]对截割断面的极限位置进行了分析。王光肇[7]设计了基于无线传输的掘进机远程控制及监测系统,实现了掘进机动作远程控制与运行状态参数监测。目前掘进机远程截割控制方法大多基于视频监控与平面信息,主要依靠人工控制,巷道断面成形质量取决于操作经验,可靠性较低。

基于数字孪生的远程控制技术利用虚拟可视化等手段,根据设备运行数据,通过构建虚拟模型,在虚拟场景中再现设备运行状态,进而实现稳定、可靠、直观的远程监控,目前在煤矿设备远程控制领域已得到一定研究。吴海雁等[8]采用Quest3D技术搭建了采煤机远程监控系统,采用数据库技术进行数据传输,有效解决了监测监控系统与虚拟数据接口问题。张旭辉等[9]采用Unity3D技术构建了掘进机虚拟远程控制系统,实现了人机交互下的掘进机远程控制。

本文基于先期研究成果,研究了数字孪生驱动掘进机远程自动截割控制技术:通过获取掘进机感知数据并构建掘进机虚拟模型,采用数字孪生数据传输方法,实现在远程控制端控制掘进机自动按规划路径截割,为井下巷道掘进监测与控制提供了新思路。

1 数字孪生驱动掘进机远程自动截割控制总体方案

以悬臂式掘进机为研究对象,在前期机身位姿检测研究基础上,构建了数字孪生驱动掘进机远程自动截割控制方案,包括数据感知、数据驱动、数据传输、远程自动截割控制等过程,如图1所示。

图1 数字孪生驱动掘进机远程自动截割控制总体方案
Fig.1 Total scheme of digital twin driven remote automatic cutting control of roadheader

数字孪生驱动掘进机远程自动截割控制中的感知数据主要为掘进机状态数据和环境数据,二者构成数字孪生驱动的数据来源。采用由平行激光指向仪、后置相机组成的机身位姿测量系统,由红外LED标靶、前置相机组成的截割头位姿测量系统,超声波传感器等实时获取掘进机状态数据;采用气体传感器、粉尘传感器等在线获取环境数据。

利用感知数据在本地防爆计算机上搭建可视化辅助截割系统[9],实现掘进过程的实时在线监测。同时通过防爆计算机将感知数据发送至远程控制端,根据数字孪生驱动模型实现虚拟装备同步动作。远程控制端可实现虚拟远程控制和视频监控功能。虚拟远程控制可设置手动和自动2种操作模式。手动模式是通过人机交互方式实现远程截割控制;自动模式是通过规划截割头运动轨迹,利用掘进机逆解求解各关节控制量[9],将控制指令下发至PLC,驱动掘进机运行,并实时修正掘进机工作状态。

2 掘进机数据感知

针对数字孪生驱动的数据来源,采用常规检测方法即可获取环境数据,因此重点介绍掘进机状态数据特别是位姿数据感知方法。位姿数据感知主要通过掘进机机身定位和截割头定位来实现,本文基于前期掘进机机身位姿与截割头位姿视觉感知[10-12]研究成果,获取掘进机位姿数据。

以悬臂式掘进机为例,其位姿数据感知方法如图2所示。采用后置防爆相机采集激光指向仪的2个激光光斑,将2个激光光斑、光斑之间的直线、激光线简化为两点三线特征,经过畸变校正、特征提取、位姿解算等,实现掘进机位置精确测量(实验室测量误差小于30 mm,井下测量误差小于40 mm)。同时,以红外LED构建图像测量标靶,利用加装红外滤镜的前置防爆相机采集其图像,经过畸变校正、特征提取、姿态解算等步骤,实现截割头姿态角测量。抬升角测量误差小于0.8°,回转角测量误差小于0.5°。

图2 掘进机位姿数据感知方法
Fig.2 Position and attitude data sensing method of roadheader

3 数字孪生驱动掘进机

为实现在虚拟场景中实时再现真实场景变化状态,除了获取真实场景的孪生数据,还需要建立相应的数字孪生驱动模型,包括:① 建立掘进机虚拟模型和虚拟场景,并完成虚拟模型动作编程及虚拟模型与虚拟场景的耦合。② 建立掘进机运动学模型,求解其正逆解,利用孪生数据驱动虚拟模型动作,在虚拟场景中还原掘进机运行状态。

根据掘进机真实尺寸,采用SolidWorks,3D Max等软件按比例建立掘进机三维模型,采用Unity3D软件实现掘进机动作编程[13],建立掘进机虚拟模型与虚拟场景。

建立如图3所示的坐标系描述虚拟空间,实现掘进机虚拟模型与虚拟场景的耦合。OwXwYwZw为虚拟世界坐标系(W系);OoXoYoZo为对象坐标系(O系),用来描述虚拟模型坐标;OvXvYvZv为观察坐标系(V系),用于描述各视角坐标。

图3 虚拟空间坐标系
Fig.3 Virtual space coordinates

将虚拟模型坐标转换到W系下才能实现掘进机运动状态的虚拟匹配,这是实现同步控制的基础。假设虚拟场景中任意一点在W系中的坐标为(x,y,z),在O系中的坐标为(x′,y′,z′),则有

[xyz′ 1]T=(-R)(-T)[x y z 1]T

(1)

式中:R为旋转矩阵;T为平移、缩放等复合矩阵。

根据式(1)可将掘进机虚拟模型融合于虚拟空间,形成虚拟掘进工作面场景,实现虚拟模型与虚拟场景的耦合,完成虚拟场景内部虚拟模型的动作变换。

采用文献[14]方法建立掘进机运动学模型,通过掘进机运动学正解实现掘进机感知数据驱动掘进机虚拟模型运动,通过运动学逆解实现虚拟模型控制实际掘进机动作。

4 远程自动截割控制

掘进机自动截割控制的前提是根据巷道断面类型、掘进工艺和截割头外轮廓等参数规划截割头运动轨迹。以截割轨迹规划为目标,视觉测量实际截割头位姿为基础坐标点,控制截割头实时位置及行走轨迹。为得到掘进机各关节运动控制量,求解掘进机运动学逆解,同时配合由理论轨迹点及视觉测量点构建的反馈控制系统,实现掘进机自动截割过程的动态控制。

4.1 截割路径规划

以矩形断面为例,根据煤矿巷道设计要求的宽度和高度规划“S”形截割轨迹,如图4所示。

图4 巷道矩形断面“S”形截割轨迹规划
Fig.4 "S" shape cutting trajectory planning of rectangle roadway section

悬臂式掘进机的截割头运动包括水平回转运动和上下抬升运动,因此已知截割臂的长度、回转角θ1和抬升角θ2即可计算出截割头在截割断面的位置。其中θ1θ2通过视觉测量方法计算得到。如图4所示,截割头从A点移动至B点过程中做水平回转运动,θ1随之变化,从B点移动至C点过程中做上下抬升运动,θ2变化。

采用三次多项式方法进行轨迹规划,具体实现原理如下。

(1) 设掘进机关节角为θ(t),t为时间。已知掘进机在起点及终点位置的关节角为θ0θf,从起点移动到终点的时间为tf,则

(2)

(2) 截割过程中,各关节起点及终点速度为0,即

(3)

(3) 建立三次多项式:

θ(t)=a0+a1t+a2t2+a3t3

(4)

式中a0a3为系数。

将约束条件(式(2)、式(3))带入式(4),得

(5)

以掘进机移动路径A—B—C为例,说明运动过程中各关节变量计算方法。设截割头在A,B,C 3个点的断面坐标分别为(XA,YA,ZA),(XB,YB,ZB),(XC,YC,ZC),利用运动学逆解计算出掘进机在3个点的回转角分别为θA1,θB1,θC1,抬升角分别为θA2,θB2,θC2。掘进机在A—B与B—C的运动时间分别为t1,t2。则对于回转关节,其位置函数、角速度函数、角加速度函数分别如式(6)—式(8)所示。

(6)

(7)

(8)

对于抬升关节,其位置函数、角速度函数、角加速度函数分别如式(9)—式(11)所示。

(9)

(10)

(11)

4.2 自动截割控制器设计

巷道断面自动截割控制器用于控制截割头实际运动轨迹与规划轨迹的误差,实现轨迹跟踪控制。根据悬臂式掘进机动力学模型[14],有

(12)

式中:q为悬臂式掘进机关节广义坐标;M(q)为悬臂式掘进机惯性矩阵;为关节速度引起的哥氏力和向心力矩阵;G(q)为重力矩阵;为建模和外界干扰引起的系统不确定部分;τ为控制矩阵。

假设令状态向量基于计算力矩法设计线性反馈控制器:

(13)

式中:qd为掘进机位置测量值;λ1为微分系数矩阵;λ2为比例系数矩阵;e为位置偏差。

将式(13)带入式(12),得

(14)

M(q)为非奇异矩阵,有

(15)

定义位置跟踪误差e和加速度跟踪误差

(16)

根据式(15)、式(16)可得

(17)

在掘进机实际工作中,外界干扰不可避免,且负载随机变化。为了改善控制鲁棒性,降低参数变化和外界干扰影响,在线性反馈控制基础上设计线性积分滑模控制器。

积分滑模面为

(18)

式中Λ1,Λ2为正对角矩阵。

由此得反馈线性积分滑模控制器:

(19)

式中:K=diag(μ1,μ2),μ1,μ2为滑模切换控制增益,μ1,μ2>0;Ksgn(s)用于补偿因建模误差与外界环境等引起的不确定扰动项。

(20)

5 数字孪生数据传输

在数字孪生驱动掘进机远程自动截割控制中,数据交互媒介主要是MySQL数据库。其实现传感器数据集中管理,实时获取传感器当前状态;通过对集中存放的数据群进行分析,实现不确定性事件的预测感知。

实际掘进机和虚拟模型之间数据传输过程如图5所示。选择手动模式时,通过人机交互方式(如手柄、按钮等)下发控制指令到数据库中,虚拟模型实时获取控制指令,结合掘进机当前状态实现虚实同动、动态修正。选择自动模式时,虚拟远程控制端根据巷道参数、掘进机本体参数等进行轨迹规划,结合当前掘进机位姿数据,利用运动学逆解计算调节量,之后将指令下发至防爆计算机数据库中,最后传输至PLC。PLC通过RS485通信方式控制掘进机运行,实现断面成形截割控制。

图5 数字孪生数据传输过程
Fig.5 Digital twin data transmission process

通信实时性是实现数字孪生驱动掘进机远程自动截割控制的关键。井下工业以太环网及矿用5G技术的应用为此提供保障。

6 实验验证

6.1 实验平台搭建

数字孪生驱动掘进机远程自动截割控制实验平台由掘进机样机、本地数据采集与控制系统和虚拟操控平台组成,如图6所示。

(a) 掘进机样机及本地数据采集与控制系统

(b) 虚拟操控平台

图6 实验平台
Fig.6 Experimental platform

在掘进机样机上搭建机身位姿测量系统、截割头位姿测量系统、超声波传感器、防爆计算机等,组成可视化辅助截割系统,用于采集本地掘进机状态数据;采用FX3U-64M型PLC作为本地掘进机控制器,实现掘进机逻辑控制。虚拟操控平台与本地数据采集与控制系统数据通信采用TCP/IP方式。

实验平台中仪器型号见表1。

表1 实验仪器型号
Table 1 Experiment instrument types

名称型号前置相机MV_EM130红外LED标靶SE3470-003(880 nm)后置相机MV_EM510C激光指向仪YHJ-800捷联惯导TM352超声波传感器GUC6矿用本质安全型防爆计算机KJ127

6.2 功能验证

数字孪生驱动掘进机远程自动截割控制通过远程控制端实时自动控制掘进机运动,实现巷道断面自动成形截割,以达到智能化截割、自动化减人目的。因此,本文主要对远程控制下的截割成形跟踪控制和虚实同动、动态修正功能进行验证。

掘进机规划截割轨迹与实际轨迹对比如图7所示。不同时刻掘进机样机与虚拟模型位姿对比如图8所示。

图7 掘进机规划截割轨迹与实际轨迹对比
Fig.7 Comparison between planned cutting trajectory and the actual one of roadheader

(a) 时刻1

(b) 时刻2

(c) 时刻3

(d) 时刻4

图8 不同时刻掘进机样机与虚拟模型位姿对比
Fig.8 Position and attitude comparison between roadheader prototype and virtual model at different moment

从图7、图8可看出,掘进机实际截割轨迹与规划轨迹基本一致,且同一时刻虚拟界面中掘进机截割头位姿与实际位姿一致,表明数字孪生驱动掘进机远程自动截割控制技术可真实再现掘进机实际位姿状态。

7 结语

数字孪生驱动掘进机远程自动截割控制技术采用视觉测量方法感知掘进机状态信息,通过建立掘进机虚拟模型及求解掘进机运动学正逆解,实现数字孪生驱动掘进机自动截割,并在远程控制端再现掘进机运动状态,实现远程监测。实验结果表明,掘进机截割头能稳定跟随规划轨迹,且同一时刻虚拟界面显示的掘进机截割头位姿与实际位姿一致。

参考文献:

[1] 王国法,任怀伟,庞义辉,等.煤矿智能化(初级阶段)技术体系研究与工程进展[J].煤炭科学技术,2020,48(7):1-27.

WANG Guofa,REN Huaiwei,PANG Yihui,et al.Research and engineering progress of intelligent coal mine technical system in early stages[J].Coal Science and Technology,2020,48(7):1-27.

[2] 李军利.悬臂式掘进机断面自动成形理论与控制策略研究[D].太原:太原理工大学,2009.

LI Junli.Research on automatic cross section profilingtheory and control strategy for boom-type roadheader[D].Taiyuan:Taiyuan University of Technology,2009.

[3] 王苏彧,吴淼.基于PCC的纵轴式掘进机自主截割控制系统研究[J].煤炭工程,2016,48(6):132-135.

WANG Suyu,WU Miao.Autonomous cutting control system of longitudinal roadheader based on PCC[J].Coal Engineering,2016,48(6):132-135.

[4] 王苏彧,杜毅博,薛光辉,等.掘进机远程控制技术及监测系统研究与应用[J].中国煤炭,2013,39(4):63-67.

WANG Suyu,DU Yibo,XUE Guanghui,et al.Research and application of remote control techniques and monitoring system for roadheader[J].China Coal,2013,39(4):63-67.

[5] 高峰,王苏彧,高娟,等.掘进机截割臂摆速自动控制方法研究[J].工矿自动化,2011,37(8):38-41.

GAO Feng,WANG Suyu,GAO Juan,et al.Research of automatic control method of swing speed of cutting arm of roadheader[J].Industry and Mine Automation,2011,37(8):38-41.

[6] 穆晶,杜毅博,田劼,等.悬臂式掘进机截割断面极限位置分析[J].工矿自动化,2011,37(10):67-69.

MU Jing,DU Yibo,TIAN Jie,et al.Analysis of extreme position of cutting section of boom-type roadheader[J].Industry and Mine Automation,2011,37(10):67-69.

[7] 王光肇.基于无线传输的掘进机远程控制及监测系统的设计和实现[J].煤矿机械,2016,37(5):181-183.

WANG Guangzhao.Design and implementation of remote control and monitoring system for coal roadheader based on wireless transmission[J].Coal Mine Machinery,2016,37(5):181-183.

[8] 吴海雁,王天龙,张旭辉,等.基于Quest3D和PLC的采煤机远程监控系统[J].工矿自动化,2015,41(11):14-17.

WU Haiyan,WANG Tianlong,ZHANG Xuhui,et al.Remote monitoring system of shearer based on Quest3D and PLC[J].Industry and Mine Automation,2015,41(11):14-17.

[9] 张旭辉,魏倩楠,王妙云,等.悬臂式掘进机远程虚拟操控系统研究[J/OL].煤炭科学技术:1-9[2020-09-10].http://kns.cnki.net/kcms/detail/11.2402.TD.20200210.0924.006.html.

ZHANG Xuhui,WEI Qiannan,WANG Miaoyun,et al.Research on remote virtual control system of cantilever roadheader[J/OL].Coal Science and Technology:1-9[2020-09-10].http://kns.cnki.net/kcms/detail/11.2402.TD.20200210.0924.006.html.

[10] 张旭辉,张超,杨文娟,等.悬臂式掘进机可视化辅助截割系统研制[J].煤炭科学技术,2018,46(12):21-26.

ZHANG Xuhui,ZHANG Chao,YANG Wenjuan,et al.Research and development of visual auxiliary cutting system for cantilever roadheader[J].Coal Science and Technology,2018,46(12):21-26.

[11] 张旭辉,赵建勋,张超.悬臂式掘进机视觉伺服截割控制系统研究[J/OL].煤炭科学技术:1-8[2020-09-10].http://kns.cnki.net/kcms/detail/11.2402.TD.20200227.1657.034.html.

ZHANG Xuhui,ZHAO Jianxun,ZHANG Chao.Visual servo control system for cutting of boom-type roadheader[J/OL]. Coal Science and Technology:1-8[2020-09-10].http://kns.cnki.net/kcms/detail/11.2402.TD.20200227.1657.034.html.

[12] 张旭辉,刘永伟,杨文娟,等.矿用悬臂式掘进机截割头姿态视觉测量系统[J].工矿自动化,2018,44(8):63-67.

ZHANG Xuhui,LIU Yongwei,YANG Wenjuan,et al.Vision measurement system for cutting head attitude of mine-used boom-type roadheader[J].Industry and Mine Automation,2018,44(8):63-67.

[13] 张旭辉,陈利,马宏伟,等.煤矿掘进机器人虚拟仿真与远程控制系统[J].工矿自动化,2016,42(12):78-83.

ZHANG Xuhui,CHEN Li,MA Hongwei,et al.Virtual simulation and remote control system for coal mine roadheader robot[J].Industry and Mine Automation,2016,42(12):78-83.

[14] 刘永伟.矿用悬臂式掘进机器人控制系统研制[D].西安:西安科技大学,2018.

LIU Yongwei.Design of the control system for the robot of boom-type roadheader in mine coal[D].Xi'an:Xi'an University of Science and Technology,2018.

Digital twin driven remote automatic cutting control technology of roadheader

ZHANG Chao1, ZHANG Xuhui1,2, ZHANG Kaixin1, XIE Nan1, ZHOU Chuang1

(1.College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China;2.Shannxi Key Laboratory of Mine Electromechanical Equipment Intelligent Monitoring, Xi'an 710054, China)

Abstract:Existing remote cutting control methods of roadheader are mostly based on video monitoring and planar information, and roadway section forming quality depends on manual operation experience with low reliability. For the above problems, digital twin driven remote automatic cutting control technology of roadheader was researched, and implementation process of digital twin driven automatic cutting of roadheader was introduced from aspects of data sensing, data driving, data transmission and remote automatic cutting control. Position and attitude data of roadheader is obtained by use of vision measurement technology and tunneling environment data is gathered by gas and other sensors, which form data source of data twin driving. Vitual model of roadheader and virtual scene are established, and action programming and coupling between the virtual model and virtual scene are finished. Interaction between roadheader and the virtual model is realized by normal and inverse kinematics of roadheader. "S" shape cutting trajectory of roadway section is planned based on cubic polynomial method, and linear integral feedback sliding mode controller is designed to control cutting trajectory. MySQL database is taken as medium of data interaction, and remote data transmission is realized through underground industrial ethernet ring network and mine-used 5G technology. The experimental results show that the cutting head of roadheader can stably follow the planed trajectory, and position and attitude of cutting head of roadheader in virtual interface is accordant with the actual ones at the same moment.

Key words:fully-mechanized heading face intelligence; roadheader intelligence; digital twin; position and attitude measurement of roadheader; automatic cutting control; cutting trajectory planning

文章编号1671-251X(2020)09-0015-07

DOI:10.13272/j.issn.1671-251x.17640

中图分类号:TD641

文献标志码:A

收稿日期:2020-07-15; 修回日期:2020-09-11; 责任编辑:李明。

基金项目:陕西省创新人才计划项目(2018TD-032);陕西省重点研发计划项目(2018ZDCXL-GY-06-04)。

作者简介:张超(1992-),男,陕西凤翔人,博士研究生,研究方向为数字孪生驱动设备远程控制技术,E-mail:1354277569@qq.com。

通信作者:张旭辉(1972-),男,陕西凤翔人,教授,博士,研究方向为煤矿机电设备智能检测与控制,E-mail:xust_zxh@163.com。

引用格式:张超,张旭辉,张楷鑫,等.数字孪生驱动掘进机远程自动截割控制技术[J].工矿自动化,2020,46(9):15-20.

ZHANG Chao,ZHANG Xuhui,ZHANG Kaixin,et al.Digital twin driven remote automatic cutting control technology of roadheader[J].Industry and Mine Automation,2020,46(9):15-20.