0.   引言

随着煤矿开采向深部转移，井下冲击地压发生的频次和破坏程度不断增加，造成片帮冒顶、巷道垮塌和液压支架损坏，给矿井安全高效生产和智能化开采带来严峻挑战。如何实现冲击地压煤层智能安全高效开采已被中国科协列入2023重大科学问题、工程技术难题和产业技术问题^[1]。研究表明^[2-3]，超前支护能有效预防和阻止冲击地压发生，提高支护强度将大幅度提升冲击地压临界载荷，抵抗冲击地压。因此，通过研究超前液压支架自适应抗冲支护技术，加强巷道支护能力，对有效预防冲击地压等灾害发生及实现巷道安全支护具有重要意义。

文献[4-5]针对现有巷道支护难以抵抗冲击地压的强震强冲难题，基于巷道围岩支护的静力学与动力学分析，提出了抗冲支护设计方案。文献[6-12]通过研究智能PID神经网络控制方法，提高液压支架控制系统鲁棒性、跟踪性能的可靠性和超前液压支架支撑力响应速度。上述研究在矿井超前液压支架自适应抗冲支护方面取得了一定成果，但实际的深部矿井冲击地压突出，围岩扰动较大，液压支架的实际响应速度仍有滞后性，且抗干扰能力较弱^[13]，现有矿井超前支护系统自感知能力差，智能抗冲自适应能力弱，缺乏决策控制能力。

数字孪生是一种利用模型、数据、智能并集成多学科的仿真技术，具有实时建模仿真、协同控制优化等优点^[14-17]。深度强化学习是一种结合深度学习和强化学习的智能决策方法，通过深度神经网络来表示和优化智能体的行为策略，使得智能体可以在复杂环境中进行学习和决策^[18-19]。本文提出了一种基于数字孪生和深度强化学习的矿井超前液压支架自适应抗冲支护方法。该方法通过数字孪生技术将物理世界中的超前液压支架和支护行为数字化，通过建立数字孪生模型，结合深度强化学习算法驱动超前液压支架在虚拟环境中进行相应操作，进而实现超前液压支架自适应抗冲支护。

1.   基于数字孪生和深度强化学习的矿井超前液压支架自适应抗冲支护技术架构

基于数字孪生和深度强化学习的矿井超前液压支架自适应抗冲支护技术架构包括物理层、交互层、模型层和应用层，如图1所示。在虚拟世界中创建物理实体的数字孪生模型，利用信息交互反馈、数据融合分析、智能决策优化方法，实现虚拟超前液压支架的监测、决策、优化和更新，进而控制物理世界超前液压支架的自适应抗冲支护。

图  1  基于数字孪生和深度强化学习的矿井超前液压支架自适应抗冲支护技术架构

Figure  1.  Adaptive impact resistance support technology architecture for mine advanced hydraulic support based on digital twin and deep reinforcement learning

下载: 全尺寸图片 幻灯片

物理层利用多源传感器感知巷道锚杆锚索和超前液压支架工况和环境信息，通过多源数据的交互反馈实现与模型层数字孪生模型的交互映射，并根据应用层的决策模型优化调整超前液压支架，以实现自适应抗冲支护。

交互层将多源传感器采集的井下工况环境信息、设备运行信息通过工业以太网、RS485、CAN、OPC、5G、WiFi6、UWB等组成的工业互联网传输至应用层，并通过多源传感、数据融合、数据挖掘和边缘计算实现数字孪生模型与物理实体的同步状态更新和交互协同控制。

模型层包括物理模型、控制模型、机理模型、数据模型和仿真模型等数字孪生模型。物理模型精确展现超前液压支架的结构特征和细节，为后续的仿真分析提供支持；通过控制模型实现超前液压支架的自适应控制；通过机理模型实现对超前液压支架自适应支护的逻辑描述和机理解释；数据模型包括超前液压支架实体运行数据和孪生数据；利用仿真模型完成超前液压支架立柱仿真^[20]，实现超前液压支架与数字孪生模型虚实交互。

应用层主要实现超前液压支架的智能决策控制。通过嵌入超前液压支架自适应抗冲决策模型，实时监测支护设备的支护状态，并通过该模型中超前液压支架自适应抗冲决策算法实现超前液压支架自适应抗冲决策功能。

2.   数字孪生模型构建

2.1   物理模型

本文以ZQ4000/16/31超前液压支架为例，确定超前液压支架的几何参数、运动属性和机械结构。超前液压支架主要金属构件包括顶梁、掩护梁、中间伸缩梁、底座、前连杆、后连杆等；液压控制系统包括立柱、防倒千斤顶、移架千斤顶；液压控制元件包括安全阀、操纵阀组、液控单向阀等。超前液压支架各结构件之间通过销轴、螺栓等连接。通过SolidWorks软件建立超前液压支架物理模型。

2.2   控制模型

控制模型通过液压支架控制器自适应调节支架，确保支架能够根据实际围岩状况自动调整支护力度，从而提供更加稳定、高效的支护效果。

普通PID控制器结构简单、稳定性强，但PID参数设定时间长且波峰较大；模糊PID控制器需要结合人工经验设置参数，精度不足；BP−PID控制器加强了参数自适应调整能力，但全局搜索性能较差。在全局优化算法中，粒子群优化（Particle Swarm Optimization，PSO）算法和灰狼优化（Grey Wolf Optimization，GWO）算法优化参数效果较好。相对于PSO算法，GWO算法在搜索中采用更多随机性，能够跳出局部最优解。因此本文控制模型采用基于GWO−BP神经网络的自适应PID控制器，其在非线性和时变系统中具有较好的控制性能和适应性，且鲁棒性强^[10]。本文中GWO算法的搜索空间由BP神经网络权重和超参数组成。GWO−BP控制原理如图2所示，其中K_P，K_I，K_D分别为比例、积分、微分系数。

图  2  GWO−BP控制原理

Figure  2.  Grey wolf optimization(GWO)-BP control principle

下载: 全尺寸图片 幻灯片

2.3   机理模型

根据超前液压支架自适应抗冲支护的组成要素、组织结构和支护过程建立机理模型，对历史数据、实时数据和仿真数据等多源数据进行融合与分析，实现对矿井超前液压支架自适应抗冲支护的逻辑描述和机理解释。

机理模型结构如图3所示。组成要素和组织结构共同构成了矿井巷道支护的静态结构，提供了支护系统的基本框架和构成元素；行为过程深入描绘了静态结构下各要素之间相互耦合、相互作用的动态过程。通过机理模型能够更清晰地理解支护系统运行的内在机制和互动模式。

图  3  机理模型结构

Figure  3.  Mechanism model structure

下载: 全尺寸图片 幻灯片

2.4   数据模型

使用MySQL数据库作为数据模型。MySQL数据库中存储多源传感器采集的巷道围岩压力数据、超前液压支架支护数据、仿真数据及孪生数据。 调用MySQL数据库中存储数据，需要创建数据表：① 超前液压支架数据交互表，该表存储超前液压支架支撑力、顶梁压力及所处位置。② 冲击地压巷道数据交互表，该表存储围岩应力、巷道区间、支护应力、临界应力、应力安全系数、能量安全系数、安全等级评价。③ 液压控制系统数据交互表，该表存储立柱伸缩量、立柱压力和PID控制器参数。

2.5   仿真模型

将在SolidWorks中创建的超前液压支架物理模型导出为.sldasm格式的文件，并导入MapleSim的液压支架数字孪生平台中，为后续的仿真建模、分析优化提供完备的虚拟环境。

首先利用MapleSim构建超前液压支架立柱仿真模型；然后将MySQL数据库中超前液压支架的升降柱控制信号及PID控制器参数作为仿真模型的驱动信号，导入MapleSim的时间表模块中，驱动仿真模型运行；最后仿真物理实体在支护过程中的动态行为，通过仿真模型在虚拟环境中反映实际超前液压支架支护状态。

3.   超前液压支架智能决策控制

3.1   超前液压支架自适应抗冲决策模型

超前液压支架自适应抗冲决策模型主要通过“智能感知−模型驱动−智能决策−智能控制”闭环过程来实现决策流程^[21]，如图4所示。首先，通过多源传感器智能感知巷道环境和超前液压支架支护状态，并通过高速工业互联网完成数据传输，实现超前液压支架实体与数字孪生模型之间的信息交互。其次，利用多源感知数据构建数字孪生模型，可视化呈现超前液压支架抗冲的真实支护状态。然后，根据超前液压支架自适应抗冲决策算法，对巷道抗冲支护进行智能决策。最后，根据智能决策结果对物理实体和数字孪生模型下达调控指令，实现对超前液压支架的智能控制。

图  4  超前液压支架自适应抗冲决策流程

Figure  4.  Adaptive impact resistance decision-making flow of advanced hydraulic support

下载: 全尺寸图片 幻灯片

3.2   超前液压支架自适应抗冲决策算法

超前液压支架自适应抗冲决策算法是超前液压支架自适应抗冲决策模型的核心部分，其能够利用超前液压支架与仿真环境交互获得的液压支架抗冲支护数据，对决策模型的控制策略进行学习和训练，从而使超前液压支架自适应决策并有效抗冲。

常见的深度强化学习算法包括深度Q网络（Deep Q-Network，DQN）、深度确定性策略梯度（Deep Deterministic Policy Gradient ，DDPG）、近端策略优化（Proximal Policy Optimization，PPO），其优缺点见表1。

表  1  深度强化学习算法对比

Table  1.  Comparison of deep reinforcement learning algorithms

算法	优点	缺点
DQN	通过经验池进行随机小批量的采样训练，打破数据之间的相关性；采用每隔N次迭代更新目标Q网络的方法，提高Q网络稳定性	对目标Q网络采取最大化操作，对Q值的估计过高；训练数据规模较小
DDPG	同时建立Q值函数和策略函数；适用于连续动作的任务，稳定性好	对参数敏感；处理规模较大、时间较长，需要很强的GPU
PPO	对智能体的策略函数进行优化，减少数据收集难度；适用于复杂场景和大规模训练	序列数据收集困难；对超参数选择敏感

下载: 导出CSV 

| 显示表格

在超前液压支架自适应抗冲决策过程中，调节液压支架控制器PID参数作为决策的调控动作，决策相对不复杂，不需要大规模训练，并且在短时间内保证决策的可靠性是超前液压支架自适应抗冲决策的关键。DQN算法相较于其他深度强化学习算法，结构简单、训练速度快，因此本文选取DQN算法进行超前液压支架自适应抗冲决策。

基于DQN的超前液压支架自适应抗冲决策算法原理如图5所示。当前值Q网络和目标值Q网络通过与仿真环境交互并不断迭代训练，最终找到一种最优的超前液压支架调控动作。该算法具体训练过程：首先在任意时间步选定一个仿真环境状态（巷道区间、围岩应力、支护应力、 临界应力、 应力安全系数）作为初始巷道状态，将初始巷道状态输入当前值Q网络中，生成一组超前液压支架调控动作（PID参数），采集该调控动作存入经验池；然后从经验池中随机采样输入当前值Q网络和目标值Q网络，计算 DQN 损失函数值，根据损失函数值更新当前值Q网络；最后每C步将当前值Q网络的参数同步到目标值Q网络，直到训练完成。

图  5  基于DQN的超前液压支架自适应抗冲决策算法原理

Figure  5.  Principle of adaptive impact resistance decision-making algorithm of advanced hydraulic support based on deep Q-network(DQN)

下载: 全尺寸图片 幻灯片

4.   实验验证

4.1   数字孪生模型验证

超前液压支架立柱仿真模型是实现超前液压支架实体与数字孪生模型虚实交互的关键。对超前液压支架立柱仿真模型进行仿真验证，可验证数字孪生模型的准确性。

超前液压支架立柱仿真模型参数设置见表2。

表  2  超前液压支架立柱仿真模型参数

Table  2.  Simulation model parameters of advanced hydraulic support column

参数	值		参数	值
阀芯质量/kg	0.2		活塞杆直径/mm	10
活塞杆质量/kg	15		间隙直径/mm	0.02
反馈信号比例系数	5		比例阀阀杆直径/mm	10
阀芯控制比例系数	2		比例阀阀芯直径/mm	15
液压油密度/（kg·m−3）	920		顶板刚度系数/（N·mm−1）	15000
液压油压力/MPa	41.50		顶板阻尼系数/（N·s·m−1 ）	20
活塞直径/mm	30

下载: 导出CSV 

| 显示表格

根据超前液压支架立柱升降原理，在仿真模型中加载升降系统，在油缸上定义与实际超前液压支架立柱参数相符的驱动力，进行立柱位移与压力变化仿真实验，结果如图6所示。在初始状态，油缸内处于充液保压状态，活塞杆完全伸出，油缸压力为41.5 MPa；在7 s时，换向阀切换至左位，立柱开始下降，油缸压力逐渐减小至4 MPa；在10 s时，油缸压力降至0，此时立柱降至最底端；在11 s时，换向阀切换至右位，立柱开始上升，油缸压力开始增大；在19 s时，立柱上升，位移为 0.75 m；在19 s后，立柱完全伸出，油缸压力达到最大，立柱液压系统再次进入稳压状态。在仿真时间内，立柱位移与压力变化一致，说明超前液压支架立柱仿真模型设计合理。

图  6  立柱位移与压力变化曲线

Figure  6.  Change curves of column displacement and pressure

下载: 全尺寸图片 幻灯片

4.2   超前液压支架自适应抗冲决策算法验证

某矿区冲击地压多发生在临空侧巷道，巷道为矩形断面，高3.8 m、宽 5.2 m，支护方式为锚网索超前液压支架联合支护^[21]。采集该矿0～2 680 m巷道区间内应力参数及安全系数，见表3。

表  3  巷道应力参数及安全系数

Table  3.  Stress parameters and safety factors of roadway

巷道 区间/m	围岩 应力/MPa	支护 应力/MPa	临界 应力/MPa	应力安 全系数	能量安 全系数	安全 等级
0～33	17.50	0.28	33.67	1.9	1.09	A
33～53	26.25	0.28	33.67	1.3	1.09	C
53～65	17.50	0.28	33.67	1.9	1.09	A
65～238	24.50	0.28	33.67	1.4	1.09	C
238～338	29.75	0.28	33.67	0.9	1.09	C
338～613	24.50	0.28	33.67	1.4	1.09	C
613～713	29.75	0.28	33.67	0.9	1.09	C
713～1186	24.50	0.28	33.67	1.4	1.09	C
1186～1732	17.50	0.28	33.67	1.9	1.09	A
1732～1763	21.00	0.28	33.67	1.6	1.09	A
1763～2660	17.50	0.28	33.67	1.9	1.09	A
2660～2680	21.00	0.28	33.67	1.6	1.09	A

下载: 导出CSV 

| 显示表格

表3中数据经过数字孪生模型仿真实验后，得到孪生数据，将该数据作为基于DQN的超前液压支架自适应抗冲决策算法训练的基础数据。

基于DQN的超前液压支架自适应抗冲决策算法训练参数见表4。

表  4  基于DQN的超前液压支架自适应抗冲决策算法训练参数

Table  4.  Training parameters of adaptive impact resistance decision-making algorithm of advanced hydraulic support based on deep Q-network(DQN)

参数	值		参数	值
经验池大小	2 000		最终概率	0.1
批量大小	64		目标值Q网络更新频率/步	50
折扣因子	0.95		训练轮次	480
初始概率	0.9		最大步数	100
概率的衰减系数	0.99

下载: 导出CSV 

| 显示表格

在每轮迭代中，持续累加智能体获得的奖励，得到基于DQN的超前液压支架自适应抗冲决策算法的奖励收敛曲线，如图7所示。可看出随着训练轮次增加，算法获得的奖励逐渐上升，并最终趋于稳定，表明算法具有良好的收敛性，能够稳定地提供决策方案。

图  7  基于DQN的超前液压支架自适应抗冲决策算法奖励收敛曲线

Figure  7.  Reward convergence curve of adaptive impact resistance decision-making algorithm of advanced hydraulic support based on deep Q-network(DQN)

下载: 全尺寸图片 幻灯片

选取孪生数据中巷道安全等级为C（表明巷道不安全，需暂停开采活动并进行预警）的6组数据，利用训练后的基于DQN的超前液压支架自适应抗冲决策算法，根据Q值选择每组数据对应的最优调控动作，通过对比调控前后巷道状态（表5）判断算法有效性。

表  5  智能决策调控前后巷道状态对比

Table  5.  Comparison of roadway state before and after intelligent decision control

巷道区间/m	初始巷道状态					调控后PID参数				调控后巷道状态
	立柱 压力/MPa	临界 应力/MPa	应力安 全系数	安全等级		KP	KI	KD		立柱 压力/MPa	临界 应力/MPa	应力安 全系数	安全等级
65～238	17.21	33.67	1.4	C		0.6193	0.5841	0.6736		40.28	37.76	1.6	A
65～238	22.90	33.67	1.4	C		0.6187	0.5843	0.6738		40.31	37.76	1.6	A
338～613	21.25	33.67	1.4	C		0.6197	0.5861	0.6766		40.26	37.76	1.6	A
338～613	23.80	33.67	1.4	C		0.6193	0.5841	0.6736		40.32	37.76	1.6	A
713～1 186	17.21	33.67	1.4	C		0.6198	0.5861	0.6766		40.28	37.76	1.6	A
713～1 186	22.55	33.67	1.4	C		0.6187	0.5851	0.6746		40.41	37.76	1.6	A

下载: 导出CSV 

| 显示表格

从表5可看出，经过基于DQN的超前液压支架自适应抗冲决策算法调控后，巷道超前液压支架立柱压力升高，应力安全系数提升，巷道安全等级提升为A（表明巷道具备开采条件），验证了该算法的有效性。

5.   结论

1） 通过多源传感器感知巷道环境和超前液压支架支护状态，在虚拟世界中创建物理实体的数字孪生模型，仿真超前液压支架抗冲的真实支护状态。通过基于DQN的超前液压支架自适应抗冲决策算法，对仿真环境中巷道抗冲支护进行智能决策，从而自适应调节液压支架控制器PID参数，实现超前液压支架自适应抗冲支护。

2） 数字孪生模型的立柱升降仿真实验结果表明，立柱位移与压力变化一致，验证了数字孪生模型的准确性。基于DQN的超前液压支架自适应抗冲决策算法实验结果表明，该算法能够自适应调控立柱压力，提升巷道安全等级，实现超前液压支架自适应抗冲支护。