0.   引言

顶板事故占煤矿事故的40%～50% ^[1-4]，因此顶板压力（矿压）预测对减少顶板事故发生及保障煤矿安全开采具有重要意义^[5-6]。液压支架压力作为顶板压力的直接反映，可有效表征顶板压力的变化情况。

随着大数据技术和人工智能的发展，液压支架压力预测方法有了新的突破^[7-8]。目前，基于机器学习的液压支架压力预测方法得到了广泛应用^[9]。赵毅鑫等^[10]利用液压支架工作阻力数据，采用SQL语言，结合长短时记忆（ Long Short Term Memory，LSTM）网络，成功预测了伊泰集团红庆河煤矿大采高工作面的液压支架压力。李泽萌^[11]通过搭建的栈式LSTM模型，实现了单个液压支架压力预测和多个液压支架时空压力预测。曾庆田等^[12]提出了融合相邻多个液压支架压力数据的预测模型Prophet+LSTM，实现了工作面液压支架压力变化趋势的有效预测。李泽西^[13]基于液压支架工作阻力数据，提出了一种基于可变时序移位 Transformer−LSTM的集成学习液压支架压力预测方法，通过结合注意力机制和准确的时序特征表示能力，多层次地捕捉液压支架压力变化规律的动态特征，采用集成学习的投票算法来预测液压支架压力，克服了单一预测模型的局限性。Liu Yaping等^[14]将趋势−季节分解法引入Transformer，并构造改进的Transformer预测模型，实现了综采工作面液压支架压力的准确预测。 Dong Jianjun等^[15]以某综采放顶煤工作面液压支架监测数据为基础，提出了一种多元线性回归模型用于预测液压支架压力。目前大部分研究都是致力于提高液压支架压力的单步预测精度，对液压支架压力的多步预测的研究较少。

液压支架压力预测根据时间序列预测可分为单步液压支架压力预测和多步液压支架压力预测。单步液压支架压力预测是预测未来1个时间步长的液压支架压力，多步液压支架压力预测是预测未来多个时间步长的液压支架压力。目前时间序列多步预测已在一些领域取得研究成果^[16-18]，但多步液压支架压力预测大多为单步迭代累计预测，单步累计次数越多，累计误差越大，预测结果越不准确。为提高多步液压支架压力预测的准确性，本文提出了一种基于LSTM−Informer模型的液压支架压力时空多步长预测方法，并与基于门控循环单元（Gate Recurrent Unit，GRU）、LSTM和Informer模型的预测方法进行了对比。

1.   液压支架压力数据预处理

煤矿开采工作面远离地表，随着开采的推进，顶板剧烈运动，液压支架压力传感器在采集压力时会有抖动，导致采集的液压支架压力数据含有较大的振动噪声，从而影响预测精度。本文采用卡尔曼滤波^[19]消除振动噪声，进一步提高预测准确度。

式中：$S(h|h - 1)$为上一时刻h−1液压支架压力的估计值；h为当前时刻；T为状态转移矩阵；$S(h - 1|h - 1)$为上一时刻h−1的液压支架压力的最优估计值；${\boldsymbol{B}}$为输入矩阵；$U(h)$为系统输入；$P(h|h - 1)$，$P(h - 1|h - 1)$分别为$S(h|h - 1)$，$S(h - 1|h - 1)$对应的协方差；$E$，$R$分别为服从高斯分布的过程白噪声和测量白噪声的协方差；$G(h)$为卡尔曼增益；$Z(h)$为实际测量值；${\boldsymbol{H}}$为状态观测矩阵。

滤波时将T中每一个元素都设为0.1，$U(h)$设为0，${\boldsymbol{H}}$中每一个元素都设为1，$Q$，$R$分别设为0.018，0.054 2。由于数据量过大，仅选取前3 000个时间点的液压支架压力数据进行比较，如图1所示。可看出经过卡尔曼滤波处理后的数据曲线更加平滑，降低了振动噪声对数据的干扰。

图  1  液压支架压力数据经过卡尔曼滤波的前后对比

Figure  1.  Comparison of pressure data of hydraulic support before and after Kalman filtering

下载: 全尺寸图片 幻灯片

2.   LSTM−Informer模型

2.1   Informer模型

将神经网络模型用于煤矿液压支架压力预测，能充分挖掘液压支架压力的时间相关性。Informer模型^[20]采用概率稀疏自注意力筛选出最重要的 query，以降低自注意力平方级的计算复杂度；通过自注意力蒸馏减少维度和网络参数量，解决多层网络堆叠、占用内存多的问题；通过生成式解码器，1次计算得到所有预测值，在提高预测速度的同时，避免了单步迭代累计预测时累计误差扩大的问题^[21]。Informer模型结构如图2所示，编码器接收大量长序列输入，输入的长序列经过两次概率稀疏自注意力和自注意力蒸馏操作，提取主导注意力，大幅减小网络规模，利用层堆叠增加鲁棒性，最后形成注意力特征图送往解码器的多头注意力。解码器输入长序列，将需要预测的值填充为0，解码器输入经过掩码多头概率稀疏自注意力后，再利用多头注意力计算其与编码器输出的注意力特征图的加权组成，并直接预测输出多步结果，最后解码器的输出通过全连接层，将其映射到最终的预测结果空间。全连接层的作用是将高维的Informer模型的解码器输出转换为与目标预测问题匹配的输出维度。

图  2  Informer模型结构

Figure  2.  Informer model structure

下载: 全尺寸图片 幻灯片

2.2   LSTM−Informer模型

在增强预测能力时，传统自注意力需二次点积计算且占用较大的内存，使预测长序列输出的速度急剧下降；传统自注意力在计算相似度时，存在模型过度关注一些无关紧要的细节，或忽略一些重要的信息。为了提升预测长序列的速度、减少计算量， Zhou Haoyi等^[20]提出了概率稀疏自注意力。

首先将输入序列矩阵处理成3个不同的矩阵，即查询矩阵、键矩阵和值矩阵。

式中：Q，K，V分别为查询矩阵、键矩阵、值矩阵；${\boldsymbol{X}}$为输入矩阵；${\boldsymbol{W}}_Q$，${\boldsymbol{W}}_K$，${\boldsymbol{W}}_V$为权重矩阵。

其次，对键矩阵${\boldsymbol{K}}$采样，得到采样后的矩阵$\overline {\boldsymbol{K}} $，然后对查询矩阵Q的第i行${q_i}$求关于$\overline {\boldsymbol{K}} $的$M$值。

式中：$ M({q_i},\overline {\boldsymbol{K}} ) $为评价${q_i}$是否重要的指标，$ M({q_i},\overline {\boldsymbol{K}} ) $的值越大，${q_i}$越重要；$ \overline{\boldsymbol{k}}_j $为$\overline {\boldsymbol{K}} $的第j行；$ \sqrt d $ 为缩放因子；$ d $为K的列数；$ {L_K} $为K的行数。

然后，找到$M$值最大的$u$个${q_i}$，将这$u$个${q_i}$组成新的查询矩阵$ \overline {\boldsymbol{Q}} $，并对$ \overline {\boldsymbol{Q}} $求关于$K$的score值$ {{\overline {\boldsymbol{Q}} {{\boldsymbol{K}}^{\mathrm{T}}}}}/{{\sqrt d }} $。

最后求得概率稀疏自注意力：

多头概率稀疏自注意力通过在多个概率稀疏自注意力之间共享参数，可在保持较低计算成本的同时，提高模型的表达能力，适用于长序列预测任务。

式中：$ {A_{\mathrm{M}}}({\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) $为多头概率稀疏自注意力；head_c为第$c$个“头”，$ {\text{hea}}{{\text{d}}_c}{{ = }}A{{(}}{{\boldsymbol{Q}}_c}{\text{,}}{{\boldsymbol{K}}_c}{\text{,}}{{\boldsymbol{V}}_c}{{)}} $，$ {{\boldsymbol{Q}}}_{c} $，${{\boldsymbol{K}}}_{c} $，${{\boldsymbol{V}}}_{c} $分别为第c个“头”的Q，K，V矩阵。

提取时空特征是液压支架压力时空预测的核心。LSTM是循环神经网络（Recurrent Neural Network，RNN）的一种变体，可学习长期依赖信息，能够较好地缓解 RNN 梯度消失和梯度爆炸的问题，可用于时空特征提取。为更好地捕捉液压支架压力的时空特征及其变化规律，基于LSTM和Informer模型结构，搭建了LSTM−Informer模型，如图3所示。首先将相邻的多台液压支架压力数据输入LSTM模型，提取时空特征后，经过位置编码后利用多头概率稀疏自注意力来关注压力序列的变化特征，然后经过最大池化和一维卷积消除最终输出特征图的冗余组合，最后利用多头概率稀疏自注意力进一步关注液压支架压力序列特征，并将Informer模型的解码器改为全连接层，得到最终预测结果。

图  3  LSTM−Informer模型结构

Figure  3.  LSTM-Informer model structure

下载: 全尺寸图片 幻灯片

n台液压支架采集的m个时刻压力数据$ x_e(t)\left(e=1,2,\cdots,n;t=1,2,\cdots,m\right) $经过卡尔曼滤波后为y_e(t)。

将$ y_e\left(t\right) $ 输入LSTM模型，得到时空特征$ y'\left(t\right) $，再将时空特征y'(t)经过位置编码后利用多头概率稀疏自注意力关注液压支架压力序列的变化特征${F_m}$。

为消除最终输出特征图的冗余组合，对${F_m}$进行蒸馏操作，以优先考虑具有主导作用的特征$ {y{''}} $。蒸馏层的本质是一维卷积和最大池化，特征经过蒸馏层后大幅削减了时间维度。

式中：$ {\mathrm{MaxPool}}(\cdot ) $为最大池化操作，步幅设为2；$ {\mathrm{ELU}}(\cdot ) $为激活函数；$ {\mathrm{Conv1d}}(\cdot ) $为一维卷积，卷积核宽度为3。

将经过蒸馏操作所得的序列再经过多头概率稀疏自注意力进一步关注液压支架压力序列特征，最后将特征向量经过全连接层后直接输出多步预测值，得到单支架多步长的预测结果$ \text{z}\left(t\right)(t=m+1, m+2,\cdots ,m+l) $，其中l为预测步长。

3.   实验结果

3.1   基于LSTM−Informer模型的液压支架压力预测流程

基于LSTM−Informer模型的液压支架压力预测流程如图4所示。首先将液压支架压力数据经过卡尔曼滤波消除振动噪声，并在工作面端部和中部依据皮尔逊系数各选取相邻的5台液压支架压力数据建立2个时空数据集，对时空数据进行标准化预处理。然后将时空数据输入LSTM模型提取时空特征（预测模型的输入为目标液压支架本身及其周围相邻的5台液压支架的压力数据，输出为目标液压支架未来多个步长压力），并将提取的时空特征输入Informer模型的编码器，经过位置编码后利用多头概率稀疏自注意力关注液压支架压力序列的变化特征，经过最大池化和一维卷积消除最终输出特征图的冗余组合。最后利用多头概率稀疏自注意力进一步关注压力序列特征，将Informer模型的解码器改为全连接层，得到预测结果。

图  4  基于LSTM−Informer模型的液压支架压力预测流程

Figure  4.  Hydraulic support pressure prediction process based on the LSTM-Informer model

下载: 全尺寸图片 幻灯片

3.2   实验数据

实验数据来自山东省枣庄市付村煤矿综采工作面液压支架1个月的监测数据，整个工作面共有154台液压支架，总数据量为778 408条。每台液压支架的压力传感器每5 min记录1次压力数据，利用实测数据依据皮尔逊系数制作了2个数据集，数据集1为1−5号液压支架数据，其中5号液压支架为目标支架；数据集2为73−77号液压支架，其中77号液压支架为目标支架。

3.3   模型参数

LSTM−Informer模型中设置Batch_size为32，初始学习率为0.000 1，多头概率稀疏自注意力“头”数为8，优化器选用Adam，使用均方差（Mean Squared Error，MSE）损失函数计算预测值和实际值之间的误差，epoch为30，提前停止机制的patience为3（如果模型效果在训练过程中超过3个epoch仍没有提升，就提前停止模型的训练）。

3.4   实验结果分析

2个数据集的训练集和测试集数据均按照8∶2的比例划分。选用均方根误差（Root Mean Squared Error，RMSE）和平均绝对误差（Mean Absolute Error，MAE）评估LSTM−Informer，LSTM，GRU，Informer模型，分别预测6步长（30 min）、12步长（1 h）和24步长（2 h）的液压支架压力。 基于数据集1和数据集2的预测结果分别见表1和表2。可看出LSTM−Informer模型在预测6，12，24步长时，RMSE和MAE均最小，说明LSTM−Informer模型预测精度最高。LSTM−Informer模型预测6步长时，在数据集1上与GRU，LSTM和Informer模型相比，RMSE分别降低了41.63%，49.74%，11.85%，MAE分别降低了41.75%，50.00%，12.00%；在数据集2上与GRU，LSTM和Informer模型相比，RMSE分别降低了48.15%，59.86%，19.88%，MAE分别降低了49.87%，54.90%，13.16%。

表  1  基于数据集1的预测结果对比

Table  1.  Comparison of the prediction results based on dataset 1

模型	RMSE				MAE
	6步长	12步长	24步长		6步长	12步长	24步长
GRU	0.663	0.932	1.220		0.491	0.683	0.935
LSTM	0.770	0.987	1.232		0.572	0.735	0.943
Informer	0.439	0.758	1.117		0.325	0.559	0.845
LSTM−Informer	0.387	0.599	0.897		0.286	0.451	0.710

下载: 导出CSV 

| 显示表格

表  2  基于数据集2的预测结果对比

Table  2.  Comparison of prediction results based on dataset 2

模型	RMSE				MAE
	6步长	12步长	24步长		6步长	12步长	24步长
GRU	0.513	0.671	1.039		0.395	0.518	0.795
LSTM	0.563	0.697	1.065		0.439	0.541	0.814
Informer	0.332	0.582	0.840		0.228	0.405	0.625
LSTM−Informer	0.266	0.457	0.737		0.198	0.353	0.572

下载: 导出CSV 

| 显示表格

4.   结语

提出了基于LSTM−Informer模型的液压支架压力时空多步长预测方法。首先将时空数据输入LSTM模型提取时空特征，其次将提取的时空特征输入Informer模型的编码器，经过位置编码后利用多头概率稀疏自注意力来关注压力序列的变化特征，经过最大池化和一维卷积消除最终输出特征图的冗余组合，然后利用多头概率稀疏自注意力进一步关注压力序列特征，将Informer模型的解码器改为全连接层，最后得到液压支架压力的预测结果。将LSTM−Informer模型与GRU， LSTM，Informer模型的液压支架压力预测结果进行对比，结果表明在预测6，12，24步长时，LSTM−Informer模型的误差最小。