0.   引言

煤自燃是在煤炭开采和储运过程中常见的重大灾害之一，严重威胁煤矿安全生产和矿工生命安全^[1-3]。为减少煤自燃引发的瓦斯爆炸、粉尘爆炸、矿井火灾等灾害，煤自燃预测成为防治煤自燃灾害的关键^[4-5]，其中最有效的方式是研究煤自燃过程中温度与指标气体浓度之间的规律^[6-7]，建立煤自燃温度预测模型。

近年来随着人工智能技术的快速发展，已有许多学者将传统机器学习和深度学习与煤自燃指标气体相结合，对煤自燃温度进行预测。赵琳琳等^[8]利用主成分分析法（Principal Component Analysis，PCA）提取O₂浓度等指标的主成分，并将主成分作为自适应增强（Adaptive Boosting，AdaBoost）算法输入参数，发火情况作为AdaBoost算法输出参数，建立了不均衡数据下采空区自然发火PCA−AdaBoost预测模型，提高了采空区自然发火预测准确率。昝军才等^[9]建立了BP神经网络预测模型，选取CO，CO₂，CH₄，C₂H₄，C₂H₆气体浓度作为特征，对煤自燃温度进行预测。郑学召等^[10]采用随机森林算法构建了基于向量机的煤自燃温度预测模型。汪伟等^[11]将粒子群优化（Particle Swarm Optimization，PSO）算法和改进反向传播神经网络（Back Propagation Neural Network，BPNN）结合，构建了基于PSO−BPNN的煤自燃预测模型，克服了收敛速度慢、易陷入局部最优的缺点。基于机器学习的方法具有泛化能力好、计算效率高等优点，但在预测准确性方面还有待进一步提高。随着深度学习的发展，一些学者将简单循环单元（Simple Recurrent Unit，SRU）^[12]、长短期记忆网络（Long Short-Term Memory，LSTM）^[13]、门控循环单元（Gated Recurrent Unit，GRU）^[14]、Transformer^[15]模型等应用于煤自燃温度预测，取得了较好的效果，但这些模型多数仅针对单一监测点进行预测，对于多监测点情况，无法考虑监测点的空间关系。另外，在预测步长方面，目前大部分研究致力于提高煤自燃温度的单步长预测精度，对煤自燃温度的多步长预测研究较少。

煤矿采空区是一个复杂的环境空间，采空区气体是流动的，不同位置的遗煤量也不相同。对采空区沿空侧进行监测时，布置的多个监测点之间具有空间关联性^[16]，所以在预测采空区的煤自燃温度时，需要将采空区多个煤自燃监测点作为一个整体进行研究^[17-18]。本文将图注意力网络（Graph Attention Networks，GAT）^[19]与Informer模型^[20]进行融合，提出了一种GAT−Informer模型，并用于采空区煤自燃温度预测，可有效提取采空区多个监测点煤自燃监测数据间的空间关联特征和时间关联特征，提高煤自燃温度多步长预测精度。

1.   GAT−Informer模型

GAT−Informer模型由输入层、GAT、Informer模型和输出层4个部分组成，如图1所示。

图  1  GAT-Informer模型架构

Figure  1.  Graph attention network（GAT）-Informer model architecture

下载: 全尺寸图片 幻灯片

1.1   输入层

采集采空区沿空侧煤柱布置的多个监测点数据，设煤自燃监测数据集合为$ \{ {{\boldsymbol{D}}^1},{{\boldsymbol{D}}^2}, \cdots ,{{\boldsymbol{D}}^M}\} $，其中$ {{\boldsymbol{D}}^m} = \{ {\boldsymbol{D}}_1^m,{\boldsymbol{D}}_2^m,\cdots,{\boldsymbol{D}}_n^m\} $（$ m = 1,2,\cdots,M $，$ M $为监测点数量），$ {\boldsymbol{D}}_t^m $为第$ m $个监测点的第$ t $（$ t = 1,2,\cdots,n $，$ n $为监测数据的时间序列总长度）个时刻特征数据，$ \boldsymbol{D}_t^m= [d_{t1}^m\; \ d_{t2}^m\; \ \cdots\; \ d_{ts}^m] $，$ d_{tf}^m $为第$ m $个监测点的第$ t $个时刻的第$ f $（$ f = 1,2,\cdots,s $，$ s $为指标特征数量）个指标特征值。

采空区环境复杂，设备工作不稳定，采集到的数据有较多的异常值和较大的噪声，会影响数据的预测精度，因此，在煤自燃温度预测前需要对数据进行预处理。采用随机森林回归法^[21]对缺失值和异常值处进行插补，通过Savitzky−Golay滤波器^[22]进行平滑去噪处理，使用Z−score方法对数据进行标准化，从而重构符合GAT输入要求的特征矩阵集合$ \{ {{\boldsymbol{X}}^1},{{\boldsymbol{X}}^2}, \cdots ,{{\boldsymbol{X}}^M}\} $，其中$ {{\boldsymbol{X}}^m} $为第$ m $个监测点的特征矩阵，$ {{\boldsymbol{X}}^m} \in {{\bf{R}}^{{{n}} \times s}} $。

1.2   GAT

GAT利用注意力机制来捕捉煤自燃监测点之间的关系。通过计算1个监测点与其关联监测点之间的注意力权重，根据权重来更新当前监测点状态，进而对多个煤自燃监测点之间的空间特征进行提取。GAT结构如图2所示。

图  2  GAT结构

Figure  2.  GAT structure

下载: 全尺寸图片 幻灯片

根据采空区沿空侧煤柱各煤自燃监测点的位置信息，选取1个中心监测点及其所有关联监测点，构造图邻阶矩阵。对于单个图注意力层，模型的输入为$ \{ {{\boldsymbol{X}}^1},{{\boldsymbol{X}}^2}, \cdots ,{{\boldsymbol{X}}^M}\} $，计算关联监测点$ p $（$ p = 1,2, \cdots ,M $）对于中心监测点$ c $的注意力权重$ {e_{cp}} $：

式中：$ {\boldsymbol{a}} $为权重向量，用于衡量关联监测点对中心监测点的注意力强度；W为可学习的共享的权重矩阵，$ {\boldsymbol{W}} \in {{\bf{R}}^{F \times F'}} $，$ F $为输入特征维度，$ F' $为输出特征维度；$ {\boldsymbol{X}}_t^c $和$ {\boldsymbol{X}}_t^p $分别为中心监测点$ c $和关联监测点$ p $的$ t $时刻特征矩阵。

对于中心监测点$ c $及其关联监测点$ p $，使用LeakyReLU激活函数对它们之间的注意力权重进行非线性变换，得到归一化处理后的关联监测点$ p $对于中心监测点$ c $的注意力权重$ \alpha_{cp} $：

式中LeakyReLU（·）为LeakyReLU激活函数。

根据计算出的注意力权重$ \alpha _{cp} $，得到中心监测点的特征矩阵：

在GAT中使用多头注意力机制来增强模型的学习能力，即调用$ G $组相互独立的图注意力层，将各层运算结果进行拼接，将拼接后的结果采用平均操作的方式，更新中心监测点的特征矩阵：

式中$ \alpha_{{cp}}^g $和$ {{\boldsymbol{W}}^g} $分别为第$ g $个图注意力层关联监测点$ p $对于中心监测点$ c $的注意力权重和共享权重矩阵。

最终得到$ n $个时刻中心监测点的新特征矩阵$ {{\boldsymbol{X}}^c}^\prime = [{\boldsymbol{X}}_1^{c'}\;{\boldsymbol{X}}_2^{c'}\;\cdots\;{\boldsymbol{X}}_n^{c'}] $。$ {{\boldsymbol{X}}^c}^\prime $结合了周围有关联的监测点信息，可有效表示空间区域内的煤自燃状态。

1.3   Informer模型

Informer模型接收GAT的输出$ {{\boldsymbol{X}}^c}^\prime $，对数据进行编码，实现对煤自燃温度的预测。Informer模型采用多头概率稀疏自注意力机制，挖掘向量之间的潜在联系，并且可以一次性给出长时间序列的预测结果，有效解决了传统神经网络对长时间序列预测不足导致的误差增大问题。

Informer模型主要由编码器和解码器组成。数据先进入编码器的Embedding层，该层包含3个编码模块，即Embedding编码模块、位置编码模块和时间戳编码模块，各模块分别对输入数据进行编码，将编码后的数据进行拼接，得到编码后的特征矩阵$ {\boldsymbol{X}} $。

将编码后的特征矩阵$ {\boldsymbol{X}} $处理成3个同尺寸矩阵，分别为查询矩阵$ {\boldsymbol{Q}} \in {{\bf{R}}^{{L_Q} \times {{d}}}} $、键矩阵$ {\boldsymbol{K}} \in {{\bf{R}}^{{L_K} \times {{d}}}} $、值矩阵$ {\boldsymbol{V}} \in {{\bf{R}}^{{L_V} \times {{d}}}} $（$ {L_Q} $，$ {L_K} $，$ {L_V} $分别为$ {\boldsymbol{Q}} $，$ {\boldsymbol{K}} $，$ {\boldsymbol{V}} $序列长度，$ d $为序列特征维度）：

式中$ {{\boldsymbol{W}}_Q} $，$ {{\boldsymbol{W}}_K} $，$ {{\boldsymbol{W}}_V} $分别为$ {\boldsymbol{Q}} $，$ {\boldsymbol{K}} $，V的权重矩阵。

通过对键矩阵$ {\boldsymbol{K}} $随机采样，得到采样后的$ {\boldsymbol{\bar K}} $，此时，查询矩阵$ {\boldsymbol{Q}} $的第$ i $行$ {{\boldsymbol{q}}_i} $对应的稀疏性度量值为

式中$ {{\boldsymbol{\bar k}}_j} $为$ {\boldsymbol{\bar K}} $的第j行。

选取对应稀疏性度量值较高的$ {{\boldsymbol{q}}_i} $，组成新的查询矩阵$ {\boldsymbol{\bar Q}} $，计算概率稀疏自注意力：

为增强模型在长序列数据中捕捉长期依赖关系的能力，同时有效降低计算复杂度，将$ h $个概率稀疏自注意力头head₁，head₂，···，$ {\text{hea}}{{\text{d}}_{\text{h}}} $进行拼接：

式中：$ {{{A}}_{\mathrm{M}}}({\boldsymbol{Q,K,V}}) $为多头概率稀疏自注意力；$ \text{Concat}(\cdot) $表示拼接操作；$ {\text{hea}}{{\text{d}}_h} = A({{\boldsymbol{Q}}_h},{{\boldsymbol{K}}_{h}},{{\boldsymbol{V}}_{h}}) $，$ {{\boldsymbol{Q}}_h} $，$ {{\boldsymbol{K}}_{h}} $，$ {{\boldsymbol{V}}_{h}} $分别为第h个概率稀疏自注意力头的查询矩阵、键矩阵、值矩阵。

编码器蒸馏层接收第$ J $层经过多头概率稀疏自注意力运算后的输出，该层包含一维卷积和最大池化操作，实现维度压缩。从第$ J $层提取特征传递到第$ J + 1 $层的操作过程为

式中：$ {\boldsymbol{X}}_{J + 1}^t $为蒸馏后第$ J $+1层$ t $时刻的特征矩阵；$ {{\mathrm{MaxPool}}} ( \cdot ) $为最大池化函数；$ {{\mathrm{ELU}}} ( \cdot ) $为ELU激活函数；$ {{\mathrm{Convld}}} ( \cdot ) $为一维卷积滤波器；$ {\boldsymbol{X}}_J^t $为第$ J $层$ t $时刻的特征矩阵；$ {[\cdot]}_{{\mathrm{AB}}} $表示多头概率稀疏自注意力运算。

Informer模型解码器由2个多头自注意力层组成。通过引入生成式解码器和掩码机制，煤自燃温度预测结果只依赖于待预测序列之前的数据。在此机制下，待预测序列的数据会被掩码（置为0），确保模型只关注已知数据部分。解码器的输入$ {\boldsymbol{Y}}_{{\mathrm{de}}}^t $为部分真实值序列$ {\boldsymbol{Y}}_{{\text{token}}}^t $和待预测序列$ {\boldsymbol{Y}}_0^t $的拼接：

式中：$ {L_{{\text{token}}}} $为待预测序列前一段真实值序列的长度；$ {L_{\text{y}}} $为待预测序列的长度；$ {d_{{\text{model}}}} $为模型特征维度。

编码器与解码器之间通过交叉注意力机制实现信息交互。解码器利用编码器提取的全局特征信息，结合目标序列的上下文依赖关系，构建特征矩阵，将特征矩阵输入全连接层，从而输出煤自燃温度的预测值。

1.4   输出层

输出层对Informer模型输出的煤自燃温度预测值进行反标准化处理，恢复到原始数据尺度，得到最终的煤自燃温度预测结果。

2.   实验与结果分析

2.1   数据来源

为验证GAT−Informer模型在预测煤自燃温度时的准确性，基于陕西某煤矿采空区沿空侧煤柱部署的6个煤自燃监测点的监测数据进行分析。

通过对采空区遗煤煤样程序升温结果进行分析，选取与煤自燃温度有关联关系的5种特征气体（CO，CO₂，CH₄，O₂，C₂H₄）及N₂、湿度和温度，共8种指标特征数据。使用矿用本安型多参数传感器进行数据采集，采集时间为2022−10−11T12:00—2022−10−23T23:55，采集周期为5 min，应采集21 600条数据，每个监测点的数据量为3 600条，实际采集数据21 588条，缺失数据12条。采用箱线图分析数据，确定异常数据6条。使用随机森林回归法对缺失值和异常值处进行插补，再采用Savitzky−Golay滤波器进行平滑去噪处理，预处理后的煤自燃监测温度分布如图3所示。将预处理后的煤自燃监测数据以7∶1∶2的比例划分为训练集、验证集和测试集。

图  3  多监测点温度分布

Figure  3.  Temperature distribution of multiple monitoring points

下载: 全尺寸图片 幻灯片

2.2   实验环境

实验硬件配置：Intel（R） Core（TM）i5−6300HQ CPU @ 2.30 GHz，16 GiB内存。实验软件环境：Windows（64位）操作系统，编程语言为Python−3.7，编程平台为PyCharm2018.3.7，集成环境为Anaconda Navigator−1.3.1，深度学习框架为PyTorch1.13.1。

2.3   评价指标

为评估模型性能，选取均方误差（Mean Squared Error，MSE）及平均绝对误差（Mean Absolute Error，MAE）作为评价指标。模型评价指标的大小体现预测值与真实值之间的偏差程度，指标值越小，表明煤自燃温度预测值和真实值越接近，预测结果越准确。

2.4   预测结果分析

实验中分别采用循环神经网络（Recurrent Neural Network, RNN）、LSTM、GRU、Informer和GAT−Informer模型进行煤自燃温度预测。设置历史数据窗口步长为48。

对于监测点1，设置预测煤自燃温度的步长为1，6，12，24和48，各模型在不同步长下的预测结果对比见表1和表2。

表  1  不同步长下各模型的MSE

Table  1.  Mean squared error（MSE） of each model at different steps

模型	步长
	1	6	12	24	48
RNN	0.0129	0.0433	0.1911	0.4713	0.7708
LSTM	0.0050	0.0250	0.1929	0.4667	1.5659
GRU	0.0088	0.0233	0.2414	0.5087	1.3844
Informer	0.0511	0.2209	0.3250	0.6589	0.6824
GAT−Informer	0.0176	0.1372	0.1878	0.4037	0.4040

下载: 导出CSV 

| 显示表格

表  2  不同步长下各模型的MAE

Table  2.  Mean absolute error（MAE） of each model at different steps

模型	步长
	1	6	12	24	48
RNN	0.0589	0.1516	0.2939	0.4967	0.6592
LSTM	0.0481	0.1106	0.3102	0.4731	1.0292
GRU	0.0524	0.1045	0.3689	0.5279	0.9279
Informer	0.1707	0.3591	0.4064	0.5837	0.6334
GAT−Informer	0.0907	0.2236	0.2747	0.3929	0.4773

下载: 导出CSV 

| 显示表格

从表1和表2可看出，在步长为1和6时，RNN，LSTM和GRU模型表现出的性能较好，但随着预测的步长增加，GAT−Informer模型不论是在MSE还是MAE上，都取得了最好的预测效果。

为更清晰地对比各模型的煤自燃温度预测效果，针对6个监测点，设置预测的步长为24，不同模型预测结果对比见表3和表4。

表  3  不同监测点下各模型的MSE

Table  3.  MSE of each model under different monitoring points

模型	监测点
	1	2	3	4	5	6
RNN	0.4713	0.1554	0.2429	0.2746	0.3353	0.4727
LSTM	0.4667	0.1572	0.3925	0.2760	0.3927	0.4834
GRU	0.5087	0.1492	0.3346	0.2806	0.3887	0.6372
Informer	0.6589	0.2235	0.3135	0.3831	0.4700	0.5243
GAT−Informer	0.4037	0.1196	0.1392	0.2596	0.3264	0.4440

下载: 导出CSV 

| 显示表格

表  4  不同监测点下各模型的MAE

Table  4.  MAE of each model under different monitoring points

模型	监测点
	1	2	3	4	5	6
RNN	0.4967	0.3067	0.3763	0.3685	0.3933	0.4744
LSTM	0.4731	0.2746	0.4609	0.3260	0.3642	0.5145
GRU	0.5279	0.3092	0.3937	0.3635	0.3859	0.5960
Informer	0.5837	0.2709	0.4658	0.4342	0.4847	0.5602
GAT−Informer	0.3929	0.2311	0.2995	0.3017	0.3576	0.4606

下载: 导出CSV 

| 显示表格

从表3和表4可看出，与RNN，LSTM，GRU和Informer模型相比，GAT−Informer模型在6个监测点上均取得了最好的预测效果。

对于6个监测点，预测的步长为24时，GAT−Informer模型相较于RNN，LSTM，GRU和Informer模型在MSE和MAE指标上的降低幅度见表5。

从表5可看出，与RNN，LSTM，GRU和Informer模型相比，GAT−Informer模型MSE分别平均降低了15.70%，22.15%，25.45%，36.49%，MAE分别平均降低了16.01%，14.60%，20.30%，26.27%，表明GAT−Informer模型能有效提高煤自燃温度预测精度。

表  5  各监测点上GAT−Informer模型相较于其他模型在MSE和MAE指标上的降低幅度

Table  5.  Reduction in MSE and MAE metrics of GAT-Informer model compared with other models at each monitoring point

监测点	RNN			GRU			LSTM			Informer
	MSE 降低 幅度/%	MAE 降低 幅度/%		MSE 降低 幅度/%	MAE 降低 幅度/%		MSE 降低 幅度/%	MAE 降低 幅度/%		MSE 降低 幅度/%	MAE 降低 幅度/%
1	14.34	20.90		13.50	16.95		20.64	25.57		38.73	32.69
2	23.03	24.65		23.92	15.84		19.84	25.26		46.49	14.69
3	42.69	20.40		64.53	35.02		58.40	23.93		55.60	35.70
4	5.46	18.13		5.94	7.45		7.48	17.00		32.24	30.51
5	2.65	9.07		16.88	1.85		16.02	7.33		30.55	26.22
6	6.07	2.90		8.15	10.48		30.32	22.72		15.32	17.78

下载: 导出CSV 

| 显示表格

GAT−Informer模型在各监测点测试集上预测未来2 h（24个步长）中第1个5 min（1个步长）煤自燃温度的结果如图4所示。可看出GAT−Informer模型的预测曲线变化趋势与真实测量曲线变化趋势大致相同，说明GAT-Informer模型预测精度高。

图  4  各监测点预测值与真实值对比

Figure  4.  Comparison between predicted and actual values at each monitoring point

下载: 全尺寸图片 幻灯片

为更清晰地展示GAT−Informer模型在煤自燃温度多步长预测的效果，针对监测点6，GAT−Informer模型预测未来24个步长的煤自燃温度结果如图5所示。可看出GAT−Informer模型预测的未来24个步长的煤自燃温度与真实值相差不大，趋势大致相同，煤自燃温度范围为37.4～37.7 ℃，变化幅度较小，说明该模型在对煤自燃温度的多步长预测时具有良好的效果。

图  5  煤自燃温度多步长预测结果

Figure  5.  Multi-step prediction results of coal spontaneous combustion temperature

下载: 全尺寸图片 幻灯片

3.   结论

1） 基于GAT−Informer的采空区煤自燃温度预测模型通过GAT提取采空区各监测点煤自燃监测数据之间的空间特征关系；将包含空间特征的数据传入Informer模型，利用多头概率稀疏自注意力机制提取数据的长时间依赖特征，捕捉数据变化的时间序列趋势，并通过蒸馏层进一步提取特征；解码器结合编码器提取的全局特征与目标序列的上下文依赖关系，生成特征矩阵并输入到全连接层，经反标准化处理得到煤自燃温度预测结果。

2） 相较于RNN，LSTM，GRU，Informer等单一煤自燃温度预测模型，GAT−Informer模型在预测步长为24时，MSE分别平均降低了15.70%，22.15%，25.45%，36.49%，MAE分别平均降低了16.01%，14.60%，20.30%，26.27%，表明GAT-Informer模型能有效提高煤自燃温度预测精度，适合于采空区多监测点多步长煤自燃温度的预测。

3） 未来将对GAT−Informer模型结构进一步优化，加入多特征融合模型，挖掘指标气体与煤自燃温度之间的关系，进一步提高模型的整体预测精度和泛化性能。