Design of panoramic image acquisition system in coal mine underground
-
摘要: 针对现有全景影像采集装置因体积较大而不便在井下应用,且因采用点光源导致采集图像存在光照不均现象等问题,设计了一种煤矿井下全景影像采集系统,详细介绍了该系统本质安全型LED照明装置、本质安全型全景图像采集装置、智能车载里程记录仪、图像采集同步控制器等关键硬件设计方案及图像采集同步控制流程。测试结果表明,该系统能够快速、便捷地采集井下全景图像,图像质量较好。Abstract: For problems of large size of existing panoramic image acquisition devices which did not apply to coal mine underground and collected image with uneven illumination caused by pointolite in the devices, a panoramic image acquisition system in coal mine underground was designed. Synchronous control process of image acquisition of the system was introduced in detail as well as design schemes of key hardware including intrinsically safe type LED lighting device, intrinsically safe type panoramic image acquisition device, intelligent vehicle loaded mileage recorder and image acquisition synchronization controller, etc. The test result shows that the system can quickly and conveniently acquire panoramic image of coal mine underground with good image quality.
-
0. 引言
煤矿综采设备长期在潮湿、煤尘环境下运行,且受到巨大冲击载荷和异常振动的影响,导致故障频发,从而直接影响生产[1-3]。通过采集到的设备状态信息实现故障诊断,是实现煤矿智能化、无人化目标的关键环节。目前,已有学者对综采设备故障诊断问题展开研究。李旭等[4]利用云平台等技术构建了综采设备群的远程故障诊断系统,提高了综采设备的维护效率,但故障诊断的实现依赖于专家经验。张旭辉等[5]基于深度迁移学习,结合采煤机运行过程中的振动信号,对采煤机摇臂部的滚动轴承进行故障诊断,一定程度上解决了故障诊断依赖专家经验的问题,但采煤机摇臂部滚动轴承的故障诊断仅为综采工作面的单一设备服务。现有研究都缺乏对综采设备历史故障数据的系统化管理及应用。
近年来,有学者开始研究系统管理中故障知识的结构化和可视化问题,将知识图谱引入电源系统故障诊断、电网故障处理等应用中[6-8],取得了一定成效。知识图谱技术可以有效解决目前实际生产过程中综采设备故障诊断依赖专家经验且历史故障数据难以有效利用的问题。因此,本文将知识图谱应用到煤矿综采设备故障知识管理中,根据综采设备故障数据特点,采用双向长短期记忆(Bi-directional Long Short-Term Memory,BiLSTM)−条件随机场(Conditional Random Field,CRF)模型进行命名实体抽取,通过Neo4j图数据库对提取的故障知识进行存储,构建综采设备故障知识图谱。
1. 综采设备故障知识图谱构建
构建综采设备故障知识图谱的主要步骤:① 明确综采工作面设备故障知识构建需求,确定故障知识本体并对故障知识进行预处理。② 利用基于文本数据的BiLSTM−CRF模型对综采设备故障原始语料进行命名实体识别,并通过人工抽取实体关系,从而实现故障知识抽取。③利用Neo4j图数据库存储综采设备故障知识,构建综采设备故障知识图谱。
1.1 故障知识本体构建及预处理
故障知识能够快速有效地辅助工作人员分析故障原因并获取处理方法。综采设备故障知识主要以文本数据为主,通过检修日志、专家经验、技术文档、网络爬取等技术手段获取[9]。综采设备故障知识结构如图1所示。
根据综采设备故障知识图谱的构建需求,采用自顶而下的方法对综采设备故障知识进行本体构建[10]。将综采设备故障知识归纳为故障位置、故障现象、故障原因、处理方法4类,并进行规范化命名。
1) 故障位置规范化命名。故障位置的规范化命名需要精确定位到某设备。通过整理故障相关资料,故障位置包括采煤机、液压支架、破碎机、转载机、液压泵、刮板输送机、带式输送机。
2) 故障现象规范化命名。选择多个关键词与相应的故障现象进行匹配,从而快速、准确地描述故障现象。例如转载机的传动链条磨损问题可规范化命名为“传动链条磨损”。常见故障现象包括转载机传动链条磨损,液压支架立柱和千斤顶不动作、管路系统故障,乳化液泵运转噪声大、压力过高,带式输送机跑偏、减速机漏油,采煤机只能单向牵引、液压牵引部存在声响,刮板输送机刮板链断链、飘链、跳链或掉链等[11]。
3) 故障原因规范化命名。故障现象和故障原因存在一对一或一对多的关系,可采用故障原因1、故障原因2等进行规范化命名。
4) 处理方法规范化命名。一种故障原因与一种解决方法相对应,在规范化命名时应尽可能简洁明了,如“更换密封圈”“清洁周围杂物”“更换液压管”。
实体是构建综采设备故障诊断知识图谱最基本元素,实体的完整性和准确性将直接对综采设备故障知识库的整体质量产生影响。知识抽取是指从多种来源、多种结构类型的数据中提取需要的故障知识,形成结构化数据,以便存储到对应的知识图谱中[12]。知识抽取主要包括命名实体识别及实体关系抽取。实体关系是通过人工抽取的,因此本文重点介绍命名实体识别。
在进行命名实体识别前,采用通用的命名实体标注方法BIOES对综采设备故障知识进行人工标注[13]。BIOES方法中,B为综采设备故障实体起始位置(Begin),I为综采设备故障实体内部(Inside),O为非综采设备故障实体(Outside),E为综采设备故障实体尾部(End),S为单独一个综采设备故障实体(Single)。
1.2 命名实体识别模型构建
命名实体识别是知识抽取过程中最重要的一步,一般方法是通过深度学习技术[14],从不同数据源中自动或半自动地抽取实体。传统的实体抽取技术主要包括CRF和BiLSTM。BiLSTM采用梯度下降法进行权值和阈值更新,易使参数陷入局部最优[15]。CRF可对特征进行归一化,求得全局最优解[16]。因此,本文将BiLSTM和CRF相结合,采用基于文本数据的BiLSTM−CRF模型对已标注的综采设备故障知识进行实体识别,该模型由字嵌入层、BiLSTM层、CRF层3个部分构成。
1.2.1 字嵌入层
字嵌入层的主要作用是将综采设备故障相关资料转换成模型可识别并能够进行计算的形式。对已经完成人工标注的综采设备故障语料进行简单预训练。建立综采设备故障语料库的词汇特征表,将每个字映射为低维稠密向量。综采设备故障数据语料中的故障语句,在词汇表中均可查找到与其相对应的字向量,将对应的字向量纵向拼接,可形成综采设备故障矩阵,该矩阵为后续模型的输入。
1.2.2 BiLSTM层
长短期记忆(Long Short-Term Memory,LSTM)网络是一种时间循环神经网络,通过有选择性地记忆综采设备故障信息,可以充分利用综采设备故障样本数据记录的绝大部分信息,从而快速准确地进行综采设备故障诊断[17-18]。LSTM网络结构如图2所示。
上一时刻综采设备故障输出ht−1与当前t时刻综采设备故障样本输入xt同时决定细胞状态Ct−1中需要被保留的综采设备故障信息。
$$ {f_t} = \sigma ({W_{\rm{f}}} ({h_{t - 1}},{x_t}) + {b_{\rm{f}}}) $$ (1) 式中:ft为遗忘程度;
$ \sigma $ 为Sigmoid激活函数;Wf为遗忘门权重;bf为遗忘门偏置。细胞状态Ct−1的主要作用是存储前一时刻的综采设备故障记忆数据。
$$ {C_t} = {f_t} {C_{t - 1}} + {i_t} {\tilde C_t} $$ (2) $$ {i_t} = \sigma ({W_{\rm{i}}} ({h_{t - 1}},{x_t}) + {b_{\rm{c}}}) $$ (3) $$ {\tilde C_t} = \tanh (W_{\rm{c}} ({h_{t - 1}},{x_t}) + {b_{\rm{c}}}) $$ (4) 式中:Ct为当前细胞状态;it为输入门对综采设备故障新数据的更新程度;
$ {\tilde C_t} $ 为当前新状态数据的候选值;Wi为输入门权重;bc为故障数据提取过程中的偏置;Wc为故障数据提取过程中的权重;tanh为激活函数。式(2)中,ftCt−1为当前需要被遗忘的综采设备故障数据,
$ {i_t} {\tilde C_t} $ 为目前需要被存储的综采设备故障数据。通过上述处理之后,所有需要的综采设备故障信息将被存储在记忆模块中,而后通过输出门输出综采设备故障数据。$$ {o_t} = \sigma ({W_{\rm{O}}} ({h_{t - 1}},{x_t}) + {b_{\rm{O}}}) $$ (5) $$ {h_t} = {o_t} \tanh ({C_t}) $$ (6) 式中:ot为输出门的输出;WO为输出门权重;ht为隐藏层的输出; bO为输出门偏置。
LSTM神经网络只能学习到前向数据,而双向的LSTM结构有利于充分利用综采设备故障知识的上下文信息数据,即利用前向和后向2个LSTM网络对序列进行建模。在处理序列任务时,同时考虑前面和后面的信息,从而更好地捕捉序列中的长期依赖关系和上下文信息,对文本序列的时序特征进行有效学习。BiLSTM网络结构如图3所示,Zt为输出数据。
首先将综采设备故障资料经过输入层输入,通过连接LSTM前传层与后传层的BiLSTM网络层对综采设备故障样本数据信息进行正序和逆序特征提取,将得到的2个故障向量进行拼接,形成新的故障向量,传入故障矩阵输出层,最后输出综采设备故障信息。
1.2.3 CRF层
CRF层对BiLSTM层输出的综采设备故障融合特征数据进行解码,通过特征函数得到各序列的转移概率,用Viterbi算法计算分数最高的序列标签[19]。
假设数据输入包含5个单词w0−w4,w0,w1为故障位置,w3为故障现象,w2,w4为非实体信息。经过CRF层后,输出各单词对应的预测标签,如图4所示。对应w0—w4的输出分别为B-Local(1.3),I-Local(0.4),O(0.1),B-Phenomenon(0.4),O(0.8)。B-Local为综采设备故障位置实体起始位置,I-Local为综采设备故障位置实体内部,B-Phenomenon为综采设备故障现象实体起始位置,I-Phenomenon为综采设备故障现象实体内部。
1.3 故障知识存储与查询
综采设备故障知识库属于垂直知识图谱,主要应用于煤矿井下综采工作面设备故障诊断,整体数据量较大。因此,将综采设备故障知识存储在Neo4j图数据库中[20],以便于后续分析。在Windows 10环境下建立综采设备故障知识库,通过人机交互界面操作,实现故障知识图谱与用户之间的交流,从而完成故障诊断。综采工作面设备故障语料中每个实体为1个节点,每种关系为1条边,用来连接头实体和尾实体。结合BiLSTM−CRF模型的实体识别结果和人工抽取的实体关系,使用Neo4j图数据库构建综采设备故障知识图谱。综采设备故障知识图谱中共计1 384个实体节点,2 327种关系类型。为清晰展示图谱内容,选取部分综采设备故障知识图谱进行可视化展示,如图5所示。蓝色节点为故障位置,黄色节点为该故障位置出现的故障现象,节点以现象为边相互连接。
根据综采设备故障知识图谱,可设计知识问答系统,如图6所示。在知识问答界面输入问题,可得到相应的解决方案。
2. 实验分析
为了评估BiLSTM−CRF模型的准确性和有效性,采用对比模型BiLSTM、添加注意力机制的BiLSTM−Attention[21]进行实验分析。由于目前在综采设备故障方面没有公开数据集,结合专家经验、技术文档,采用网络爬取、矿山实地调研等方式获取综采设备故障相关文献资料作为实验语料。考虑到不同类型文献的格式、书写内容、书写方式不同,随机从文献中抽取30 000个句子,按照7∶3划分训练集和测试集,并通过手动分词构建训练语料。采用精确率、召回率和F1值作为评价指标评判实体识别模型的性能。实验结果见表1。可看出BiLSTM模型和BiLSTM−Attention模型精确率分别为69%,62%,BiLSTM−CRF模型的精确率显著提高,为87%,F1值也有一定幅度上升,为69%。各模型在训练与验证过程中的精确率变化如图7所示。相较于BiLSTM和BiLSTM−Attention,BiLSTM−CRF的精确率显著提升,且整体波动幅度较小。
表 1 不同模型的实验结果对比Table 1. Comparison of experimental results of different models% 模型 精确率 召回率 F1 BiLSTM 69 67 68 BiLSTM−Attention 62 63 63 BiLSTM−CRF 87 69 69 3. 结语
针对大规模综采设备的故障语料,采用自顶而下的方法对故障原始资料进行分析归类,构建综采设备故障知识本体;综合利用BiLSTM和CRF的优势,构建基于文本数据的BiLSTM−CRF模型,对人工标注的命名实体进行识别;通过Neo4j图数据库对提取的故障知识进行存储,完成综采设备故障知识图谱构建。实验结果表明,相较于BiLSTM模型和BiLSTM−Attention模型,BiLSTM−CRF模型精确率显著提高,为87%,F1值也有一定幅度上升,为69%。综采设备故障知识图谱的构建可为大规模、多域综采设备故障数据的有效分析、管理及应用提供支持。
计量
- 文章访问数: 63
- HTML全文浏览量: 6
- PDF下载量: 15