基于云边协同的煤矿井下尺度自适应目标跟踪方法

牟琦, 韩嘉嘉, 张寒, 李占利

牟琦,韩嘉嘉,张寒,等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化,2023,49(4):50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
引用本文: 牟琦,韩嘉嘉,张寒,等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化,2023,49(4):50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation,2023,49(4):50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
Citation: MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation,2023,49(4):50-61. DOI: 10.13272/j.issn.1671-251x.2022100093

基于云边协同的煤矿井下尺度自适应目标跟踪方法

基金项目: 国家重点研发计划资助项目(2019YFB1405000)。
详细信息
    作者简介:

    牟琦(1974—),女,陕西西安人,副教授,研究方向为计算机视觉和图像处理、人工智能,E-mail:muqi@xust.edu.cn

    通讯作者:

    李占利(1964—),男,陕西西安人,教授,研究方向为图像处理、视觉计算与可视化,E-mail:lizl@xust.edu.cn

  • 中图分类号: TD76

A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration

  • 摘要: 煤矿井下监控视频中的运动目标通常存在较大的尺度变化和形变,导致基于计算机视觉的目标跟踪算法准确率不高,且海量的视频数据导致基于云端的集中式数据处理方式难以满足目标跟踪的实时性要求。针对上述问题,提出了一种基于云边协同的煤矿井下尺度自适应目标跟踪方法。设计了基于深度估计的尺度自适应目标跟踪算法,通过构建深度−尺度估计模型,利用目标深度值估计尺度值,实现尺度自适应目标跟踪,解决了目标尺度变化和形变导致跟踪准确率不高的问题;设计了一种基于云边协同的智能监控系统架构,将尺度自适应目标跟踪算法细粒度划分后的子模块按所需计算资源分别部署在系统的边缘端和云端,通过边缘端和云端的分布式并行处理提高算法运行效率,解决了集中式数据处理方式实时性差的问题。将基于云边协同的煤矿井下尺度自适应目标跟踪方法应用于煤矿井下视频序列,对其跟踪性能和实时性能进行实验验证,结果表明:与核相关滤波(KCF)、判别型尺度空间跟踪(DSST)算法、基于多特征融合的尺度自适应(SAMF)算法3种经典目标跟踪算法相比,基于深度估计的尺度自适应目标跟踪算法在煤矿井下目标出现较大尺度变化和形变时,具有更高的跟踪精度和成功率;与传统的云计算处理方式相比,基于云边协同的尺度自适应目标跟踪算法部署方式使算法总时延降低了32.55%,有效提升了煤矿井下智能监控系统目标跟踪的实时性能。
    Abstract: The moving targets in coal mine underground monitoring videos often have significant scale changes and deformations. This results in low accuracy of target tracking algorithms based on computer vision. Moreover, the massive amount of video data makes it difficult for centralized cloud-based data processing methods to meet the real-time requirements of target tracking. In order to solve the above problems, a scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration is proposed. A scale-adaptive target tracking algorithm based on depth estimation is designed. The scale-adaptive target tracking is achieved by constructing a depth-scale estimation model, which uses target depth values to estimate scale values. The problem of low tracking accuracy caused by target scale change and deformation is solved. An intelligent monitoring system architecture based on cloud-edge collaboration is designed. The sub-modules of the scale-adaptive target tracking algorithm, which are divided into fine granularity, are deployed at the edge and cloud of the system according to the required computing resources. The algorithm's operational efficiency is improved through distributed parallel processing at the edge and cloud, solving the problem of poor real-time performance in the centralized data processing. The scale-adaptive target tracking method based on cloud-edge collaboration is applied in coal mine underground video sequences. The tracking performance and real-time performance are verified experimentally. The results show that compared with three classic target tracking algorithms, namely kernel correlation filter (KCF), discriminant scale space tracking (DSST) algorithm, and scale adaptive multiple feature (SAMF) algorithm, the scale-adaptive target tracking algorithm based on depth estimation has higher tracking precision and success rate when there are significant scale changes and deformations in coal mine underground targets. Compared with traditional cloud computing processing methods, the deployment method of scale-adaptive target tracking algorithm based on cloud-edge collaboration reduces the total delay of the algorithm by 32.55%. It effectively improves the real-time performance of target tracking of intelligent monitoring system in coal mine underground.
  • 长期以来,顶板事故占我国煤矿各类事故危害之首[1-4]。顶板灾害防治对保障煤矿安全生产具有重要意义。近年来,随着大数据和人工智能技术的发展,有关顶板灾害监测和预警方法的研究层出不穷[4-7]。然而,对于预警产生后的防治措施决策及灾害发生后的事故原因分析等,目前仍主要依赖人工方式,智能化水平较低,限制了顶板灾害防治能力的进一步提升。造成上述问题的重要原因之一在于目前缺乏可供智能决策系统使用的顶板灾害防治领域知识图谱。因此,煤矿顶板灾害防治知识图谱的构建需求十分迫切。

    知识图谱是人工智能领域认知智能的前沿技术方向,用于描述客观世界的实体及其相互间的关系[8-9]。目前,知识图谱技术已被引入多种行业领域[10-12]。刘鹏等[13]将知识图谱技术初步引入煤矿安全领域,构建了煤矿安全知识图谱,并基于该知识图谱提出了一种自然语言知识查询方法,为煤矿安全知识图谱构建及智能查询做了初步有益探索。曹现刚等[14]构建了煤矿装备维护知识图谱,探讨了其在智能语义搜索、智能问答及可视化决策支持等方面的应用,为煤矿装备智能化动态管理的实现提供了有力支持。蔡安江等[15]构建了煤矿综采设备故障知识图谱,为大规模、多域综采设备故障数据的有效分析、管理及应用提供支持。

    煤矿顶板灾害防治知识图谱可以整合顶板灾害防治知识和经验,辅助顶板灾害事故原因分析和顶板灾害防治措施决策,提升煤矿顶板管理水平,促进煤矿安全生产。目前尚没有相关研究。对此,本文提出煤矿顶板灾害防治知识图谱构建方法。

    本文采用本体方法进行煤矿顶板灾害防治知识建模。本体是特定领域中一系列概念及其相互之间关系的形式化表达[16]。概念是实体的抽象表示,用于表示实体的类型。顶板灾害防治知识建模的任务是明确该领域的概念分类和关系类型,从而确定知识图谱中包括哪些实体类型和实体对关系类型,为知识抽取奠定基础。

    本文将煤矿顶板灾害防治领域的概念分为矿井地质类、开采技术类、防治措施类和事故表征类,如图1所示。矿井地质是造成顶板灾害的自然条件,开采活动是诱发顶板灾害的直接因素,防治措施是防范、应对、治理顶板灾害的技术和手段,事故是防治措施不力导致灾害发生的后果。矿井地质类可分为煤层形成与赋存特征和矿井地质构造2个子类,开采技术类可分为开采方法与工艺和巷道围岩控制2个子类,防治措施类可分为灾前预防措施、灾中处理措施和灾后恢复措施3个子类,事故表征类可分为局部冒顶和大面积冒顶2个子类。

    图  1  煤矿顶板灾害防治领域概念分类
    Figure  1.  Conceptual classification of coal mine roof disaster prevention and control

    本文将煤矿顶板灾害防治概念之间的关系定义为使用、引发、易发、治理、预防和适用,关联矿井地质类、开采技术类、防治措施类和事故表征类概念,如图2所示。以煤矿顶板灾害防治领域文本“由于巷道顶板为粉砂质泥岩,该种岩石容易出现风化现象,同时由于该种岩石具有碎胀系数较大的特征,在掘进期间巷道易出现离层冒落的现象”为例,“粉砂质泥岩”属于矿井地质类,“离层冒落”属于事故表征类,二者存在易发关系。

    图  2  煤矿顶板灾害防治概念之间的关系类型
    Figure  2.  Relationship types of the concepts of coal mine roof disaster prevention and control

    煤矿顶板灾害防治领域知识抽取主要是从非结构化文本中抽取出实体并确定实体的概念类型[17-18],以及抽取出实体对的关系并确定实体对关系的类型[19-20]。利用两部分抽取结果,可以构建煤矿顶板灾害防治领域知识图谱,包括实体集合和实体对关系集合。其中,每个实体对关系用<头实体、关系类型、尾实体>三元组形式表达。

    煤矿顶板灾害防治领域文本存在大量嵌套实体,如实体“特厚煤层综放开采”中嵌套了另一个实体“综放开采”。由于部分实体存在结构嵌套,在标注时会存在一字多标签现象。传统基于序列标注的实体抽取方法[21-22]将实体抽取问题转换为字的分类问题,只对1个字标记1个标签(某实体类型的开始字、某实体类型的内部字或非实体字),无法解决嵌套实体抽取的问题。基于跨度的方法[23-26]没有将实体抽取问题转换为字的分类问题,而是转换为文本串的分类问题,任一长度的文本串对应1个标签(某实体类型或非实体),可以有效解决嵌套实体抽取问题。

    本文采用基于跨度的方法进行嵌套实体抽取[23]。该方法主要包括2个步骤:① 筛选出可能构成实体的文本串,排除不可能构成实体的文本串。② 对可能构成实体的文本串进行分类,以确定最终构成实体的文本串的实体类型,同时排除最终不构成实体的文本串。

    步骤①筛选可能构成实体的文本串时需识别出文本串的边界。基于跨度的方法采用BILSTM(Bidirectional Long Short-Term Memory,双向长短时记忆)网络确定可能构成实体的文本串的边界,算法伪代码如下。输入句子$ {s=\{c}_{1}{,c}_{2},\cdots ,{c}_{{n}}\} $,$ {c}_{i} $为句子中第$ i $个字,i=1,2,···,nn为句子长度。首先,将句子中的每个字经过嵌入层后输入BILSTM编码层进行特征提取,输出具备上下文信息的每个隐藏字向量。然后,使用分类器识别每个字是否为可能构成实体的文本串的开始位置(标签记为B)或结束位置(标签记为E)。最后,句子中任一标签为B的位置和该位置之后任一标签为E的位置之间的连续隐藏字向量即为可能构成实体的文本串。在该步骤下,识别所举示例可能构成的实体为“特厚煤层”、“综放开采”、“开采”和“特厚煤层综放开采”。

    算法1 识别句子s中可能构成实体的边界,找出可能构成的实体

    输入:s:句子;Classifier:分类器,输入维度是句子编码后字的向量维度,输出维度是边界标签个数

    输出:Spans:可能构成实体的集合

    1)  SpansØ //初始化为空集

    2)  s′ ← BILSTM(Encoder(s)) //将句子每个字通过Encoder嵌入层表示后,输入BILSTM编码层得到编码后的句子s

    3)  b_tagsClassifier.predict(s′) //使用分类器预测句子s′的每个字对应标签的概率值

    4)  b_idxs ← Where(b_tags) // Where方法为找出模型预测最大概率标签对应的索引位置即可确定可能构成实体的边界标签

    5)  Spans ← GetSpansByBEIdx(b_idxs, s′) //GetSpansByBEIdx方法为根据开始位置标签(B)和结束位置标签(E)在句子s′中找出可能构成实体的集合。Spans中每个元素的结构为<可能构成的实体,该实体开始位置(B),该实体结束位置(E)>

    6)  return Spans

    步骤②对筛选出的文本串进行分类的算法伪代码如下。首先,通过平均池化得到可能构成实体的文本串的表示。然后,将该表示输入激活层和线性层。最后,采用softmax分类器进行分类,以最终确定实体类型或认定为非实体。在该步骤下,识别所举示例的实体为“特厚煤层”(实体类型为矿井地质类)、“综放开采”(实体类型为开采技术类)和“特厚煤层综放开采”(实体类型为开采技术类),非实体为“开采”。

    算法2 对可能构成实体的文本串进行分类

    输入:Spans:算法1输出的可能构成的实体集合;Classifier:softmax分类器,输入维度是句子编码后字的向量维度,输出维度为实体类型标签个数;s:句子

    输出:Entities:实体集合

    1)  EntitiesØ //初始化为空集

    2)  if len(Spans) != 0 then //如果可能构成的实体集合存在

    3)   entities_cClassifier.predict(Spans) //使用分类器预测每个可能构成实体的实体类型概率

    4)   entities_idx ← Where(entities_c) //Where方法为找出实体类型的最大概率标签对应的索引位置即可确定实体类型

    5)   Entities←GetEntitiesByBEIdx(entities_idx,s,spans) //GetEntitiesByBEIdx方法为在句子s中根据实体的开始位置(B)和结束位置(E)找出所有可能构成实体的文本串及其类型

    6)  end if

    7)  return Entities

    煤矿顶板灾害防治领域文本中关系之间存在实体重叠,如文本“为了预防末采贯通期间发生冒顶事故,确保顶板安全,采取了多种预防性措施,主要包括预注马丽散材料加固煤体、合理确定挂网位置、缩短挂网时间、加强末采期间质量管理等一系列技术措施”中,“冒顶事故”与“预注马丽散材料加固煤体”、“合理确定挂网位置”、“缩短挂网时间”和“加强末采期间质量管理”均存在预防关系,出现了实体重叠。

    传统关系抽取方法[27]将关系抽取问题转换为字的分类问题,只对每个字标记1个标签(某关系类型的头实体开始位置、某关系类型的尾实体开始位置、某关系类型的头实体结束位置、某关系类型的尾实体结束位置或其他位置),这意味着每个实体只能参与1个实体对关系。当关系之间存在实体重叠时,重叠的实体需要参与多个实体对关系,字的标签不唯一,因此传统方法不适用。

    本文采用依存句法树引导的实体表示方法进行关系抽取。该方法主要包括3个步骤:① 将句子中实体识别阶段识别的任意2个实体构成实体对,并基于依存句法树引导完成实体表示。② 为每一种类型的关系独立训练1个分类器[28],对所输入的实体对是否存在该种关系进行判别。③ 获得所有实体对间存在的各种关系类型相关的三元组。为了提高关系抽取的效率,可以基于关系之间的一致性约束模型对不必要实体对和不必要关系类型进行剪枝,减少步骤①和步骤②操作的计算量。

    关系抽取算法伪代码如下。步骤①构成实体对并采用依存句法树引导实体表示中,输入句子$ s= \{c_{1}, {c}_{2},\cdots ,{c}_{{n}}\} $。首先,将实体识别阶段的任意2个实体构成实体对。然后,使用依存句法工具解析该句子中词与词之间的依存句法关系。最后,基于该依存句法关系引导完成实体的向量表示。在该步骤下,识别所举示例构成的实体对包含“冒顶事故”和“预注马丽散材料加固煤体”、“冒顶事故”和“合理确定挂网位置”等。在步骤②判别实体对时,如果实体对之间存在预先定义的某种关系类型,则完成步骤③输出三元组。通过关系抽取算法,识别所举示例生成的三元组包含<预注马丽散材料加固煤体,预防,冒顶事故>和<合理确定挂网位置,预防,冒顶事故>等,其中“冒顶事故”是重叠实体。

    算法3 基于依存句法树引导的实体表示方法进行关系抽取

    输入:s:句子;Entities:实体识别阶段识别的实体;Rel_Dict:关系类型字典,键值为索引,值为关系类型;Classifier:分类器

    输出:Triples_Set: 三元组集合

    1)  Triples_SetØ //初始化为空集

    2)  Entities_ Pairs ← Entities_Pair(Entities) //Entities_Pair方法是将句子中任意2个实体构成实体对

    3)  s′ ← NLP_Parser(s) //将句子输入到依存句法解析工具NLP_Parser中,得到该句子中词与词之间的关系

    4)  Entities_Pairs_Vector ← NLP_Dependency (s′, Entities_ Pairs) //NLP_Dependency方法是基于依存句法关系完成实体的表示

    5)  if Entities_Pairs_Vector != Ø then

    6)    for i ← 0 to len(Entities_Pairs_Vector) do

    7)     rel_idxsClassifier.predict(Entities_Pairs_Vector[i]) //在每个关系类型下训练一个独立的分类器,判断该实体对存在的关系

    8)     rel ← Rel_Mapping(Rel_Dict,rel_idxs) //关系映射

    9)     Triples_Set.add(Triple_Rule(Entities_Pairs[i],rel)) //将该实体对及其关系添加进三元组集合中,Triple_Rule方法是对不必要实体对和不必要关系类型进行剪枝

    10)   end for

    11) end if

    12) return Triples_Set

    本文构建的煤矿顶板灾害防治领域语料库包括数据收集和数据标注2个步骤。收集的数据主要来源于2个方面:① 从煤矿安全生产网、百度百科等网站爬取的有关煤矿顶板灾害防治数据;② 从文献数据库下载的煤矿顶板灾害防治相关文献。这些数据经过预处理,保留矿井地质类、开采技术类、防治措施类和事故表征类信息的句子。对于实体抽取的数据标注,按照图1的概念分类,采用BIO标注方案[29]对句子中的每个字标注标签。针对煤矿顶板灾害防治领域存在的嵌套实体,从内部实体到外部实体(或从外部实体到内部实体)逐层标注。对于标注完成的句子,使用python代码处理为分层结构,每一层只标注嵌套实体中的1个,层数为实体嵌套的最大深度。对于关系抽取的数据标注,在分层标注的基础上,将概念标签替换成图2的关系类型标签并添加可以区分头尾实体的标签(1表示头实体,2表示尾实体)。

    本文采用图数据库[30]Neo4j存储抽取的煤矿顶板灾害防治领域知识,为该领域知识图谱的应用提供数据来源支撑。在Neo4j图数据库中,节点表示抽取的实体,节点标签对应图1中的概念分类,边对应图2中的实体对关系类型。基于Neo4j图数据库,可使用其提供的Cypher语句对图数据库进行操作,如MATCH语句查询实体节点或关系。

    基于煤矿顶板灾害防治领域知识建模,构建了煤矿顶板灾害防治知识图谱,局部如图3所示。其中节点为抽取的实体,节点类型(通过不同的颜色区分)为矿井地质类、开采技术类、防治措施类和事故表征类,边为使用、引发、易发、治理、预防和适用6种实体对关系类型。例如,“特厚煤层”(节点类型为矿井地质类)与“放顶煤采煤法”(节点类型为开采技术类)之间存在使用关系。

    图  3  煤矿顶板灾害防治知识图谱(局部)
    Figure  3.  Knowledge graph for coal mine roof disaster prevention and control (partial)

    煤矿顶板灾害防治知识图谱蕴含矿井地质、开采技术、防治措施和事故表征4大类型中大量实体及其相互间的关系,沿关系路径可以形成多条顶板灾害防治知识链。通过知识推理技术可以快速了解顶板灾害事故背后的隐含知识、定位顶板灾害发生的原因,辅助顶板灾害防治措施决策,提高顶板管理的智能化水平。以图3为例,当煤层为特厚煤层时,工作面可以使用放顶煤采煤法,该采煤活动在巷道围岩控制不力时可引发大面积冒顶事故,可以形成知识链“特厚煤层→放顶煤采煤法→大面积冒顶”;当顶板为坚硬顶板时,容易发生大面积冒顶事故,水力压裂技术和深孔预裂爆破技术适用于该类型顶板,可用于预防事故的发生,可以形成知识链“水力压裂技术(或深孔预裂爆破技术)→坚硬顶板→大面积冒顶”。通过该知识链,可以了解在某种矿井地质条件下进行何种开采活动时可能引发何种灾害事故,以及针对特定岩性的顶板采取合适的预防或治理措施。

    1) 从煤矿顶板灾害防治领域知识建模、知识抽取和语料库构建与知识存储3个方面,研究了煤矿顶板灾害防治知识图谱构建方法。采用该方法构建的知识图谱可辅助顶板灾害事故原因分析和防治措施决策,提高煤矿顶板管理智能化水平。

    2) 基于煤矿顶板灾害防治知识图谱,可结合自然语言处理和知识推理等技术,实现顶板管理知识问答。用户输入顶板灾害防治相关问题后,通过自然语言处理技术获取顶板灾害防治关键词,并在顶板灾害防治知识图谱中进行多级别、深层次的关联搜索,组织相关结果进行输出。这可用于顶板管理技术人员在线培训和学习。

    3) 目前尚未研究属性知识建模及其抽取方法。未来可以抽取顶板灾害防治属性知识,以进一步完善煤矿顶板灾害防治知识图谱内容并提升应用效果。

  • 图  1   深度−尺度估计模型构建过程

    Figure  1.   Construction process of depth-scale estimation model

    图  2   基于深度估计的尺度自适应目标跟踪算法

    Figure  2.   Scale-adaptive target tracking algorithm based on depth estimation

    图  3   目标跟踪算法5个子模块的运行时间

    Figure  3.   Running time of five sub-modules of the target tracking algorithm

    图  4   基于云边协同的智能监控系统架构

    Figure  4.   Architecture of cloud-edge collaborative intelligent monitoring system

    图  5   云边协同任务卸载架构

    Figure  5.   Architecture of cloud-side collaborative task unloading

    图  6   煤矿井下视频序列部分帧的RGB图像和深度图像

    Figure  6.   Part of RGB images and depth images of a coal mine underground video sequence

    图  7   深度−尺度估计模型实验结果

    Figure  7.   Experimental results of depth-scale estimation model

    图  8   4种算法对煤矿井下数据集的目标跟踪结果

    Figure  8.   Target tracking results of four algorithms for coal mine underground data set

    图  9   4种算法对OTB−100数据集的目标跟踪结果

    Figure  9.   Target tracking results of four algorithms for OTB-100 standard data set

    图  10   目标跟踪算法在煤矿井下数据集上的精度和成功率

    Figure  10.   Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set

    图  11   目标跟踪算法在OTB−100数据集上的精度和成功率

    Figure  11.   Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set

    图  12   目标跟踪算法在2种部署方式下的局部时延曲线

    Figure  12.   Local delay curves of the proposed target tracking algorithm under two deployment modes

    图  13   目标跟踪算法在2种部署方式下的总时延曲线

    Figure  13.   Overall delay curves of the proposed target tracking algorithm under two deployment mode

    图  14   不同边缘服务器数量下目标跟踪算法总时延曲线

    Figure  14.   Overall delay curves of the proposed target tracking algorithm under different groups of edge servers

    表  1   煤矿井下尺度自适应目标跟踪实验环境配置

    Table  1   Experimental environment configuration of coal mine underground scale-adaptive target tracking method

    实验环境配置
    边缘服务器CPUAMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz
    GPUGeForce RTX 3050
    系统Windows10
    云端服务器CPUIntel Xeon E5−2680 v2
    GPUNVIDIA GeForce GTX TITAN Z
    系统centos7
    编程语言Matlab
    下载: 导出CSV

    表  2   任务卸载相关参数配置

    Table  2   Parameters configuration related to task unloading

    设备参数
    终端设备$ {B}_{i,j} $/MHz100
    $ {P}_{i,j} $/W0.1
    ${D}_{i,j} $[0.1,1.0]
    边缘服务器$ {B}_{j,{\rm{c}}} $/MHz200
    $ {P}_{j,{\rm{c}}} $/W0.5
    $ {y}_{j} $/GHz10
    $ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)200
    $ D_{j,{\rm{c}}} $[0.1,1.0]
    云端服务器$ {w}_{{\rm{c}}} $/GHz100
    $ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)50
    $ {\sigma }^{2} $/dBm100
    其他$ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,100]
    $ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    $ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    下载: 导出CSV

    表  3   煤矿井下视频序列数据信息

    Table  3   Video sequence data information of coal mine underground

    视频序列帧数主要影响因素
    Video1355尺度变化
    Video2170目标形变、背景杂乱
    Video3181光照不均、尺度变化
    Video4297光照极度不足、目标形变
    Video5215目标形变
    Video6286尺度变化
    下载: 导出CSV

    表  4   目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果

    Table  4   Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列云边协同方式云计算方式
    传输时延计算时延传输时延计算时延
    Video122.4910.012 78209.559 60.004 61
    Video223.3610.013 41190.456 90.004 73
    Video321.4360.012 13205.454 90.004 47
    Video422.2670.011 98193.576 80.004 34
    Video521.8790.015 76200.177 40.004 91
    Video621.2530.013 05193.115 10.004 39
    Total132.6870.079 11 1 192.340 70.027 45
     注:黑体数据为最优结果。
    下载: 导出CSV

    表  5   目标跟踪算法在2种部署方式下的总时延计算结果

    Table  5   Calculated overall delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列总时延
    云计算方式云边协同方式
    Video1209.567 6139.916 7
    Video2190.465 3140.214 6
    Video3205.462 5130.169 8
    Video4193.584 6134.247 2
    Video5200.186 1130.744 2
    Video6193.123 8128.929 4
    Total1 192.389 9804.221 9
     注:黑体数据为最优结果。
    下载: 导出CSV

    表  6   不同边缘服务器数量下目标跟踪算法时延

    Table  6   Delay of the proposed target tracking algorithm under different groups of edge servers

    边缘服务器
    数量/台
    视频序列
    数量/个
    传统云计算
    总时延/ms
    M=12时云边协同时延/msM=18时云边协同时延/ms
    边缘端云端总时延边缘端云端总时延
    传输时延计算时延传输时延计算时延传输时延计算时延传输时延计算时延
    161192.3899132.6870.0791671.4290.0263804.2219132.6870.0791671.4290.0263804.2219
    2122384.7798132.6870.0791671.4290.0526804.2481132.6870.0791671.4290.0526804.2481
    3183577.1697265.3740.07911342.8590.07891608.391132.6870.0791671.4290.0789804.2744
    4244769.5596265.3710.07911342.8590.10521608.417265.3740.07911342.8590.10521608.417
    5305961.9495398.0610.07912014.2880.13152412.560265.3740.07911342.8590.13151608.443
    6367154.3394398.0610.07912014.2880.15782412.586265.3740.07911342.8590.15781608.470
     注:黑体数据为最优结果。
    下载: 导出CSV
  • [1] 王国法,赵国瑞,胡亚辉. 5G技术在煤矿智能化中的应用展望[J]. 煤炭学报,2020,45(1):16-23.

    WANG Guofa,ZHAO Guorui,HU Yahui. Application prospect of 5G technology in coal mine intelligence[J]. Journal of China Coal Society,2020,45(1):16-23.

    [2] 丁恩杰,俞啸,夏冰,等. 矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J]. 煤炭学报,2022,47(1):564-578.

    DING Enjie,YU Xiao,XIA Bing,et al. Development of mine informatization and key technologies of intelligent mines[J]. Journal of China Coal Society,2022,47(1):564-578.

    [3] 陈龙,王晓,杨健健,等. 平行矿山:从数字孪生到矿山智能[J]. 自动化学报,2021,47(7):1633-1645.

    CHEN Long,WANG Xiao,YANG Jianjian,et al. Parallel mining operating systems:from digital twins to mining intelligence[J]. Acta Automatica Sinica,2021,47(7):1633-1645.

    [4] 孙彦景,霍羽,陈岩,等. 矿山动态协同作业场景无线通信关键技术[J]. 煤炭学报,2021,46(1):321-332.

    SUN Yanjing,HUO Yu,CHEN Yan,et al. Key technology of service attribute driven wireless communication for dynamic cooperative operations in mining scenarios[J]. Journal of China Coal Society,2021,46(1):321-332.

    [5] 王学文,刘曙光,王雪松,等. AR/VR融合驱动的综采工作面智能监控关键技术研究与试验[J]. 煤炭学报,2022,47(2):969-985.

    WANG Xuewen,LIU Shuguang,WANG Xuesong,et al. Research and test on key technologies of intelligent monitoring and control driven by AR/VR for fully mechanized coal-mining face[J]. Journal of China Coal Society,2022,47(2):969-985.

    [6]

    LIU S,LIU D,SRIVASTAVA G,et al. Overview and methods of correlation filter algorithms in object tracking[J]. Complex & Intelligent Systems,2021,7(4):1895-1917.

    [7] 张旭辉,杨文娟,薛旭升,等. 煤矿远程智能掘进面临的挑战与研究进展[J]. 煤炭学报,2022,47(1):579-597.

    ZHANG Xuhui,YANG Wenjuan,XUE Xusheng,et al. Challenges and developing of the intelligent remote controlon roadheaders in coal mine[J]. Journal of China Coal Society,2022,47(1):579-597.

    [8] 张帆,孙晓辉,崔东林. 基于ORB特征的矿井移动目标双目视觉跟踪与定位[J]. 煤炭学报,2018,43(增刊2):654-662.

    ZHANG Fan,SUN Xiaohui,CUI Donglin. Method of tracking and positioning for mobile target based on ORB features and binocular vision in mine[J]. Journal of China Coal Society,2018,43(S2):654-662.

    [9] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169.

    LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.

    [10]

    BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, 2010: 2544-2550.

    [11]

    HENRIQUES J F, CASEIRO R, MARTINES P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision, Berlin, 2012: 702-715.

    [12]

    HENRIQUES J F,CASEIRO R,MARTINS P,et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583-596.

    [13] 覃剑,石昌伟,张媛,等. 边缘视频处理的细粒度划分与重组部署算法[J]. 电子学报,2021,49(11):2152-2159.

    QIN Jian,SHI Changwei,ZHANG Yuan,et al. Fine-grained partitioning and reorganization deployment strategy of edge video processing[J]. Acta Electronica Sinica,2021,49(11):2152-2159.

    [14] 卢新明,阚淑婷. 煤炭精准开采地质保障与透明地质云计算技术[J]. 煤炭学报,2019,44(8):2296-2305.

    LU Xinming,KAN Shuting. Geological guarantee and transparent geological cloud computing technology of precision coal mining[J]. Journal of China Coal Society,2019,44(8):2296-2305.

    [15] 施巍松,张星洲,王一帆,等. 边缘计算:现状与展望[J]. 计算机研究与发展,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760

    SHI Weisong,ZHANG Xingzhou,WANG Yifan,et al. Edge computing:state-of-the-art and future directions[J]. Journal of Computer Research and Development,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760

    [16] 王国法,杜毅博,任怀伟,等. 智能化煤矿顶层设计研究与实践[J]. 煤炭学报,2020,45(6):1909-1924.

    WANG Guofa,DU Yibo,REN Huaiwei,et al. Top level design and practice of smart coal mines[J]. Journal of China Coal Society,2020,45(6):1909-1924.

    [17] 陈思光,陈佳民,赵传信. 基于深度强化学习的云边协同计算迁移研究[J]. 电子学报,2021,49(1):157-166.

    CHEN Siguang,CHEN Jiamin,ZHAO Chuanxin. Deep reinforcement learning based cloud-edge collaborative computation offloading mechanism[J]. Acta Electronica Sinica,2021,49(1):157-166.

    [18]

    DANELLJAN M, HAGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[C]. British Machine Vision Conference, Nottingham, 2014: 1-11.

    [19]

    LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]. European Conference on Computer Vision Workshops, Zurich, 2014: 254-265.

    [20] 孙继平,贾倪. 矿井视频图像中人员目标匹配与跟踪方法[J]. 中国矿业大学学报,2015,44(3):540-548.

    SUN Jiping,JIA Ni. Human target matching and tracking method in coal mine video[J]. Journal of China University of Mining & Technology,2015,44(3):540-548.

    [21] 程健,陈亮,王凯,等. 一种多特征融合的复杂场景动态目标跟踪算法[J]. 中国矿业大学学报,2021,50(5):1002-1010.

    CHENG Jian,CHEN Liang,WANG Kai,et al. Multi-feature fusion dynamic target tracking algorithm for complex scenes[J]. Journal of China University of Mining & Technology,2021,50(5):1002-1010.

    [22] 牟琦,张寒,何志强,等. 基于深度估计和特征融合的尺度自适应目标跟踪算法[J]. 图学学报,2021,42(4):563-571.

    MU Qi,ZHANG Han,HE Zhiqiang,et al. Scale adaptive target tracking algorithm based on depth estimation and feature fusion[J]. Journal of Graphics,2021,42(4):563-571.

    [23]

    GOARD C, AODHA O M, BROSTOW G J. Unsupervised monocular depth estimation with left-right consistency[C]. Computer Vision and Pattern Recognition, Hawaii, 2017: 6602-6611.

    [24]

    HABER E E,NGUYEN T M,ASSI C. Joint optimization of computational cost and devices energy for task offloading in multi-tier edge-clouds[J]. IEEE Transactions on Communications,2019,67(5):3407-3421. DOI: 10.1109/TCOMM.2019.2895040

    [25]

    CHEN Siguang,ZHENG Yimin,LU Weifeng,et al. Energy optimal dynamic computation offloading for industrial IoT in fog computing[J]. IEEE Transactions on Green Communications and Networking,2019,4(2):566-576.

    [26] 张展,张宪琦,左德承,等. 面向边缘计算的目标追踪应用部署策略研究[J]. 软件学报,2020,31(9):2691-2708.

    ZHANG Zhan,ZHANG Xianqi,ZUO Decheng,et al. Research on target tracking application deployment strategy for edge computing[J]. Journal of Software,2020,31(9):2691-2708.

    [27] 姜德义,魏立科,王翀,等. 智慧矿山边缘云协同计算技术架构与基础保障关键技术探讨[J]. 煤炭学报,2020,45(1):484-492.

    JIANG Deyi,WEI Like,WANG Chong,et al. Discussion on the technology architecture and key basic support technology for intelligent mine edge-cloud collaborative computing[J]. Journal of China Coal Society,2020,45(1):484-492.

    [28] 张文柱,余静华. 移动边缘计算中基于云边端协同的任务卸载策略[J]. 计算机研究与发展,2023,60(2):371-385.

    ZHANG Wenzhu,YU Jinghua. Task offloading strategy in mobile edge computing based on cloud-edge-end cooperation[J]. Journal of Computer Research and Development,2023,60(2):371-385.

  • 期刊类型引用(6)

    1. 汪莹, 王丽雅, 马飞, 杨洋, 祖子帅. 煤炭开采利用碳排放治理技术知识图谱构建与应用. 煤炭科学技术. 2025(06) 百度学术
    2. 罗香玉,康林星,南添松,解盘石,伍永平. 基于割煤循环智能检测的工作面来压判识方法. 工矿自动化. 2025(03): 16-21 . 本站查看
    3. 张盼青,杨政,何亮,马健,许睿. 煤矿地质灾害知识图谱构建与可视化. 煤炭技术. 2025(04): 186-189 . 百度学术
    4. 崔亚仲,马力,李雄怀,高波. 基于知识图谱构建的煤矿机械检修系统. 煤矿机械. 2024(12): 144-146 . 百度学术
    5. 罗香玉,华颖,王喜平,解盘石,伍永平. 煤矿领域知识图谱构建与推理方法研究综述. 工矿自动化. 2024(11): 52-61 . 本站查看
    6. 陈述,王典学,杨应柳,曹坤煜,聂本武. 水电工程施工安全隐患语义匹配模型. 中国安全科学学报. 2024(12): 40-47 . 百度学术

    其他类型引用(0)

图(14)  /  表(6)
计量
  • 文章访问数:  234
  • HTML全文浏览量:  66
  • PDF下载量:  35
  • 被引次数: 6
出版历程
  • 收稿日期:  2022-10-30
  • 修回日期:  2023-04-07
  • 网络出版日期:  2023-04-26
  • 刊出日期:  2023-04-24

目录

/

返回文章
返回