Recognition of violations in belt conveyor area based on multi-feature fusion for time-difference network
-
摘要: 现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高。针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合。首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化。然后在原始模型ResNet50的第4阶段引入长期多特征融合(LTMFF)模块,将来自连续帧的短期多特征拼接在一起,再对相邻时间点的特征进行时间差分计算,以获取行为的长期多特征。最后将融合后的特征进行分类,输出识别结果。实验结果表明:① 该方法的平均精度和准确率较原始模型ResNet50分别提高了8.18%和8.47%,说明同时引入STMFF和LTMFF模块能够有效提取到不同时间段的多特征信息。② 该方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62%,平均精度为89.30%,模型的参数量为197.2 ×106。③ Grad−CAM热力图显示,该方法能够更有效地关注到违规行为的关键区域,精确捕捉到井下带式输送机区域的违规行为。Abstract: The existing methods for recognizing violations in the underground belt conveyor area of coal mines suffer from insufficient feature extraction and difficulty in considering time differences in behavior. It results in low accuracy in recognizing violations (such as climbing, crossing, leaning, etc.) in the area. In order to solve the above problems, a belt conveyor area violation recognition method based on multi-feature fusion for time-difference network (MFFTDN) is proposed using the ResNet50 model. The method combines multi-feature fusion with time difference to perform multi-feature fusion on behaviors in different time periods. Firstly, the short-term multi-feature fusion (STMFF) module is introduced in the second and third stages of the original ResNet50 model, which concatenates the time and features from multiple consecutive frames together. Then the method performs time-difference calculation on the fused features, that is, the feature difference between adjacent frames, to capture local action changes in a short period of time. Secondly, in the fourth stage of the original ResNet50 model, a long- term multi-feature fusion (LTMFF) module is introduced to concatenate short-term multi-features from consecutive frames, and perform time-difference calculations on features from adjacent time points to obtain long-term multi- feature of behavior. Finally, the method classifies the fused features and outputs the recognition results. The experimental results show the following points. ① The average accuracy and precision of the MFFTDN based belt conveyor area violation recognition method have increased by 8.18% and 8.47% respectively compared to the original model ResNet50. It indicates that the simultaneous use of STMFF and LTMFF modules can effectively extract multi-feature information from different time periods. ② The accuracy of this recognition method on the self built dataset of violations in the underground belt conveyor area of coal mines is 89.62%, with an average precision of 89.3% and a model parameter size of 197.2×106. ③ The Grad CAM heatmap shows that this recognition method can more effectively focus on key areas of violations and more accurately capture violations in the underground belt area of the mine.
-
0. 引言
我国主要矿山已经建设了安全监测监控、井下人员定位、通信联络等多套系统,以及覆盖矿山主要生产环节的通信与传输网络,显著提升了矿山安全生产的保障水平[1-3]。5G是新一代移动通信技术,具有大带宽、低时延、高可靠、广连接的优势[4],能够为智能矿山建设提供强有力的基础技术支持[5-6]。随着智能矿山的发展,矿用5G将承载多种智能矿山应用,包括井下高清视频[7]、无人驾驶[8]等,同时矿用5G所依托的传输网络还将承载已有的矿用系统传输多样化的应用需求[9]。
网络切片是5G网络的一项重要技术[10-11],能够针对不同的用户类型和应用场景,将一张物理网络分成多个独立的虚拟网络,从而满足不同的服务质量(Quality of Service,QoS)要求。近年来,业内学者在矿用5G网络领域开展了深入研究。胡亚辉等[12]研究了矿用5G网络规划方案,提出5G网络切片的煤矿应用策略,通过协调业务匹配粒度、切片管理与网络资源之间的关系,达到使网络资源使用度最佳的目的。霍振龙等[13]研究了5G关键技术及性能优势,提出5G组网方式及在煤矿的应用场景。孟庆勇[14]提出了基于非独立组网(Non-Standalone,NSA)的煤矿井下4G与5G融合网络架构,并重点探讨了5G承载网的3种前传组网方案及适用场景,以及5G网络切片的应用场景。现有矿用5G研究主要集中于系统架构及应用场景,缺乏对切片技术具体实现方案的研究。本文针对矿用5G网络系统,研究传输网切片的实现方法,设计切片划分及带宽分配机制,形成端到端切片的井下部署架构,并通过实验证明切片技术在矿井5G网络中应用的优越性。
1. 矿用5G网络切片基础技术
1.1 网络基础环境
矿用5G网络主要由矿用5G专网核心网、矿用5G传输网设备、矿用5G基站系统、矿用5G无线网关、矿用5G智能终端等组成[15-17],如图1所示。矿用5G依托独立组网、独立运行的专网核心网,结合传输网与基站、终端设备,实现所有应用及控制面信息直接在矿区内闭环,充分保障数据安全,为智能矿山多元化应用提供了必要条件。多元化应用所带来的差异化网络需求问题,则需要通过网络切片技术来解决。
矿用5G网络切片以传输网切片为基础,在同一网络基础设施上构建多个端到端、虚拟、隔离、按需定制的专用逻辑网络,可满足差异化的移动性、安全性、时延、可靠性要求[18-19]。环网交换机是主要的传输网设备,具备100GE、50GE、10GE等高速网络接口,满足井下井上高质量通信及数据传输需求,同时支持基于灵活以太网(Flexible Ethernet,FlexE)的传输网切片。网络切片总体架构如图2所示。
1.2 FlexE切片技术
FlexE是在以太网技术基础上,为满足高速传送、带宽配置灵活等需求而发展的技术[20],以开放式系统互连(Open System Interconnection,OSI)七层模型[21]为基础,在数据链路层与物理层之间插入一个核心处理逻辑层,打破了原本一对一的映射关系,能够实现对接口资源的灵活、精细化管理。FlexE技术参考模型如图3所示。
FlexE支持捆绑多个标准的物理层接口,可实现更高速率。同时,FlexE能够实现通道化,即多个低速率数据流共享一个或多个物理层接口,这是实现带宽灵活配置的基础。例如,FlexE在1个高速的物理层接口上承载2个低速率数据流,如图4所示。利用FlexE的通道化功能,传输网能够在无需硬件升级的情况下,向井下提供多个逻辑网络,即切片。每个切片都可以灵活定义自己的逻辑拓扑、服务等级协议、可靠性和安全等级。
考虑到传输网承载了众多的矿用系统及应用,且不同系统的传输需求存在明显差异,有必要针对传输网切片的划分进行针对性设计,同时解决以下2个方面的技术问题:
1) 如果按照各类信息通信系统及应用的传输需求,将矿用5G网络切片粒度划分得过细,当采用新的技术、新建系统或系统更新换代时,将造成矿用5G网络切片系统频繁重新配置,影响正常生产。
2) 如果按照较大的粒度进行矿用5G网络切片划分,则难以实现系统和应用数据按需差异化传输,无法充分发挥矿用5G网络切片技术对不同系统、不同应用的差异化传输QoS保障。
目前尚缺少针对矿用5G网络切片划分原则及带宽分配机制的研究。因此,本文拟采用基础切片划分+基于带宽权重的传输资源分配方法,提出矿用系统及应用与切片的映射方案,将矿用5G网络切片划分为低时延业务、大带宽业务、工业环网业务、特定业务及预留业务5类切片,高可靠传输业务按照时延及带宽需求映射至低时延或大带宽业务切片中,通过进一步细分的虚拟专用网(Virtual Private Network,VPN)划分方法,设计差异化的带宽权重,以确保充足的传输资源,避免信道拥塞。在传输中通过冗余资源重传等方式确保高可靠性,预留业务切片则面向未来可能演进的新技术、新系统预留资源,实现未来业务的前向兼容。
2. 矿用5G网络切片设计方法
2.1 矿用5G网络切片分类方法
针对矿用5G规模建设的示范矿井进行系统梳理,得到用户驻地设备(Customer Premises Equipment,CPE)、5G手机等典型终端的网络需求,包括上行速率、下行速率及时延,见表1。
表 1 典型终端的网络需求Table 1. Network requirements of typical terminals序号 终端类型 速率 时延
要求/ms上行 下行 1 CPE 100 kbit/s 100 kbit/s 25 2 5G手机 100 kbit/s 100 Mbit/s 25 3 矿压传感器 100 kbit/s 100 kbit/s 100 4 车载终端 100 kbit/s 100 kbit/s 25 根据当前已有的矿用信息通信系统及智能矿山应用情况,将矿用5G网络切片分为5类,如图5所示。
1) 低时延业务切片。用于承载对传输时延要求较高的业务,涉及采用授权无线频段的通信系统(矿用5G、4G等)、与安全生产相关的传输系统(矿用定位、广播、调度指挥系统等)、智能矿山远程控制类信息传输系统(采掘装备远程控制等),映射至低时延切片的业务传输时延上限为100 ms,即将上述系统中传输时延要求低于100 ms的业务映射至低时延业务切片。表1中的CPE时延需求为25 ms,低于100 ms,传输速率为100 kbit/s,不足100 Mbit/s,因此,映射至低时延切片。
2) 大带宽业务切片。用于承载对传输带宽要求较高的业务,涉及各类无线系统(5G,4G,WiFi)、视频监控系统、时延要求不低于时延门限但带宽要求高于门限的其他监控系统,带宽门限可为单系统/业务不低于100 Mbit/s传输速率,映射至大带宽业务切片。表1中的5G手机下行速率需求为100 Mbit/s,达到带宽门限,因此,映射至大带宽业务切片。
3) 工业环网业务切片。用于时延及带宽要求均不严苛的工业环网系统业务,包括安全监控系统、水文监测系统、矿压监测系统、自动风门系统、主运胶带系统、供电系统等,映射至工业环网切片。表1中的矿压传感器时延需求为100 ms,传输速率为100 kbit/s,要求均不严苛,因此,映射至工业环网业务切片。
4) 特定业务切片(无人化协同控制)。针对智能矿山远程监视和协同控制类应用,例如无人驾驶全景监视与远程控制,可设置特定业务切片,用于配置充足传输资源和专用传输通道,确保业务的可靠性。表1中的车载终端用于无人驾驶远程控制,时延需求为25 ms,传输速率为100 kbit/s,因此,映射至特定业务切片。
5) 预留业务切片。预留业务切片是为业务种类扩展预留的资源,以便于系统扩容时,不会对现网的配置造成影响。
2.2 矿用5G网络切片带宽权重计算方法
按照5类基础切片划分,可将符合条件的传输业务映射至对应的切片。但仅进行大力度切片划分,尚不能确保具体业务的传输性能。因此,需针对不同业务设计不同的切片带宽权重计算方法。一方面,应确保通信联络、安全生产、远程控制类应用的低时延切片不受其他切片业务传输造成的信道干扰影响;另一方面,针对高可靠业务,在各切片的子切片中通过资源配置确保业务传输性能,同时可实现切片内部业务资源的动态调整。
预留带宽计算公式为
Ri=kiridi (1) 式中:Ri为所在切片的预留带宽,i取值范围为1~4,R1−R4分别对应低时延业务切片、大带宽业务切片、工业环网业务切片、特定业务切片;ki为所在切片的带宽权重;ri为所在切片的各终端占据带宽的均值;di为所在切片的终端数量。
预留业务切片带宽计算公式为
R5=R−4∑i=1Ri (2) 式中R为传输网的总带宽。
若当前传输网的总带宽未超出传输网的承载能力(例如信道占用率不超过80%),则各系统均分配一致的带宽资源权重;若传输网的总带宽超出了传输网的承载能力,则进行各类系统传输的权重划分,基本原则是为授权频段的无线通信系统、安全生产、控制类相关的系统业务配置较高的权重等级,以实现传输网络优先确保相应业务的传输性能。当信道拥塞时,系统将优先保障高优先级业务的传输带宽,从而保障传输服务质量。常见业务类型及权重值见表2。
表 2 常见业务类型及权重值Table 2. Common service types and weight values序号 矿用系统及应用 权重等级 权重值 1 矿用5G通信系统 1 1.0 2 矿用4G通信系统 3 安全监控系统 4 定位系统 5 广播系统 6 调度指挥系统 7 供电系统 8 特定业务(无人化协同控制) 9 自动风门系统 2 0.9 10 主运胶带系统 11 矿压监测系统 12 水文监测系统 13 视频监控系统 3 0.8 14 WiFi通信系统 15 其他环网非安全类业务 4 0.7 2.3 矿用5G网络的业务映射及隔离方法
根据不同业务对时延、带宽的要求,定义了具体的5G QoS标志符(5G QoS Identifier,5QI),并根据5QI进行业务映射及隔离,为各类业务提供所需的服务级别。矿用5G网络的业务映射及隔离如图6所示。
以车载终端为例,5QI为83,根据5G协议,对应分组延迟预算是10 ms,数据包错误预算是10−4,其网络应用要求远高于其他业务。因此,接入网采用基于QoS的调度策略,向其优先提供空口资源;采用资源块(Resource Block,RB)静态预留和动态共享方式分配资源;通过载波隔离实现切片之间资源的严格区分。车载终端依托基于FlexE的切片传输通道,形成与矿山设备远程操控平台之间的专属逻辑网络,为车辆远程控制等业务提供低时延保障。
本文提出的矿用5G网络切片设计方法能够为高优先级业务提供大带宽、低时延、高可靠保障。一方面,基于带宽权重计算方法实现具体业务与网络资源之间的映射,即便在拥塞状况下,依然能够保障高优先级业务的传输带宽,从而保障传输服务质量。另一方面,业务映射及隔离方法能够提供空口资源调度策略,并通过载波隔离实现不同业务之间的严格区分,为高优先级业务提供低时延保障。此外,通过高优先级的带宽及时延保障,能够实现可靠性的隐式保障,实现系统的稳定、可靠传输。
3. 性能评估验证
3.1 测试环境
在智能矿山联合实验室部署矿用5G网络系统,其中传输网设备支持网络切片功能。测试中将无人驾驶车辆远程监控系统接入特定业务切片(无人化协同控制),构建远程监控平台与矿用5G车载终端之间的专用传输通道。为了模拟传输网的低负载和高负载场景,测试环境中接入8台数据终端(8台计算机,其中7台接入有线网络,1台接入矿用5G CPE),用于网络灌包测试,网络拓扑如图7所示。
3.2 业务调度时间测试
以传统的尽力而为服务模型为参照,分别在传输网低负载和高负载场景下测试业务调度时间,结果如图8、图9所示。在低负载场景下,尽力而为服务的平均调度时间为602 ns,网络切片的平均调度时间为579 ns,二者相差23 ns,并且网络切片的波动性相对较小。在高负载场景下,尽力而为服务的平均调度时间为2 032 ns,网络切片的平均调度时间为1 809 ns,减少了10.9%,与尽力而为服务相比,网络切片的波动性也明显降低。从测试结果可看出,网络切片能够避免业务调度时间过长,为用户提供确定性的QoS保障。
3.3 端到端时延测试
测试计算机通过5G CPE接入矿用5G网络,并被划归特定业务切片(无人化协同控制),与矿用5G车载终端实现端到端通信。经过30次反复测试,测试计算机与矿用5G车载终端之间的时延为9~13 ms,均值为10.33 ms,如图10所示。
矿用5G网络的端到端时延仅为常规5G网络的一半,主要有2个方面原因:一是测试计算机与矿用5G车载终端同属特定业务切片(无人化协同控制),该切片的网络负载低,不存在网络拥塞风险;二是矿用5G网络采用本地化部署的专网核心网,避免了数据的迂回,进一步缩短了端到端时延。
4. 结论
1) 研究了矿用5G网络切片的基础技术,提出利用FlexE的通道化功能,实现传输网的资源分配及业务隔离,从而在同一网络基础设施上构建多个按需定制的专用逻辑网络,满足不同类型业务系统的差异化需求。
2) 分析了矿用5G网络缺少切片划分原则及带宽分配机制的现状,提出基础切片划分+基于带宽权重的传输资源分配方法,建立矿用系统及应用与切片的映射方案,将网络划分为低时延业务、大带宽业务、工业环网业务、特定业务及预留业务5类切片,并通过进一步的VPN划分,实现具体业务与网络资源之间的映射。
3) 针对矿用5G网络的业务调度时间和端到端时延2项指标进行测试,结果表明:网络切片与传统的尽力而为服务模型相比,能够实现更加高效的业务调度,在高负载场景下,平均调度时间减少了10.9%;在同一业务切片内,矿用5G网络的端到端时延平均为10.33 ms,为无人化协同控制等业务的实施提供了必要条件。
-
表 1 模块消融实验结果
Table 1 Module ablation experiment table
STMFF LTMFF mean_acc/% top1_acc/% params/106 × × 81.12 81.15 186.0 √ × 85.19 85.38 197.5 × √ 88.10 88.30 197.8 √ √ 89.30 89.62 197.2 表 2 各行为识别方法对比结果
Table 2 Comparison results of various behavior recognition methods
方法 mean_acc/% top1_acc/% params/106 C3D 89.23 88.74 598.3 SlowFast 79.58 79.23 266.2 SlowOnly 88.46 89.33 253.6 TimesFormer 54.58 55.02 657.3 TPN 68.08 68.51 703.8 TSM 73.36 73.95 186.2 本文方法 89.30 89.62 197.2 -
[1] 张培森,李复兴,朱慧聪,等. 2008—2020年煤矿事故统计分析及防范对策[J]. 矿业安全与环保,2022,49(1):128-134. ZHANG Peisen,LI Fuxing,ZHU Huicong,et al. Statistical analysis and prevention countermeasures of coal mine accidents from 2008 to 2020[J]. Mining Safety & Environmental Protection,2022,49(1):128-134.
[2] 赵小虎,黄程龙. 基于Kinect的矿井人员违规行为识别算法研究[J]. 湖南大学学报(自然科学版),2020,47(4):92-98. ZHAO Xiaohu,HUANG Chenglong. Research on identification algorithm of mine person's violation behavior based on Kinect[J]. Journal of Hunan University(Natural Sciences),2020,47(4):92-98.
[3] PIENAAR S W,MALEKIAN R. Human activity recognition using visual object detection[C]. IEEE 2nd Wireless Africa Conference, Pretoria,2019:1-5.
[4] 梁晨阳,华钢. 基于信道状态信息的井下人员行为识别方法研究[J]. 煤炭技术,2022,41(11):182-186. LIANG Chenyang,HUA Gang. Research on identification method of underground personnel behavior based on channel state information[J]. Coal Technology,2022,41(11):182-186.
[5] ZHANG Xin,ZHU Yan,DENG Li,et al. A slowfast behavior recognition algorithm incorporating motion saliency[C]. 2nd International Conference on Computer Graphics,Artificial Intelligence,and Data Processing,Guangzhou,2022. DOI: 10.1117/12.2674969.
[6] 王璇,吴佳奇,阳康,等. 煤矿井下人体姿态检测方法[J]. 工矿自动化,2022,48(5):79-84. WANG Xuan,WU Jiaqi,YANG Kang,et al. Human posture detection method in coal mine[J]. Journal of Mine Automation,2022,48(5):79-84.
[7] 党伟超,张泽杰,白尚旺,等. 基于改进双流法的井下配电室巡检行为识别[J]. 工矿自动化,2020,46(4):75-800. DANG Weichao,ZHANG Zejie,BAI Shangwang,et al. Inspection behavior recognition of underground power distribution room based on improved two-stream CNN method[J]. Industry and Mine Automation,2020,46(4):75-80.
[8] LIU Xiaoyang,LIU Jinqiang,ZHENG Haolin. Gait recognition method of coal mine personnel based on two-stream neural network[J]. Journal of Mining Science and Technology,2021,6(2):218-227.
[9] 刘斌,侯宇辉,王延辉. 基于井下轨迹数据的煤矿人员违规行为识别[J]. 煤炭与化工,2021,44(10):82-85. LIU Bin,HOU Yuhui,WANG Yanhui. Recognition of illegal behavior of coal mine personnel based on underground trajectory data[J]. Coal and Chemical Industry,2021,44(10):82-85.
[10] WANG Zheng, LIU Yan,DUAN Siyuan,et al. An efficient detection of non-standard miner behavior using improved YOLOv8[J]. Computers and Electrical Engineering,2023,112. DOI: 10.1016/J.COMPELECENG.2023.109021.
[11] 仝泽友,丁恩杰. 矿井皮带区矿工违规行为识别方法[J]. 河南科技大学学报(自然科学版),2020,41(2):40-46,6-7. TONG Zeyou,DING Enjie. Identification method of miner violation behavior in mine belt area[J]. Journal of Henan University of Science and Technology(Natural Science),2020,41(2):40-46,6-7.
[12] 李善华,肖涛,李肖利,等. 基于DRCA−GCN的矿工动作识别模型[J]. 工矿自动化,2023,49(4):99-105,112. LI Shanhua,XIAO Tao,LI Xiaoli,et al. Miner action recognition model based on DRCA-GCN[J]. Journal of Mine Automation,2023,49(4):99-105,112.
[13] 陈天,闫雨寒,徐达伟,等. 基于改进双流算法的矿工行为识别方法研究[J]. 河南科技大学学报(自然科学版),2021,42(4):47-53,7. CHEN Tian,YAN Yuhan,XU Dawei,et al. Research on miner behavior recognition method based on improved two-stream algorithm[J]. Journal of Henan University of Science and Technology(Natural Science),2021,42(4):47-53,7.
[14] WU Wenhao,HE Dongliang,LIN Tianwei,et al. MVFNet:multi-view fusion network for efficient video recognition[C]. AAAI Conference on Artificial Intelligence,Vancouver,2021. DOI: 10.48550/arXiv.2012.06977.
[15] XIE Zhao,CHEN Jiansong,WU Kewei,et al. Global temporal difference network for action recognition[J]. IEEE Transactions on Multimedia,2023,25:7594-7606. DOI: 10.1109/TMM.2022.3224327
[16] TRAN D,BOURDEV L,FERGUS R,et al. Learning spatiotemporal features with 3D convolutional networks[C]. IEEE International Conference on Computer Vision,Santiago,2015:4489-4497.
[17] FEICHTENHOFER C,FAN Haoqi,MALIK J,et al. SlowFast networks for video recognition[C]. IEEE/CVF International Conference on Computer Vision,Seoul,2019:6201-6210.
[18] LIN Ji,GAN Chuang,HAN Song. TSM:temporal shift module for efficient video understanding[C]. IEEE/CVF International Conference on Computer Vision,Seoul,2019:7082-7092.
[19] WANG Limin,XIONG Yuanjun,WANG Zhe,et al. Temporal segment networks:towards good practices for deep action recognition[C]. Computer Vision and Pattern Recognition,Amsterdam,2016:20-36.
[20] BERTASIUS G,WANG Heng,TORRESANI L. Is space-time attention all you need for video understanding?[C]. International Conference on Machine Learning,Vienna,2021. DOI: 10.48550/arXiv.2102.05095.
[21] YANG Ceyuan,XU Yinghao,SHI Jianping,et al. Temporal pyramid network for action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:588-597.
-
期刊类型引用(7)
1. 吕健华, 李洪兵, 吕鹏. 5G融合架构下煤矿采矿智能化安全管理系统优化研究. 张江科技评论. 2025(06) 百度学术
2. 王拓. 5G通信网络的安全生态构建与综合防御体系设计. 中国宽带. 2025(09) 百度学术
3. 税洁,彭超,赵金玉,逄林,袁望星,卢春雷. 基于网络切片资源分配算法的智能电力物联网研究. 电工技术. 2025(06): 106-108+112 . 百度学术
4. 张绍斌. 矿用5G综合基站设计及应用. 工矿自动化. 2024(S1): 57-60 . 本站查看
5. 鞠晨. 5G核心网在煤矿的应用研究. 工矿自动化. 2024(S1): 29-33 . 本站查看
6. 赵彦博,邹德昊,宛慧,孙蒙,刘宇丽,刘昌新. 电力信息网络切片安全部署算法研究. 自动化仪表. 2024(12): 82-86 . 百度学术
7. 王可冰,杨国伟,连昶锦. 煤矿5G网络安全机制与策略研究. 中国矿业. 2024(12): 173-179 . 百度学术
其他类型引用(3)