0.   引言

随着国内矿山智能化建设的推广，人工智能（Artificial Intelligence，AI）视频分析技术在矿山得到了广泛应用^[1-2]。目前在架构层面，矿山智能视频分析系统核心业务主要通过将井下采集到的图像数据传输至地面服务器进行处理，并将分析计算后的结果回传至井下进行声光报警联动、人员接近防护系统联动、辅助机电系统决策控制^[3-4]。但是，将地面分析计算结果回传至井下进行决策控制会导致整体响应时延高、控制实时性差的问题，因此，业界逐渐开始重视视频边缘分析计算技术的应用，通过在矿山井口、巷道等位置部署计算资源，实现对井下视频数据的实时就地分析和处理。该技术旨在有效减小数据传输时延，降低网络带宽压力，同时提高视频分析的响应速率和处理效率^[5-7]。

传统的视频边缘分析技术在矿用算法框架方面耦合性较强，大部分算子无法复用，导致调用逻辑复杂且调用成本较高，浪费大量计算资源，同时软件开发工具包（Software Development Kit，SDK）如React Native^[8]、DeepLearning4j^[9]等体积庞大，很难在边缘侧灵活部署。在识别类算法方面，通常使用YOLO系列神经网络模型^[10-12]，目标识别效率较高，但网络结构较复杂，推理计算量较大，计算资源消耗较多，不利于在计算资源有限的边缘环境部署。

本文设计了一种可边缘部署的轻量化算法框架和推理模型，并开发了矿用AI视频服务器，构建了矿用AI视频边缘计算系统架构，填补了当前煤矿井下边缘分析控制装置的空缺。将算力资源部署在井下，可提升响应速度，减少人机安全等生产事故，为矿山安全管理提供技术支持和解决方案。

1.   矿用AI视频边缘计算系统架构

矿用AI视频边缘计算系统架构如图1所示。系统由位于井下和地面的硬件和软件构成，各部分协同实现图像采集、智能分析及联动报警功能。

图  1  矿用AI视频边缘计算系统架构

Figure  1.  Architecture of mining AI video edge computing system

下载: 全尺寸图片 幻灯片

将改进YOLOv7神经网络模型及轻量化SDK框架部署在矿用AI视频服务器中，由井下摄像仪进行视频图像采集，并通过5G基站进行数据传输^[13]。矿用AI视频边缘计算设备作为计算节点，负责调度算法模型，对视频图像数据进行分析，根据分析结果向井下设备发送联动指令，进行设备联动控制，同时将分析结果上传至地面管理服务器进行视频及报警展示。利用实时流传输协议（Real Time Streaming Protocol，RTSP）等确保图像和报警信息实时存储于视频存储器中。

矿用AI视频服务器位于井下，通过下沉计算资源，实现对图像数据的即时分析和井下系统的联动控制。采用轻量化SDK框架和改进YOLOv7神经网络模型，提升边缘计算性能和响应速度。

2.   矿用AI视频边缘计算算法框架设计

2.1   算法框架轻量化设计

本文提出了一种基于注册机的SDK框架设计方法，其架构如图2所示。该框架通过独立封装所有算子，实现了在SDK运行期间将所有算法所需的算子和模型预加载至注册机中进行注册。注册过程遵循算子和模型的既定顺序，完成注册后，注册机将根据所需算法匹配相应模型，并部署相应识别算法流水线。该流水线将调用预先注册的算子，按照既定顺序对视频帧进行前处理、模型推理及后处理，获得识别结果。循环进行上述过程，直至视频的所有帧均得到处理。

图  2  基于注册机的SDK框架

Figure  2.  Software development kit（SDK） framework based on register machine

下载: 全尺寸图片 幻灯片

时间复杂度方面，传统SDK调用算子的总时间为

式中：n为调用的算子数量；$ {t_i} $为调用第i个算子所用时间。

基于注册机的SDK调用算子是并行的，因此只取单个算子最大调用时间即可，调用算子的总时间为

传统SDK依次调用算子，各算子调用时间线性叠加。而基于注册机的SDK调用算子的总时间则是由耗时最长的算子确定，因此$ T > T\mathrm{_{new}} $。

框架中的算子均已实现解耦，不存在相互依赖，因此所有识别算法能够并行执行。这种设计显著降低了运行时延，并且由于框架的轻量化特点，对存储空间的需求较低，便于实现轻量化部署。在计算资源受限的环境下，该框架能实现快速、高效识别。

2.2   推理模型轻量化设计

YOLOv7是YOLO系列中较为成熟的版本之一，其算法稳定性和可靠性已通过广泛的实验和应用场景验证。选用这一成熟模型进行改进，有助于减少基础算法层面的参数量过大、结构复杂等潜在问题，从而聚焦轻量化研究。从卷积计算和特征融合2个方面对YOLOv7神经网络进行改进。在卷积计算阶段，使用分组卷积代替原有YOLOv7卷积，减少了参数量与计算量，进一步利用恒等映射对Focus主干网络^[14]进行运算优化，大幅减少运算量，实现YOLOv7算法的整体轻量化；对特征融合阶段的PANet网络^[15]进行改进，使用引入了注意力机制的Transformer网络^[16-18]进行特征加强提取，获取更为丰富的特征信息，进一步提高检测性能。

2.2.1   卷积计算阶段

模型参数量和计算量是衡量网络轻量化的标准。在YOLOv7网络的标准卷积中，特征图的卷积核通道数与输入保持一致，各通道单独做卷积运算后再相加，其参数量为

式中：C_in为输入通道数；C_out为输出通道数；K为卷积核的宽度。

标准卷积计算量为

式中：H为特征图高度；W为特征图宽度。

对输入特征通道数C_in和卷积核分组，组数为G，G>1，每个卷积核的通道数为C_in/G，进行分组卷积后，对输出进行拼接，得到通道数为C_out的特征图。标准卷积和分组卷积结构如图3所示。

图  3  标准卷积和分组卷积结构

Figure  3.  Standard convolution and group convolution structure

下载: 全尺寸图片 幻灯片

分组卷积参数量为

分组卷积计算量为

分组卷积的参数量、计算量均为标准卷积的1/G，能够明显降低计算量，提升网络运行速度。

YOLOv7主干网络使用Foucs网络结构对特征进行切片操作，使通道数扩充了4倍，这种特征提取方法虽然能更好地提取特征，但是运算量也同步增加了4倍。大多输出特征图的输出特征很相似，只要进行简单线性变换就能得到，不需要通过复杂的非线性变换及扩充通道数来提取特征，因此对Focus网络进行了改进。改进Focus网络结构如图4所示，将通道数扩充2倍，然后使用原始特征进行恒等映射，最后混合组成新特征，这种方法在牺牲了较少精度的情况下将计算量缩减了一半，能够显著轻量化网络结构，降低对计算资源的依赖，提升计算速度。

图  4  改进Focus网络结构

Figure  4.  Improved Focus network structure

下载: 全尺寸图片 幻灯片

2.2.2   特征融合阶段

YOLOv7采用PANet进行特征融合^[19]，采用自顶向下和自底向上构建不同尺度特征层的方式进行融合。通过浅层与深层的特征融合，使得网络充分提取各个层次的特征，从而加强特征提取，得到更为丰富的特征信息。为达到更好的目标检测效果，本文改进了YOLOv7特征融合层的连接方式。在PANet的基础上，增加Transformer中的注意力机制，引入上下文信息和权重信息平衡不同尺度，通过将级联信息改成混合交叉信息，在不增加计算量的前提下融合更多特征，实现简单快速的多尺度特征融合，获取更丰富的语义信息。注意力机制可使模型将计算资源投入到对结果影响更大的特征上，提升计算速度，减少计算资源浪费，同时由于语义信息更丰富，所以推理结果更加精准。特征融合阶段网络结构如图5所示。

图  5  特征融合阶段网络结构

Figure  5.  Feature fusion stage network structure

下载: 全尺寸图片 幻灯片

3.   矿用AI视频服务器设计

3.1   整体架构

矿用AI视频服务器主体由AI模组、电源模块、5G通信模块和光电转换模块4个部分组成，服务器核心模块如图6所示。计算部分的AI模组采用国产化智能芯片，通信部分采用以太网光信号、电信号或5G信号进行数据传输，设备各部分采用本安化设计的12 V电源供电，并配备RS485、干节点等输入输出接口。

图  6  矿用AI视频服务器核心模块

Figure  6.  Core modules of mining AI video server

下载: 全尺寸图片 幻灯片

通过在煤矿井下搭建矿用5G专网或工业环网，将采集的视频原始数据分流至煤矿井下部署的矿用AI视频服务器上，并对原始数据进行边缘处理、AI分析和统计展示，同时接入矿区本地网，使数据不出内网，保障数据安全性。

3.2   矿用5G通信模块

矿用5G通信模块主要由5G基带芯片、电源、射频及通信接口、存储模块等硬件设备组成，网络框架如图7所示。通过研究智能终端业务连续性技术、低功耗射频通信技术、工业接口封装技术，对电源及射频模块部分进行本安改造，实现5G通信模块的轻量化结构设计。该模块在支持5G通信的同时兼容4G网络传输，保障摄像仪在井下5G信号较弱的情况下稳定工作。通过在矿用AI视频服务器中集成5G通信模块，将收到的视频、音频、控制信号等数据进行5G无线回传。

图  7  5G通信模块网络框架

Figure  7.  5G communication module network framwork

下载: 全尺寸图片 幻灯片

3.3   矿用AI模组设计

矿用AI模组主要采用国产化小算力结构，支持SDK二次开发及AI视频分析框架导入，芯片满足GB/T 3836系列标准下的最高性能。AI模组主要由计算核心、数据交互接口、存储单元、供电模块等组构成，如图8所示。

图  8  AI模组架构

Figure  8.  AI module architecture

下载: 全尺寸图片 幻灯片

计算核心是AI芯片的大脑，包含ARM架构处理器及神经处理单元（Neural Processing Unit，NPU），负责执行各种复杂的计算任务。这些设计能够同时处理大量数据，从而加速深度学习、机器学习等AI算法的执行。

数据交互接口负责芯片内部及其与外部世界之间的数据传输，包含USB，DVP等数据传输接口。在AI芯片中，数据交互通常涉及大量并行数据传输，因此采用高效的数据传输协议和接口，并通过高速总线、缓存等技术提高带宽和降低延迟，确保数据高效流动。

存储单元用于存储AI芯片在处理过程中所需的数据和指令。在AI芯片中，存储单元通常包括缓存（用于存储临时数据）和主存（用于存储长期数据）。

供电模块负责为AI芯片提供稳定的电源供应。在AI芯片中，为了确保电压的稳定性，供电模块采用线性稳压器或开关稳压器等电路，并对供电模块进行热设计，以确保在长时间高负载运行时不会过热。

通过将各模块融合，矿用AI模组实现了数据层面的深度融合，构建了统一的通信协议和数据计算体系，确保了矿山AI设备的高效运行和安全生产。

3.4   矿用本安保护电路设计

煤矿井下存在粉尘、高浓度瓦斯等气体，极易因火点造成爆炸，因此对井下设备的安全性有极高要求。井下设备主要分为本安型和隔爆型2种。针对矿用AI视频服务器中本安电路部分的电路板进行过流保护设计，防止突发事件导致电流过大，引发火花现象。矿用AI视频服务器本安电路部分选用稳压二极管和可控硅进行过流保护，如图9、图10所示。

图  9  12 V过流保护电路

Figure  9.  12 V overcurrent protection circuit

下载: 全尺寸图片 幻灯片

图  10  5 V电压过流保护电路

Figure  10.  5 V overcurrent protection circuit

下载: 全尺寸图片 幻灯片

矿用边缘AI计算设备通过矿用电源供电，电源输入电压和电流分别为$ {U_{{\mathrm{in}}}} = 12.5\;{\text{V}},{I_{{\mathrm{in}}}} = 1.8\;{\text{A}} $；稳压管D₁₃的稳定电压$ {V_{\rm{z}}} = 6.2\;{\text{V}} \pm 6 $%，耗散功率$ {P_{\rm{z}}} = 0.5\;{\text{W}} $；可控硅Q₁₀的额定通态电流$ {I_{\mathrm{s}}}({\mathrm{RMS}}) = 16\;{\text{A}} $；限流电阻R₂参数：2.2 kΩ，1%，0.1 W。

稳压管D₁₃的最大功率为

P₁＜P_z，因此稳压管D₁₃可评定为可靠元件。

可控硅Q₁₀最大电流为

I_A＜I_s（RMS），因此可控硅Q₁₀可评定为可靠元件。

限流电阻R₂功率为

P₂＜0.1 W，因此限流电阻R₂可评定为可靠元件。

4.   实验及现场应用测试

4.1   实验分析

在煤矿井下安装摄像仪80台，包括矿用本安型云台摄像仪20台、矿用高清隔爆摄像仪30台、矿用本安型智能摄像仪20台、矿用本安型热成像摄像仪10台。所有摄像仪通过客户终端设备（Customer Premise Equipment，CPE）接入矿用5G网络，用于井下图像实时采集与传输。安装10台矿用AI视频服务器，对井下摄像仪采集的图像进行计算与分析。在地面机房安装2台管理服务器，部署1套AI视频分析平台，构建矿用AI视频边缘计算系统架构，实现对整个系统的服务治理、配置管理、实时展示、报警提示、日志查询等功能。矿用AI视频服务器及地面管理服务器的CPU均采用RK3588芯片，GPU均采用Maleoon 910芯片，确保硬件性能一致。

4.1.1   轻量化算法对比

为验证本文提出的轻量化SDK与轻量化深度学习模型的优势，将其与传统SDK框架React Native、深度学习模型YOLOv7和MobileNet进行对比。将上述SDK框架及模型部署在矿用AI视频服务器上，对1 000张不同的井下图片进行识别，重复10次，计算不同框架与模型组合的推理时延、准确率、召回率^[20-21]。实验结果见表1。

表  1  不同框架与模型组合推理性能

Table  1.  Inference performance of different framework and model combinations

框架及模型	时延/ms	准确率	召回率
React Native+YOLOv7	58	0.903	0.899
React Native+MobileNet	50	0.912	0.901
React Native+本文模型	39	0.926	0.919
注册机SDK+YOLOv7	42	0.903	0.899
注册机SDK+MobileNet	36	0.912	0.901
注册机SDK+本文模型	28	0.926	0.919

下载: 导出CSV 

| 显示表格

由表1可发现，使用传统SDK框架React Native时，YOLOv7的推理时延最高，达58 ms，MobileNet的推理时延次之，本文模型的推理时延最低，为39 ms。采用本文提出的注册机SDK框架后，所有模型的推理时延均有所下降，特别是本文模型，其推理时延降低至28 ms，显著优于其他模型。在准确率与召回率方面，尽管本文模型展现出了最佳性能，但与其他模型相比提升并不显著，原因可能是在轻量化设计过程中牺牲了部分计算精度。因为引入了注意力机制，推理结果精度得到了一定程度的提升。

4.1.2   实时数据处理和通信响应时间

鉴于边缘端矿山作业对实时数据处理和通信的高依赖性，需评估矿用AI视频服务器在矿山环境下的响应时间，确保其实时性能满足矿山应用要求。使用PerformanceTester软件模拟不同网络负载和数据请求，连续测试48 h，每半小时记录1次数据。为了进行对比，在相同的矿山环境中对地面服务器进行测试，从而更全面地评估矿用AI视频服务器与地面服务器在矿山环境下的实时性能表现。收集的数据包括在不同时间点、不同网络负载下的响应时间，结果见表2。

表  2  不同网络负载的响应时间

Table  2.  Response latency under different network loads

网络负载/%	平均响应时间/ms
	矿用AI视频服务器	地面管理服务器
0	10	60
20	14	68
40	20	72
60	27	77
80	36	98
100	50	121

下载: 导出CSV 

| 显示表格

由表2可知，矿用AI视频服务器无负载时平均响应时间为10 ms，全负载时平均响应时间为50 ms。地面服务器无负载时平均响应时间为60 ms，全负载时平均响应时间为121 ms，平均响应时延远高于矿用AI视频服务器。

由实验结果可看出，即使在全负载情况下，矿用AI视频服务器的响应时间也远低于矿山操作的最低要求（≤100 ms），显示出良好的性能。地面服务器在全负载时已经超出了最低要求，时延较大。

4.2   工业性测试

对安装在设备列车、四盘区变电所等位置的矿用云台摄像仪性能进行测试。接入8路视频到矿用AI视频服务器及地面服务器进行“人员闯入”场景AI分析，计算并对比上下行平均带宽（上行速率和下行速率的算术平均数），如图11所示。

图  11  服务器上下行平均带宽对比

Figure  11.  Comparison of server's average upstream and downstream bandwidth

下载: 全尺寸图片 幻灯片

由图11可看出，矿用AI视频服务器支持同时分析8路视频，随着接入摄像仪数量的增加，上下行平均带宽波动较小，维持在45 Mbit/s左右。地面管理服务器的上下行平均带宽则较低，最高仅为39 Mbit/s，且随着接入摄像仪的增多，带宽逐渐降低。在整个测试过程中，矿用AI视频服务器的CPU占用率为65%，GPU占用率为70%，服务器未超负荷运行。

5.   结论

1） 设计了基于注册机的SDK框架，将所有算子进行独立封装，使得所有识别算法及模型可独立运行，从而节约大量计算资源，提升运算效率。对YOLOv7进行轻量化改进：在卷积计算阶段，使用分组卷积代替原有YOLOv7卷积，利用恒等映射对Focus主干网络进行优化，以减少运算量和轻量化网络结构；在特征融合阶段，引入Transformer中的注意力机制，以提高检测性能。

2） 研制了矿用AI视频服务器，通过集成国产化智能芯片、5G通信模块和光电转换模块，实现了煤矿井下视频数据的实时采集、AI分析处理和高速无线传输，确保了煤矿安全生产的智能化管理和数据安全性。

3） 实验结果表明：矿用AI视频边缘计算系统在各种测试条件下均表现出优异的响应性能，在部署了注册机SDK及本文模型之后，平均推理时延为28 ms，比使用React Native+YOLOv7及React Native+MobileNet的时延分别降低了52%和44%；在各种负载情况下，矿用AI视频服务器的响应时间远低于矿山操作的最低要求。

4） 现场工业性测试结果表明：矿用AI视频服务器接入8路摄像仪时，响应时延为51 ms，带宽维持在45 Mbit/s，比使用地面服务器时的时延降低了59%，带宽提高了15%，实现了对井下视频数据的实时、就地分析处理，有效降低了数据传输时延，提高了视频分析的响应速率和处理效率。