0.   引言

近年来煤炭领域致力于应用人工智能技术解决智能化开采存在的难题^[1-3]。液压支架是保障工作面稳定和安全生产的重要设备，一方面，液压支架用于支撑和控制工作面顶板 ^[4-5]，为工作人员和采煤机械设备提供安全的作业空间；另一方面，液压支架的稳定推进是保证“三直”作业标准的重要前提。但受采场地质条件变化、泵站液压动力波动及自动跟机系统判断误差等复杂因素影响，液压支架在自动跟机移架过程中会出现部分支架丢架的异常状况^[6]。人工监测丢架和手动补架移架严重影响工作面自动跟机效率^[7]。因此，应用智能化技术实时感知液压支架丢架状态成为解决这一问题新的研究方向。

目前对于液压支架丢架状态智能感知及动作控制主要通过传感器等硬件装置获取液压支架状态信息，并基于感知信息实现液压支架丢架状态监测及动作控制^[8-9]。文献[10]基于多传感器信息融合技术实现液压支架状态监测，该方法通过多传感器组合管理模块，对液压支架工作参数和状态等信息进行采集，并通过决策式分析技术对数据进行处理，构建工作状态特征模型，实现工作面液压支架位移量自动监测，通过比较不同液压支架位移量获取液压支架状态。文献[11]基于多传感器构建液压支架底座的笛卡尔坐标系，再根据行程传感器获得不同液压支架间的位置关系，进而判断工作面液压支架丢架状态，并根据获取的液压支架推移距离差距实现液压支架自动调整。文献[12]提出了一种工作面自动调直装置和方法，该方法在任意相邻2个液压支架之间安装弹性杆，弹性杆与液压支架之间设有角度传感器，通过角度传感器显示角度可实现液压支架丢架异常状态自动检测。文献[13]提出了一种基于机器人的工作面液压支架直线度检测装置及方法。在首架及尾架底座上安装固定参考基准激光发射装置和机器人检测装置，机器人顺序行走并依次获取不同液压支架至机器人的激光雷达信息，对捕获的距离信息进行比较，实现液压支架丢架状态监测。上述基于不同传感器实现程序自动化监测液压支架丢架状态的方法，皆具有较高的监测精度，但在实际工程应用过程中，接触式传感器等装置容易被损坏，且随着使用时间增加，传感器误差会逐渐增大，需对传感器进行调整更换；基于传感器进行信息采集对传输设备要求较高，当数据传输发生异常时，无法收集可靠的工作面液压支架行程信息。综上，通过传感器对液压支架进行实时丢架状态监测的稳定性和可靠性较差^[14-15]。

为了提高自动跟机移架过程中的丢架检测效率，本文提出了一种工作面液压支架丢架视觉自动检测方法。首先利用YOLOv8语义分割网络对实时获取的工作面监控视频图像进行目标区域提取与划分，通过充分学习工作面图像内部特征，获取工作面液压支架底座、推杆等关键目标定位和边缘信息，对定位和边缘信息进行分析，实现工作面监控视频支架号自动识别；然后自动获取表征液压支架状态的局部图像，基于改进的ResNet50多层级残差网络对获取的局部图像进行多尺度特征信息提取并融合，再将多尺度特征映射至液压支架状态类别空间，分别得到2种液压支架状态的预测概率，基于最大概率自动识别出液压支架状态，结合支架号感知结果，实现工作面液压支架丢架状态视觉自动检测；最后开展工作面液压支架丢架状态视觉自动检测实验。

1.   液压支架丢架状态视觉自动检测系统框架

工作面液压支架丢架状态视觉自动检测系统框架如图1所示。首先利用深度学习语义分割模型对实时获取的工作面监控视频图像进行工作面目标区域（主要包括液压支架底座、推杆、线缆槽、刮板运输机、浮煤和煤壁等）划分，同时获取不同目标区域的定位信息和轮廓信息；其次提取液压支架底座和推杆等目标的定位和边缘信息并进行分析，结合当前监控摄像仪IP，获取监控视频中的支架号信息；然后根据提取出的液压支架底座和推杆的相对位置关系，确认相邻液压支架最小底座局部图像，以缩小分析范围，减少其余因素对检测结果的干扰，基于分类卷积神经网络对获取的局部图像进行特征提取，并识别出液压支架状态；最后结合支架号信息，实现工作面液压支架丢架状态视觉自动检测。

图  1  工作面液压支架丢架状态视觉自动检测系统框架

Figure  1.  Framework of visual automatic detection method for hydraulic support loss state at the working face

下载: 全尺寸图片 幻灯片

2.   工作面液压支架丢架状态视觉自动检测关键技术

2.1   工作面监控视频图像语义分割

利用语义分割网络实现工作面液压支架底座、推杆等目标区域分割，有助于排除其他区域对工作面液压支架丢架状态自动检测的干扰。常用的语义分割网络包括Mask R−CNN网络^[16]、U−Net网络^[17]、SegNet网络^[18]、DeepLab网络^[19]、Mask2former网络^[20]和YOLO系列网络^[21]等。YOLO系列网络具有很强的灵活性，能够适应各数据集和场景应用需求，具有较强鲁棒性和可迁移性；同时该网络框架采用端到端的训练模式，分割处理速度快、效率高，满足工程化实际应用需求。因此采用YOLOv8语义分割网络实现工作面目标区域自动提取，分割网络主要包括骨干网络、Anchor−Free检测头和损失函数等，如图2所示，其中k为卷积核大小；s为卷积步长；q为填充方式；n为Darknet Bottleneck层处理次数。分割骨干网络在DarkNet53网络基础上进行优化，加入空间金字塔池化模块，在不同尺度上进行池化，以适应不同大小物体提取和检测，同时融合各层级特征，获得更准确的图像特征信息；使用3个检测头分别对大中小3种尺寸的物体进行识别，通过检测框和类别预测来避免不同任务互相干扰，提高各子任务训练性能。

图  2  语义分割网络框架

Figure  2.  Semantic segmentation network structure

下载: 全尺寸图片 幻灯片

YOLOv8语义分割网络损失函数L为各子任务损失函数线性组合，主要包括分割掩码损失函数$ {L}_{{\mathrm{seg}}} $、边界框回归损失函数$ {L}_{{\mathrm{box}}} $、分类标签损失函数$ {L}_{{\mathrm{cls}}} $和动态特征损失函数$ {L}_{{\mathrm{dfl}}} $。

式中：i为样本数量；$ N $为样本总数量；$ c $为某像素点类别；M为类别总数量；$ {y}_{i} $为样本对应的真实标签；$ {p}_{ic} $为第$ i $个样本属于第$ c $类的模型预测概率；$ {I}_{{\mathrm{OU}}} $为2个检测矩形框的交并比；$ \rho $为矩形框之间的欧氏距离；$ b $和$ {b}^{\mathrm{g}\mathrm{t}} $为2个矩形框的中心点；$ l $为2个矩形框闭合区域的对角线距离；$ \alpha $为权重系数；$ \mathrm{\vartheta } $为2个矩形框相对比例一致性评价指标；$ {p}_{i} $为第$ i $个样本的模型预测概率。

在训练过程中，通过不断调整模型参数来最小化损失函数，从而提高工作面语义分割模型对不同目标区域的识别能力。

2.2   支架号自动识别

通过非接触视觉感知的工作面支架号自动识别技术,能够为丢架状态自动检测提供准确的支架号信息,便于后续基于丢架状态信息实现液压支架自动补架调整。支架号自动识别算法如图3所示。首先，基于工作面监控视频图像语义分割技术提取出液压支架线缆槽和推杆各子目标区域，并获取各目标的定位信息和轮廓边缘信息，为支架号自动识别奠定基础。其次，对提取出的各液压支架推杆区域的定位信息进行分析，根据图像中各推杆与监控摄像仪之间的视觉距离，完成各推杆的定位排序，并确认监控视频中的液压支架数目。通过该监控视频IP获取该监控摄像仪安装所在的支架号，进而根据上述位置关系和各推杆的定位排序，实现工作面监控视频图像中支架号自动识别。然后，根据语义分割网络提取出的各液压支架推杆和线缆槽的轮廓信息，确认出各推杆最靠近线缆槽边缘处的位置，即液压支架推杆前端位置。最后，可视化显示支架号信息。

图  3  支架号自动识别算法

Figure  3.  Automatic recognition algorithm for hydraulic support number

下载: 全尺寸图片 幻灯片

2.3   液压支架丢架状态识别

在工作面自动化生产过程中，采煤机完成当前割煤进程后，系统会按照事先设定好的控制逻辑进行移架。理想情况下，当液压支架完成移架动作后，相邻液压支架底座边缘线基本共线，然而受复杂地质条件、设备状况及控制系统控制精度影响，移架后可能出现相邻液压支架底座边缘线不共线的情况，即丢架异常状态。因此移架后相邻液压支架底座局部图像是判断液压支架丢架状态的重要依据。

通过工作面监控视频图像语义分割网络提取视频图像中液压支架底座和推杆的定位信息和边缘轮廓信息。根据各液压支架底座与监控摄像仪的视觉距离，依次提取出相邻2个液压支架底座并分析底座与推杆间的相对位置关系，进而判断监控视频图像中2个相邻底座是否属于同一液压支架或为相邻液压支架。若2个底座属于相邻液压支架，则根据语义分割网络获取的定位信息，提取出2个相邻液压支架的最小底座局部图像。通过分类卷积神经网络对获取的液压支架底座局部图像进行特征提取，实现液压支架丢架异常状态自动判别。

常用的分类卷积神经网络包括AlexNet分类网络^[22]、VGGNet分类网络^[23]、GoogleNet分类网络^[24]和ResNet残差卷积神经网络^[25]等。AlexNet采用多GPU并行计算的方式，通过一系列卷积、池化和全连接层提取图像中的深层特征，但对于复杂学习任务表现不佳。VGGNet使用多个较小卷积核的卷积层代替较大卷积核的卷积层，以提高网络的拟合能力，但参数量较大，计算资源消耗较高。GoogleNet采用不同尺度的卷积核进行特征提取，并通过1×1的卷积核进行降维和映射处理，有效减少了模型参数，但该网络对新任务适应性较低。ResNet残差卷积神经网络一方面引入残差学习，残差块中的跳跃连接允许梯度直接回流到更浅的特征层，有效解决了训练过程中可能存在的梯度消失问题，保证模型稳定训练；另一方面使用全局平均池化层，将每个特征图中所有像素的平均值作为该特征图的输出，提高了模型的泛化性能，因此，ResNet网络在解决梯度消失问题和提高模型性能等方面具有突出优势。

由于工作面环境复杂，监控视频图像存在较多干扰，对其进行充分特征提取需要模型具有较强的训练能力和鲁棒性能，为此采用改进ResNet50网络结构，在ResNet50网络结构加入特征融合模块，融合多个层级的特征信息，使得该模型具有更多的上下文特征信息和细节表征能力，具体网络结构如图4所示，其中C为通道数，t为Identity Block模块重复次数，ResNet50网络中包含多个残差块（Identity Block层），每个残差块内部有多个卷积层和残差连接，不同尺度的残差结构包含不同层级的特征信息。改进ResNet50液压支架丢架状态识别网络在多个残差块后加入卷积层和双线性插值层，将低分辨率特征图像生成高分辨率特征图像，便于将表征不同尺度的4个特征图进行融合，融合后的特征既包含了图像的局部细节，也包含了全局上下文信息。最后将融合后的特征映射到类别数量的维度上，获取各个类别的概率分布，最终实现融合多尺度特征信息的液压支架丢架状态自动判断。

图  4  基于改进ResNet50的液压支架丢架状态识别

Figure  4.  Recognition of hydraulic support loss state based on improved ResNet50

下载: 全尺寸图片 幻灯片

由于从工作面监控视频提取的液压支架局部图像尺寸并不统一，在输入网络进行模型训练前需将局部图像缩放至256×256，并将训练集数据随机裁剪至224×224，验证集数据中心裁剪至224×224，保证输入数据的一致性。再通过多种图像数据增强方式增加训练数据的多样性，以提高模型的学习能力。网络训练采用的损失函数为二元交叉熵损失函数，网络输出2类，标签为0或1，0代表液压支架不存在丢架情况，即正常移架状态，1代表液压支架存在丢架异常。通过计算模型预测的概率分布与真实标签的概率分布之间的差异，利用反向传播算法逐步优化网络参数和权重，模型预测的类别会逐渐接近真实标签，即改进ResNet50液压支架丢架状态识别模型性能不断提升。

3.   工作面液压支架丢架状态视觉自动检测实验

3.1   实验硬件设备

实验所用平台详细配置：操作系统为Ubuntu20.04；服务器显卡为NVIDIA GeForce RTX4090；CPU，Intel（R）Xeon（R） Gold 6258R 2.7 GHz；内存为32 GiB；训练框架为PyTorch1.10，CUDA，版本11.4。

3.2   工作面监控视频图像语义分割实验

人工标注工作面图像1 150张，标注目标区域包括液压支架底座、推杆、线缆槽、刮板输送机、浮煤和煤壁。随机对带有轮廓标签的语义分割数据集进行划分，训练集数据为920张，测试集数据为230张。利用训练数据集训练YOLOv8语义分割模型，在训练过程中逐步调整模型内部参数，使其能够充分识别工作面全场景监控图像内部特征。基于验证集数据准确地评估模型性能，以验证训练模型对于工作面多目标轮廓自动提取效果。

用YOLOv8语义分割网络进行工作面监控视频语义分割任务，输入图像尺寸为640×640；使用SGD优化器，动量参数为0.9，权重衰减因子为0.001；批处理大小为64；训练迭代次数为100；初始学习率为0.01，学习率按照指数衰减方式下降。模型训练过程中学习曲线变化情况如图5所示，将各结果曲线进行平滑，得到训练集和验证集各损失函数和性能指标的平滑变化曲线。可看出随着迭代次数的增加，YOLOv8语义分割网络训练集和验证集各损失函数逐渐减小，并趋于稳定，实现了该分割模型收敛，且在训练过程中，验证集边界框和分割掩码的预测准确率和召回率也逐步调高，说明该模型逐步深化对监控视频图像特征的理解，不仅在训练集数据上有较好表现，在未经过学习的验证集上也具有较好的泛化能力。

图  5  语义分割网络训练过程中学习曲线

Figure  5.  Learning curves during semantic segmentation network training

下载: 全尺寸图片 幻灯片

为了验证YOLOv8语义分割网络模型的分割性能，利用测试集进行验证评估，采用mAP50作为语义分割模型评价指标。mAP50表示在50%交并比阈值下多个类别的平均分割精度，该参数是衡量模型预测出的分割区域与真实分割区域之间重叠程度的重要指标。基于YOLOv8语义分割网络模型对工作面各目标区域分割精度见表1，可看出每一类工作面目标区域图像分割的 mAP50均高于95%，说明YOLOv8语义分割模型能够准确识别并分割目标区域，实现煤矿井下工作面结构化语义场景构建。工作面目标区域划分结果如图6所示，可看出6类目标区域都可清楚显示，实现了像素级别的区域划分，满足工作面目标区域动态感知与轮廓识别要求。

表  1  工作面目标区域语义分割网络实验结果

Table  1.  Experimental results of semantic segmentation network for key areas at the working face

目标区域	底座	推杆	线缆槽	煤壁	浮煤	刮板输送机
mAP50/%	97.9	98.3	99.5	98.7	98.0	95.4

下载: 导出CSV 

| 显示表格

图  6  工作面目标区域划分结果

Figure  6.  Segmentation results of key areas at the working face

下载: 全尺寸图片 幻灯片

将YOLOv8语义分割网络模型与Mask2former网络^[21]模型和Mask R−CNN网络^[17]模型进行比较，结果见表2。可看出YOLOv8语义分割模型各区域平均分割精度明显高于其他分割网络模型，更适合应用于工作面目标区域语义分割。

表  2  语义分割网络对比实验结果

Table  2.  Comparison of experimental results for the semantic segmentation network

模型	Mask2former	Mask R−CNN	YOLOv8
平均精度/%	82.4	94.7	98.0

下载: 导出CSV 

| 显示表格

3.3   支架号自动识别实验

为验证视频图像中支架号自动识别算法的有效性，首先，利用训练得到的工作面语义分割网络对收集的1 150张工作面监控视频图像进行目标区域划分，获取液压支架推杆等区域的定位信息和边缘轮廓信息。然后，确认当前摄像仪所在液压支架的支架号，通过支架号自动识别算法，自动获取各图像中支架号信息，并可视化显示于监控视频图像，识别结果如图7所示。可看出正确识别出支架号的图像数目为1 136 张，未能正确识别的图像数目为14 张，准确率为98.78%，说明该算法能够准确实现基于视觉的支架号自动识别，有效为工作面液压支架丢架状态视觉自动检测提供支架号信息。

图  7  支架号识别结果

Figure  7.  Recognition results for hydraulic support number

下载: 全尺寸图片 幻灯片

3.4   丢架状态识别实验

为实现工作面液压支架丢架状态视觉自动检测，使丢架识别模型充分提取全工作面液压支架状态特性，基于训练得到的工作面语义分割模型对补充收集的监控视频图像进行目标区域划分，并利用液压支架底座局部图像提取算法，自动获得液压支架局部图像，共2 877 张，构建工作面丢架状态识别模型样本库，局部图像像素尺寸大小介于114×114和466×466之间。每个样本均手工添加对应的真实液压支架状态标签，包括正常状态和丢架异常状态2类，其中液压支架处于丢架异常状态的图像为1 412 张，液压支架正常状态的图像为1 465 张。对上述数据按照3∶1随机划分为训练集和测试集，其中训练集液压支架局部图像样本共有2 158 张，测试集共有719 张。适当增加样本库训练集比例，有助于模型训练过程中充分学习不同工作面环境下液压支架局部图像特征信息，便于增强模型的鲁棒性和适应性。训练集中液压支架处于丢架状态的局部图像为1 059张，液压支架正常状态的局部图像为1 099张，2类训练数据比例接近于1∶1，以确保模型在训练过程中对所有类别都给予足够的关注，从而提高整体的分类性能。

改进ResNet50液压支架丢架状态识别网络模型训练参数：输入图像尺寸为224×224；训练迭代次数为40次；初始学习率为0.01，学习率下降采用分段常数衰减，每迭代25次，学习率下降为之前学习率的1/10；使用SGD优化器，动量参数为0.9，权重衰减因子为0.001。

改进ResNet50液压支架丢架状态识别网络模型和ResNet50^[26]网络模型训练过程中学习曲线变化情况如图8所示。可看出2个模型的损失函数随迭代次数增加而逐渐下降并趋于稳定，表明2个模型在训练过程中已找到一个相对较好的模型参数，能够表征图像中液压支架状态信息。

基于测试集完成液压支架丢架状态识别模型性能验证，改进前后液压支架状态识别结果如图9和表3所示，可看出改进ResNet50液压支架丢架状态识别网络模型准确率和召回率较ResNet50模型分别提高了6.54%，6.57%，说明改进ResNet50液压支架丢架状态识别网络模型能够准确实现移架后工作面液压支架状态识别，有效减少了误检和漏检的情况，且单帧图像处理时间为36 ms，满足现场工程化应用的实时性和准确性要求。

图  8  改进前后ResNet50液压支架丢架状态识别模型学习曲线变化

Figure  8.  Changes in learning curve of hydraulic support loss state recognition model using ResNet50 before and after improvement

下载: 全尺寸图片 幻灯片

图  9  改进前后ResNet50丢架状态识别网络混淆矩阵

Figure  9.  Confusion matrix of loss state recognition network using ResNet50 before and after improvement

下载: 全尺寸图片 幻灯片

表  3  改进前后ResNet50丢架状态识别精度

Table  3.  Accuracy of loss state recognition using ResNet50 before and after improvement

模型	准确率/%	召回率/%	单帧图像处理时间/ms
改进ResNet50 分类模型	99.17	99.43	36
ResNet50分类模型	92.63	92.86	36

下载: 导出CSV 

| 显示表格

将工作面液压支架丢架状态识别结果和液压支架支架号信息可视化显示于原始监控视频图像帧，实现工作面液压支架丢架状态视觉自动检测。将该算法集成应用于采煤工作面AI视频监控系统，AI视频监控系统获取的实时移架后工作面液压支架丢架状态自动检测结果如图10所示。可看出基于工作面液压支架丢架状态视觉自动检测方法可以准确判断液压支架移架后是否存在丢架异常，结合自动识别出的支架号信息，有效实现了液压支架丢架异常自动检测。

图  10  工作面液压支架丢架状态视觉自动检测结果

Figure  10.  Visual automatic detection results of hydraulic support loss state at the working face

下载: 全尺寸图片 幻灯片

4.   结论

1） 采用YOLOv8语义分割网络实现工作面目标区域识别与划分，获取关键目标的定位和边缘信息，各目标区域的分割精度均高于0.95，满足工作面场景结构化构建需求。

2） 基于语义分割算法获取工作面液压支架底座、推杆等关键目标定位和边缘信息，实现工作面监控视频支架号自动识别，识别准确率为98.78%，为工作面液压支架丢架状态视觉自动检测提供准确的支架号信息。

3） 通过分析液压支架底座和推杆的相对位置关系，提取待检测相邻液压支架底座的局部图像。利用改进ResNet50液压支架丢架状态识别网络模型对局部图像进行多尺度特征提取并融合。将融合的多尺度特征信息自动映射至液压支架状态识别所需的类别空间，获得2种液压支架状态预测概率，进而判断移架后是否存在丢架情况。工作面液压支架丢架状态视觉自动检测方法平均检测准确率达99.17%，单帧图像处理时间达到36 ms，满足采煤工作面AI视频监控系统处理丢架状态的实时性与可靠性需求。