A generation method for the cutting height template of the shearer drum based on working condition triggering
-
摘要: 针对采煤机在工作过程中易受不同工况条件的影响导致滚筒调高精度低的问题，提出了一种基于工况触发的采煤机滚筒截割高度模板生成方法。对采煤机历史传感器数据进行预处理和特征提取，选择影响滚筒高度调节的截割电动机电流、截割电动机温度、俯仰角、横滚角、牵引速度5维特征数据，构建用于生成滚筒截割高度模板的补偿回声状态网络（C−ESN）模型；建立工况触发机制，将采煤机传感器实时数据输入C−ESN模型，以测试误差为判断准则，识别当前采煤机的工况为正常区域、三角煤区域或异常工况；最后，C−ESN模型生成相应的滚筒截割高度模板。当三角煤区域和正常区域测试误差都大于阈值时，采用迁移学习方法对测试误差小的截割高度模板参数进行修正，以保证异常工况下截割高度模板的精度。基于现场采煤机实际数据的实验结果表明：左右滚筒截割高度模板与实际截割高度相比，在正常区域的最大误差分别为11.47，9.96 cm，在三角煤区域最大误差分别为12.91，7.94 cm，能够满足工程实际要求；与传统回声状态网络和径向基函数网络模型相比，C−ESN模型的精度在正常区域分别提升了54%和57%，在三角煤区域分别提升了10%和69%。Abstract: In order to solve the problem of low precision in drum height adjustment caused by different working conditions during the working process of the shearer, a generation method for cutting height template of the shearer drums based on working condition triggering is proposed. The method preprocesses and extracts features from historical sensor data of the shearer, selects 5-dimensional feature data that affect the adjustment of drum height, including cutting motor current, cutting motor temperature, pitch angle, roll angle, and traction speed. The method constructs a compensated echo state network (C-ESN) model for generating drum cutting height templates. The method establishes a working condition triggering mechanism, inputs real-time data from the shearer sensors into the C-ESN model. The method uses testing error as the judgment criterion to recognize the current working condition of the shearer as normal area, triangular coal area, or abnormal working condition. Finally, the C-ESN model generates the corresponding drum cutting height template. When the testing errors in both the triangular coal area and the normal area are greater than the threshold, transfer learning method is used to correct the parameters of the cutting height template with small testing errors to ensure the precision of the cutting height template under abnormal working conditions. The experimental results based on actual data of on-site coal mining machines show that compared with the actual cutting height, the maximum errors of the left and right drum cutting height templates in the normal area are 11.47 cm and 9.96 cm, respectively, and in the triangular coal area are 12.91 cm and 7.94 cm, respectively.The results can meet the practical requirements of engineering. Compared with traditional echo state network and radial basis function network models, the precision of the C-ESN model has been improved by 54% and 57% in the normal region, and by 10% and 69% in the triangular coal region, respectively.
-
0. 引言
智慧矿山[1-2]融合了物联网、大数据和人工智能等先进技术，为提升煤矿生产的安全性、效益性和可持续性提供了全新的解决方案。基于机器视觉的煤矿安全生产监测成为智慧矿山体系中的关键组成部分[3]，通过实时感知和分析煤矿工作环境的图像数据，全面监测矿工、矿车和矿井状态，为事故的防范和管理提供有力支持。虽然基于深度卷积神经网络（Convolutional Neural Networks, CNN）的目标检测方法在不断更新优化，但将其部署在矿端的边缘计算设备上并开展实时检测任务仍是一个具有挑战性的工作，由于边缘计算设备的计算资源有限，难以支持高计算复杂度的视觉算法运行[4]，基于卷积核剪枝的网络轻量化方法为降低视觉算法的计算复杂度提供了一种有效的解决方案。
目前，网络的结构化剪枝主要是基于特定的重要性评价准则[5-7]。在准则所属的重要性评价空间中，重要性得分低于阈值的卷积核或层将被剪枝。根据是否与欧氏空间中卷积核的权重幅值直接相关，评价准则分为直接和间接重要性评价准则。直接重要性评价准则大多基于卷积核幅值的特定重要性排序策略。文献[8]选择L1范数作为衡量卷积核重要性的指标，L1范数越小，卷积核被剪枝的可能性越大。文献[9-11]使用卷积核权重幅度的L2范数或可学习缩放系数的L2范数对卷积核进行全局排序，排名越低的卷积核越有可能被剪除。文献[12]对卷积核之间的距离进行计算求和，得到“距离权重”，并以此权重作为评价卷积核重要性的指标。文献[13]提出使用中值滤波作为基本方法，卷积核越接近卷积层的几何中值，越能够被其他卷积核替代。卷积核间接重要性评价准则主要是基于对卷积核输出层面重要性的研究[14-15]。文献[16-18]利用最小化卷积核子空间与原始模型输出之间的代价函数，遍寻输出对模型性能影响最小的卷积核组并剪枝。文献[19-20]使用批量归一化层中的缩放因子作为衡量卷积核输出重要性的指标。文献[21]用泰勒展开为卷积核的输出分配门阈值，并修剪低于门阈值的输出通道和对应的卷积核。文献[22-23]提出了基于输出特征图的属性或秩排序的剪枝方法，当特征图的排名越低时，生成这些特征图的卷积核越有可能被剪枝。文献[24]提出如果第i+1层中输入特征图的子集与第i层中的原始输出近似，则应修剪生成其他图的卷积核。文献[25]提出基于特征图的相似度层次进行通道聚类，并且分组为一类的通道包含冗余通道及其对应的冗余卷积核。上述研究依据直接重要性或间接重要性评价准则来剪除冗余卷积核，都能够轻量化网络，但仍存在诸多问题：① 基于卷积核幅值的直接重要性评价准则缺乏对卷积核输出结果的约束。② 基于卷积核输出通道的间接重要性评价准则忽略卷积核信息相对重要性，易造成剪枝不彻底，无法达到最优网络结构。③ 一般的剪枝方法中各层剪枝率都与全局剪枝率保持一致[26]，不利于降低网络复杂度。
针对上述问题，本文提出了一种基于直接和间接重要性评价空间融合（An Indirect and Direct Evaluation Space Fusion，IDESF）的YOLOv5s剪枝方法。先为各可剪枝层分配基于权重重要性得分的剪枝率，实现层剪枝率差异性分配，以有效降低剪枝后的网络复杂度；再构建包含卷积核输出信息和幅值信息的融合重要性评价空间，优化中值滤波筛选冗余卷积核的流程，量化卷积核的冗余程度，有助于提升卷积核重要性评价的全面性。
1. IDESF
1.1 YOLOv5s的可剪枝层结构
YOLOv5s中2个主要的卷积模块为CBL模块和跨阶段局部（Cross Stage Partial，CSP）模块。CBL模块是由卷积层、批标准化层和激活层组合而成。CBL模块内部计算过程如下：
$$ {f_i} = {\text{conv2d}}({N_{i - 1}},{N_{i}},{s_i}){\text{*}}{F_{i - 1\_{\mathrm{out}}}} $$ (1) $$ {f_{i\_{\mathrm{out}}}} = \lambda \frac{{{f_i} - {\mu _B}}}{{\sqrt {\sigma _B^2 + \varepsilon } }} + \beta $$ (2) $$ {F_{i\_{\mathrm{out}}}} = g({f_{i\_{\mathrm{out}}}}) $$ (3) 式中：${f_i}$为第i层卷积层的输出特征图；conv2d为二维卷积操作；${N_{i - 1}}$和${N_{i}}$分别为第i−1层和第i层中的卷积核总数；${s_i}$为第i层的卷积核滑动步长；${\text{*}}$为卷积操作；${F_{i - 1\_{\mathrm{out}}}}$为第i−1层激活层的输出特征图；$ {f_{i\_{\mathrm{out}}}} $为第i层批标准化层处理后的特征图；$ \lambda $和$ \beta $为可训练的仿射变换参数；$ {\mu _B} $和$ {\sigma _B} $分别为批量为B的特征图的均值和标准差；$ \varepsilon $为极小值；g为激活层的激活函数。
由于CBL模块中卷积层的输出通道是批归一化层的输入特征图通道，所以卷积层的卷积核、批归一化层的特征图通道及下一个卷积层的输入通道可同时进行剪枝。当没有残差结构时，CBL模块中的卷积层都是可自由剪枝层。
CSP模块主要由CBL模块、残差单元模块、卷积层、批标准化层、激活层及残差结构组成，其中残差单元模块由于存在特征图通道一一对应相加的操作，在卷积层剪枝时需保证相加的2个特征图通道数一致，其具体组成如图1所示。
从图1可看出，残差模块中输出特征图Fi_cv1out与Fi0_cv2out进行通道相加，为满足要求并简化算法，本文将Fi_cv1out对应的卷积层和Fi0_cv2out对应的卷积层中的卷积核保留个数设置为相同数值，且该数值为二者中保留卷积核数较少的数值，因此，与残差单元模块相关联的卷积层视为条件可剪枝层。
1.2 基于权重重要性得分的卷积层剪枝率分配方法
文献[27-31]的研究表明，卷积核的幅值可用来衡量其特征提取能力。卷积核的幅值越接近于零，越倾向于滤除输入特征图的信息，易造成信息丢失，但网络计算复杂度的问题很容易被忽视。基于COCO数据集训练的YOLOv5s网络的60个卷积层中，各层卷积核权重中幅值较大的集中在浅层，而在中层和深层网络中的权重幅值较小。
由于特征图尺寸随着网络的加深而增大，直接增加了卷积层的每秒浮点运算数（Floating Point Operations Per Second，FLOPs），即浅层网络的计算复杂度较低，而深层网络的计算复杂度较高。因此，为了从幅值和计算复杂度2个方面衡量卷积核各权重元素的重要性，本文设计了基于层相对浮点运算$ L_i $和权重幅值$ {{M_{i,j,q}}} $的权重重要性得分$ {{\varphi _{i,j,q}}} $。
$$ {{\varphi _{i,j,q}}} = \frac{{{{{M_{i,j,q}}}}}}{{ {{L}_i}}} $$ (4) $$ L_i=\frac{O_i}{O_1} $$ (5) 式中：${{\varphi _{i,j,q}}} $为第i层第j个卷积核上的第q个权重重要性得分；${{M_{i,j,q}}} $为第i层第j个卷积核上的第q个权重幅值；O1和Oi分别为第1层和第i层的浮点运算数。
在已知全局剪枝率为P的条件下，对全体可剪枝层的卷积核权重的重要性得分进行降序排序，以获得权重重要性得分阈值$ {\varphi _{{\mathrm{thred}}}} $，所有得分低于阈值的权重认为是冗余可剪枝部分。
$$ P=\frac{\displaystyle\sum_{q=1}^Q \alpha\left(\varphi_{i, j, q} \leqslant \varphi_{\text {thred }}\right)}{Q} $$ (6) 式中：Q为所有可剪枝卷积层中权重元素的总个数；$ \alpha $为开关函数，当输入为真时，输出为1。
将阈值$ {\varphi _{{\mathrm{thred}}}} $作为每个可剪枝卷积层的权重重要性得分基准，计算层剪枝率$ {p_i} $。
$$ p_i=\frac{\displaystyle\sum_{j=1}^{N_i} \displaystyle\sum_{q=1}^{\left(N_{i-1}\right) K_i^2} \alpha\left(\varphi_{i, j q} \leqslant \varphi_{\text {thred }}\right)}{N_i\left(N_{(i-1)}\right) K_i^2} $$ (7) 式中${K_{i}}$为第i层卷积层的卷积核尺寸。
卷积核剪枝数Ei通过取整的方式确定：
$$ E_i = {\text{round(}}{N_{i}}{p_i}) $$ (8) 式中round为基于四舍五入的取整函数。
权重较小或计算复杂度较大的卷积层将被分配较高的剪枝率。
1.3 IDESF框架
IDESF框架如图2所示，首先，对YOLOv5s进行稀疏化训练，得到卷积核间接重要性因子（将仿射变换参数λi, j积核间接重要性因子）集合$ \left\{ {{\lambda _{i,j}}} \right\} $和卷积核集合$ \left\{ {{G_{i,j}}} \right\} $，$ {G_{i,j}} $为第i层的第j个卷积核，即遍历的所有目标卷积核；其次，对YOLOv5s网络的可剪枝卷积层进行剪枝率的差异性分配，得到各卷积层中待剪枝卷积核的数量；然后，将间接重要性因子引入卷积核之间的欧氏距离D中，以构建融合重要性评价空间；最后，以topk投票结果构建有向图A，并通过该有向图邻接矩阵的入度来量化卷积核的冗余程度并剪枝。
1.3.1 融合重要性评价空间的构建
首先，构造尺寸为$ {N_{i}} \times {N_{i}} $的相似度矩阵${\boldsymbol{ S}} $，用以衡量卷积层中各卷积核之间的紧密程度，$ {\boldsymbol{S}} $中的元素$ S_{j,h}^i $为第i层卷积层中的目标卷积核j与第h个卷积核之间基于距离L2范数的相对相似性系数。
$$ S_{j,h}^i=\frac{\exp(-D(G_{i,j},G_{i,h}))}{\displaystyle\sum_{g=1}^{N_i}\exp(-D(G_{i,j},G_{i,g}))} $$ (9) 式中：$ {G_{i,h}} $为第i层的第h个卷积核，即该层卷积层遍历的所有卷积核；$ {G_{i,g}} $为第i层的第g个卷积核，即除了目标卷积核之外的剩余卷积核。
其次，将文献[13]中稀疏正则化训练后的通道缩放系数作用在上层卷积层中对应目标卷积核与其他所有卷积核之间的欧氏距离上，目标卷积核$ {G_{i,j}} $和剩余卷积核$ {G_{i,g}} $之间的新空间距离$ D' $为
$$ D'\left( {{G_{i,j}},{G_{i,g}}} \right) = D\left( {{G_{i,j}},{G_{i,g}}} \right){\lambda _{i,j}}\quad 1 \leqslant g \leqslant {N_{i}} $$ (10) $ {\lambda _{i,j}} $值越大，更新后的目标卷积核$ {G_{i,j}} $与剩余卷积核$ {G_{i,g}} $之间的距离越远，越远离几何中心点；反之，$ {\lambda _{i,j}} $值越趋近于0，则该作用越可能将目标卷积核$ {G_{i,j}} $聚集到剩余卷积核$ {G_{i,g}} $周围，越接近几何中心点。
将间接重要性$ {\lambda _{i,j}} $融入直接重要性评价空间中，得到相似度矩阵：
$$ {\boldsymbol{X}}_{j,h}^i = \frac{{\exp \left( { - D'\left( {{G_{i,j}},{G_{i,h}}} \right)} \right)}}{{\exp \left( { - D'\left( {{G_{i,j}},{G_{i,g}}} \right)} \right)}} = \frac{{\exp \left( { - {{\left\| {{G_{i,j}},{G_{i,h}}} \right\|}_2}{\lambda _{i,j}}} \right)}}{{\displaystyle\sum_{g = 1}^{{N_{i}}} {\exp \left( { - {{\left\| {{G_{i,j}},{G_{i,g}}} \right\|}_2}{\lambda _{i,j}}} \right)} }} $$ (11) 遍历第i层中的所有目标卷积核$ {G_{i,j}} $，并根据其与该层卷积层遍历的所有卷积核$ {G_{i,h}} $之间的信息相似度定义相似性级别$ R({G_{i,h}}\left| {{G_{i,j}})} \right. $。
$$ R\left( {{{{G_{i,h}}} | {{G_{i,j}}}}} \right) = \displaystyle\sum_{g = 1}^{{N_{i}}} {\alpha \left( {X_{j,h}^i \leqslant X_{j,g}^i} \right)} $$ (12) 相似性级别越小，代表$ {G_{i,h}} $与$ {G_{i,j}} $的信息相似性系数越高 ，即卷积核$ {G_{i,h}} $与$ {G_{i,j}} $越相似。
最后，采用topk投票策略，第i层卷积层的每个卷积核根据相似性级别投票选出前k个与之最为相似的卷积核，形成冗余卷积核组$ {\mathit{\Omega}} _{j\_{\mathrm{top}}(k)}^i $。其中，k的初始值为第i层中卷积核待剪枝数量。
$$ {\mathit{\Omega}} _{j\_{\mathrm{top}}(k)}^i = \left\{ {{G_{i,h}}|R({G_{i,h}}|{G_{i,j}}) \leqslant k \quad h = 1,2, \cdots ,{N_{i}}} \right\} $$ (13) 1.3.2 卷积核冗余度的量化及剪枝
在融合重要性评价空间中，将卷积核视作节点，利用topk投票选出的冗余卷积核组构建有向图$ A $，并计算其邻接矩阵$ {{\boldsymbol{B}}^i}(A) $。
$$ {{\boldsymbol{B}}^i}\left( A \right) = {\left[ {m_{a,b}^i} \right]_{{N_{i}} \times {N_{i}}}} $$ (14) $$ m_{a,b}^i = \left\{ \begin{gathered} 1\quad {G_{i,g}} \in {\mathit{\Omega}} _{j\_{\mathrm{top}}\left( j \right)}^i \\ 0\quad {G_{i,g}} \notin {\mathit{\Omega}} _{j\_{\mathrm{top}}\left( j \right)}^i \\ \end{gathered} \right. $$ (15) 式中$ m_{a,b}^i$为$ {{\boldsymbol{B}}^i}(A) $中第a行第b列的元素，$ 1 \leqslant a \leqslant {N_{i}} $，$ 1 \leqslant b \leqslant {N_{i}} $，当剩余卷积核$ {G_{i,g}} $属于目标卷积核$ {G_{i,j}} $投票选出的冗余卷积核组时，这2个卷积核之间的连接关系为1，否则为0。
根据邻接矩阵计算有向图A的入度矩阵$ {{\boldsymbol{V}}^i}({\boldsymbol{B}}) $。
$$ {{\boldsymbol{V}}^i}\left( {\boldsymbol{B}} \right) = {\left[ {{v_{i,a}}} \right]_{1 \times {N_{i}}}} $$ (16) $$ {v_{i,a}} = \displaystyle\sum_{b = 1}^{{N_{i}}} {m_{a,b}^i} $$ (17) 式中$ {v_{i,a}} $为第i层卷积层的综合评价空间有向图A入度矩阵的第a列元素，代表第a个节点的入度，即该卷积核的入度。
根据卷积核入度数与该层卷积核总数一致与否，筛选出该卷积层中与其他任意卷积核信息都高度相似的冗余卷积核集合，该层冗余卷积核的数量为
$$ H_{\text{preprune}}=\displaystyle\sum_{a=1}^{N_i}\alpha\left(v_{i,a}=N_i\right) $$ (18) 当$ {H_{{\mathrm{preprune}}}} $与该层分配的待剪枝数量Ei不相等时，按步长为1增加topk投票的k值，直至$ {H_{{\mathrm{preprune}}}} $与Ei相等，完成卷积层中的冗余卷积核剪枝。
2. 实验
2.1 数据集
采用公开的重要目标检测数据集Pascal VOC[32]和本文依托的智慧矿山项目中所用的关于矿工矿车的私有数据集 2种数据集来检测本文方法的有效性。数据集Pascal VOC共有20个物体类别，包含2005—2012年举办的Pascal VOC挑战赛的数据，本文主要将VOC2007和VOC2012的数据集中的训练集Train（共11 540 张图像）进行合并训练，并用VOC2007测试集（共4 952张图像）进行测试。将私有数据集定义为Miners and Harvesters dataset （MH−dataset），该数据集中的图像来自真实作业矿场的监控视频，通过Labelimg对其进行标签设置，其中包含矿工和矿车2个类别，共包含2 819张图像，按9∶1划分为训练集和测试集。
2.2 实验设置
在2个数据集上将所提出IDESF剪枝算法与先进的轻量化模型及最新的剪枝算法如YOLOv5s−ghostnet网络、YOLOv5s_eagleEye剪枝算法[33]、YOLOv5s_Soft Filter Pruning（YOLOv5s_SFP）软剪枝算法[9]和YOLOv5s_FPGM（Filter Pruning via Geometric Median）剪枝算法[13]进行对比，其中YOLOv5s_IDESF剪枝算法与YOLOv5s_FPGM剪枝算法的对比实验可作为引入间接重要性因子的消融对比实验。
本文的大部分训练超参数都按照YOLOv5s的默认超参数设置，具体如下：① YOLOv5s方法和YOLOv5s−ghostnet方法正常训练及剪枝后各方法微调训练时的优化器为Adam，学习率为0.001，迭代训练轮数为100，batch-size为32。② YOLOv5s稀疏化训练中的规则化函数为L1范数，稀疏率初始值设置为0.000 2，稀疏化训练轮数为100，batch-size为8，优化器为Adam，学习率为0.001。③ 网络剪枝时，保证不剪枝整层的条件下，剪枝率从20%起，按10%进行递增，不使用优化器。
本文使用目标检测中常用的mAP@.5、mAP@0.5:0.95、参数量、FLOPs和帧速率作为模型评价指标，另外还增加了综合复杂度指标Co，其计算方式为FLOPs和参数量相加。
实验使用的边缘计算设备为Jetson Xavier NX，具有6核Carmel ARM CPU，GPU是384个CUDA内核配备48个Volta架构的Tensor内核，预装Ubuntu18.04操作系统。
2.3 VOC2007测试集的实验结果
为了实现最佳剪枝，首先对不同剪枝率下各轻型YOLOv5s目标检测方法的性能进行比较，以确定最优轻型YOLOv5s目标检测方法。选择YOLOv5s_FPGM和YOLOv5s_SFP与所提出的YOLOv5s_IDESF方法进行不同剪枝率下的性能比较，结果见表1。
表 1 各剪枝率下的各模型在VOC2007测试集上的性能对比Table 1. Performance comparison of each model on the VOC2007 test set at each pruning rate剪枝
率/%模型 mAP@.5 mAP@
0.5∶0.95FLOPs/109 参数
量/106帧速率/
（帧·s−1）0 YOLOv5s 0.82 0.57 2.07 7.11 29.67 20 YOLOv5s_FPGM 0.81 0.56 2.00 7.06 37.31 YOLOv5s_SFP 0.81 0.56 2.00 7.06 37.18 YOLOv5s_IDESF 0.73 0.40 1.67 5.34 28.09 30 YOLOv5s_FPGM 0.80 0.54 2.00 7.06 37.18 YOLOv5s_SFP 0.80 0.54 2.00 7.06 37.04 YOLOv5s_IDESF 0.72 0.40 1.47 4.51 28.01 40 YOLOv5s_FPGM 0.70 0.44 2.00 7.06 36.90 YOLOv5s_SFP 0.78 0.50 2.00 7.06 37.04 YOLOv5s_IDESF 0.72 0.40 1.28 3.71 32.26 50 YOLOv5s_FPGM 0.61 0.36 2.00 7.06 37.74 YOLOv5s_SFP 0.70 0.43 2.00 7.06 37.88 YOLOv5s_IDESF 0.72 0.44 1.16 2.65 31.15 60 YOLOv5s_FPGM 0.58 0.31 2.00 7.06 37.45 YOLOv5s_SFP 0.64 0.37 2.00 7.06 37.59 YOLOv5s_IDESF 0.64 0.38 0.90 2.26 32.90 70 YOLOv5s_FPGM 0.48 0.25 2.00 7.06 37.88 YOLOv5s_SFP 0.57 0.31 2.00 7.06 37.88 YOLOv5s_IDESF 0.64 0.34 0.72 1.61 36.36 80 YOLOv5s_FPGM 0.14 0.06 2.00 7.06 38.02 YOLOv5s_SFP 0.11 0.05 2.00 7.06 37.74 YOLOv5s_IDESF 0.18 0.08 0.72 1.04 35.21 从表1可看出，对YOLOv5s进行FPGM[13]剪枝，剪枝率从20%上升至50%时，mAP@.5单调递减且极差为0.2，mAP@0.5∶0.95单调递减且极差为0.2；当剪枝率从50%继续升高时，mAP@.5和mAP@0.5∶0.95损失较大。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_FPGM的计算复杂度FLOPs和参数量未降低，帧速率略有波动。对YOLOv5s进行SFP[33]剪枝，剪枝率从20%上升至50%时，mAP@.5单调递减且极差为0.11，mAP@0.5∶0.95单调递减且极差为0.13；当剪枝率从50%继续升高时，mAP@.5和mAP@0.5∶0.95损失较大。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_SFP的计算复杂度FLOPs和参数量未降低，帧速率略有波动。对YOLOv5s进行IDESF剪枝，剪枝率从20%上升至50%时，mAP@.5变化非常平稳，极差为0.01，mAP@0.5∶0.95略有提升；当剪枝率从50%继续升高时，mAP@.5和mAP@0.5∶0.95均高于同等剪枝率下的YOLOv5s_FPGM和YOLOv5s_SFP。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_IDESF的计算复杂度FLOPs和参数量均有显著降低，帧速率整体呈现波动上升趋势。YOLOv5s_IDESF在剪枝率低于50%时精度保持较平稳，在剪枝率高于50%时精度较高，但随着剪枝率的上升，模型的计算复杂度、参数量越低，帧速率波动上升。因此，从平衡模型精度和轻量化程度的角度出发，剪枝率为50%的YOLOV5s_IDESF最优。
在VOC2007测试集上，将剪枝率为50%的YOLOv5s_IDESF, YOLOv5s_FPGM和YOLOv5s_SFP，与基于结构重组的YOLOv5s−ghostnet和基于架构搜索的YOLOv5s_eagleEye进行性能对比，结果见表2。
表 2 VOC2007测试集上各模型的性能比较（剪枝率=50%）Table 2. Performance comparison of each model on the VOC2007 test set (pruning rate=50%)模型 mAP@.5 mAP@
0.5∶0.95FLOPs/
109参数
量/106Co 帧速率/
（帧·s−1）YOLOv5s 0.82 0.57 2.07 7.11 9.18 29.67 YOLOv5s−ghostnet 0.71 0.43 1.00 5.53 6.53 36.36 YOLOv5s_eagleEye 0.71 0.42 1.08 3.86 4.94 53.19 YOLOv5s_FPGM 0.61 0.36 2.00 7.07 9.07 37.74 YOLOv5s_SFP 0.70 0.43 2.00 7.07 9.07 37.88 YOLOv5s_IDESF 0.72 0.44 1.16 2.65 3.81 31.15 由表2可看出，与其他方法相比，YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均最高，分别为0.72和0.44，参数量降至最低，为2.65×106，FLOPs降低至1.16×109，排名前3，Co也降至最低。与YOLOv5s相比，YOLOv5s_IDESF的FLOPs、参数量分别降低了39%和55%，在边缘计算设备上的图像推理速度加快了5%，每秒处理图像31帧以上。
2.4 MH−dataset测试集的实验结果
在MH数据集上验证YOLOv5s_IDESF在煤矿安全生产场景中的实际应用性能。3种剪枝方法在不同剪枝率下得到的轻量级YOLOv5s性能变化情况见表3。
表 3 各剪枝率下各模型在MH−dataset测试集上的性能对比Table 3. Performance comparison of each model on the MH-dataset test set at different pruning rates剪枝
率/%模型 mAP@.5 mAP@
0.5∶0.95FLOPs/
109参数
量/106帧速率/
（帧·s−1）0 YOLOv5s 0.87 0.48 2.05 7.07 30.58 20 YOLOv5s_FPGM 0.89 0.49 1.98 7.02 32.15 YOLOv5s_SFP 0.88 0.47 1.98 7.02 31.95 YOLOv5s_IDESF 0.91 0.52 1.72 5.40 28.90 30 YOLOv5s_FPGM 0.81 0.46 1.98 7.02 31.65 YOLOv5s_SFP 0.84 0.45 1.98 7.02 34.13 YOLOv5s_IDESF 0.91 0.50 1.57 4.61 29.07 40 YOLOv5s_FPGM 0.86 0.46 1.98 7.02 33.56 YOLOv5s_SFP 0.88 0.48 1.98 7.02 32.26 YOLOv5s_IDESF 0.93 0.52 1.41 3.85 30.12 50 YOLOv5s_FPGM 0.86 0.46 1.98 7.02 34.25 YOLOv5s_SFP 0.83 0.47 1.98 7.02 33.33 YOLOv5s_IDESF 0.94 0.52 1.24 3.12 31.55 60 YOLOv5s_FPGM 0.89 0.46 1.98 7.02 34.01 YOLOv5s_SFP 0.89 0.50 1.98 7.02 33.11 YOLOv5s_IDESF 0.90 0.42 1.06 2.40 31.15 70 YOLOv5s_FPGM 0.86 0.45 1.98 7.02 35.71 YOLOv5s_SFP 0.77 0.41 1.98 7.02 34.25 YOLOv5s_IDESF 0.77 0.31 0.87 1.71 31.45 80 YOLOv5s_FPGM 0.50 0.41 1.98 7.02 34.60 YOLOv5s_SFP 0.49 0.34 1.98 7.02 33.00 YOLOv5s_IDESF 0.47 0.19 0.77 1.39 31.15 从表3可看出，在煤矿数据集上对YOLOv5s进行FPGM[13]剪枝，剪枝率从20%上升至60%时，mAP@.5呈现上下波动趋势，极差为0.08，mAP@0.5∶0.95逐渐下降，极差为0.03；当剪枝率从60%继续升高时，mAP@.5损失变大。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_FPGM的计算复杂度FLOPs和参数量未降低，帧速率略有波动。对YOLOv5s进行SFP[33]剪枝，剪枝率从20%上升至60%时，mAP@.5和mAP@0.5∶0.95呈现上下波动趋势，mAP@.5精度极差为0.05，mAP@0.5∶0.95极差为0.03；当剪枝率从60%继续升高时，mAP@.5和mAP@0.5∶0.95损失较大。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_SFP的计算复杂度FLOPs和参数量未降低，帧速率略有波动。对YOLOv5s进行IDESF剪枝，剪枝率从20%上升至50%时，mAP@.5呈上升趋势，极差为0.03，mAP@0.5∶0.95极差为0.02，精度变化非常平稳；当剪枝率从50%继续升高时，mAP@.5损失较大。就轻量程度而言，剪枝率从20%上升至80%时，YOLOv5s_IDESF的计算复杂度FLOPs和参数量均有显著降低，帧速率整体上呈现波动上升趋势。YOLOv5s_IDESF在剪枝率低于50%时，mAP@.5保持稳定单调递增，在剪枝率为50%时mAP@.5最高，但随着剪枝率的上升，模型的计算复杂度、参数量降低，帧速率波动上升。因此，从平衡模型精度和轻量化程度的角度出发，剪枝率为50%的YOLOV5s_IDESF最优。
在MH−dataset测试集上，将剪枝率为50%的YOLOv5s_IDESF、YOLOv5s_FPGM和YOLOv5s_SFP，与基于结构重组的YOLOv5s−ghostnet和基于架构搜索的YOLOv5s_eagleEye进行对比实验，结果见表4。
表 4 MH−dataset测试集上各模型的性能比较（剪枝率=50%）Table 4. Performance comparison of each model on the MH-dataset test set (pruning rate=50%)模型 mAP@.5 mAP@
0.5∶0.95FLOPs/
109参数
量/106Co 帧速率/
（帧·s−1）Baseline（YOLOv5） 0.87 0.48 2.05 7.07 9.12 30.58 YOLOv5−ghostnet 0.71 0.33 0.96 5.46 6.42 30.49 YOLOv5s_eagleEye 0.91 0.48 1.07 3.82 4.89 39.37 YOLOv5s_FPGM 0.86 0.46 1.98 7.03 9.01 34.25 YOLOv5s_SFP 0.83 0.47 1.98 7.03 9.01 33.33 YOLOv5s_IDESF 0.94 0.52 1.24 3.12 4.36 31.55 从表4可看出，与其他方法相比，YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均最高，分别为0.94和0.52，参数量降至最低，为3.12×106，计算量降低至1.24×109，排名前3，Co也降至最低。与YOLOv5s相比，YOLOv5s_IDESF的mAP@.5提高了8.1%，计算量、参数量分别降低了40%和56%，在边缘计算设备上的图像推理速度加快了3%，实现每秒处理图像31帧以上。
3. 结论
1） 在开源VOC数据集上，从平衡模型精度和轻量化程度的角度出发，剪枝率为50%的YOLOV5s_IDESF是最优的轻量级YOLOv5s。与其他方法相比，YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均最高，分别为0.72和0.44，参数量降至最低，为2.65×106，FLOPs降低至1.16×109，排名前3，综合复杂度也降至最低。与YOLOv5s相比，YOLOv5s_IDESF的FLOPs、参数量分别降低了39%和55%，在边缘计算设备上的图像推理速度加快了5%，实现每秒处理31.15帧图像。
2） 在煤矿数据集MH−dataset上，从平衡模型精度和轻量化程度的角度出发，剪枝率为50%的YOLOV5s_IDESF是最优的轻量级YOLOv5s。与其他方法相比，YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均达到最高，分别为0.94和0.52，参数量降至最低，为3.12×106，计算量降低至1.24×109，排名前3，Co也降至最低。与YOLOv5s相比，YOLOv5s_IDESF的mAP@0.5提高了8.1%，计算量、参数量分别降低了40%和56%，在边缘计算设备上的图像推理速度加快了3%，实现每秒处理31.55帧图像。
3） 未来将尝试基于其他优秀的直接型和间接型的评价准则来构建融合空间并结合其他压缩方法，例如量化和低秩分解等，以进步加速网络运行。
-
![]()
图 3 采煤机滚筒截割高度模板生成过程
Figure 3. Generating process for cutting height template of shearer drum
表 1 工况划分
Table 1 Classification of working condition
工况 截割工艺 正常区域 从机头向机尾正常割煤 三角煤区域 清浮煤 清浮煤返回 斜切进刀 斜切进刀返回 
下载: 导出CSV
表 2 807工作面部分采煤机特征数据
Table 2 Part of the characteristic data of shearer in 807 working face
时间 温度/℃ 电流/A 俯仰角/（°） 横滚角/（°） 牵引速度/（m·min−1） 2023-03-27 T03:03 75.26 84.27 −0.06 −0.49 7.14 2023-03-29 T02:06 70.17 68.23 1.28 −0.16 6.15 2023-03-29 T03:46 76.25 43.75 0.61 −0.21 8.16 2023-03-30 T01:37 71.96 80.80 2.98 −0.35 7.96
下载: 导出CSV
表 3 部分截割高度模板数值
Table 3 Partial values of cutting height template
p h1/cm h2/cm 8 265.0 175.1 28 257.9 182.7 48 233.8 179.4 68 242.8 182.7 88 240.9 179.0 108 237.6 188.6 128 241.7 182.8 146 188.9 194.9
下载: 导出CSV
表 4 不同模型正常区域滚筒高度误差对比
Table 4 Comparison of drum height errors in normal areas of different models
模型 滚筒 NRMSE MAE 最大偏差/cm RBF 左滚筒 0.566 0.039 15.356 右滚筒 0.444 0.035 25.442 ESN 左滚筒 0.383 0.025 12.815 右滚筒 0.376 0.037 22.707 C−ESN 左滚筒 0.338 0.023 9.956 右滚筒 0.164 0.016 11.471
下载: 导出CSV
表 5 不同模型三角煤区域滚筒高度误差对比
Table 5 Comparison of drum height errors in triangular coal regions of different models
模型 滚筒 NRMSE MAE 最大偏差/cm RBF 左滚筒 0.434 0.025 24.078 右滚筒 0.267 0.010 36.704 ESN 左滚筒 0.372 0.040 24.368 右滚筒 0.221 0.029 15.366 C−ESN 左滚筒 0.140 0.018 12.910 右滚筒 0.073 0.009 7.940
下载: 导出CSV
-
[1] 王国法,张良,李首滨,等. 煤矿无人化智能开采系统理论与技术研发进展[J]. 煤炭学报,2023,48(1):34-53. WANG Guofa,ZHANG Liang,LI Shoubin,et al. Progresses in theory and technological development of unmanned smart mining system[J]. Journal of China Coal Society,2023,48(1):34-53.
[2] 赵亦辉,赵友军,周展. 综采工作面采煤机智能化技术研究现状[J]. 工矿自动化,2022,48(2):11-18,28. ZHAO Yihui,ZHAO Youjun,ZHOU Zhan. Research status of intelligent technology of shearer in fully mechanized working face[J]. Industry and Mine Automation,2022,48(2):11-18,28.
[3] 梁吉智,韩培毅,郭天骏,等. 综采工作面智能化装备关键技术与应用[J]. 煤炭科学技术,2021,49(增刊1):59-62. LIANG Jizhi,HAN Peiyi,GUO Tianjun,et al. Key technology and application of intelligent equipment in fully-mechanized coal mining face[J]. Coal Science and Technology,2021,49(S1):59-62.
[4] 原长锁,王峰. 综采工作面透明化开采模式及关键技术[J]. 工矿自动化,2022,48(3):11-15,31. YUAN Changsuo,WANG Feng. Transparent mining mode and key technologies of fully mechanized working face[J]. Journal of Mine Automation,2022,48(3):11-15,31.
[5] 李旭,吴雪菲,田野,等. 基于数字煤层的综采工作面精准开采系统[J]. 工矿自动化,2021,47(11):16-21. LI Xu,WU Xuefei,TIAN Ye,et al. Digital coal seam-based precision mining system for fully mechanized working face[J]. Industry and Mine Automation,2021,47(11):16-21.
[6] 金锋,罗会强. 智能化采煤工作面运行现状及技术展望[J]. 工矿自动化,2021,47(增刊2):4-6. JIN Feng,LUO Huiqiang. Operation status and technology prospect of intelligent coal mining face[J]. Industry and Mine Automation,2021,47(S2):4-6.
[7] 张翔. 基于记忆截割的采煤机自适应截割控制研究[J]. 机械管理开发,2022,37(8):139-140,143. ZHANG Xiang. Research on adaptive cutting control of shearer based on memory cutting[J]. Mechanical Management and Development,2022,37(8):139-140,143.
[8] 黎青. 采煤机自主截割系统架构及关键技术研究[J]. 煤炭技术,2023,42(4):187-190. LI Qing. Research of structure and key technical of shearer’s autonomous cutting system[J]. Coal Technology,2023,42(4):187-190.
[9] 马腾飞. 采煤机自动调高控制系统的设计与试验研究[J]. 机械管理开发,2022,37(3):294-295,298. MA Tengfei. Design and experimental research of automatic height adjustment control system for coal mining machine[J]. Mechanical Management and Development,2022,37(3):294-295,298.
[10] 原彬,王义亮,杨兆建. 斜切工况下采煤机滚筒截割煤岩仿真分析[J]. 工矿自动化,2018,44(1):64-68. YUAN Bin,WANG Yiliang,YANG Zhaojian. Simulation analysis of shearer drum cutting coal-rock under oblique cutting condition[J]. Industry and Mine Automation,2018,44(1):64-68.
[11] 刘鹏,孟磊,王勃,等. 基于位姿测量与煤层DEM的采煤机滚筒自动调高方法[J]. 煤炭学报,2015,40(2):470-475. LIU Peng,MENG Lei,WANG Bo,et al. An automatic height adjustment method for shearer drums based on pose measurement and coal seam DEM[J]. Journal of China Coal Society,2015,40(2):470-475.
[12] 高有进,杨艺,常亚军,等. 综采工作面智能化关键技术现状与展望[J]. 煤炭科学技术,2021,49(8):1-22. GAO Youjin,YANG Yi,CHANG Yajun,et al. Status and prospect of key technologies of intelligentization of fully-mechanized coal mining face[J]. Coal Science and Technology,2021,49(8):1-22.
[13] 郭鑫. 基于电液比例控制的采煤机自动调高系统的研究[J]. 机械管理开发,2018,33(12):101-103. GUO Xin. Research on automatic height adjustment system of shearer based on electro-hydraulic proportional control[J]. Mechanical Management and Development,2018,33(12):101-103.
[14] 张远辉,刘章棋,陈虹均. 基于模糊算法采煤机滚筒高度控制性能研究[J]. 液压与气动,2020(8):82-87. DOI: 10.11832/j.issn.1000-4858.2020.08.013 ZHANG Yuanhui,LIU Zhangqi,CHEN Hongjun. Height control performance of shearer drum based on fuzzy algorithm[J]. Chinese Hydraulics & Pneumatics,2020(8):82-87. DOI: 10.11832/j.issn.1000-4858.2020.08.013
[15] 赵有生,邸晟钧,王占全,等. 改进的人工鱼群算法采煤机调高控制策略[J]. 煤炭工程,2020,52(2):136-141. ZHAO Yousheng,DI Shengjun,WANG Zhanquan,et al. Improved artificial fish swarm algorithm for height control strategy of shearer[J]. Coal Engineering,2020,52(2):136-141.
[16] 李森,李重重,刘清. 基于透明地质的综采工作面规划截割协同控制系统[J]. 煤炭科学技术,2023,51(4):175-184. LI Sen,LI Zhongzhong,LIU Qing. Planned cutting and collaborative control system for fully-mechanized mining face based on transparent geology[J]. Coal Science and Technology,2023,51(4):175-184.
[17] 杨芸. 采煤机现状与发展[J]. 工矿自动化,2017,43(1):26-28. YANG Yun. Status and development of shearer[J]. Industry and Mine Automation,2017,43(1):26-28.
[18] JAEGER H,HAAS H. Harnessing nonlinearity:predicting chaotic systems and saving energy in wireless communication[J]. Science,2004,304(5667):78-80. DOI: 10.1126/science.1091277
[19] 张昭昭,朱应钦,乔俊飞,等. 一种基于行为空间的回声状态网络参数优化方法[J]. 信息与控制,2021,50(5):556-565. ZHANG Zhaozhao,ZHU Yingqin,QIAO Junfei,et al. An echo state network parameter optimization method based on behavior space[J]. Information and Control,2021,50(5):556-565.
[20] 刘清,韩秀琪,徐兰欣,等. 综采工作面采煤机和液压支架协同控制技术[J]. 工矿自动化,2020,46(5):43-48. LIU Qing,HAN Xiuqi,XU Lanxin,et al. Cooperative control technology of shear and hydraulic support on fully-mechanized coal mining face[J]. Industry and Mine Automation,2020,46(5):43-48.
[21] ZHANG Zhaozhao,LIU Yue,ZHU Yingqin,et al. An online self-adaptive RBF network algorithm based on the Levenberg-Marquardt algorithm[J]. Applied Artificial Intelligence,2022,36(1):3794-3809.
[22] 李重重,刘清. 基于截割顶底板高度预测模型的采煤机自动调高技术[J]. 工矿自动化,2024,50(1):9-16. LI Zhongzhong,LIU Qing. Automatic height adjustment technology of shearer based on cutting roof and floor height prediction model[J]. Journal of Mine Automation,2024,50(1):9-16.
-
期刊类型引用(7)
1. 赵伟丽. 基于LSTM的东曲矿机电设备温度状态预测模型研究. 山东煤炭科技. 2025(01): 87-91 . 
百度学术
2. 王忠宾，李福涛，司垒，魏东，戴嘉良，张森. 采煤机自适应截割技术研究进展及发展趋势. 煤炭科学技术. 2025(01): 296-311 . 百度学术
3. 付翔，闫明. 煤炭开采技术的人工智能应用. 绿色矿山. 2025(01): 63-72 . 百度学术
4. 陈子千，庄德玉. MEMS加速度计在采煤机摇臂上的倾角检测研究. 电子测量与仪器学报. 2025(03): 256-265 . 百度学术
5. 李重重，姚钰鹏. 基于工况触发的采煤机滚筒截割高度模板生成方法. 工矿自动化. 2024(04): 144-152 . 本站查看
6. 张强，刘文卓，田莹，刘峻铭，顾颉颖，刘春生，陈宏伟，胡成军，陈锐，崔志芳. 滚筒采煤机发展历程及关键技术探讨. 煤炭工程. 2024(10): 48-63 . 百度学术
7. 王瑞明. 采煤机自动调高液压系统滑模控制研究. 煤炭技术. 2024(12): 228-231 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 103
- HTML全文浏览量: 32
- PDF下载量: 14
- 被引次数: 7
