0.   引言

带式输送机作为矿山运输的主力装备之一，具有可连续运输、运距长、运量大、能耗低等显著优点，目前正向着高效节能驱动、运行状态精确感知、智能无人运维等方向发展^[1-2]。输送带跑偏作为带式输送机最常见的故障之一，严重时将导致输送带异常磨损或撕裂，造成财产损失^[3-4]。因此，对输送带跑偏状态进行有效监测至关重要。

输送带跑偏状态监测大多依赖于跑偏传感器实现，近年来也发展出基于机器视觉的非接触式测量方法，具体包含基于传统图像处理算法的输送带边缘直线检测^[5-8]、基于深度学习的输送带跑偏状态分类^[9]、基于目标分割的输送带区域定位和边缘分割^[10-11]、基于托辊数量识别与比对的判定方法^[12-13]等。在实际应用中，因受矿山复杂环境和运输料流的影响，利用传统图像处理算法进行输送带区域（或输送带边缘）定位时需要经过复杂的图像处理流程^[14]，涉及灰度变换阈值、边缘检测梯度阈值、霍夫变换累加器阈值、最低线段长度参数和间隙参数等大量阈值参数的确定，算法整体泛化能力和实用性较差，且易受伪边缘干扰。基于深度学习的输送带跑偏状态分类方法通过卷积神经网络将输送带运行图像分为左跑偏、右跑偏和无跑偏等基本类别^[9]，该方法在数据集制作阶段受人为主观因素影响较大。基于托辊数量识别的判定方法通过识别输送带左右两侧区域内的托辊数量判断跑偏状态，只能实现定性测量，且算法鲁棒性不足。基于目标分割的输送带区域定位和边缘分割方法借助目标分割网络实现输送带区域或输送带边缘与视野背景的分离，该方法直接、高效，但目标分割属于像素级分类，前期数据集制作工作量大。

针对上述方法存在的不足，本文提出一种基于深度学习的输送带跑偏状态智能监测方法。将输送带边缘识别和定位问题看作特定场景下的直线监测问题，提出以目标检测网络预测框的对角线特征来表征输送带边缘直线的研究思路，并基于端对端的YOLOv5目标检测网络进行输送带跑偏检测；在得到相应预测框对角顶点坐标的基础上，通过进一步计算得到输送带边缘直线方程，用于跑偏量的定量计算。

1.   方法原理

跑偏状态监测任务的核心是对输送带两侧边缘进行准确定位。以固定式监控为例，由于输送带边缘在相机视野内通常表现为较理想的直线（图1），所以跑偏状态监测任务可看作是复杂环境下直线特征的检测与提取。该任务相较于其他场景下的直线检测问题存在一定特殊性：① 场景的特殊性。对于固定式监控，相机视野范围相对固定，不存在复杂多变的背景，但存在料流的影响。② 目标的特殊性。被检测对象有且只有2条输送带边缘线，且该2条边缘线相比视野内的其他直线较长。因而，现有面向任意场景的通用直线检测算法，如Hough^[15]、直线段检测（Line Segment Detection，LSD）算法^[16]、基于三点的线段检测器（Tri-Points Based Line Segment Detector，TP−LSD）^[17]等并不完全适用。

图  1  固定监控下的输送带图像

Figure  1.  Conveyor belt image under fixed monitoring

下载: 全尺寸图片 幻灯片

针对图1所示的监控场景，本文提出一种利用目标检测网络预测框的对角线特征表征输送带边缘直线的策略，原理如图2所示。

图  2  对角线特征与输送带边缘直线耦合表征策略

Figure  2.  Diagonal features and conveyor belt edge straight lines representation strategy

下载: 全尺寸图片 幻灯片

当前以YOLO^[18]，SSD^[19]，DETR^[20]等系列算法为代表的端对端（单阶段）目标检测网络均是通过卷积神经网络或注意力机制预测图像中潜在目标的中心点坐标、宽度、高度，进而对预测框进行绘制，预测框样式通常为矩形框。对于输送带左边缘区域预测框的绘制，需要网络预测得到左边缘区域的中心点坐标（${x_{\mathrm{L}}}$,${y_{\mathrm{L}}}$）、左边缘区域预测框的宽度${w_{\mathrm{L}}}$和高度${h_{\mathrm{L}}}$；对于输送带右边缘区域预测框的绘制，需要网络预测得到右边缘区域的中心点坐标（${x_{\mathrm{R}}}$,${y_{\mathrm{R}}}$）、右边缘区域预测框的宽度${w_{\mathrm{R}}}$和高度${h_{\mathrm{R}}}$。但输送带左右边缘区域并不能直接用于表征左右边缘直线，只有当预测框的对角顶点落于输送带边缘时，可使用相应预测框的对角线特征表征输送带边缘特征。可利用左边缘区域的右上−左下对角线表征输送带左边缘，利用右边缘区域的左上−右下对角线表征输送带右边缘。在得到相关对角顶点坐标的基础上，可推导得到输送带左右边缘的直线方程。

假设输送带边缘区域相应的对角顶点分别为$a$，$b$，$c$和$d$，如图3所示，则顶点a，b，c，d的坐标分别为

图  3  预测框的对角顶点命名规则

Figure  3.  Naming rules for diagonal vertices of prediction boxes

下载: 全尺寸图片 幻灯片

输送带左边缘线${l_{ab}}$、右边缘线${l_{cd}}$表达式分别为

在得到输送带左右边缘区域相应预测信息的基础上，可通过联立式（1）—式（6）得到输送带左右两侧边缘直线方程。进一步，如图3中下图所示，假设相机对中安装，则只需判断2条输送带边缘线距视野边界的距离即可实现相应跑偏量计算。

假设存在一条水平虚拟参考线，其与$x$轴的距离为$\Delta y$。该虚拟参考线与视野的左侧边界相交于${L_0}$点，与视野的右侧边界相交于${R_0}$点，与输送带左边缘线${l_{ab}}$相交于${L_1}$点，与输送带右边缘线${l_{cd}}$相交于${R_1}$点，则输送带距离视野左右两侧边缘的距离分别为

式中$W$为图像宽度方向分辨率。

通过设置跑偏阈值$\tau $，实现对输送带跑偏状态的判断，判断规则：若${D}_{{L}_{0}{L}_{1}}-{D}_{{R}_{0}{R}_{1}}＞ \tau $，则为跑偏；若${D}_{{L}_{0}{L}_{1}}-{D}_{{R}_{0}{R}_{1}}\leq \tau $，则为正常。

根据跑偏定义，输送带的跑偏量应为输送带中心线偏离输送机中心线的距离。因此，在固定监控视野下，假设相机对中安装，则计算所得数值实为跑偏量的2倍。同时，由于相机在倾斜拍摄下镜头的放大倍率非定值，沿相机倾斜方向、视野宽度方向非线性减小，所以依据式（7）、式（8）计算所得跑偏量仅可用于判定跑偏状态，不适用于跑偏量测量值与真实值间的精确转换。

跑偏阈值$\tau $的具体设定方法可分为以下2种：

1） 手动筛选数据集中输送带跑偏图像，通过本文方法对跑偏图像中的输送带边缘进行识别并计算跑偏量，将跑偏量计算结果设置为阈值并用于后续自动检测。

2） 任选数据集中1张图像，使用画图工具绘制1条平行于输送带左（右）边缘的倾斜直线作为输送带运行边界，并量取所绘制边界与图像边界在水平虚拟参考线上的距离（像素），计算得到跑偏阈值。

本文所提的直线检测策略无需对通用目标检测网络中特征提取部分、预测部分进行任何改进，仅需要修改相应的绘图（预测框）代码。以YOLOv5模型为例，仅需对plots.py文件中的save_one_box函数按如上策略进行再定义。

2.   数据集建立

基于中国矿业大学开源数据集CUMT−BELT^[21]开展数据标注和验证工作。筛选了300张图像用于输送带跑偏数据集制作，将图像分辨率调整为416×416，使用LabelImg软件进行标注。标签类别为2类，分别是left_edge（左边缘）和right_edge（右边缘）。标注过程中，严格保证标注框的相应对角线落于输送带边缘，部分样本数据标注样式如图4所示。

图  4  部分样本数据标注样式

Figure  4.  Partial sample data annotation style

下载: 全尺寸图片 幻灯片

将数据集按照8∶1∶1的比例划分为训练集、验证集和测试集，网络训练时选择默认超参数和损失函数，设置总训练步数（Epoch）为100 ，批尺寸（Batch size）为8。硬件平台配置：Windows 10操作系统，CPU为i5−12400F，GPU为RTX3080−10G，Pytorch版本为1.8，Python版本为3.6.13。

观察图4中输送带位置与托辊架形态，可发现相机视野的中心线近似与输送带中心线保持对中，但托辊架处于倾斜状态，这说明CUMT−BELT数据集在数据采集过程中并未保证相机视野的中心线与输送机中心线的严格对中，相机处于倾斜且偏置的状态。

3.   实验分析

3.1   算法检测精度与速度

为验证本文所提策略的有效性，使用YOLOv5系列网络（s，m，l，x）对该策略进行了验证。YOLOv5系列网络在数据集上的训练损失（分类损失、置信度损失与回归损失之和）和检测精度（mAP@0.5）迭代情况如图5所示。可见，YOLOv5模型在本文数据集上表现出良好的收敛性，其检测精度随着训练的进行逐步逼近1.0。需要强调的是，该检测精度综合表征分类精度和定位精度，即网络对于左边缘区域和右边缘区域的检测结果，检测精度接近1.0则表示检测结果与所标注结果之间的误差趋近于0，网络检测效果良好。

图  5  训练过程中的损失与检测精度

Figure  5.  Loss and detection accuracy during training

下载: 全尺寸图片 幻灯片

YOLOv5损失函数中，回归损失CIoU综合考量了检测框与真实框之间的“距离”，即检测框与真实框间的交并比、检测框与真实框中心点间的距离、检测框与真实框最小外接矩形的对角线距离。随着网络训练的进行，损失值下降，意味着检测框与真实框之间的“距离”越来越小，即检测框与真实框之间的交并比越来越大，中心点距离越来越小，最小外接矩形的对角线距离越来越小。

对于本文所提固定监控下的输送带跑偏状态监测方法，损失值趋近于0表示输送带左右边缘检测框与标注框之间的“距离”趋近于0。在标注过程中严格保证标注框的相应对角线落于输送带边缘线上，因而在损失值趋近于0时，检测框的相应对角线也会落在输送带边缘线上。

用每秒能够处理的图像帧数衡量算法的实时性。在本文所配置的硬件平台上对网络的检测速度进行测试，YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x的检测速度分别为148，122，93，75帧/s，说明所提算法实时性极好。

3.2   检测结果可视化

观察图4所示的输送带形态可发现，料流边界在颜色、形态等方面与输送带边缘存在较高相似度，可能对算法的识别精度产生潜在干扰。本文以结合深度学习和经典霍夫变换的算法（Deep Hough Transform，DHT）作为对比，验证结合直线检测策略的YOLOv5s模型的抗干扰能力。

3.2.1   输送带边缘识别效果

结合直线检测策略的YOLOv5s模型对测试集中图像的检测效果如图6所示。图示2条直线分别为输送带的左右边缘，直线上方数字表示两侧边缘直线的斜率。在相机对中安装的条件下，可通过比较2个斜率（绝对值）的大小直接判断输送带倾斜情况。

图  6  YOLOv5s对输送带边缘的检测效果

Figure  6.  Detection performance of YOLOv5s on conveyor belt edges

下载: 全尺寸图片 幻灯片

作为对比，相同工况下DHT对输送带边缘的检测效果如图7所示。可见，DHT能有效识别图像中输送带边缘，但也对支柱的边缘直线进行了检测，且DHT对输送带边缘的识别受到了料流边界的干扰。 而结合直线检测策略的YOLOv5s模型有一定的抗视野内其他直线干扰的能力，尤其是样式十分相似的料流边界。

图  7  DHT算法对输送带边缘的检测效果

Figure  7.  Detection performance of DHT algorithm on conveyor belt edges

下载: 全尺寸图片 幻灯片

3.2.2   跑偏量计算与分析

在对输送带边缘进行有效识别的基础上，进一步提取、利用输送带边缘直线的特征参数是实现跑偏状态自动判别的基础。设置图像高度为416像素，跑偏阈值为20像素，输送带跑偏数值计算和状态判定结果如图8所示。其中，offtrack表示输送带状态为跑偏，no_offtrack表示输送带未发生跑偏，后面相应的数字为跑偏量计算数值，蓝色数字则为算法检测到的对角顶点坐标。

图  8  输送带跑偏数值计算和状态判定结果

Figure  8.  Misalignment calculation and state determination results for conveyor belt

下载: 全尺寸图片 幻灯片

结合图3及跑偏判断规则，对图8（a）中的判定结果进行分析。检测得到输送带左边缘线与图像底边的交点（即图3中${L_1}$点）横坐标约为78像素，输送带右边缘线与图像底边的交点（图3中${R_1}$点）横坐标约为372像素，则输送带左右边缘距离相机视野边缘的距离分别为78像素和44像素，二者之间的差值为34像素，与图示跑偏计算结果31.261像素相差不大，二者之间存在差值的原因：① 所绘制输送带边缘线存在线宽；② 图8（a）中所示坐标并非严格的交点坐标；③ 图示坐标进行了取整显示。

3.2.3   检测结果分析与优化方案

算法对图8（b）、图8（d）的跑偏状态判定结果为no_offtrack（未跑偏），与主观跑偏状态判定结果相悖，这是因为CUMT−BELT数据集中的输送带图像并未保证相机视野的中心线与输送机中心线的严格对中，即相对于跑偏判定参照标准，相机安装处于倾斜且偏置的状态。

为提高相机安装的对中性，保证所提算法的有效可靠，本文提供一种相机对中安装方案。在相机安装过程中，可通过在近视野端、远视野端分别取机架中点验证的方式确保安装的对中性，如图9所示。以近端、远端的机架中心为参考点（图9（a）中的点1、点2），在相机视野内添加水平和竖直的2条平分线并实时显示（图9（b）），通过手动调整相机角度和位置，使点1和点2落在竖直线上，同时使其满足视野水平条件。调整后的图像如图9（c）所示，检测结果如图9（d）所示。

图  9  相机对中安装过程及检测结果

Figure  9.  Camera alignment installation process and detection results

下载: 全尺寸图片 幻灯片

图9（d）中，图像分辨率为1 557×1 170，即图像高度为1 170像素，设跑偏阈值为80像素，检测出的输送带左边缘直线两端点坐标分别为（666，78）和（128，825），右边缘直线两端点坐标分别为（926，102）和（1 445，988）。依据式（7）和式（8），左右两边缘直线与图像底部交点坐标分别为−120.47像素和1 552.02像素，跑偏量计算值为125.45像素，大于设定的跑偏阈值，因此判定结果为跑偏。图示跑偏量为130.47像素，计算及判断结果相对可靠。

本文所提直线检测策略能有效识别输送带两侧边缘，实现跑偏状态量化显示和跑偏状态判定。相比于传统的图像处理方法，本文方法无需经过复杂的边缘提取、直线拟合等操作，基于改进YOLOv5模型能够实现端对端的直线检测，同时，该方法可有效避免图像中其他潜在直线（如料流边界、机架边界等）对边缘检测效果的影响。

3.3   特征层可视化

使用梯度加权类激活映射Grad Cam技术将训练所得YOLOv5模型的第23层（最后一层）特征进行可视化，结果如图10所示。可看出，用于输送带左右边缘区域分类的特征相对集中，重心大致分布在所标注的区域内，这能为训练算法的可靠性及高精度预测提供一定的可解释性。

图  10  网络预测所用特征层的可视化

Figure  10.  Visualization of feature layers used in network prediction

下载: 全尺寸图片 幻灯片

4.   结论

1） 将输送带跑偏状态监测问题可看作是复杂环境下的直线特征检测与提取问题，提出以通用目标检测网络预测框的对角线特征来表征输送带边缘直线的策略。

2） 结合直线检测策略和YOLOv5模型完成输送带边缘直线检测和跑偏状态判定。YOLOv5模型在CUMT−BELT数据集上的检测精度达99%以上，检测速度最快达148帧/s，实时性好；YOLOv5模型对料流边界、支柱等其他直线的抗干扰能力强于DHT算法。

3） 提出了一种利用近端、远端视野分别取对中验证的相机对中安装指导方案，为工程实际中的相机对中安装提供方案参考。

4） 未来将尝试借鉴CornerNet网络的思路，直接通过对相应目标的顶点进行检测，以进一步提高算法的精度和泛化能力，确保预测框的顶点始终与输送带边缘保持较高精度的耦合。