0.   引言

带式输送机具有运输效率高、持续运输时间长等特点，在矿石等散装物料运输方面得到广泛应用^[1-2]。在实际运输过程中，因输送带质量、落料点偏差、异物等原因，可能导致输送带跑偏，从而磨损输送带，降低其使用寿命，甚至引发安全事故^[3-5]。人工定时巡检输送带跑偏故障的方法危险性高、效率低，且不具有实时性^[6-7]。机械式输送带跑偏检测方法准确性较低，且检测设备易受环境影响而出现故障^[8-10]。随着图像处理技术在工业生产场景不断应用，基于机器视觉的输送带跑偏检测方法逐渐成为研究热点^[11]。目前，该方法大多采用Canny边缘检测算法^[12]提取输送带边缘特征，如：文献[13-14]在实验室环境下使用指定阈值的Canny算法对输送带图像进行边缘检测，采用Hough算法对检测到的直线进行拟合，确定输送带边缘位置，根据检测到的边缘斜率判断是否发生跑偏；文献[15]将人为设定Canny算法阈值的方法改为通过计算最大类间方差自适应确定阈值，采用累计Hough变换方法提取边缘特征；文献[16]将传统Canny算法计算图像梯度幅值的2×2差分模板替换为在3×3邻域内对某像素点周围其他像素点施加的矢量和，然后使用文献[15]方法提取输送带边缘特征。文献[17]采用MaskRCNN卷积神经网络对输送带图像进行分割，获取ROI（Region of Interest，感兴趣区域），将Canny算法中的高斯模糊替换为选择性模糊，采用LSD（Line Segment Detector，直线提取算法）检测直线，通过中心线横坐标来判断是否跑偏。文献[18]采用优化的MobileNet SSD网络提取含输送带边缘和托辊的区域作为ROI，使用Canny算法和Hough直线变换检测输送带边缘，进而判断输送带是否跑偏。

因输送带运行环境具有复杂性和多变性^[19-21]，Canny算法检测出的输送带边缘包含难以剔除的伪边缘，现有研究无法检测出同属于真实边缘一类的伪边缘，且场景适应度差。针对该问题，对输送带监控图像进行增强处理，对Canny算法选择较大的阈值区间全面检测边缘特征点，采用直线筛选排序算法对边缘特征点进行筛选排序，将筛选出的特征点进行拟合后作为检测的输送带边缘，提高了边缘检测准确性。

1.   输送带跑偏检测原理

摄像头采集的视频流传输到边缘计算机，由其进行跑偏检测，流程如图1所示。对解码后的图像提取ROI并进行归一化，采用Canny算法提取边缘特征，并采用形态学滤波方法处理部分杂质及伪边缘。若Canny算法无法检测到边缘，则直接丢弃该帧图像，并从下一帧解码后的图像开始采取暗处理操作，选择45°和135° 2个方向同时做梯度滤波，加强该方向的边缘特征。针对经预处理或边缘加强的图像，采用直线筛选排序算法对提取的边缘特征点进行过滤筛选及拟合，得到当前状态下的实时边缘。将实时边缘的像素值与未发生跑偏时边缘像素值做差，即可得出当前跑偏的像素值。

图  1  输送带跑偏检测流程

Figure  1.  Flow of conveyor belt deviation detection

下载: 全尺寸图片 幻灯片

1.1   图像预处理

1） ROI提取。 对摄像头采集的实时视频流进行解码，得到1 920×1 080分辨率图像。在真实环境中，输送带位置、角度等会随场景变化而变化，但通常输送带区域占整张图像的70%以上。本文试验中，输送带在竖直方向上贯穿整张图像，水平方向上近似居中。输送带实际运行过程中存在磨损、边缘缺失等问题，不是对称的，如图2（a）所示。对此，以图像中心点为基点，上下分别取图像高度的15%，左右取至图像边界，将该区域作为ROI，如图2（b）所示。

图  2  输送带图像预处理结果

Figure  2.  Pretreatment results of conveyor belt image

下载: 全尺寸图片 幻灯片

2） 归一化。对提取的ROI在100~255像素值内做归一化处理，可对较暗环境起到一定的补光效果，且可在一定程度上降低光照不均对图像造成的干扰。归一化公式如下，效果如图2（c）所示。

式中：d_m为图像中第m个像素点的归一化像素值；s_m为图像中第m个像素点像素值；s_min，s_max分别为图像中最小、最大像素值。

3） 边缘特征提取。采用Canny算法提取归一化图像的边缘特征。考虑到现场存在多种光照条件，需要提取尽可能多的边缘特征，因此设置较大的阈值范围，以保证输送带边缘包含在Canny算法检测出的直线内。本文设置最低、最高阈值分别为50，200，检测效果如图2（d）所示。

4） 形态学滤波。Canny算法提取的输送带边缘信息较弱，且含有因输送带老化、污渍、异物等导致输送带对光不均匀反射而产生的斑状物干扰。对此，本文采用内核大小为3×3的形态学闭操作对提取的特征图像进行滤波处理，以增强边缘特征，效果如图2（e）所示。

1.2   图像暗处理

对于光照强度较低情况下获取的图像（图3（a）），归一化后的图像色彩更加平均，很大程度上弱化了边缘信息，致使Canny算法无法检测到有效边缘特征，如图3（b）所示。对于该类图像，本文采取暗处理操作。

图  3  输送带图像暗处理效果

Figure  3.  Processing effect of conveyor belt image in dark environment

下载: 全尺寸图片 幻灯片

1） 伽马变换。提取ROI图像（图3（c））后，采用伽马变换增强图像对比度，公式如下。

式中：r为经伽马变换后的图像；C为缩放系数；z为ROI图像；γ为伽马因子。

本文取C=1，γ=1.2，处理效果如图3（d）所示。

2） 特定方向梯度滤波。对经过伽马变换后的图像以中线为轴进行分割，左右两侧分别做45°和135°方向梯度滤波，以增强这2个方向上的边缘特征，滤波算子分别为$ \begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array} $，$ \begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 2\end{array} $，效果如图3（e）所示。

3） 边缘特征提取及形态学滤波。对于特定方向滤波后的图像，采用Canny算法提取边缘特征，再采用形态学滤波操作进一步增强特征，效果分别如图3（f）、图3（g）所示。

1.3   直线筛选排序

经上述处理后，输送带图像中的大部分块状等不规则干扰信息被滤除，但仍存在较多线状干扰。对此，提出一种基于分治搜索思想的直线筛选排序算法，以此定位输送带边缘位置。算法流程如图4所示（以输送带左边缘搜索为例），处理结果如图5所示。

图  4  直线筛选排序算法流程

Figure  4.  Flow of line filtering and sorting algorithm

下载: 全尺寸图片 幻灯片

图  5  直线筛选排序算法处理效果

Figure  5.  Process effect of line filtering and sorting algorithm

下载: 全尺寸图片 幻灯片

1） 从ROI图像中线自下而上同时向左右两侧做水平线，记录左右两侧每条水平线上第1个触碰到像素值为255的点（“撞点”）坐标，记为P₀（左边缘点）、P₁（右边缘点），左右边缘第i个满足要求的点坐标分别为（x_i0，y_i0），（x_i1，y_i1）。图像处理效果如图5（a）所示。

2） 输送带边缘通常不小于杂物造成的伪边缘，因此输送带边缘不会太短。记录P₀，P₁个数，若小于设定的阈值，则认为图像光照不均，无法直接采用Canny算法提取边缘特征，需进行图像暗处理。若此时为第1次执行输送带跑偏检测算法，则直接丢弃该帧图像，并从下一帧图像开始进行暗处理后，转至执行步骤1）。若P₀，P₁个数均大于阈值，则下一帧图像停止暗处理操作，执行步骤3）。

3） 对记录的所有P₀，P₁进行初步处理。由于输送带上的杂物、划痕等方向具有不确定性，所以检测出的伪边缘方向具有随机性。在本文试验场景中，输送带左边缘点y坐标值随x坐标值增大而增大，左边缘与水平线夹角为0~90°，右边缘点y坐标值随x坐标值增大而减小，右边缘与水平线夹角为90~180°。基于该特征，可过滤掉反斜率边缘点，保留符合特征的边缘点。

在实际环境中，检测出的输送带边缘点坐标值一般不会严格单调递减或递增，因此考虑边缘点的邻域特征。对于P₀，P₁每个点的八邻域（图6），仅需考虑3个向中心点的黑点即可。

图  6  邻域点结构

Figure  6.  Neighborhood point structure

下载: 全尺寸图片 幻灯片

遍历P₀，P₁，保留邻域内符合图6要求的点，分别记为P₂（左边缘点）、P₃（右边缘点），左右边缘第j个满足条件的点坐标分别为(x_j2，y_j2)，(x_j3，y_j3)。处理效果如图5（b）所示。

4） 若相邻2个左边缘点P₂的x坐标差值不超过4，则认为其处于局部聚合状态，即在1条线段内，反之认为其属于另一条线段。记由左边缘点P₂构成的第k条线段为l_k2。同理得到由右边缘点P₃构成的线段l_k3。

5） 因输送带运行环境复杂，实际检测出的边缘点可能出现如图7所示的情况（以左边缘为例）。

图  7  实际检测出的边缘点

Figure  7.  Actual detected edge pointss

下载: 全尺寸图片 幻灯片

图7中右侧2种情况无法构成直线。对此提出线段紧密性指标：

式中：N为线段中x坐标不重合的边缘点个数；n为线段中所有的边缘点个数。

计算l_k2，l_k3的紧密性指标，过滤ρ＜0.85的线段，并更新l_k2，l_k3。

6） 经上述处理后，l_k2，l_k3均为近似平行且斜率分别与输送带左右边缘相近的线段，且l_k2上边缘点x，y坐标值变化趋势一致，l_k3上边缘点x，y坐标值变化趋势相反。

判断l_k2，l_k3数量，若只有1条线段，当其长度大于ROI高度的70%时，认为该线段为边缘，转至步骤8）。若l_k2，l_k3多于1条，线段之间几乎保持y方向上的连续性，且各线段的起点y坐标值保持严格的单调变化趋势，x坐标值变化无规律。取l_k2起点P₄和终点P₅，其坐标分别为(x_k4，y_k4)和(x_k5，y_k5)，比较各条线段起点P₄的x坐标值，设最小值为x_end。遍历l_k2，在[x_k4，x_end]内对l_k2长度按步骤1）进行搜索。若搜索的长度大于原长度的60%，对l_k2进行更新，并更新P₄，否则重新对该线段进行标记搜索，直至到达搜索边界或起点y坐标值单调递减时对应的x坐标值单调递增。此时即将在ROI内从中线到左右边缘的搜索问题转换为在[x_k4，x_end]范围内从y_k4到y_k5进行搜索，如图8所示。搜索结果如图5（c）所示。

图  8  分治搜索流程

Figure  8.  Flow of divide and conquer search

下载: 全尺寸图片 幻灯片

对l_k3采用相同的搜索方法，标记起点x坐标最大值为x_tend，在到达搜索边界或起点y坐标值单调递减时对应的x坐标值单调递增时停止搜索。

7） 若第k+1条线段的终点x坐标值与第k条线段的起点x坐标值之差、第k+1条线段的终点y坐标值与第k条线段的起点y坐标值之差均小于5，则认为2条线段处于聚合状态，更新为1条线段，在l_k2中进行点合并，同时更新线段终点坐标为(x_(k+1)4，y_(k+1)4）。若更新后的线段只有1个起点，即只有1条线段，则转至步骤8），否则考虑线段的长度、相对位置、斜率进行排序。线段长度即点的个数，相对位置考虑线段中位数的x方向位置，斜率考虑中位数附近两端的斜率。本文中线段长度权重为0.35，相对位置权重为0.5，斜率权重为0.15，选出的得分最高的线段如图5（d）所示。

8） 排序后得分最高的线段若有多条，对其进行拟合，还原至ROI和原图像中，如图5（e）、图5（f）所示。

1.4   跑偏量计算

在ROI图像中标定未跑偏时的输送带边缘线，记录线段2个端点坐标(x₁，y₁)，(x₂，y₂)。设检测出的输送带边缘线2个端点坐标为(x₃，y₃)，(x₄，y₄)，将端点x坐标差值的平均值作为跑偏量：

计算值为负表示输送带左偏，为正表示输送带右偏。

2.   实验室试验

2.1   试验环境与样本

试验硬件环境：Jetson TX2智能边缘计算机（配备双核Denver 2 64位CPU、4核ARM A57 Compiex、8 GiB 128位LPDDR4内存）。软件环境：Ubuntu 18.04.2操作系统，OpenCv3.4.1图像处理工具。

试验样本来自广东省湛江港煤炭码头及湖北省孝感市汉川电厂。从输送带运煤监控图像中随机选取6个不同场景的各3600张图像进行测试，其中场景1为室内白天，场景2为室内晚上，场景3为室外白天晴，场景4为室外白天有雨，场景5为室外晚上晴，场景6为室外晚上有雨。

2.2   试验结果

定义实际偏移值S为偏移时输送带边缘位置像素值s₁与未偏移时像素值s₂的差值，即S=s₁−s₂；检测偏移值S₀为实际检测到的输送带边缘位置像素值s₃与未偏移时像素值s₄的差值，即S₀=s₃−s₄。认为||S−S₀||≤3，即检测像素偏移值在实际像素偏移值上下浮动不超过3时检测准确。6个场景下输送带跑偏检测结果见表1，像素偏移可视化如图9所示。

表  1  输送带跑偏检测结果

Table  1.  Conveyor belt deviation detection results

场景	检测正确数/张			检测准确率/%		漏检数/张	漏检率/%
	左边缘	右边缘		左边缘	右边缘
1	3 578	3 572		99.38	99.22	0	0
2	3 569	3 600		99.13	100	0	0
3	3 563	3 493		99.44	97.48	17	0.47
4	3 334	3 421		95.33	97.82	103	2.86
5	3 497	3 506		97.92	98.17	29	0.81
6	3 200	2 752		96.56	83.04	286	7.94

下载: 导出CSV 

| 显示表格

图  9  输送带跑偏检测像素偏移值可视化

Figure  9.  Pixel offset value visualization of conveyor belt deviation detection

下载: 全尺寸图片 幻灯片

分别选取1，10，100，1 000张图像进行实时性测试，统计图像处理时间，结果见表2。可看出每百张图像的像素偏移值计算时间为6.945 1 s，满足实际应用要求。

表  2  输送带跑偏检测算法运行时间

Table  2.  Running time of conveyor belt deviation detection algorithm

图像数/张	1	10	100	1 000
时间/s	0.073 9	0.712 5	6.945 1	69.478 6

下载: 导出CSV 

| 显示表格

边缘计算机体积小、灵活性强、响应及时，但成本较高。煤炭、铁矿石等矿物运输线输送带多，且运输距离较长，要求边缘计算机具有高处理能力。输送带跑偏检测算法处理每路视频的CPU占有率越低，则能处理越多的视频流。本文采用的边缘计算机CPU共有6个核心，处理多路视频的CPU占有率见表3。可见在同时处理4路1 920×1 080分辨率视频流情况下，CPU占有率为132%，满足实际应用需求。

表  3  边缘计算机处理视频流的CPU占有率

Table  3.  CPU occupancy of edge computer processing video flow

视频流/路	1	2	3	4
CPU占有率/%	52	81	106	132

下载: 导出CSV 

| 显示表格

3.   现场试验

采用本文方法对输送带作业图像进行现场试验，结果如图10所示，其中左右两侧红色线段为检测的输送带边缘，绿色数字为计算出的像素偏移值（偏移值为负表示左偏，为正表示右偏）。为了直观感受输送带是否跑偏，设置图像中部红色长线，并将其与检测出的输送带右边缘的上端点连接。可看出检测出的输送带边缘与实际边缘所在位置一致，偏移方向基本符合直观感受。输送带跑偏检测像素偏移值见表4。考虑现场环境具有不稳定性（如光照强度不完全恒定、船上的运输设备随水面轻微摆动等），认为检测的像素偏移值与手动标定的实际值的差值不超过3即为准确检测。从表4可看出，检测值与实际值的差值均在误差范围内，表明本文算法能够准确检测出输送带偏移情况。

图  10  输送带跑偏检测现场试验

Figure  10.  Actual operating effect diagram

下载: 全尺寸图片 幻灯片

表  4  输送带跑偏检测像素偏移值

Table  4.  Pixel offset value of conveyor belt deviation detection

场景	实际像素偏移值			检测像素偏移值			像素差
	左边缘	右边缘		左边缘	右边缘		左边缘	右边缘
1	10	15		10	15		0	0
2	2	3		2	3		0	0
3	22	22		23	22		1	0
4	−30	−29		−32	−29		2	0
5	−18	−20		−19	−21		1	1
6	−20	−21		−19	−23		1	2

下载: 导出CSV 

| 显示表格

4.   结论

1） 为了实现输送带边缘检测算法的多场景适应性，不指定Canny算法的阈值，选择较大的阈值区间提取边缘特征点，充分挖掘输送带边缘信息。除边缘线段长度、斜率外，提出以边缘点像素值关系、边缘点邻域特征和紧密性特征作为约束条件，从Canny算法检测的所有边缘特征点中筛选出输送带边缘。

2） 在边缘特征点筛选过程中，提出了一种基于分治搜索思想的直线筛选排序算法，通过获取的直线信息不断划分检测区间进行特征点筛选，再逐步拟合检测结果，作为最终检测的输送带边缘。

3） 试验结果表明，针对多种场景下的输送带监控图像，本文方法的检测误差在3个像素之内，百张图像检测时间为6.945 1 s，室内场景的检测准确率达95%以上，边缘计算机处理4路视频图像的CPU占有率为132%，满足现场输送带边缘检测准确性、实时性要求。