0.   引言

作为矿井运输的咽喉要道，矿井提升机在煤矿生产中起着重要作用，钢丝绳是矿井提升机关键的动力传递和柔性承载部件，其稳定性、可靠性对提升安全至关重要^[1-2]。断丝和表面磨损是钢丝绳外观缺陷的2种典型表现，其诱因主要包括正常磨损、磨料磨损、机械损伤、旋转损伤、热损伤、弯曲疲劳等。正常磨损是指钢丝绳在使用过程中由于正常的摩擦和拉伸作用而出现的表面磨损，正常磨损不可避免，但可通过合理的使用和维护进行缓解。磨料磨损是指钢丝与其他硬物接触时硬物对钢丝绳表面的刮擦产生的磨损，磨料磨损可通过避免钢丝绳与硬物的接触来减少。机械损伤是由于机械力的作用导致的钢丝绳损伤，如断丝、扭曲、拉伸、压缩等，机械损伤可导致钢丝绳的结构破坏，从而影响其承载能力和使用寿命。旋转损伤是由于钢丝绳的旋转运动而导致的损伤，旋转损伤通常发生在钢丝绳的弯曲部分，使绳体变形。热损伤是由于摩擦和高温作用导致的钢丝绳损伤，热损伤可导致钢丝绳表面氧化、熔化或变形。弯曲疲劳是由于反复弯曲钢丝绳而导致的疲劳形变问题^[3-5]。

长期以来，对矿井提升机钢丝绳的检查工作主要依靠人工进行，通过慢速状态下肉眼观察、裸手捋摸及游标卡尺测量钢丝绳尺寸进行查绳，检验质量受人为因素影响，稳定性差，效率低下，占用了大量人力和检修时间，无法保证对钢丝绳状态检测的精确性。相比之下，电磁法、视觉检测法等无损检测方法更为便捷、高效。刘钰等^[6]设计了一种基于隧道磁阻传感器的矿用钢丝绳断丝缺陷检测系统，对不同程度断丝缺陷均可准确识别，但钢丝绳直径检测范围受限。田劼等^[7]通过Ansoft Maxwell仿真软件对检测磁通回路设计进行了改进，增强了漏磁通信号特征，提高了钢丝绳损伤检测的准确性，但该方法仅用于钢丝绳探伤仪的功能优化。叶辉等^[8]基于三轴磁记忆阵列传感器构建了矿用钢丝绳在线检测系统，采用集合经验模态分解降噪方法，提高了钢丝绳断丝检测准确率，但其他缺陷检测未经验证。李金华等^[9]基于YOLOv3算法设计了一种钢丝绳缺陷检测系统，系统检测速度较快，但对图像采集质量有一定要求。姜泓宇等^[10]提出了一种基于图像特征融合和改进鲸鱼算法优化支持向量机的钢丝绳缺陷检测法，钢丝绳断丝检测准确率较高，但对其他缺陷类型的检测有待验证。刘晓磊等^[11]利用改进YOLOv5模型设计了一套矿用钢丝绳缺陷检测装置，钢丝绳缺陷识别准确率较高，但仅限于单根钢丝绳检测。综上所述，电磁法受传感器精度影响，检测准确率有待提高，视觉检测法对钢丝绳图像采集质量有一定要求，一种方法往往只适合单一缺陷或单根钢丝绳检测，需对相关方法进行改进。

针对多根钢丝绳检测部署难度大、钢丝绳图像采集质量较低、视觉检测法适应性差、准确性不高等问题，本文提出一种矿井提升机钢丝绳外观缺陷视觉识别方法。首先构建矿井提升机钢丝绳在线监测系统；其次采集钢丝绳图像，建立钢丝绳图像数据集，并通过数据增强、图像规范化、图像去噪等对数据进行预处理；然后选取主要特征，以卷积神经网络（Convolutional Neural Network，CNN）为基础，构建基于YOLOv5s的缺陷检测模型、训练模型；最后完成部署应用，对模型应用效果进行分析。

1.   矿井提升机钢丝绳在线监测系统

矿井提升机钢丝绳在线监测系统分为地面和井下2个子系统，如图1所示。地面子系统主要包括地面控制中心、工作站（含运动机构控制器及驱动器、图像处理单元、交换机等）、移动巡检平台（含移动巡检装置、精密导轨等）、动力和传输线缆等。井下子系统主要包括本安高速相机、隔爆补光灯、通信线缆等。

图  1  矿井提升机钢丝绳在线监测系统组成

Figure  1.  Online monitoring system composition of mine hoist steel wire rope

下载: 全尺寸图片 幻灯片

地面控制中心是整个系统的核心，负责数据统一传输处理，并完成集中监控。运动机构控制器及驱动器用于控制提升机和移动巡检平台，根据控制中心的指令调整提升机、检测相机的运动状态。图像处理单元用于对相机（地面相机检测首绳图像、井下相机检测尾绳图像）获取的图像信息进行处理和分析，检测钢丝绳的损伤和异常情况。交换机则用于连接系统中的各个设备，实现数据的传输和共享。

2.   图像信息采集和预处理

图像信息采集由地面移动巡检平台和井下本安高速相机完成，移动巡检平台如图2所示。移动巡检装置由线扫相机、高速相机、平行光源及灯光控制单元等组成。其中，4台线扫相机保持固定距离，采用对角安装方式，可提供500～8 000像素/线条的分辨率，采集速率最高能达67 000个线条/s，用于捕捉地面首绳不同侧面或不同部位的缺陷、形状等数据，通过数据融合得到首绳全方位的图像信息。平行光源提供均匀照度。高速相机负责拍摄高速连续图像，用于进行钢丝绳捻距、断丝、锈蚀等外观缺陷的检测。2套平行对称的移动巡检装置运行于精密导轨上，并通过软件编程和机器学习方式在检测区域自动移动，将检测单元移动至待检测的钢丝绳预设位置进行检测，检测精度较高。2台本安高速相机采用对向安装方式，同步拍摄以获取尾绳全方位的图像信息。由于井下环境复杂，在配置本安高速相机的基础上，需对钢丝绳进行补光操作，从而得到较高质量的图像。

图  2  移动巡检平台

Figure  2.  Mobile inspection platform

下载: 全尺寸图片 幻灯片

实际检测过程中，提升机钢丝绳运行速度一般控制在0～4.0 m/s，当钢丝绳移动速度较快时，图像可能出现拖影，多相机拍摄的图像也会重叠，具体解决方法如下。

1） 调节曝光时间。减少曝光时间可降低因钢丝绳移动而造成的模糊，但过短的曝光时间会使图像亮度降低。

2） 使用闪光灯。同步启动1个或多个强力闪光灯与相机快门，以提供足够的亮度，捕捉高速移动中的钢丝绳。

3） 调整触发方式。确保所有相机都能精确同步触发，以避免由于不同步导致的图像重叠问题。

4） 优化采集间隔。调整各相机之间采集图像的时间间隔，使每个相机捕获到不同位置上无重叠部分的清晰图像。

5） 使用全局快门相机。全局快门能同时曝光所有传感器的像素点，有效避免滚动条纹效应，减少因钢丝绳高速移动产生的拖影。

6） 图像处理算法。通过图像处理算法（图像拼接、去模糊算法、运动补偿算法等）消除或减少拖影、图像重叠，提高图像质量。

考虑井下粉尘影响、相机镜头易受污染、光照不均、钢丝绳高光反射等问题，采用基于Retinex算法的图像去噪方法和基于同态滤波的图像去噪方法^[12]对钢丝绳图像进行去噪处理。

Retinex算法以色感一致性（颜色恒常性）为基础，使图像边缘和颜色对比得到自适应增强。Retinex算法的处理过程：假设图像s₁（x,y）可分解为入射分量i₁（x,y）和反射分量r₁（x,y），其中x为图像坐标系的水平坐标，y为图像坐标系的垂直坐标。

对式（1）两侧进行对数变换，得

将式（2）进行移项变换，得

在算法中输入一幅钢丝绳真实图像，高斯模糊参数设为[15，80，200]，图像亮度阈值裁剪下限low_clip 为0.01，裁剪上限high_clip为0.99，分别经过单尺度Retinex（Single Scale Retinex，SSR）、多尺度Retinex（Multi-Scale Retinex，MSR）、带色彩恢复的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）、色彩增益加权的多尺度Retinex（Automated Multi-Scale Retinex with Color Restoration，AutoMSRCR）、基于颜色保持的多尺度Retinex（Multi-Scale Retinex with Chromaticity Preservation，MSRCP）算法^[13]处理，结果如图3所示。场景1是正常光照下钢丝绳疲劳断丝，场景2是低照度下钢丝绳显著断丝，场景3是低照度下钢丝绳轻微断丝，场景4是低照度下钢丝绳多点磨损断丝。由图3可看出，SSR处理结果亮度过低，MSRCR，MSRCP处理结果亮度过高，MSR，AutoMSRCR处理结果亮度较均衡，纹理较清晰。

图  3  Retinex算法处理结果

Figure  3.  Processing results of Retinex algorithms

下载: 全尺寸图片 幻灯片

同态滤波法可有效增强图像的对比度，而不损失纹理细节^[14-15]。同态滤波常用指数滤波器和高斯滤波器2种滤波方法，假设一幅图像s₂（x,y）可分解为入射分量i₂（x,y）和反射分量r₂（x,y），对输入图像进行对数变换，得

对式（4）两边进行傅里叶变换，得到变换后的图像$s_2'\left( {x,y} \right)$与入射分量$i_2'\left( {x,y} \right)$和反射分量$r_2'\left( {x,y} \right)$的关系式：

采用滤波器$H(x,y)$对$s_2'\left( {x,y} \right)$进行频率滤波：

对式（6）进行傅里叶反变换，得到变换后的图像$s_2''\left( {x,y} \right)$与入射分量$i_2''\left( {x,y} \right)$和反射分量$r_2''\left( {x,y} \right)$的关系式：

对式（7）两边取e的指数幂，得到同态滤波结果$t(x,{\text{ }}y)$：

在算法执行过程中，输入一幅钢丝绳真实图像，对场景1−场景4图像进行指数滤波、高斯滤波处理并对比，结果如图4所示。可看出经过指数滤波处理后的图像纹理增强，但图像稍显模糊，经过高斯滤波处理后的图像对比度增强，且高光区域得到有效抑制，去噪效果较为显著。

图  4  同态滤波算法处理结果

Figure  4.  Processing results of homomorphic filtering algorithms

下载: 全尺寸图片 幻灯片

上述图像预处理结果表明，基于 Retinex算法和基于同态滤波的图像去噪方法能在一定程度上改善钢丝绳图像质量，提高图像对比度。为了客观评价图像去噪方法的效果，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）进行描述，数值越大表示该图像去噪方法越好。

不同去噪方法的PSNR见表1，可看出AutoMSRCR算法的去噪效果要优于MSR算法、高斯滤波算法、指数滤波算法，因此系统采用AutoMSRCR算法对钢丝绳图像进行去噪。

表  1  不同方法的峰值信噪比

Table  1.  Peak signal-to-noise ratio of different methods

去噪方法	AutoMSRCR	MSR	高斯滤波	指数滤波
PSNR	13.25	12.63	11.79	11.18

下载: 导出CSV 

| 显示表格

3.   缺陷检测方法实现

3.1   缺陷检测实验流程

钢丝绳缺陷检测实验流程如图5所示。

图  5  钢丝绳缺陷检测实验流程

Figure  5.  Experimental flow of wire ropes defect detection

下载: 全尺寸图片 幻灯片

3.2   数据集建立与处理

为了有效提高深度学习模型的泛化能力，需获取更多钢丝绳损伤数据，建立包含多种特征的数据集。将收集到的井下复杂场景下的钢丝绳图像通过平移、旋转、亮度调节等方式生成新的图像数据，扩充数据集，并采用标注软件Labelme或华为云半自动标注工具对钢丝绳图像进行标注。

3.3   缺陷检测模型

采用CNN作为核心架构，CNN网络主要由卷积层、池化层、全连接层3个部分构成。其中，卷积层是CNN网络的关键结构，通过特征矩阵和卷积核进行卷积操作，完成输入钢丝绳图像的特征提取^[16-19]，但CNN网络超参数、模型参数较多，设置过程多依赖个人经验，极易出现过拟合问题（训练误差小、测试误差大）^[20-22]。为降低人为因素影响，减少调参工作量，在YOLOv5s中加入Focus结构对其进行优化，并将改进的YOLOv5s模型（图6）作为钢丝绳缺陷检测的预训练模型，以进一步降低模型内存占用率，提高模型加载和检测速度。

图  6  改进YOLOv5s网络结构

Figure  6.  Improved YOLOv5s network structure

下载: 全尺寸图片 幻灯片

3.4   实验结果分析

基于相同的钢丝绳损伤数据集和软硬件运行环境，分别采用文献[9]方法、文献[11]方法、本文方法构建、训练模型，得到较优模型并部署应用，分别对断丝和表面磨损2种典型外观缺陷进行识别。断丝缺陷检测结果如图7所示，可看出3种方法均能识别断丝缺陷。

图  7  钢丝绳断丝检测结果

Figure  7.  Breakage detection results of steel wire rope

下载: 全尺寸图片 幻灯片

断丝检测定位结果见表2，钢丝绳2处断丝的实际位置分别为10.56 m和11.12 m。可看出文献[9]方法的检测误差分别为3.60%，3.87%，文献[11]方法的检测误差分别为2.56%，3.06%，本文方法的检测误差分别为1.61%，1.35%，可见，本文方法对断丝缺陷的检测精度更高。

表  2  断丝检测定位结果

Table  2.  Breakage detection and positioning results of steel wire rope

方法	断丝实际位置/m	检测位置/m	误差/%
文献[9]方法	10.56	10.18	3.60
	11.12	10.69	3.87
文献[11]方法	10.56	10.29	2.56
	11.12	11.46	3.06
本文方法	10.56	10.39	1.61
	11.12	10.97	1.35

下载: 导出CSV 

| 显示表格

表面磨损缺陷检测结果如图8所示，可看出只有本文方法能识别全部磨损缺陷。

图  8  钢丝绳磨损检测结果

Figure  8.  Surface wear detection results of steel wire rope

下载: 全尺寸图片 幻灯片

磨损检测定位结果见表3，钢丝绳4处磨损的实际位置分别是5.75，6.11，6.62，6.79 m。可看出文献[9]方法识别出2处磨损，检测误差分别为5.91%，4.68%，文献[11]方法同样识别出2处磨损，检测误差分别为4.35%，3.78%，本文方法识别出4处磨损，检测误差分别为2.43%，3.44%，2.11%，3.39%，说明本文方法具有更强的适应性，识别准确率更高。

表  3  磨损检测定位结果

Table  3.  Surface wear detection and positioning results of steel wire rope

方法	磨损实际位置/m	检测位置/m	误差/%
文献[9]方法	5.75	5.41	5.91
	6.11	未识别	−
	6.62	6.31	4.68
	6.79	未识别	−
文献[11]方法	5.75	5.50	4.35
	6.11	未识别	−
	6.62	6.37	3.78
	6.79	未识别	−
本文方法	5.75	5.89	2.43
	6.11	6.32	3.44
	6.62	6.48	2.11
	6.79	7.02	3.39

下载: 导出CSV 

| 显示表格

4.   现场实施效果

淮河能源控股集团顾北煤矿主井东车提升运输区域原有一套钢丝绳安全监测系统。原系统由首绳检测子系统和尾绳检测子系统2个部分组成，在车房二楼滚筒验绳点位置装有首绳检测装置，用于监测提升机的首绳状态，在井底−623 m尾绳挡梁位置装有尾绳检测装置，用于监测提升机的尾绳状态。原系统可检测提升机首绳断丝、损伤、变形、锈蚀等外观缺陷，但相机采用多点固定位安装方式，图像采集质量受限，部署和维护难度大，易受环境因素影响，其对首绳钢丝绳断丝检测准确率为80%～85%，损伤定位误差为400～500 mm，损伤定位准确率为75%～80%。原系统可实时监测尾绳运行轨迹，识别尾绳摆动异常，但易受井下粉尘、光照不均、高光反射等影响，其对尾绳钢丝绳损伤实时检出率为76%～82%，尾绳畸变检出率为70%～76%。可看出，原系统的检测精度已无法满足现场需求。

为解决上述问题，采用本文方法分别对原系统的图像采集单元、图像预处理、缺陷检测部分进行改进，效果见表4。可见改进后的钢丝绳断丝检测准确率（即断丝缺陷被检测出的概率）提高了16%，损伤定位误差减小了200 mm，损伤定位准确率提升了23%，损伤实时检出率提高了14%，尾绳畸变检出率提升了15%。

表  4  效果对比

Table  4.  Effect comparison

比较项目	改进前	改进后
断丝检测准确率/%	≥80	≥96
损伤定位误差/mm	≤500	≤300
损伤定位准确率/%	≥75	≥98
损伤实时检出率/%	≥76	≥90
尾绳畸变检出率/%	≥70	≥85

下载: 导出CSV 

| 显示表格

5.   结论

1） 融合计算机视觉和深度学习技术，提出了一种钢丝绳外观缺陷视觉识别方法，设计了矿井提升机钢丝绳外观缺陷在线检测系统，实现多点位的首绳、尾绳状态实时检测。

2） 基于Retinex算法（SSR，MSR，MSRCR，AutoMSRCR，MSRCP）和同态滤波算法（指数滤波器、高斯滤波器）对钢丝绳图像进行去噪处理，有效提高图像质量。

3） 现场实施结果表明，所提方法的断丝检测准确率、损伤定位误差、损伤定位准确率、损伤实时检出率、尾绳畸变检出率均有所提升。

4） 深度学习模型以大数据作为支撑，随着现场图像数据的不断累积，钢丝绳缺陷识别模型和算法也需迭代更新，才能有效提高对煤矿复杂场景的识别能力。