Research on fault detection of belt conveyor roller based on thermal infrared image
-
摘要: 针对目前带式输送机巡检机器人搭载红外采集设备移动受限，存在不能实时进行数据采集、数据处理并上传至监控终端，无法完成远程故障检测，续航能力不足等问题，提出了一种基于热红外图像的带式输送机托辊故障检测方法。带式输送机巡检机器人搭载托辊故障检测器及红外热像仪，红外热像仪将采集的托辊热红外图像序列与温度数据传输给托辊故障检测器进行托辊故障检测，检测结果由托辊故障检测器内置的WH−L101无线传输模块发送给上位机。提出了一种带式输送机托辊故障检测算法：利用YOLOv5s目标检测算法提取托辊热红外图像的感兴趣区域（ROI），采用维纳滤波和自适应中值滤波算法对ROI图像进行滤波，利用自适应直方图均衡化和图像锐化算法对滤波后的ROI图像进行增强，采用基于形态学的Otsu图像分割算法对增强后的ROI图像进行图像分割，得到待检测的托辊图像，利用Harris角点检测算法提取托辊图像特征，获得托辊位置信息，提取相应位置的温度信息，并采用基于相对温差法的托辊故障检测算法判定托辊故障。实验结果表明：① YOLOv5s网络模型提取托辊ROI的目标检测结果平均准确率为99.12%。② 提出的托辊故障检测算法对托辊故障（无故障、轴承锈蚀、托辊卡转、筒体磨穿）检测的平均准确率为97.625%，帧率为16 帧/s。③ 将检测结果通过无线传输模块传送至上位机，可显示故障类型及关键区域温度，并进行报警。
-
关键词:
- 带式输送机 /
- 托辊故障检测 /
- 热红外图像 /
- YOLOv5s网络模型 /
- 带式输送机巡检机器人
Abstract: Currently, the inspection robot for belt conveyors equipped with infrared acquisition devices is limited in movement. There are problems such as inability to collect data, process data, upload data to monitoring terminals in real-time and complete remote fault detection, insufficient endurance and so on. A fault detection method of belt conveyor roller based on thermal infrared images has been proposed. The belt conveyor inspection robot is equipped with a roller fault detector and an infrared thermal imager. The infrared thermal imager transmits the collected roller thermal infrared image sequence and temperature data to the roller fault detector for roller fault detection. The WH-L101 wireless transmission module in the roller fault detector is used to send the detection results to the upper computer. A belt conveyor roller fault detection algorithm is proposed. The algorithm uses the YOLOv5s object detection algorithm to extract the region of interest (ROI) of the roller thermal infrared image. The image of the ROI is filtered using Wiener filtering and adaptive median filtering algorithms. The filtered ROI image is enhanced by using adaptive histogram equalization and image sharpening algorithms. The Otsu image segmentation algorithm based on morphology is used to segment the enhanced ROI image, obtaining the roller image to be detected. The Harris corner detection algorithm is used to extract the features of the roller image, and obtain the position information of the roller. The temperature information of the corresponding position is extracted, and a roller fault detection algorithm based on the relative temperature difference method is used to determine the idler fault. The experimental results show: ① The average accuracy of object detection in the roller ROI extracted by YOLOv5s network model is 99.12%. ② The proposed roller fault detection algorithm has an average accuracy of 97.625% and a frame rate of 16 frames per second for detecting roller faults (no faults, bearing rust, roller jamming, and cylinder wear). ③ The detection results are transmitted to the upper computer through a wireless transmission module, which can display the fault type and key area temperature, and provide an alarm. -
0. 引言
煤矿安全监控系统逻辑控制的可靠性直接关系到井下工作人员生命安全[1-2]，是衡量系统性能的关键技术指标。因此，需要对煤矿安全监控系统逻辑控制进行检测，包括控制（断电、闭锁）是否正确执行和控制执行时间是否达标两项。煤矿安全监控系统升级改造前，分站和传感器之间多为模拟信号传输，传感器通过频率或电流表示信号大小，通过示波器能直观地识别传感器超限及控制（断电器）执行情况，使用秒表等简单计时设备即可实现控制执行计时[3]。随着煤矿安全监控系统数字化升级改造推行[4-5]，分站与传感器之间多采用RS485，CAN等总线传输方式，且不同厂家的监控系统通信机制、通信协议各不相同，无法通过示波器观测波形等手段实现控制执行计时，因此对煤矿安全监控系统逻辑控制功能标准化检测造成了极大困难。同时，AQ 6201—2019《煤矿安全监控系统通用技术要求》新增了对煤与瓦斯突出报警和断电闭锁功能的要求，需要测试近300条控制逻辑，若采用人工检测会造成效率低、误差大等问题。本文研制了煤矿安全监控系统逻辑控制自动检测装置，可自动控制传感器发出闭锁信号，采集控制执行情况，并自动判定控制执行时间是否达标，从而满足厂家和安标中心对煤矿安全监控系统逻辑控制功能的标准化检测需求。
1. 装置设计依据
1.1 行业标准要求
根据AQ 6201—2019中5.5.2节，煤矿安全监控系统逻辑控制分为甲烷超限或故障闭锁、甲烷风电闭锁和煤与瓦斯突出闭锁3个部分，各部分包含的传感器、断电器数量不等；结合AQ 1029—2019《煤矿安全监控系统及检测仪器使用管理规范》规定，各传感器的控制条件也不相同。为了满足各应用场景检测，需要对控制的传感器、断电器数量和传感器控制条件进行统计分析。
（1） 甲烷超限或故障闭锁。涉及各位置的甲烷传感器、断电器各1台。传感器控制条件只涉及甲烷传感器超限或传感器故障，根据AQ 1029—2019中6.1.2节，甲烷传感器超限浓度有4种，则检测装置只需控制传感器产生4种超限浓度对应的闭锁信号或发生故障，即可满足甲烷超限或故障闭锁检测需求。
（2） 甲烷风电闭锁。涉及多台传感器及断电器，其中最复杂应用为“三分闭锁”（当局部通风机停止运转、掘进工作面或回风流中甲烷体积分数大于3.0%时，对局部通风机进行闭锁），同时甲烷传感器在普通超限条件下需控制除局部通风机外的非本安设备，因此检测装置需控制的断电器至少为2台，传感器数量及相应的控制条件见表1。
表 1 甲烷风电闭锁检测涉及的传感器及控制条件Table 1. Sensors and control conditions related to methane wind electric interlocking detection传感器 控制条件 掘进工作面甲烷传感器 体积分数达到1.5%；
体积分数达到3.0%；
故障掘进工作面回风流甲烷传感器 体积分数达到1.5%；
体积分数达到3.0%；
故障被串掘进工作面进风流甲烷传感器 体积分数达到0.5%；
故障局部通风机开停传感器或风筒风量传感器 局部通风机停止运转；
风筒风量低于规定值（3） 煤与瓦斯突出闭锁。涉及多台传感器和2台断电器（掘进工作面和采煤工作面各1台）。传感器控制条件：掘进工作面甲烷浓度迅速升高且风速不低于正常值；掘进工作面甲烷浓度迅速升高且风流逆转；掘进工作面甲烷浓度迅速升高且回风流、进风流甲烷浓度迅速升高；采煤工作面甲烷浓度迅速升高且风速不低于正常值；采煤工作面甲烷浓度迅速升高且风流逆转；采煤工作面甲烷浓度迅速升高且回风流、进风流甲烷浓度迅速升高。以掘进工作面甲烷浓度迅速升高且风速不低于正常值为例，检测装置需要控制的传感器及控制条件见表2。
表 2 煤与瓦斯突出闭锁检测涉及的传感器及控制条件Table 2. Sensors and control conditions related to coal and gas outburst interlocking detection传感器 控制条件 掘进工作面甲烷传感器 故障；
浓度迅速升高；
体积分数达到1.0%掘进巷道回风流甲烷传感器 浓度迅速升高；
体积分数达到1.0%掘进巷道回风流风速传感器 风速不低于正常值 通过分析行业标准要求，煤矿安全监控系统逻辑控制检测所涉及的传感器包含各位置甲烷传感器、风速传感器、风向传感器、风量传感器及局部通风机开停传感器等，通过整合各位置传感器，实现系统逻辑控制需传感器8～16台、断电器2台以上。每类传感器逻辑控制条件不同，其中甲烷传感器逻辑控制条件较多，主要包括故障，浓度迅速升高，体积分数分别达到0.5%、1.0%、1.5%、3.0%，浓度正常；风速传感器逻辑控制条件主要为风速低于正常值或正常状态；风向传感器逻辑控制条件包括风向逆转或正常状态；局部通风机开停传感器逻辑控制条件包括停止或正常状态。
1.2 安标检测要求
煤矿安全监控系统逻辑控制检测分为本地逻辑控制检测和异地逻辑控制检测[6-9]。若检测现场非本安设备较多，则所需断电器较多，易造成现场应用设置复杂。为提高煤矿安全监控系统逻辑控制功能检测的可靠性，在行业标准规定的逻辑控制基础上，安标检测增加了复杂应用场景的逻辑控制检测，具体见表3。
表 3 煤矿安全监控系统逻辑控制模式及控制执行时间判定Table 3. Logical control mode and control execution time determination of coal mine safety monitoring system控制模式 控制执行时间判定 单台传感器对应
单台断电器传感器达到控制条件时开始计时，断电器断电则结束计时 单台传感器对应
多台断电器传感器达到控制条件时开始计时，所有断电器均断电则结束计时 多台传感器对应
单台断电器第1台传感器达到控制条件时开始计时，断电器断电则结束计时 多台传感器对应
多台断电器第1台传感器达到控制条件时开始计时，所有断电器断电则结束计时 2. 装置工作原理及功能
2.1 装置工作原理
煤矿安全监控系统逻辑控制自动检测装置工作原理如图1所示。该装置不受通信协议及总线形式限制，通过控制多台传感器发出相应的闭锁信号，采集监控系统逻辑控制结果（断电器是否断电），记录闭锁信号发生时刻及逻辑控制执行结果发生时刻，从而判定逻辑控制是否正常执行及逻辑控制执行时间是否达标。
2.2 装置功能
（1） 闭锁信号控制功能。为提高时效性，煤矿安全监控系统逻辑控制自动检测装置采用串口通信方式，通过数字信号可同时控制8～16台传感器产生相应闭锁信号，闭锁信号包括各类传感器的多种逻辑控制条件。
![]()
图 1 煤矿安全监控系统逻辑控制自动检测装置工作原理Figure 1. Working principle of logical control automatic detection device for coal mine safety monitoring system（2） 控制结果采集功能。根据装置设计依据，需在2台以上分站设置断电器，每台分站上的断电器不少于4台，因此装置通过8个端口采集断电器状态，判断系统逻辑控制是否执行。
（3） 控制执行时间判定功能。传感器是在接收到装置发送的控制命令后输出相应闭锁信号，考虑到装置发送控制命令到传感器产生闭锁信号有一定的时间间隔，因此控制执行时间是从装置发送完控制命令后开始计时，最后一台断电器断电后结束计时，根据开始计时时刻与最后的断电时刻，判定系统逻辑控制执行时间。
（4） 人机交互及显示功能。实现对煤矿安全监控系统各项逻辑控制检测的配置，包括传感器地址设置、断电器控制采集端口设置等，同时可展示及输出检测结果。
（5） 自动检测功能。为提高检测效率，通过对逻辑控制检测项目进行设置并装载，装置顺序执行相应的控制逻辑，并在每条逻辑控制执行之后恢复各传感器及断电器到初始状态。
3. 装置设计
3.1 装置软件
煤矿安全监控系统逻辑控制自动检测装置软件采用抢占式、实时多任务内核的FreeRTOS实时操作系统，可实现多任务并发处理[10]。装置软件程序通过创建多任务来实现不同功能模块化设计，包括串口通信任务、控制结果采集任务、控制执行时间计时任务、显示屏显示任务、人机交互任务、本地控制任务、异地控制任务、风电瓦斯闭锁控制任务、煤与瓦斯突出闭锁控制任务等。各任务之间通过信号量形式实现调度，从而降低CPU使用率，提高程序的实时性和控制执行时间计时的精准性。
煤矿安全监控系统逻辑控制自动检测装置软件流程如图2所示。
![]()
图 2 煤矿安全监控系统逻辑控制自动检测装置软件流程Figure 2. Software flow of logic control automatic detection device for coal mine safety monitoring system3.2 装置硬件
由于装置最多需控制16台传感器，为减少控制命令发送耗时，设计2个UART串口输出TTL信号，每个UART串口对应控制8台传感器。通过I/O接口采集断电器状态。采用分辨率为128×64的液晶显示屏，人机交互采用按键或红外遥控方式。CPU采用外设资源（串口及GPIO接口）丰富的STM32F1系列单片机。
3.3 装置操作面板
为方便操作，设计了煤矿安全监控系统逻辑控制自动检测操作面板，结构如图3所示，用于显示、人机交互及接线等。
![]()
图 3 煤矿安全监控系统逻辑控制自动检测装置操作面板结构Figure 3. Operating panel structure of logic control automatic detection device for coal mine safety monitoring system4. 装置测试
在煤矿安全监控系统满足行业标准要求的运行测试条件下，将涉及逻辑控制的传感器和断电器接入煤矿安全监控系统逻辑控制自动检测装置，并在装置中配置相关传感器地址和断电器接入的端口号，同时在煤矿安全监控系统上位机软件中配置相应的断电控制逻辑。
为保证测试的可靠性及真实性，传感器和断电器所在分站通道需满载，此时通信负荷最大，才能测出最大控制执行时间。针对甲烷超限逻辑控制（单台传感器对应单台断电器）执行时间进行测试，人工检测（多次测量取平均值）和自动检测结果见表4，可看出两者的控制执行时间基本一致，表明自动检测装置判定的控制执行时间可靠、准确。
表 4 控制执行时间对比Table 4. Control execution time comparisons 断电模式 人工检测 自动检测 本地断电 0.45 0.46 异地断电 1.32 1.25 针对煤矿安全监控系统所有逻辑控制进行测试。当采用人工检测时，每条控制逻辑需要人工设置传感器输出闭锁信号，系统输出相应的控制执行结果，人工记录控制执行时间，最后需要人工将传感器恢复到初始状态。经综合测算，人工检测每条控制逻辑需要10 min，由于煤矿安全监控系统需测试近300条控制逻辑，人工检测时间约为50 h。当采用自动检测装置检测时，根据实际采煤工作面煤与瓦斯突出检测结果（图4），每条控制逻辑自动检测时间为15 s左右，加上装置、上位机设置的时间，自动检测装置总体检测时间约为2 h，与人工检测相比显著提高了检测效率。
5. 结语
煤矿安全监控系统逻辑控制自动检测装置控制传感器输出闭锁信号，采集断电器断电状态，计算控制执行时间，从而实现煤矿安全监控系统逻辑控制自动检测。测试结果表明，该装置能可靠、准确地检测控制执行时间，提高了检测效率。
-
![]()
图 1 基于热红外图像带式输送机托辊故障检测系统
Figure 1. Fault detection system of belt conveyor roller based on thermal infrared image
![]()
图 7 基于形态学的Otsu图像分割算法处理结果
Figure 7. Image processing results by morphology-based Otsu image segmentation algorithm
![]()
图 8 基于Harris角点检测算法的特征提取结果
Figure 8. Feature extraction results by Harris corner point detection algorithm
![]()
图 9 带式输送机托辊故障检测器硬件组成
Figure 9. Hardware composition of fault detector for belt conveyor roller
![]()
图 11 带式输送机托辊故障检测实验平台
Figure 11. Experimental platform for belt conveyor idler fault detection
![]()
图 14 4种状态下TA区域最大温度及BA区域平均温度
Figure 14. The maximum temperature in TA region and average temperature in BA region under 4 states
表 1 网络训练和测试平台配置
Table 1 Network training and test platform configuration
设备 参数 CPU Intel（R） Xeon（R） CPU E5−2678 GPU Nvidia Geforce GTX1080Ti 内存 64 GiB DDR4 操作系统 64位Ubuntu 18.04LTS 深度学习框架 Pytorch 
下载: 导出CSV
表 2 托辊故障判定标准
Table 2 Roller fault judgment criteria
指标 轴承锈蚀故障（B1） 托辊卡转故障（C1） 筒体磨穿故障（D1） 相对温差/% 76.7≤$ \alpha $<82.2 82.2≤$ \alpha $<92.3 $ \alpha $≥92.3
下载: 导出CSV
表 3 托辊故障检测正确数量
Table 3 Correct number of roller fault detection
张 托辊 A0 B1 C1 D1 托辊1 99 96 98 98 托辊2 100 97 96 97 总正确量 199 193 194 195
下载: 导出CSV
-
[1] YAN Chen,HE Xue. Model and dynamic simulation of belt conveyor[C]. International Conference on Intelligent Systems Design and Engineering Applications,Changsha,2010:949-951.
[2] QURESHI M,HUSSAIN S. A reusable software component-base development process model[J]. Advances in Engineering Software,2008,39(2):88-94. DOI: 10.1016/j.advengsoft.2007.01.021
[3] 刘莉莉. 基于机器视觉的带式输送机带速检测的研究[D]. 天津:天津工业大学,2019. LIU Lili. Research on belt speed detection of belt conveyor based on machine vision[D]. Tianjin:Tiangong University,2019.
[4] ANDREJIOVA M,GRINCOVA A,MARASOVA D. Measurement and simulation of impact wear damage to industrial conveyor belts[J]. Wear,2016,368/369:400-407. DOI: 10.1016/j.wear.2016.10.010
[5] 贾原生. 智能带式输送机巡检机器人在煤矿的应用[J]. 矿业装备,2022(4):238-239. JIA Yuansheng. Application of intelligent belt conveyor inspection robot in coal mine[J]. Mining Equipment,2022(4):238-239.
[6] 吕茁. 火电厂输煤系统设备运行故障分析[J]. 中国设备工程,2021(12):68-69. LYU Zhuo. Fault analysis of equipment operation of coal handling system in thermal power plant[J]. China Plant Engineering,2021(12):68-69.
[7] 韩建斌. 煤矿带式输送机常见故障与改善方法[J]. 机械管理开发,2020,35(8):289-291. HAN Jianbin. Common fault and improvement method of coal mine belt conveyor[J]. Mechanical Management and Development,2020,35(8):289-291.
[8] 张高祥. 基于声音信号的带式输送机托辊故障检测系统设计与研究[D]. 徐州:中国矿业大学,2022. ZHANG Gaoxiang. Design and research of belt conveyor idler fault detection system based on acoustic signal[D]. Xuzhou:China University of Mining and Technology,2022.
[9] 吴文臻,程继明,李标. 矿用带式输送机托辊音频故障诊断方法[J]. 工矿自动化,2022,48(9):25-32. WU Wenzhen,CHENG Jiming,LI Biao. Audio fault diagnosis method of mine belt conveyor roller[J]. Journal of Mine Automation,2022,48(9):25-32.
[10] RAVIKUMAR S,KANAGASABAPATHY H,MURALIDHARAN V. Fault diagnosis of self-aligning troughing rollers in belt conveyor system using k-star algorithm[J]. Measurement,2019,133:341-349. DOI: 10.1016/j.measurement.2018.10.001
[11] 朱振. 带式输送机托辊运行状态在线巡检机器人关键技术研究[D]. 阜新:辽宁工程技术大学,2020. ZHU Zhen. Research on the key technology of on-line inspection robot for the running state of belt conveyor roller[D]. Fuxin:Liaoning Technical University,2021.
[12] 苏耀瑞. 远程带式输送机托辊非接触式故障识别方法研究[D]. 银川:宁夏大学,2021. SU Yaorui. Research on non-contact fault iIdentification method of remote belt conveyor roller[D]. Yinchuan:Ningxia University,2021.
[13] 马宏伟,杨文娟,张旭辉. 带式输送机托辊红外图像分割与定位算法[J]. 西安科技大学学报,2017,37(6):892-898. MA Hongwei,YANG Wenjuan,ZHANG Xuhui. Segmentation and location algorithm for infrared image of roller on conveyor belt[J]. Journal of Xi'an University of Science and Technology,2017,37(6):892-898.
[14] 金学智. 基于红外图像的带式输送机故障预警方法研究[D]. 银川:宁夏大学,2021. JIN Xuezhi. Research on failure prognostic method of belt conveyor based on infrared image[D]. Yinchuan:Ningxia University,2021.
[15] DABEK P,SZREK J,ZIMROZ R,et al. An automatic procedure for overheated idler detection in belt conveyors using fusion of infrared and RGB images acquired during UGV robot inspection[J]. Energies,2022,15(2):601. DOI: 10.3390/en15020601
[16] 陈志琳. 基于面部特征的疲劳驾驶检测系统设计与实现[D]. 西安:西安工业大学,2022. CHEN Zhilin. Design and implementation of fatigue driving detection system based on facial features[D]. Xi'an:Xi'an Technological University,2022.
[17] 薛利敏. 基于粗糙集的声呐图像分割[D]. 呼和浩特:内蒙古大学,2019. XUE Limin. Sonar image segmentation based on rough set[D]. Hohhot:Inner Mongolia University,2019.
[18] 金飞,张彬,司璇,等. 基于维纳滤波的图像复原[J]. 中国传媒大学学报(自然科学版),2011,18(4):19-23. JIN Fei,ZHANG Bin,SI Xuan,et al. Image restoration based on Wiener Filtering[J]. Journal of Communication University of China(Science and Technology),2011,18(4):19-23.
[19] 张秉京. 基于机器视觉的铝丝楔焊机定位方法研究[D]. 长春:吉林大学,2018. ZHANG Bingjing. Research on positioning method of aluminum wire wedge bonder based on machine vision[D]. Changchun:Jilin University,2018.
[20] SABRINE C,ABIR S. Median filter for denoising MRI[J]. Revue d'Intelligence Artificielle,2022,36(3):483-488. DOI: 10.18280/ria.360317
[21] 张梦翔. 基于云服务的嵌入式人脸识别系统设计与实现[D]. 苏州:苏州大学,2017. ZHANG Mengxiang. Design and implementation of embedded face recognition system based on cloud service[D]. Suzhou:Soochow University,2017.
[22] 赵妍双,戴振东,王浩. 二维Otsu算法在壁虎脑切片图像处理中的应用[J]. 科技通报,2011,27(5):703-706. ZHAO Yanshuang,DAI Zhendong,WANG Hao. The application of 2D Otsu algorithm in the image processing of gecko's brain slices[J]. Bulletin of Science and Technology,2011,27(5):703-706.
[23] 姚依妮,王玮. Harris角点检测算法的应用研究[J]. 智能计算机与应用,2022,12(8):148-151. YAO Yini,WANG Wei. Application research on Harris corner detection algorithms[J]. Intelligent Computer and Applications,2022,12(8):148-151.
[24] 何铮. 基于边缘计算的企业物联网网关[J]. 电脑编程技巧与维护,2019(9):149-151,159. DOI: 10.3969/j.issn.1006-4052.2019.09.053 HE Zheng. Enterprise IoT gateway based on edge computing[J]. Computer Programming Skills & Maintenance,2019(9):149-151,159. DOI: 10.3969/j.issn.1006-4052.2019.09.053
[25] LIU Yi,MIAO Changyun,LI Xianguo,et al. Research on the fault analysis method of belt conveyor idlers based on sound and thermal infrared image features[J]. Measurement,2021,186. DOI: 10.1016/j.measurement.2021.110177.
-
期刊类型引用(8)
1. 冀常鹏，贺丽娜，代巍. 基于全局双约束的矿井尘雾图像增强方法. 辽宁工程技术大学学报(自然科学版). 2024(02): 225-231 . 
百度学术
2. 党斌. 基于神经网络的煤矿安全监控系统优化研究. 矿业装备. 2024(10): 74-76 . 百度学术
3. 徐征，陆亚青，李龙. 立库式智能老化检测线的研究与应用. 煤炭科技. 2024(06): 34-38 . 百度学术
4. 王科文. 基于C#语言的煤矿安全监控系统设计与应用研究. 矿业装备. 2023(01): 186-188 . 百度学术
5. 苏建秀. 永定庄煤业甲烷监控系统优化设计与应用. 山东煤炭科技. 2023(02): 200-203 . 百度学术
6. 李伟，叶鸥，刘辉，黄天尘. 基于数字孪生技术的大型煤矿远程智能监控研究. 计算机测量与控制. 2023(11): 204-211 . 百度学术
7. 李忠奎，吴文臻，王乐军，张子良. 基于边缘计算的煤矿安全监控分站设计研究. 煤炭技术. 2023(12): 241-245 . 百度学术
8. 王云翔，刘鹤. 基于改进蚁群算法的电力信息安全监控系统设计. 信息与电脑(理论版). 2022(16): 64-66 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 1076
- HTML全文浏览量: 79
- PDF下载量: 90
- 被引次数: 10
