Research on denoising method of remote sensing image in mining area
-
摘要: 去噪是矿区遥感图像得以有效应用的重要预处理步骤。现有的基于统计、基于域变换、基于学习等遥感图像去噪方法普遍存在细节过度平滑、纹理保持不足等问题。基于引导滤波良好的边缘保持特性,提出了迭代引导滤波方法,通过对残差信息进行引导映射,并迭代进行引导滤波及超参数收缩,增强了遥感图像边缘特征提取效果;将迭代引导滤波与传统的小波软阈值、非局部均值(NLM)滤波、三维块匹配 (BM3D)滤波等去噪方法结合,有效提高了传统方法的峰值信噪比,其中NLM滤波、BM3D滤波的去噪性能提升效果最明显;将迭代引导滤波与BM3D滤波融合,通过BM3D滤波初步获取去噪图像,得到残差数据,然后采用迭代引导滤波对残差数据进行处理,在提升图像去噪效果的同时,很好地保持了图像细节特征;将迭代引导滤波与BM3D滤波融合方法用于矿区遥感图像的煤矸石场识别及滑坡区域边缘识别,取得了较好的效果。Abstract: Denoising is an important preprocessing step for the effective application of remote sensing images in mining area. The existing remote sensing image denoising methods based on statistics, domain transformation and learning generally have the problems of excessive smoothing of details and insufficient texture preservation. Based on the good edge-preserving property of guided filtering, an iterative guided filtering method is proposed. The method enhances the edge characteristics extraction effect of remote sensing images by guided mapping of residual information, and iteratively performing guided filtering and hyper-parameter shrinkage. The iterative guided filtering is combined with traditional wavelet soft threshold, non-local mean (NLM) filtering, block matching 3D(BM3D) filtering and other denoising methods, which improves the peak signal-to-noise ratio of the traditional method effectively. Among them, NLM filtering and BM3D filtering have the most obvious effects on improving the denoising performance. The iterative guided filtering and BM3D filtering are fused, and the denoised images are initially obtained through BM3D filtering to obtain residual data. The iterative guided filtering is used to process the residual data. While improving the image denoising effect, the image detail characteristics are well preserved. The iterative guided filtering and BM3D filtering fusion method are used for coal gangue yard identification and landslide area edge recognition in remote sensing images of mining areas, and good results have been achieved.
-
0. 引言
煤矿生产中根据运输任务不同,可分为主要运输和辅助运输。煤矿辅助运输泛指煤矿生产中除煤炭运输之外各种运输的总和,主要包括材料、设备、人员和矸石等的运输。目前国内外大中型井工煤矿较常用的新型高效辅助运输设备主要有无轨运输设备(无轨胶轮车)、轨道运输设备和单轨吊车3大类。我国西北煤田主力生产矿井以斜井开拓为主,主要采用无轨胶轮车完成煤矿辅助运输作业。由于煤矿辅助运输线路随工作地点的迁移而经常变化、运输线路水平和倾斜互相交错连接、运输线路环节多、待运物料品种繁多且形状各异等客观因素,导致井下辅助运输作业环节用工数量多、安全事故频发。国家八部委联合制定并发布了《关于加快煤矿智能化发展的指导意见》等文件[1],吹响了全国范围内煤矿智能化建设的冲锋号,作为煤矿智能化建设的关键环节,煤矿井下无轨胶轮车无人驾驶的研究正受到行业高度关注。
区别于城市汽车等无轨交通无人驾驶,在煤矿井下开展无轨胶轮车无人驾驶存在一系列新的挑战[2]:① 井下巷道狭长,“长廊效应”、“多径效应”明显,对激光雷达、毫米波雷达、同步定位与建图(Simultaneous Localization and Mapping,SLAM)等技术的应用等带来较大干扰。② 井下巷道载人车辆、载货车辆、搬运车、工程车及行人等混行,主力矿井车辆及人员通行密集,且巷道两侧多存在排水沟等干扰因素,对车辆横纵向控制精度要求高。③ 井下巷道为卫星拒止环境,无全球导航卫星系统(Global Navigation Satellite System,GNSS)信号,无法利用地面“北斗”、GPS等通用车辆定位技术。④ 井下巷道光照条件多变,且交通路口多为巷道壁等阻挡,对机器视觉技术的应用带来较大挑战。⑤ 由于煤矿井下存在瓦斯等爆炸性气体,井下设备受GB 3836等标准约束,需取得MA认证,产品功耗、结构件材质与产品形态等应遵守更为严苛的技术规范,增加了技术实现难度。⑥ 系统设计需遵循故障安全与功能安全原则,安全措施需多重冗余设计。
鉴此,笔者提出了煤矿井下无轨胶轮车无人驾驶系统架构,分析了系统实现关键技术,并在煤矿井下对系统进行了测试验证。
1. 系统架构
煤矿井下无轨胶轮车无人驾驶系统由无轨胶轮车、车载智能感知系统、车载决策控制系统、矿用智能路侧单元、通信网络、远程控制平台等组成,如图1所示。
(1) 车载智能感知系统。主要包括超声波雷达、毫米波雷达、激光雷达、车载机器视觉传感器及车载单元(On Board Unit,OBU),可实现全天候、复杂工况环境下车辆行驶路径范围内路况及障碍物的高精度智能感知,以及一定安全系数的感知冗余设计。超声波雷达一般均布在车辆四周适当高度,可测量0.05~1 m范围内的障碍物信息,常用频率为49 kHz,通过RS485总线挂接在车载智能感知系统内。目前主流毫米波雷达一般工作在77 GHz主频,可同时跟踪识别64个及以上动目标,最高识别速度可达250 km/h,识别精度高达厘米级,一般通过CAN总线挂接在车载智能感知系统内。目前可实现矿用本质安全(以下简称本安)型设计的车载激光雷达最高激光通道数为16线,可在煤矿井下巷道场景有效扫描50 m以上距离,出点数量≥31万/s,垂直视场角为−15~15°,绝对精度一般可达厘米级。车载机器视觉传感器参数适配于其后端机器视觉或视觉即时定位与地图构建(Visual Simultaneous Localization and Mapping,VSLAM)算法,一般建议清晰度720P及以上、灰度鉴别等级7级及以上、水平分辨率350TVL及以上,具备车规级抗震、外壳防护设计,以矿用本安型为主。OBU用于车辆与矿用智能路侧单元间通信,一般需兼容5G/4G/WiFi/Uu/PC5无线通信制式,具备一定数据处理能力和本地存储空间。
(2) 车载决策控制系统。主要包括域控制器、底层适配单元、线控油门、线控档位、线控双模转向、电子液压制动等。域控制器是全车无人驾驶的算力中心,一般设计为矿用本安型,考虑到矿用本安型设备的功耗限制,其对应算力输出受限,因此多数情况下需多组矿用本安型域控制器组合使用,以提供足够算力输出。底层适配单元一般用于监控车辆工作时输入的各种数据和汽车运行的各种状态(加速、打滑、油耗/电耗等),并按照预先设计的程序计算各种传感器数据,执行预定的控制功能。线控油门、档位、转向、刹车用于对车辆的横向(垂直于巷道壁方向)与纵向(沿巷道壁方向)控制,一般控制响应延时≤100 ms,车身控制精度≤20 cm。
(3) 矿用智能路侧单元。主要包括5G基站、超宽带(Ultra Wide Band,UWB)精确定位基站、激光雷达、工业相机及域控制器等。5G基站用于车端与路侧单元端的无线通信。UWB精确定位基站用于车辆在井下的粗定位,一般动态定位精度可达0.3~0.7 m。激光雷达和工业相机一般用于巷道交叉路口的补盲感知、违章抓拍等。域控制器用于处理矿用智能路侧单元基础数据,并可在5G网络等支撑下,实现车端、多个矿用智能路侧单元间的分布式算力部署与共享功能。
(4) 通信网络。由煤矿局域网、辅助运输巷道的工业环网、链接车端的无线接入网构成,建立从地面到井下的数据交互通道,实现管控命令交互、状态信息传输、图像视频信号传输等功能。
(5) 远程控制平台。由无轨胶轮车远程驾驶舱、辅助运输车辆监控系统、生产过程管控系统、基于UWB的人员与车辆精确定位系统等组成。无轨胶轮车远程驾驶舱可实现紧急状况下对井下无人驾驶车辆的紧急接管,且可快速切换实现对多辆车辆的远程控制。辅助运输车辆监控系统、生产过程管控系统等可实现车辆运输物资管控、车路协同管控和运输作业管控。
2. 系统关键技术
2.1 井下车辆动态精确定位技术
在无人驾驶系统中,车辆精确定位是保证整个系统安全性与可靠性的基石。对于地面无人驾驶,定位是由GNSS及GNSS/惯性导航系统(Inertial Navigation System,INS)组合导航实现,输出频率一般为10 Hz,定位精度可达厘米级;但对于井下封闭环境,GNSS及GNSS/INS 组合导航技术已无法进行有效定位,需要参考室内定位技术开发适用于井下的精确定位方式。主要的室内定位技术特点及适用范围见表1。
表 1 室内定位技术对比Table 1. Comparison of indoor positioning technologies技术 精度/m 能耗 传输距离/m 抗干扰能力 优点 缺点 蓝牙 3.0 低 100 较弱 功耗低,穿透力较强 抗干扰能力较弱,定位精度较差 UWB 0.3 较低 250 强 抗干扰能力强,定位精度较高 需额外设备,部署较难 RFID 1.0~5.0 低 5 弱 功耗低,数据传输速率高 无法连续定位,定位精度差 ZigBee 3.0 较低 75 弱 成本及功耗较低 定位精度较差,抗干扰能力较弱 WiFi 5.0 较低 50 较弱 成本低,方便部署 定位精度差 激光 0.1 高 300 强 定位精度高,抗干扰能力强 功耗大,只可在可视范围内测距 超声波 1.0 较低 10 强 功耗较低,抗干扰能力强 有效定位距离短,部署难 相较于RFID、ZigBee、蓝牙等室内定位技术,UWB技术由于具有极大的带宽和超高的时间分辨率,对多径及非视距问题有更高的鲁棒性,能提供高达分米级的定位精度,近年来成为煤矿井下主流精确定位方式。
UWB/INS组合定位利用INS解算结果减少UWB中非视距误差的影响,提高位置信息输出频率;利用UWB测距或解算信息抑制INS误差随时间的迅速累计,从而获得更高的导航定位精度及相对UWB更高的定位输出频率。但UWB/INS组合定位是基于UWB标签接收不在1条直线上的3个或3个以上基站信号,通过三边位置量化数据解算实现二维定位。在井下实际应用时,由于存在大段长直巷道,受成本约束,长直巷道不宜高密度布置基站,存在3个参与定位的基站近似于布置在同一直线上的可能性,导致UWB/INS组合定位无法实现井下全部路段的高可靠性、高精度二维位置解算[3]。
激光SLAM技术是近年来随着无人驾驶发展而逐步普及的感知与定位技术,且经优化的激光SLAM受外界光照变化影响小,尤其适用于煤矿井下巷道场景。激光雷达扫描巷道信息得到激光点云,提取点云特征,基于提取的特征点构建相邻帧间的约束关系,通过列文伯格−马夸特法(Levenberg-Marquardt,LM)或高斯牛顿法(Gauss-Newton,GN)进行非线性优化得到姿态变换矩阵,再将得到的特征点进一步处理,得到扫描帧与特征点云地图的约束关系,构建全局地图,并获得无人驾驶车辆在地图中的位置。但由于煤矿井下巷道特征退化,尤其是长直巷道特征基本一致,这对通过扫描周围环境获得特征信息并与地图信息做匹配的激光雷达定位是非常大的挑战。
综合以上定位技术的优缺点,提出了基于激光SLAM和UWB/INS的组合定位技术。激光雷达的特征提取方式借鉴了基于可变地形优化的激光雷达测程和测绘(Lightweight and Ground-Optimized Lidar Odometry and Mapping,LeGO-LOAM)算法[4-5],首先对激光点云进行分割得到地面与非地面点云,再根据激光点云的光滑度进行特征提取,得到角特征点与面特征点,结合INS加速度与角度数据补偿车辆运动导致的点云失真;然后融合UWB一维定位数据对激光点云局部滑动窗口进行优化,缩小需要匹配的地图范围;最后通过点云匹配算法−迭代最近点(Iterative Closest Point,ICP)算法得到精确的目标位置姿态信息。
2.2 井下车辆路况识别技术
毫米波雷达具备精确测量远距离目标速度和空间信息的能力,同时不受恶劣光照和煤尘的影响,是井下车辆无人驾驶应用的重要传感器。毫米波雷达的波长为1~10 mm,频率范围为30~300 GHz。毫米波雷达发射的电磁波信号被其传播路径上的物体阻挡并反射,在接收天线收到雷达回波并解调后,控制器对模拟信号进行数字采样并滤波,再利用快速傅里叶变换将信号从时域变换至频域,并采用恒虚警检测算法(Constant False-Alarm Rate,CFAR)去除杂波。在得到反射点群后,通过具有噪声的基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)得到相应目标及对应的距离、速度和角度信息。
激光雷达通过测定传感器发射器与目标物体之间的传播距离,分析目标物体表面的反射能量大小及反射波谱的幅度、频率和相位等信息,从而呈现出周围路况精确的三维结构信息−三维激光点云。扫描得到的障碍物点云通常比背景更密集,通过传统分类聚类(如欧氏聚类[6]、超体素聚类[7]等)方法可进行障碍物感知。近年来深度学习在激光雷达目标检测领域得到了广泛应用,根据神经网络输入格式可分为体素、图像及点云3种算法。考虑到井下域控制器功率与算力限制,以体素为输入的算法(如VoxelNet等)由于计算量过大不适用;将激光点云转为俯视图再进行三维目标检测的图像深度学习算法(如YOLO3D,PIXOR等),以及以激光雷达原始点云数据为输入的点云深度学习算法(如PointNet,LaserNet等)在井下有较大应用空间,可精确得到障碍物大小、种类及相对位置。
随着卷积神经网络的发展,基于摄像头的机器视觉近年来得到广泛运用,主要分为单阶段(one-stage)与两阶段(two-stage)的目标检测算法。单阶段目标检测算法(如SSD,YOLOv4等)直接生成候选框并对候选框进行分类回归;两阶段目标检测算法(如Faster-RCNN等)首先生成候选区域,在候选区域进行分类和回归,得到目标候选框。虽然两阶段目标检测算法在准确率上有较好的表现,但在实时性上表现较差。对于井下目标检测任务,单阶段目标检测算法更为合适。
单类传感器在感知能力方面存在一定的局限性,如车载摄像头受环境影响较大、缺乏深度信息,激光雷达分类准确率较低、无法获取图像信息,毫米波雷达对金属敏感、误报多等。为满足井下非结构化环境无人驾驶感知需求,需充分利用多传感器特性进行冗余感知。多传感器融合技术分为多传感器前融合技术与多传感器后融合技术。多传感器前融合技术是指在原始数据层面将所有传感器的数据进行直接融合,通过1种感知算法输出感知目标的类别、位置、速度等信息。多传感器后融合技术是指各个传感器均独立采用各自的算法输出探测数据,在对各传感器数据进行处理后,根据位置及分类信息进行融合,得到感知信息。考虑到井下环境恶劣及算力功耗限制,为实现分布式算力分配及避免单个传感器故障导致整个感知算法失效,多传感器后融合技术更适用于井下车辆路况识别。基于多传感器融合的井下车辆路况识别如图2所示。
2.3 井下车辆路径规划技术
井下无轨胶轮车在运行过程中会遇到较多岔道,存在视野盲区。同时,井下巷道具有通道狭窄,工作地点分散、易变动的特点,因此在井下车辆路径规划过程中需要考虑算法的实时性及最优性。按照已知环境信息的程度,路径规划算法可分为两类:一类是对外界环境信息完全已知的算法,即全局路径规划算法;另一类是对外界环境信息部分或完全未知的算法,即局部路径规划算法。
全局路径规划算法利用地图给出的环境信息规划出1条安全无碰撞的路径。一般来说,在地图信息已知的情况下,传统的全局路径规划算法都可以找出从当前位置到目标位置的可行路径,但在煤矿井下巷道这种狭窄或障碍物较多的复杂环境中,算法常常会在规划时间或路径质量方面有所欠缺。目前应用比较成熟的全局路径规划算法有Dijkstra算法[8]、A*算法[9]、快速搜索随机树算法[10]等。
局部路径规划算法由于外界环境信息部分或完全未知,需要通过传感器获取车辆周围的环境信息,同时对环境进行建模和搜索,这就要求无人驾驶系统能够高效处理信息,快速做出决策且能及时反馈校正。常用的局部路径规划算法包括人工势场法[11]、动态窗口法[12-13]、蚁群算法[14]等。
目前常用的路径规划算法优缺点及适用环境见表2,根据实际需求选择合适的算法可实现最优路径规划效果。
表 2 常用路径规划算法优缺点及适用环境Table 2. Advantages, disadvantages and applicable environments of common path planning algorithms算法 优点 缺点 适用环境 Dijkstra算法 使用贪心策略选择最优节点,能获得最优路径 运算过程中会占用大量计算资源,规划效率较低 环境信息已知的全局路径规划 A*算法 通过启发式采样方式搜索节点,算法搜索效率高 对地图要求较高,无法保证得到最优解 环境信息已知的全局路径规划 快速搜索随机树算法 通过随机采样搜索节点,适用于非完整约束场合 生成路径非最优,且规划效率低 环境信息已知的全局路径规划 人工势场法 能够实时避障,生成的路径平滑、安全 障碍物较多时容易陷入局部最优,造成目标不可达 既可用于全局路径规划,也可用于
局部路径规划动态窗口法 能够考虑无人驾驶车辆的速度与运动学约束,生成的路径平滑 存在局部最优解,且在复杂环境下计算复杂度高 环境信息部分已知的局部路径规划 蚁群算法 容易与其他启发式算法结合,能寻找到全局最优解 搜索具有盲目性,容易陷入局部最优 环境信息部分已知的局部路径规划 全局路径规划算法能够从全局角度出发,找到全局最优解,而局部路径规划算法能在规划过程中躲避动态障碍物,找到局部最优解。因此在路径规划中,通常需要这2种算法协同运行。先利用全局路径规划算法规划出从当前位置到目标位置的全局最优路径,在车辆行进过程中采用局部路径规划算法,躲避随机出现的动态障碍物,从而实现完整的路径规划任务。
2.4 多源数据采集技术
考虑到煤矿井下防爆和本安要求,车端设备功耗必然存在限制;而无人驾驶系统对数据有庞大需求,无疑会提高设备功耗。为解决上述矛盾,利用多源数据采集技术,对井下无人驾驶所需的数据采集进行合理分配,降低多个设备集成所需功耗,实现井下无轨胶轮车无人驾驶稳定运行[15]。
多源数据采集大致可分为4个部分:车端环境感知数据采集、车辆运行数据采集、路侧监控数据采集及移动目标数据采集,如图3所示。
车端环境感知数据采集利用摄像头、激光雷达、超声波雷达、毫米波雷达等传感器技术[16],取代传统的驾驶员人工感知方式。
车辆运行数据采集负责车身重要参数和《煤矿安全规程》要求的各类井下无轨胶轮车安全监测数据检测,从底层实现车辆本安化。
路侧监控数据采集通过车载感知设备对巷道环境实时状态(如井下交通信号灯、巷道意外事件信息、路况信息等)进行感知,为无人驾驶车辆提供路侧数据支撑。
移动目标数据采集依托井下车辆智能调度系统,实时获取一定安全区域内交通参与者的运动状态及位置信息,为井下无人驾驶车辆的路径规划选择、安全预警制动等功能提供数据保障。
2.5 海量数据实时交互技术
无人驾驶车辆在运行过程中无时无刻不在与相关设备进行交互,产生海量数据,海量数据的实时交互是无人驾驶车辆平稳运行的重要保障。
井下无轨胶轮车无人驾驶系统依托井下5G及其他相关蜂窝网络,形成整个无人驾驶数据交互网,如图4所示。
智能调度系统为无人驾驶车辆提供车辆运行状态、远程控制指令、车辆调度指令、车辆运行规划路径、车端环境视频等实时交互数据,且二者之间的传输频率不应小于1 Hz,延时不大于100 ms,以保证远程控制的可靠性。
路侧单元是井下蜂窝车联网(Cellular Vehicle-to-Everything,C−V2X)中的重要组成部分,是车路协同的基础设施,可为无人驾驶车辆提供路侧和超视距的结果信息,弥补无人驾驶车辆主动感知的不足,提升车辆超视距感知能力[17]。无人驾驶车辆与路侧单元之间时刻保持路侧环境感知数据、精确定位信息、红绿灯信号等数据的交互。同时,路侧单元为智能调度系统提供相关数据。
2.6 井下车辆智能调度技术
煤矿井下无轨胶轮车辅助运输系统存在高能耗、运行无序、容易发生运输安全事故等问题[18]。为能够对井下无轨胶轮车进行日常调配,实现人员及物料运输、车辆运行信息显示等数字化管理[19],打通井下无轨胶轮车与驾乘人员、运输物料间的信息通道[20],笔者提出了仓库管理系统(Warehouse Management System,WMS)化的井下车辆智能调度技术,使井下C−V2X中所有参与者均可接入远程控制平台,在无人驾驶和有人驾驶并存的环境下,使传统有人驾驶车辆及无人驾驶车辆混编运行,车辆及车上物资统筹调度,实时监测、调度和管理井下车辆的作业任务、行驶路径等,达到无轨胶轮车辅助运输系统提质增效和安全运行的目标。
井下车辆智能调度工作机制如图5所示。利用井下UWB精确定位技术实时获取井下车辆位置信息,结合交通信号、视频图像、井下高精GIS地图等相关数据进行分析、筛选、融合,由车载终端通过5G等井下无线传输网络将数据发送至地面后端服务器进行存储,数据经处理后发送至矿上车辆调度中心进行实时显示。车辆调度中心可将新的运输任务通过井下无线传输网络下派到后端服务器选择的最优车辆的车载终端,由司机或无人驾驶系统确认接收及完成任务情况,无人驾驶车辆自行规划行驶路径。后端服务器与矿方企业资源计划(Enterprise Resource Planning,ERP)系统交互,实现物料库存信息的实时更新,同时反馈至调度中心进行确认,提高井下车辆运输效率。
2.7 基于边缘计算的分布式算力共享技术
煤矿井下无轨胶轮车无人驾驶系统需要大算力,用以支撑系统识别巷道场景、感知车身四周环境、规划控制行驶路径等。典型的无人驾驶系统单车每日产生的数据可达TB级别,只有及时更新、分析数据才能保证车辆安全行驶[21]。然而,受煤矿井下本安型设备的功耗限制,车载计算单元的算力往往无法支撑海量数据的实时运算[22]。针对煤矿井下本安设备功耗限制与无人驾驶系统大算力需求之间的矛盾,通过研制矿用本安型高性能边缘计算装备,开发基于边缘计算的分布式算力共享技术,突破车端算力瓶颈对无人驾驶系统的性能限制。
矿用本安型高性能边缘计算装备电气原理如图6所示。该装备具有CAN/RS485/USB/千兆以太网总线等硬件接口,可保证激光雷达、毫米波雷达和高清摄像头等多路接入,满足煤矿井下复杂环境中无人驾驶系统感知及海量数据交互需求。该装备在单路本安电源供电下最高运行算力为21 TOPS(INT8型),具备384个CUDA核心、48个Tensor Core和2个GPU引擎,可并行多个复杂神经网络算法,为煤矿井下无人驾驶系统的大算力需求提供基础保障。
2.8 矿用化车辆线控技术
线控底盘作为无人驾驶的执行基石,是发展无人驾驶的具体抓手。矿井具有防爆、本安的特殊要求,因此,车辆线控系统的矿用化尤为重要。制约于井下车辆运行环境存在的路面起伏多、有坑洼积水、照度低等因素,煤矿井下车辆线控技术应用的关键为防爆技术、电液控制技术和冗余技术。
(1) 防爆技术。煤矿井下常用的防爆技术有隔爆外壳、本安电路、冷磷化工艺、热管技术等[23]。虽然防爆技术应用已经比较成熟,但在线控系统的实际应用中存在以下问题:转向电动机在使用隔爆外壳防爆后增大了整体质量;线控电气元件在经过本安处理后降低了输出功率。线控转向、制动系统的关键元件−电液比例控制阀在防爆处理后仍保持良好的线性度与恒力特性。
(2) 电液控制技术。在无人驾驶过程中,底层适配单元根据转向或制动指令,控制转向电动机或液压控制单元执行转向或制动动作。执行端传感器将获得的转向角度、制动压力等信息反馈给车辆底层适配单元,从而保证底层适配单元能正确控制电动机与电液比例阀,形成闭环反馈控制,进而保证线控系统的准确度。
(3) 冗余技术。当线控系统发生故障后,可将线控系统切换到备份系统,继续完成转向、制动等动作。矿用车辆线控系统的冗余性可从2个方面考虑:依靠硬件备份的冗余技术;依靠软件的容错算法技术。硬件冗余是针对车辆线控系统中的电动机、控制器、液压系统等装置进行备份。软件容错算法技术是指在电动机、控制器、执行器或液压系统发生故障时,通过线控系统中的故障诊断和容错模块及时检测车辆故障,同时拥有处理故障的手段,使得线控系统闭环控制,进一步提高线控系统的可靠性。
2.9 井下C−V2X技术
井下C−V2X是矿山物联网的重要应用分支[24],是实现井下车辆与周围的人、机(车)、环、管等全方位连接和通信的新一代通信技术。C−V2X通信包括车与人之间(Vehicle-to-Pedestrian,V2P)、车与车之间(Vehicle-to-Vehicle,V2V)、车与基础设施环境之间(Vehicle-to-Infrastructure,V2I)、车与管控平台之间(Vehicle-to-Network,V2N)等通信[25],如图7所示。
参考通用C−V2X关键技术[26],井下C−V2X关键技术主要包括车路协同远程监控、井下车辆超视距感知和井下C−V2X协同计算。
(1) 车路协同远程监控。基于UWB,4G/5G等井下无线通信定位技术,研究井下不同环境下车辆定位与监控的实现方法。在智能矿山基础信息平台的支撑下,可通过系统监控井下车辆及驾乘人员的动态位置信息、工况,实现井下车辆管理的透明化、可视化,进而实现车辆和人员智能化管理,必要时远程遥控井下无人驾驶车辆。
(2) 井下车辆超视距感知。主要研究井下C−V2X物物相联和人、机(车)、环等参数采集、融合及传输。针对井下“长廊效应”,开发适用于煤矿井下的智能路侧单元,解决即时定位问题,降低无人驾驶车辆对即时定位和避障的算力和精度要求。
(3) 井下C−V2X协同计算。研究井下C−V2X边缘计算、车载计算的协同控制方式,合理配置使用井下车辆智能化和井下车辆管理所需的车载和边缘计算资源。通过C−V2X与边缘计算的协同,一方面可为C−V2X提供低延时、高宽带和高可靠性的运行环境,有效缓解车辆或路侧单元的计算和存储压力,减少海量数据回传导致的网络负荷,另一方面能充分利用网络边缘的计算与存储能力,实现井下C−V2X中通信−计算−存储的融合及车−环−管的协同感知、决策和控制。
2.10 多种驾驶模式冗余控制及权限管控技术
煤矿井下无轨胶轮车主要在辅助运输大巷行驶,辅助运输大巷人车共行、巷道狭窄、光照不均,井下交通参与元素众多,环境、路况复杂,易发生车辆碰撞事故[27]。为保证无人驾驶无轨胶轮车安全地参与井下交通,高效完成煤矿井下辅助运输任务,为无人驾驶无轨胶轮车设计人工驾驶、自动驾驶和远程驾驶3种驾驶模式,以3种驾驶模式并行控制无轨胶轮车的形式,构建无人驾驶无轨胶轮车的多种驾驶模式冗余控制技术,以提高无人驾驶无轨胶轮车的安全冗余,保障无人驾驶无轨胶轮车在各种井下复杂交通条件下安全通行。
人工驾驶模式以无人驾驶无轨胶轮车随车安全员为核心,随车安全员结合井下巷道交通状况及车辆运行状态实时操控车辆参与井下交通。自动驾驶模式以车载自动驾驶域控制器为核心,域控制器通过布置在车身四周的传感器感知巷道内交通环境,再结合车身状态信息,计算出车辆的最优行驶路径,自主行车[28]。远程驾驶模式以地面远程控制平台操作员为核心,安装在车辆和巷道壁上的摄像头捕捉井下巷道实时交通图像,图像和车辆状态信息经井下5G核心网回传至地面远程控制平台,操作员依据实时回传的信息做出判断,下发控制指令,指令经矿用核心网发送至车端,控制车辆完成既定辅助运输任务。
为确保井下无人驾驶无轨胶轮车安全运行,在车辆内部设置切换开关,用于切换人工驾驶与自动驾驶模式,确保自动驾驶模式在配备随车安全员的情况下启动。同时,给予随车安全员最高控制权限,确保随车安全员可通过制动踏板/方向盘紧急接管自动驾驶/远程驾驶模式下的无轨胶轮车。远程驾驶模式作为地面操作员介入井下无轨胶轮车运行的模式,可在随车安全员未响应紧急情况时,紧急接管车辆,代替随车安全员操控车辆至安全区域等候救援。井下无人驾驶无轨胶轮车的权限管控及运转流程如图8所示。
2.11 感知及决策控制装备本安型设计技术
煤矿井下属于爆炸性危险气体环境,煤矿井下使用的感知及决策控制装备必须满足防爆要求。本安型产品设计技术是一种高效的系统防爆技术,本安型产品通过合理的电路和结构设计,限制电火花和热效应的能量,保证设备安全稳定运行;与其他防爆技术相比,具有成本低、安全可靠性高、可带电维护、使用便捷、适用范围广等优点[29]。
煤矿瓦斯最小点燃能量是280 μJ,当设备可能产生的电火花或热效应的能量均小于该值时,将不可能点燃瓦斯而产生爆炸。本安型产品设计从隔离和能量限制等方面出发,将电压和电流限制在安全范围内,保证设备即使在发生短接和元器件损坏等故障情况下,也不会引起其周围可能存在的危险气体爆炸。实现电路的必要隔离与能量限制是本安型产品的设计要点:① 隔离是将本安电路和非本安电路、独立本安电路进行可靠隔离,隔离器件有变压器、光耦、继电器、隔离电容等。② 能量限制分为电火花点燃的能量限制和热效应的能量限制。电火花点燃的能量限制是对电阻性电路、电容性电路和电感性电路进行参数计算,选择合理的元器件型号,使电路的电流、电容和电感满足本安电路要求。热效应的能量限制应综合考虑印制电路板的铜箔厚度、线宽,以及半导体器件的耗散功率导致的表面温度上升,以满足低于最小点燃能量的要求。
在煤矿井下感知及决策控制装备的本安型设计中,需要重点研究供电电路、通信端口和本安结构3个方面的设计要求。
供电电路设计有安全栅、抗干扰电路等。安全栅通常设计在本安电路的前端,通过限压、限流、隔离等措施将能量限制在安全定额以下[30]。抗干扰电路抑制电源输入尖峰脉冲,过滤电缆传导或耦合进入的干扰信号。
RS485总线和以太网是主流的煤矿井下设备较通信方式。对这2种通信端口的本安处理是先对输入输出信号进行隔离,阻隔输入信号串扰,RS485采用光耦隔离,网口采用变压器隔离;再结合本安电源对通信端口电路进行限压、限流设计[31]。
本安结构设计是为了保证本安电路和非本安电路有合适的安全距离。接插件、接线端子等裸露部位的电气间隙和爬电距离必须大于标准规定值。本安电路与外壳和非本安电路之间的绝缘应满足不同等级的耐压值。本安导线绝缘满足500 V工频耐压,并与非本安电路导线分开捆扎。安全栅部分的电路板工艺要满足爬电距离要求,元件焊好后刷绝缘漆保证耐压要求。
结合上述本安型设计技术,完成对决策控制主机的本安化设计,方案如图9所示。
3. 系统测试
3.1 测试条件
为验证煤矿井下无轨胶轮车无人驾驶系统的性能,笔者所在团队在陕西陕煤榆北煤业有限公司某煤矿开展了系统性测试。以该矿副斜井井口至井下中央变电所全长4.3 km巷道区域作为测试线路,该线路中水平段距离为351 m,其余路段为坡度7%的斜坡,有2个岔路口和4个转弯路口,基本涵盖井下无人驾驶路径的全部测试场景。测试线路沿线设计了16组路侧单元,确保UWB精确定位信号、5G信号、C−V2X信号的全路径可靠覆盖。
以WLR−5系列无轨胶轮车为原型,完成全本安化无人驾驶改造:全车共装备3个矿用本安型16线激光雷达、2个矿用本安型毫米波雷达、12个矿用本安型超声波雷达、5个720P矿用本安型车载机器视觉传感器、1个矿用本安型OBU、3个矿用本安型域控制器等。
3.2 测试结果与分析
3.2.1 C−V2X性能
(1) 车辆定位测试。为测试井下无人驾驶车辆定位精度,在副斜井巷道中分别进行静态定位及动态定位(以25 km/h直线行驶)测试,结果分别如图10和图11所示。可看出车辆在静态的纵向定位精度≤0.3 m,动态的纵向定位精度≤0.7 m;车辆静态与动态定位精度在横向上无太大差别,均为0.2~0.3 m;定位精度满足煤矿井下车速上限25 km/h场景下车规级精确定位需求。
(2) 通信时延及带宽测试。在测试路段不同位置对C−V2X进行端到端的通信时延及带宽测试,测试路段使用5G网络。测试结果见表3,可看出通信带宽≥50 Mbit/s,通信时延≤50 ms,基本满足无人驾驶数据交互要求。
表 3 C−V2X通信时延及带宽Table 3. Communication delay and bandwidth of C−V2X交互模式 通信时延/ms 通信带宽/(Mbit${\boldsymbol{\cdot}} $s−1) V2N 上行 30~50 150~200 下行 20~30 50~100 V2I 上行 10~20 100~150 下行 5~15 50~80 3.2.2 路径规划功能
为验证井下典型场景下无人驾驶车辆路径规划功能,选取井下巷道常出现的T型支巷与U型弯道作为测试环境,设置无人驾驶车辆的行驶速度为15 km/h,障碍物大小为3 m×1 m。
无人驾驶车辆避障结果如图12所示,其中黑色圆点代表规划起点,红色圆点代表目标点。从图12可看出,无人驾驶车辆从起点出发,行进过程中基本沿着期望轨迹运行,遇到障碍物时能及时规划局部最优路径,完成避障后回归期望路径,经过多次规划到达目标点。经多次测试,无人驾驶车辆在运行过程中的路径曲线比较平滑,且轨迹连续性较好,能够满足无人驾驶车辆的运动学约束条件。
3.2.3 感知与决策控制功能
(1) 感知功能。采用基于毫米波雷达、摄像头、激光雷达的多传感器融合策略:毫米波雷达主要负责采集中远距离目标相对速度、位置信息;激光雷达主要负责中距离目标及毫米波雷达可视范围外目标识别;摄像头主要负责检测目标类型。三者生成各自的感兴趣区域(Region of Interest,ROI),对3类ROI进行关联整合,实现整个巷道目标的感知。本文根据尺寸大小将巷道常见目标障碍物分为大目标(如工程车辆)、中目标(如行人)、小目标(如锥形桶)和极小目标(如边长0.3 m的正方体纸盒)4种类型进行测试。
各传感器目标障碍物检测结果如图13所示,可看出各传感器可实现井下行人、车辆等障碍物的精准识别与跟踪。各类型目标障碍物感知统计结果见表4,可看出与单一传感器检测相比,多传感器融合策略对大目标、中目标、小目标和极小目标的感知能力均有提升。
表 4 井下目标障碍物感知统计结果Table 4. Statistical results of underground target obstacles perception目标类型 目标个数 准确率/% 毫米波
雷达激光
雷达摄像头 多传感器融合 大目标 390 96.3 95.9 93.7 98.9 中目标 350 94.2 91.2 93.2 98.6 小目标 300 86.5 83.5 89.9 96.5 极小目标 100 81.9 78.4 88.5 94.8 (2) 决策控制功能。为验证无轨胶轮车无人驾驶系统在煤矿井下的决策控制性能,对无人驾驶车辆在坡道、弯道等工况下的横纵向控制性能进行了测试。
无人驾驶车辆在坡度7%的斜坡上坡时,纵向速度跟随控制结果如图14(a)所示,可看出在5 m/s速度下跟随误差<0.54 m/s。无人驾驶车辆在U型弯道下的横向控制误差如图14(b)所示,可看出平均横向控制误差<0.2 m。
4. 结语
以井下C−V2X为核心的煤矿井下无轨胶轮车无人驾驶系统采用激光雷达、毫米波雷达、车载机器视觉传感器等,通过多传感器后融合技术,实现井下全天候、复杂工况环境下车辆行驶路径范围内路况及障碍物的高精度智能感知;利用基于激光SLAM和UWB/INS的组合定位方式实现0.3 m的井下无轨胶轮车定位精度,满足煤矿井下车速上限25 km/h场景下车规级精确定位需求;基于边缘计算的分布式算力共享技术结合海量数据实时交互技术,在井下无人驾驶场景下可有效降低车端算力需求及车端设备功耗;通过人工驾驶、自动驾驶、远程驾驶3种驾驶模式,可有效管控井下无人驾驶车辆,形成安全冗余管控机制。该系统整体成本低、安全管控水平高,可在矿区等相对封闭场景下大面积推广应用。
-
表 1 迭代引导滤波对于典型去噪方法的提升结果
Table 1 Improvement results of iterative guided filtering to typical denosing methods
指标 K−SVD字典学习 小波软阈值 NLM滤波 BM3D滤波 PSNR增大值/dB 0.6 1.9 3.1 3.0 SSIM 0.1 0.2 0.4 0.4 运算时间增加值/s 0.5 0.7 1.0 1.2 表 2 不同方法的去噪性能对比
Table 2 Comparison of denosing performance of different methods
指标 小波软阈值 K−SVD
字典学习非局部相似性
K−SVD字典学习BM3D
滤波融合方法 PSNR/dB 23.6 25.2 27.3 28.2 30.8 SSIM 0.76 0.72 0.75 0.86 0.92 -
[1] 王义方, 李新举, 李富强, 等. 基于多时相遥感影像的采煤塌陷区典型扰动轨迹识别−以山东省济宁市典型高潜水位矿区为例[J]. 地质学报,2019,93(增刊1):301-309. WANG Yifang, LI Xinju, LI Fuqiang, et al. Identification of typical disturbance trajectory in coal mining subsidence area based on multi-temporal remote sensing images[J]. Acta Geologica Sinica,2019,93(S1):301-309.
[2] 杨宏业, 赵银娣, 董霁红. 基于纹理转移的露天矿区遥感图像超分辨率重建[J]. 煤炭学报,2019,44(12):3781-3789. YANG Hongye, ZHAO Yindi, DONG Jihong. Remote sensing image super-resolution of open-pit mining area based on texture transfer[J]. Journal of China Coal Society,2019,44(12):3781-3789.
[3] 宋国策, 张志. 内蒙古新巴尔虎右旗多金属矿区扬尘风积物遥感监测方法[J]. 国土资源遥感,2020,32(2):46-53. SONG Guoce, ZHANG Zhi. Remote sensing monitoring method for dust and wind accumulation in multimetal mining area of Xin Barag Right Banner, Inner Mongolia[J]. Remote Sensing for Land & Resources,2020,32(2):46-53.
[4] 周斌, 李雨鸿, 李辑, 等. 岫岩偏岭矿区植被修复生态环境监测评估[J]. 航天返回与遥感,2019,40(3):103-110. DOI: 10.3969/j.issn.1009-8518.2019.03.013 ZHOU Bin, LI Yuhong, LI Ji, et al. Monitoring and assessment of vegetation restoration ecology environment in Xiuyan pianling-mining area[J]. Spacecraft Recovery & Remote Sensing,2019,40(3):103-110. DOI: 10.3969/j.issn.1009-8518.2019.03.013
[5] 汤伏全, 李林宽, 李小涛, 等. 基于无人机影像的采动地表裂缝特征研究[J]. 煤炭科学技术,2020,48(10):130-136. TANG Fuquan, LI Linkuan, LI Xiaotao, et al. Research on characteristics of mining-induced surface cracks based on UAV images[J]. Coal Science and Technology,2020,48(10):130-136.
[6] 张元军. 基于双边滤波与小波阈值法的矿区遥感图像处理[J]. 金属矿山,2017(9):170-173. DOI: 10.3969/j.issn.1001-1250.2017.09.035 ZHANG Yuanjun. Remote sensing image processing method of mining area based on bilateral filtering algorithm and wavelet thresholding method[J]. Metal Mine,2017(9):170-173. DOI: 10.3969/j.issn.1001-1250.2017.09.035
[7] FENG Xubin, ZHANG Wuxia, SU Xiuqin, et al. Optical remote sensing image denoising and super-resolution reconstructing using optimized generative network in wavelet transform domain[J]. Remote Sensing,2021,13(9):1858-1880. DOI: 10.3390/rs13091858
[8] WEN Nu, YANG Shizhi, CUI Shengcheng. High resolution remote sensing image denoising based on curvelet-wavelet transform[J]. Journal of Zhejiang University(Engineering Science),2015,49(1):79-86.
[9] 王跃跃, 陈蓉, 于丽君, 等. 结合二维EMD与自适应高斯滤波的遥感卫星影像去噪[J]. 测绘通报,2019(2):22-27. WANG Yueyue, CHEN Rong, YU Lijun, et al. Denoising from remote sensing satellite image based on two-dimensional EMD and adaptive Gauss filtering[J]. Bulletin of Surveying and Mapping,2019(2):22-27.
[10] 王小兵. 融合提升小波阈值与多方向边缘检测的矿区遥感图像去噪[J]. 国土资源遥感,2020,32(4):46-52. WANG Xiaobing. Denoising algorithm based on the fusion of lifting wavelet thresholding and multidirectional edge detection of remote sensing image of mining area[J]. Remote Sensing for Land & Resources,2020,32(4):46-52.
[11] HUANG Zhenghua, ZHANG Yaozong, QIAN Li, et al. Unidirectional variation and deep CNN denoiser priors for simultaneously destriping and denoising optical remote sensing images[J]. International Journal of Remote Sensing,2019(15):5737-5748.
[12] TIAN Chunwei, XU Yong, ZUO Wangmeng. Image denoising using deep CNN with batch renormalization[J]. Neural Networks,2020,121:461-473. DOI: 10.1016/j.neunet.2019.08.022
[13] LIU Jing, XIANG Pengxia, ZHANG Xiaoyan. An improved generative adversarial network for remote sensing image denoising[C]//The 13th International Conference on Digital Image Processing, Singapore, 2021: 11878-11886.
[14] 秦振涛, 杨茹. 基于结构性字典学习的毛儿盖遥感图像去噪研究[J]. 遥感技术与应用,2019,34(4):793-798. QIN Zhentao, YANG Ru. Remote sensing image of Mao'ergai denoising based on structured dictionary learning[J]. Remote Sensing Technology and Application,2019,34(4):793-798.
[15] 马晓乐. 基于稀疏表示的去噪声遥感图像融合算法优化[D]. 北京: 北京交通大学, 2020. MA Xiaole. The algorithm optimization for de-noised remote sensing fusion based on sparse representation[D]. Beijing: Beijing Jiaotong University, 2020.
[16] 陈曦. 基于深度卷积神经网络的图像去噪[D]. 合肥: 合肥工业大学, 2019. CHEN Xi. Image denoising based on deep convolutional neural networks[D]. Hefei: Hefei University of Technology, 2019.
[17] 冯旭斌. 基于深度学习的光学遥感图像去噪与超分辨率重建算法研究[D]. 西安: 中国科学院大学(中国科学院西安光学精密机械研究所), 2020. FENG Xubin. Research on deep-learning based optical remote sensing image denosing and super-resoution reconstructing algorithm[D]. Xi’an: University of Chinese Academy of Science(Xi'an Institute of Optics and Precision Mechanics of Chinese Academy of Sciences), 2020.
[18] HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.
[19] DABOV K, FOI A, KATKOVNIK V, et al. Image denoising by sparse 3D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing,2007:2080-2095.
[20] 刘佳丽. 基于遥感的露天灰岩矿山开采信息提取[D]. 唐山: 华北理工大学, 2018. LIU Jiali. The opencast limestone mine information extraction based on remote sensing[D]. Tangshan: North China University of Science and Technology, 2018.
-
期刊类型引用(2)
1. 吴刚,方新秋,宋扬,梁敏富,陈宁宁. 基于捷联惯导的采煤机运行姿态感知与误差补偿实验研究. 采矿与安全工程学报. 2023(04): 668-678 . 百度学术
2. 高有进,杨艺,常亚军,张幸福,李国威,连东辉,崔科飞,武学艺,魏宗杰. 综采工作面智能化关键技术现状与展望. 煤炭科学技术. 2021(08): 1-22 . 百度学术
其他类型引用(2)