Mine pipeline inspection robot design and traction performance analysis
-
摘要: 针对瓦斯抽采管道破损泄漏检测问题，设计了一种具有管道检测和运动控制功能的螺旋式矿用管道检测机器人，介绍了该机器人的结构和检测与控制系统方案。建立了机器人在管道中运行的力学分析模型，并通过动力学仿真研究了影响机器人牵引性能的因素，结果表明：机器人在管道内运行时的牵引力与管道材质、螺旋角、管壁与驱动轮之间法向力有关；机器人在不同材质的管道中运行时最佳螺旋角不同，在相同材质的管道中运行时，无介质运输情况下牵引力高于有介质运输情况；机器人牵引力随法向力的增大而增大，但最佳螺旋角无明显变化；随着螺旋角增大，牵引力先增大后减小，螺旋角为40°时牵引力最大。为提高机器人通过弯管时的性能，提出一种变螺旋角过弯策略，即机器人主动控制螺旋角随螺旋运动单元转动以正弦式规律变化，使管道内侧的螺旋角小于外侧。搭建机器人测试平台对矿用管道检测机器人进行测试，结果表明：机器人在直管中运行的最佳螺旋角为40°；可通过增加法向力来提升机器人的牵引性能；采用变螺旋角过弯策略时，机器人在弯管中的通过性能和平稳性优于定螺旋角过弯。Abstract: In response to the problem of gas extraction pipeline damage and leakage inspection, a spiral mine pipeline inspection robot with pipeline inspection and motion control functions is designed. The structure and inspection and control system scheme of the robot are introduced. A mechanical analysis model is established for the operation of robots in pipelines, and the factors affecting the robot's traction performance are studied through dynamic simulation. The results show that the traction force of the robot during operation in the pipeline is related to the pipeline material, spiral angle, and the normal force between the pipeline wall and the driving wheel. The optimal spiral angle for robots operating in pipelines of different materials is different. When operating in pipelines of the same material, the traction force is higher in the absence of medium transportation than in the presence of medium transportation. The traction force of the robot increases with the increase of normal force. But there is no significant change in the optimal spiral angle. As the spiral angle increases, the traction force first increases and then decreases, reaching its maximum at a spiral angle of 40°. To improve the performance of robots passing through curved pipes, a variable spiral angle bending strategy is proposed. The robot actively controls the spiral angle to change in a sinusoidal pattern with the rotation of the spiral motion unit, so that the spiral angle on the inner side of the pipeline is smaller than that on the outer side. A robot testing platform to test the mine pipeline inspection robot is established. The results show that the optimal spiral angle for the robot to operate in the straight pipe is 40°. The traction performance of the robot can be improved by increasing the normal force. When using the variable spiral angle bending strategy, the robot has better performance and stability in passing through curved pipes compared to fixed spiral angle bending.
-
0. 引言
煤炭产业是我国能源体系的基石[1]。近年来，随着人工智能、图像处理等技术的蓬勃发展，计算机视觉技术成为一种感知煤矿井下环境的有效手段[2]。尤其是井下发生安全事故时，在救援人员无法进入的情况下，机器人可利用同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）技术，在不依赖先验信息的条件下，估计出自身位姿，并构建出坍塌矿井的地图模型[3]。图像匹配是视觉SLAM技术中极为重要的一环，用于根据图像之间的变换关系确定相机位姿。由于矿井环境特殊，拍摄的图像往往亮度及对比度低[4]。同时，避难硐室、巷道密集管线等图像局部存在较多相似纹理，导致特征的区分度较低。在图像采集时，不可避免存在快速平移与旋转，使得待匹配图像存在较大视差。特殊的光照环境、局部相似纹理的干扰及视差图像本身的缺点共同导致井下图像匹配困难，影响视觉SLAM定位精度与建图结果，因此对井下图像的高质量匹配研究具有重要意义。
目前主流的图像匹配方法包括基于点特征的匹配算法和基于线特征的匹配算法[5]。基于点特征的匹配算法虽然可在井下应用，但是井下光照条件差，巷道图像纹理弱，可能造成特征点的提取数量少、分布不均匀、匹配精度低等[6]。而基于线特征的匹配算法具有较强的鲁棒性和抗噪能力[7]，更加适用于井下图像匹配。
基于线特征的匹配方法主要利用线特征的几何信息[8]及邻域内灰度、梯度的相似性[9]，结合几何约束[10]进行匹配，侧重于搜索范围约束[11]、描述符构建[12]及匹配核验[13]等方面。Li Gang等[14]提出一种基于语义不变量的点线特征匹配方法，为待匹配线特征添加语义约束，降低了线特征的失配率，但该方法依赖语义信息提取网络，难以在井下直接应用。Zheng Xianwei等[15]提出一种基于全局投影变换的线匹配方法，匹配精度较高，但是局限在城市街道等室外场景，在视差变换大时会失效。Wang Qiang等[16]利用位置和方向系统构建出图像间的变换关系来获取匹配线对，消除了跨视角图像间的几何形变，匹配精度较高，但对于宽基线图像匹配仍有提升空间。Shen Liang等[17]提出一种线段误匹配去除方法，解决对线段长度的敏感性和断裂问题，提高了匹配召回率，但是该方法不适用于存在仿射等非刚性变换的图像中。刘肃艳等[18]提出了一种结合线对几何条件约束及单线描述符的方法，该方法性能良好，但涉及的参数较多，依赖手动调参。张珊等[19]提出了一种结合网状描述符和单应约束的近景影像直线匹配算法，该算法能够获得较高的匹配精度，且鲁棒性良好，但是依赖同名特征点约束，在同名特征点稀少的情况下影响匹配结果。随着深度学习的发展，学者们将卷积神经网络（Convolutional Neural Network，CNN）强大的特征提取能力应用在线特征匹配上。A. Vakhitov等[20]提出一种全卷积神经网络构建的可学习型线描述符，用于线特征匹配。M. Lange等[21]提出一种基于机器学习和小波增强的线特征描述符，预处理阶段利用小波变换从图像中提取特征作为描述符。R. Pautrat等[22]首次提出联合线描述与检测的深度学习网络，即自我监督遮挡感知线描述和检测（Self-supervised Occlusion-aware Line Description and Detection，SOLD2），用于在线特征检测与匹配。
基于深度学习的线描述符对线段遮挡等场景具有较高鲁棒性，性能优于传统描述符，但CNN架构的描述符将可变长度线段抽象为固定维进行描述，仍然不利于线段长度及视差变化较大图像的匹配。针对该问题，本文提出一种基于直线段检测法（Line Segment Detector，LSD）和LT（Line Transformers）描述符的矿井图像线特征匹配算法。采用改进单参数同态滤波算法和对比度受限的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法进行图像增强，在此基础上进行LSD线特征提取，用LT描述符构建LSD线特征向量[23]，最后利用欧氏距离及最近邻准则进行匹配线对筛选，完成匹配。
1. 算法流程
基于LSD和LT描述符的矿井图像线特征匹配算法流程如图1所示。
![]()
图 1 基于LSD和LT描述符的矿井图像线特征匹配算法流程Figure 1. Process of mine image line feature matching algorithm based on line segment detector(LSD) and line transformers(LT) descriptor在图像的RGB空间，利用改进单参数同态滤波算法进行滤波，在频域降低图像的照射分量，并提高反射分量，增强后图像的亮度与对比度均有提高。在图像的YUV空间，利用CLAHE算法对图像的亮度分量进行均衡[24]，使亮度更加均匀，更好地保留图像的细节信息。再逆变换至RGB空间提取LSD线特征，增强图像后，提取的LSD线特征数量更多。为了克服LSD线特征匹配常用的线二进制描述符（Line Binary Descriptor，LBD）等鲁棒性差、匹配精度低的缺点，采用基于Transformer架构的LT描述符构建LSD线特征向量，并进行L2范数归一化，计算出目标直线与候选直线的特征向量的欧氏距离，结合最小欧氏距离和最近邻准则完成匹配，得到可靠的同名直线。
2. 算法原理
2.1 改进同态滤波算法
同态滤波是一种在频域应用的图像处理算法[25]。根据照射−反射模型，图像密度函数$ f(x,y) $（x，y为像素空间坐标）可表示为自身的照射分量$ i(x,y) $和反射分量$ r(x,y) $的乘积。
$$ f(x,y) = i(x,y)r(x,y) $$ (1) 对式（1）进行对数变换，得
$$ \ln f(x,y) = \ln i(x,y) + \ln r(x,y) $$ (2) 对式（2）进行傅里叶变换，然后应用$ H(u,v) $（u，v为x，y对应的离散频率变量）同态滤波器，得
$$ H(u,v)F(u,v) = H(u,v)I(u,v) + H(u,v)R(u,v) $$ (3) 式中$ F(u,v) $，$ I(u,v) $，$ R(u,v) $分别为$ f(x,y) ， i(x,y) ，r(x,y) $的傅里叶变换。
$ H(u,v) $通常选用高斯型同态滤波传递函数：
$$ H(u,v) = ({P_{\mathrm{H}}} - {P_{\mathrm{L}}})\left[ {1 - {\exp{ \left(- c{{\left(\dfrac{{D(u,v)}}{{2{D_0}}}\right)}^{2n}}\right)}}} \right] + {P_{\mathrm{L}}} $$ (4) $$ D(u,v) = \sqrt {{{(u - {u_0})}^2} + {{(v - {v_0})}^2}} $$ (5) 式中：PH，PL分别为高频增益和低频增益；$ c $为锐化系数；$ D(u,v) $为某频率$ (u,v) $到频率中心$ ({u_0},{v_0}) $的欧氏距离；$ {D_0} $为截止频率；$ n $为滤波器的阶数。
高斯型同态滤波传递函数需要手动调节参数$ {P_{\mathrm{H}}} $，$ {P_{\mathrm{L}}} $，$ c $，$ n $，不利于算法的泛化。因此引入一种单参数同态滤波传递函数[26]：
$$ H(u,v)=\frac{1}{1+D(u\mathit{\mathrm{,}{v}})^{-k}} $$ (6) 式中k为滤波器的调节参数。
式（6）中只存在一个参数k，可降低调参的复杂性。高斯型同态滤波传递函数与单参数同态滤波传递函数的三维结构如图2、图3所示。可看出单参数同态滤波器由中心频率到高频的过渡相较传统高斯型同态滤波器更平缓，斜率更小，因此滤波更加均匀。
使用改进后的单参数同态滤波器对$ F(u,v) $进行滤波后，再用傅里叶逆变换将图像变换至空间域，得
$$ {h_{\mathrm{f}}}(x,y) = {h_{\mathrm{i}}}(x,y) + {h_{\mathrm{r}}}(x,y) $$ (7) 式中$ {h_{\mathrm{f}}}(x,y) $，$ {h_{\mathrm{i}}}(x,y) $，$ {h_{\mathrm{r}}}(x,y) $分别为逆变换后的图像密度函数、照射分量和反射分量。
对式（7）进行指数变换，得到输出图像密度函数：
$$ g(x,y) = {\exp\left({{h_{\mathrm{i}}}(x,y)}\right)}{\exp\left({{h_{\mathrm{r}}}(x,y)}\right)} $$ (8) 采用单参数同态滤波算法在频域对井下图像进行增强，可初步提高井下图像的对比度与亮度。
2.2 CLAHE算法
单参数同态滤波虽然能够提升亮度及对比度，但是仍然存在亮度分布不均匀、局部细节损失的现象，可能会导致线特征断裂、漏检。因此在图像经过同态滤波增强后，采用CLAHE算法对YUV空间的亮度分量进行均衡。均衡后的图像亮度分布更加均匀，细节更明显，可进一步提升线段提取的质量。
CLAHE算法在直方图均衡的基础上，通过抑制部分灰度级被过多合并所引起的噪声放大和局部对比度增强现象，使图像更加清晰[27]。CLAHE算法将输入图像分为若干个大小相等且不重叠的子域，并计算每个子域的直方图。由于算法引入了对比度限制，在计算累积分布函数前，使用预先设定的限制阈值对每个子域直方图进行剪切，从而限制放大幅值，将超出阈值的部分重新均匀分布到其他部分，如图4所示。
![]()
图 4 CLAHE原理Figure 4. Principle of contrast limited adaptive histogram equalization(CLAHE)2.3 LSD线特征向量构建方法
LT描述符是基于Transformer架构的新型描述符，摒弃了传统的CNN和循环神经网络（Recurrent Neural Network，RNN），整个网络融合了自注意力机制。LT描述符仿照自然语言处理（Natural Language Processing，NLP）中的思想，将点视为“单词”，将线段视为“句子”。将NLP的结果作为整条线段的描述符，通过自注意力机制关注线段上关键点来理解线段的上下文，自适应地将各种长度的线抽象为固定大小的描述符。同时，采用了组描述符的思想，将线的几何属性共享到邻域，形成线签名网络，通过在邻域内共享线的相对几何结构，使描述符学习到邻域的几何属性。LT描述符适合应用在具有较大视差变化及较多相似纹理干扰的图像匹配中。
基于LSD和LT描述符的矿井图像线特征匹配算法模型如图5所示。进行LSD线检测，同时使用CNN得到整张图像的密集描述符地图（Descriptor map），包含图像中每个像素的特征点置信度得分与该点描述符。对LSD线均匀取关键点，作为点标记，表示为$ \boldsymbol{p}=[x\; \ y\; \ C] $，其中$ C $为关键点置信度，在密集描述符地图中查找每个关键点对应的描述符向量，实现点标记对应的点嵌入（Point embedding）提取，点嵌入$ {\boldsymbol{E}} \in {{\bf{R}}^{1 \times w}} $，其中$ w $为点描述符的维度。特殊嵌入[LINE]是线描述符的初始状态，表示为$ {{\boldsymbol{E}}_{{\mathrm{line}}}} \in {{\bf{R}}^{(n + 1) \times w}} $，其权值在训练过程中学习。在多层感知器（Multilayer Perceptron，MLP）中利用每个关键点的位置得到位置嵌入（Positional embedding），表示为$ {{\boldsymbol{E}}_{{\mathrm{pos}}}} \in {{\bf{R}}^{(n + 1) \times w}} $。结合构建好的点嵌入与位置嵌入，使用Transformers编码器对线描述符进行建模。
![]()
图 5 基于LSD和LT描述符的矿井图像线特征匹配算法模型Figure 5. Model of mine image line feature matching algorithm based on LSD and LT descriptorTransformer编码器由多头自注意（Multi-head Self-Attention，MSA）层和MLP层组成，具有残差连接与层归一化（Layer Normalization，LN）功能，将Transformer编码器堆叠$ L $次，得
$$ \left\{\begin{split} & {{\boldsymbol{Z}}_0} =\left[ {{{\boldsymbol{E}}_{{\mathrm{line}}}}\;{{\boldsymbol{E}}_1}\;{{\boldsymbol{E}}_2} \;\cdots \;{{\boldsymbol{E}}_{N}}} \right] + {{\boldsymbol{E}}_{{\mathrm{pos}}}} \\ & {\boldsymbol{Z}}_{I - 1}^\prime = {O_{\mathrm{LN}}}(O_{\mathrm{MSA}}({{\boldsymbol{Z}}_{I - 1}},{\boldsymbol{m}}) + {{\boldsymbol{Z}}_{I - 1}}) \\ & {{\boldsymbol{Z}}_I} = {O_{\mathrm{LN}}}({O_{\mathrm{ALP}}}({\boldsymbol{Z}}_{I - 1}^\prime ) + {\boldsymbol{Z}}_{I - 1}^\prime ) \\ & {\boldsymbol{d}} = {\boldsymbol{Z}}_L^0 \end{split}\right. $$ (9) 式中：$ {{\boldsymbol{Z}}_0} $为Transformer编码器的初始输入；$ {\boldsymbol{Z}}_{I - 1}^\prime $为计算第I$(I = 1,2, \cdots, L) $次堆叠时Transformer编码器的输入$ {{\boldsymbol{Z}}_I} $的中间变量；OLN，OMSA，OMLP分别为归一化及通过MSA层、MLP层的操作；$ {{\boldsymbol{m}}} $为掩码向量；d为描述符；$ {\boldsymbol{Z}}_L^0 $为第L次堆叠后Transformer编码器的输出。
当第I−1次堆叠时的Transformer编码器输入$ {{\boldsymbol{Z}}_{I - 1}} $进入MSA层时，为了解决直线特征长度不同的问题，在网络中加入掩码向量m，去除相关性比较低的特征点。
将直线a的中点位置$ ({x_a},{y_a}) $、直线与主方向的角度信息（$ \cos \;{\theta _a},\sin \;{\theta _a} $）、线长$ {l_a} $输入MLP层，得到线属性嵌入，并添加至描述符$ {{\boldsymbol{d}}_a} $，得到含有线属性的描述符$ {\boldsymbol{d}}_a^\prime $。对图像中所有M个线描述符进行构建，得到初始含有线属性的描述符向量集合$ {{\boldsymbol{s}}_0} $。设sI为签名网络结果，将sI−1输入MSA层后得到的计算结果与sI−1进行级联，作为MLP层的输入，堆叠M次后得到sI。
$$ \left\{\begin{split} {{\boldsymbol{d}}}_{a}^{\prime }=&{{\boldsymbol{d}}}_{a}+O_{\mathrm{MLP}}({x}_{a},{y}_{a},{l}_{a},\mathrm{cos}\;{\theta }_{a},\mathrm{sin}\;{\theta }_{a})\\ {{\boldsymbol{s}}}_{0}=&\left[{{\boldsymbol{d}}}_{1}^{\prime }\;{{\boldsymbol{d}}}_{2}^{\prime }\;\cdots\; {{\boldsymbol{d}}}_{M}^{\prime }\right]\\ {{\boldsymbol{s}}}_{I}=&{{\boldsymbol{s}}}_{I-1}+O_{\mathrm{MLP}}({{\boldsymbol{s}}}_{I-1}||O_{\mathrm{MSA}}({{\boldsymbol{s}}}_{I-1}))\quad \end{split}\right. $$ (10) 3. 实验与结果分析
实验采用的编程语言为Python3.7，使用计算机视觉库OpenCV 3.4.18.65，集成开发环境为PyCharm 2021.3.1，GPU为NVIDIA 2080Ti 16 GiB，深度学习框架Pytorch1.10。数据集源于在模拟矿井实验室进行SLAM过程中采集的RGB帧，分辨率为640×480，共1 802张图像。依次进行图像增强实验、线特征提取实验、线特征匹配实验。LT描述符的训练参数见表1。
表 1 LT描述符的训练参数Table 1. Training parameters of the LT descriptor参数 值 学习率 0.001 训练轮次 1 000 图像大小 640×480 线长度最小阈值 16 最大Token数 21 Token间距 8 描述符维度 256 注意力头数量 4 编码器特征维数 [32 64 128 256] 线段描述层数量 12 前馈层内部维度 1 024 签名网络层数 7 Transformer编码器层数 12 3.1 图像增强实验
分别采用改进同态滤波算法、EnlightenGAN算法[28]和本文算法进行实验。图像增强结果和对应的灰度分布如图6与图7所示。
可看出，3种算法对井下图像均有增强作用。使用EnlightenGAN算法后，图像对比度显著增强，但是亮度明显存在过度增强，且灰度级分布不均匀，大多分布在180～250。使用改进同态滤波算法增强后，图像的亮度与对比度有一定提高，像素灰度级分布较均匀。本文算法结合了同态滤波和CLAHE算法的优点，增强图像的亮度适中，对比度良好，灰度分布更加均匀。
图像增强的结果统计见表2。标准差是图像对比度的评价指标，标准差越大，代表图像对比度越大；均值是图像的亮度评价指标，均值越大，代表图像亮度越高；信息熵是反映图像信息量的评价指标，信息熵越大，代表图像信息量越大；峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）表征图像的保真性，图像失真越小，该值越大。可看出EnlightenGAN算法增强图像的均值提高最大，从视觉主观来看是因为亮度被过度增强，且EnlightenGAN算法增强图像的PSNR仅为7.598，说明该算法增强图像失真较为严重，且信息熵也不及本文算法与改进同态滤波算法，说明图像部分信息丢失。经本文算法处理后图像的对比度、信息量、保真性均为最优，且亮度提升适中。从主观比较与客观数据综合来看，本文算法对井下低照度图像的增强效果最好。
表 2 图像增强结果统计Table 2. Statistics of image enhancement results算法 标准差 均值 信息熵 PSNR 改进同态滤波算法 63.583 123.820 7.712 10.014 EnlightenGAN算法 63.312 153.775 7.683 7.598 本文算法 64.108 129.174 7.798 10.178 3.2 线特征提取实验
采用增强前后的图像进行LSD线特征提取实验，分别在巷道、水房、避难硐室、工作面处选取视频帧共1 802帧。实验结果如图8所示，其中绿色表示增强前后共有的线特征，蓝色表示图像增强后新增的线特征。可看出图像增强后提取出的线特征更多。将部分断裂的线特征修复合并，可在一定程度上减少误匹配现象[29]。
LSD线段提取数量见表3，由于短线提取效率低，实验时滤掉了长度小于20像素的线段。本文算法提取的线段数量平均增长32.92%，说明在线段提取前进行图像增强处理这一关键步骤有效，可使LSD线特征质量更高，提取的线段更多。
表 3 LSD线段提取数量Table 3. LSD line segment extraction quantity采集点 帧数 LSD线平均数/条 增长率/% 原图 本文算法增强图像 巷道 480 94.8 125.6 32.49 水房 218 120.5 166.4 38.09 工作面 324 138.8 181.5 30.85 避难硐室 780 184.4 244.8 32.75 平均值 144.6 192.2 32.92 3.3 线特征匹配实验
3.3.1 图像选择及相关设置
采用视觉SLAM技术进行定位与建图时，最主要的运动包括平移与旋转，因此，挑选同时具有视角变化与旋转变化的井下低照度图像，分别选取变化程度小和变化程度大的2组代表性图像进行实验，以验证本文算法在不同程度视差干扰时的匹配性能。视觉SLAM技术经常应用于井下发生坍塌事故时的救援任务，场景局部密集的线缆、堆积的矿石及受困人员所处避难硐室的墙壁等均包含较多相似纹理，相似纹理越多，线特征的特征向量区分度越低，给匹配带来干扰。因此，选取相似纹理较少和相似纹理较多的2组代表性图像进行实验，以验证本文算法在相似纹理占比不同时的性能。如果在具有较大视差及较多相似纹理干扰的情况下，匹配性能仍然较高，说明算法的鲁棒性良好。
实验图像如图9所示，图像属性见表4。分别采用LBD、LBD_NNDR、LT、本文算法进行实验。LBD_NNDR对OpenCV视觉库中LSD线匹配的最近邻策略进行了优化：在目标与候选直线的配对中，首先计算出目标直线与每条候选直线特征向量的汉明距离，汉明距离越小，说明2个特征向量越相似；筛选出目标直线到候选直线的最小汉明距离${X_{\mathrm{m}}}$与次小汉明距离${X_{{\mathrm{sm}}}}$，如果${X_{\mathrm{m}}}$小于阈值$ {T_{\mathrm{d}}} $，则在此基础上根据最近邻距离比准则（Nearest Neighbor Distance Ratio，NNDR）进行二次筛选；若${X_{\mathrm{m}}}$与${X_{{\mathrm{sm}}}}$的比值小于阈值$ {T_{\mathrm{n}}} $，则认为该线段为最佳匹配，$ {T_{\mathrm{d}}} $与$ {T_{\mathrm{n}}} $选取工程上常用的30与0.8。LT描述符使用文献[24]推荐的权重。本文算法的匹配策略是计算出目标直线与每条候选直线L2范数归一化描述符向量之间的欧氏距离，利用欧氏距离表征2个线对的相似度，选择相似度最大的2个线对作为候选同名直线。根据工程经验，相似度阈值选取0.8能够同时兼顾精度与同名直线数量。
表 4 图像属性Table 4. Image attributes图像序号 采集位置 旋转与平移程度 相似纹理占比 1 巷道 较小 较小 2 避难硐室 较小 较大 3 巷道 较大 较小 4 避难硐室 较大 较大 3.3.2 实验结果
图像1匹配结果如图10所示。未匹配直线标为蓝色，匹配错误线对标为红色，正确匹配线对标为绿色，匹配正误由人工目视判别。由于短线匹配效率低，实验时滤掉了长度小于20像素的线特征。图像1旋转平移程度小、相似纹理较少，4种算法的性能均良好，精度分别为85.48%，89.65%，90.19%，92.06%，正确匹配数量分别为53对、52对、46对、58对。图像2、图像3匹配结果如图11、图12所示。
图像2相对于图像1存在相似纹理较多的干扰。图像3相对于图像1存在较大的视差干扰。从匹配结果可看出，本文算法性能最优，图像2的正确匹配数量高达100对，远超过LBD、LBD_NNDR、LT对应的28对、25对、52对。图像2的匹配精度为85.47%。图像3的正确匹配数量为39对，精度为92.86%。精度与正确匹配数量均维持在较高水平，说明本文算法在较大视差干扰下或者较大平移旋转视差下的鲁棒性良好。
图像4相对于图像1，同时具备了较大的视差及相似纹理较多的双重干扰，匹配结果如图13所示。LBD对图像4的匹配效果极差，几乎无法正确匹配，精度仅为15.00%，正确匹配数量仅为9对。LBD−NNDR能够剔除部分误匹配对，但是精度与正确匹配数量依然很低。LT的正确直线匹配数量与精度有一定提升。本文算法性能最优，线特征正确匹配数量达65对，精度达76.92%，精度与正确匹配数量维持在较高水平。这是因为本文算法在图像增强后，得到了更多可靠的LSD线特征，而且采用的LT描述符自适应地将变化较大的直线抽象成了固定维度，更加适合线段变化较大时的匹配，并且线的签名网络获取到邻域的几何属性，LT描述符构建出的特征向量包含更多位置及几何信息，能够在一定程度上克服相似纹理干扰。
3.3.3 统计分析
线特征匹配实验数据统计见表5。可看出对于任一类图像，本文算法得到的线特征数量、同名直线数量、正确匹配数量、精度均优于LBD，LBD_NNDR，LT。
表 5 线特征匹配实验数据统计Table 5. Statistics of experimental data of line feature matching图像
序号变化
程度相似纹
理占比算法 线特征数量/条 同名直
线数/对正确匹
配数/对匹配
精度/%左 右 1 较小 较小 LBD 125 105 62 53 85.48 LBD_NNDR 125 105 58 52 89.65 LT 125 105 51 46 90.19 本文算法 149 130 63 58 92.06 2 较小 较大 LBD 180 182 50 28 56.00 LBD_NNDR 180 182 33 25 75.76 LT 180 182 62 52 83.87 本文算法 327 335 123 100 85.47 3 较大 较小 LBD 100 181 20 12 60.00 LBD_NNDR 100 181 15 11 73.33 LT 100 181 37 34 91.89 本文算法 137 258 42 39 92.86 4 较大 较大 LBD 287 252 60 9 15.00 LBD_NNDR 287 252 18 8 44.44 LT 287 252 55 38 69.09 本文算法 350 385 65 50 76.92 4种算法的平均精度与平均正确匹配数分别如图14、图15所示。可看出本文算法平均精度为86.83%，较LBD，LBD_NNDR，LT分别提升32.71%，16.03%，3.07%。本文算法平均正确匹配数为61.75对，是LBD的2.422倍、LBD_NNDR的2.572倍、LT的1.453倍。统计分析结果说明本文算法性能优良，能够满足井下图像的稳健匹配需求。
4. 结论
1） 针对井下图像线特征匹配精度低、正确匹配量少、鲁棒性差的问题，提出了一种基于LSD和LT描述符的矿井图像线特征匹配算法，采用改进单参数同态滤波算法和CLAHE算法进行图像增强，在图像增强的基础上使用LT描述符对提取的LSD线进行描述和匹配。
2） 实验结果表明：本文算法的平均精度为86.83%，较LBD，LBD_NNDR，LT分别提升32.71%，16.03%，3.07%；平均正确匹配数为61.75对，是LBD的2.422倍、LBD_NNDR的2.572倍、LT的1.453倍；本文算法提取的LSD线数量更多，质量更好，在不同干扰下鲁棒性良好。
3） 下一步将继续优化本文算法的匹配策略，研究如何剔除更多的误匹配线对。
-
![]()
图 4 矿用管道机器人检测与控制系统组成
Figure 4. Composition of detection and control system of mine pipeline inspection robot
![]()
图 5 管道检测机器人牵引力分析模型
Figure 5. Tractive force analysis model of mine pipeline inspection robot
![]()
图 6 管道检测机器人牵引力与螺旋角和法向力的关系
Figure 6. The relationship between traction force, spiral angle and normal force of mine pipeline inspection robot
![]()
图 7 管道检测机器人过弯牵引力分析模型
Figure 7. Traction force analysis model of mine pipeline inspection robot navigating curved pipes
![]()
图 9 管道检测机器人运行时的法向力分布
Figure 9. Normal force distribution during operation of mine pipeline inspection robot
![]()
图 12 管道检测机器人在直管中不同工况下的牵引力仿真结果
Figure 12. Traction force simulation results of mine pipeline inspection robot in straight pipe under different working conditions
![]()
图 13 管道检测机器人过弯时牵引力仿真结果
Figure 13. Simulation results of traction force during mine pipeline inspection robot bending
![]()
图 14 不同法向力下管道检测机器人牵引力仿真结果
Figure 14. Traction force simulation results of mine pipeline inspection robot under different normal forces
![]()
图 15 管道检测机器人牵引力测试平台
Figure 15. Test platform of traction force of mine pipeline inspection robot
![]()
图 16 不同管道工况下机器人牵引力测试结果
Figure 16. Ttraction force test result of mine pipeline inspection robot under different pipe conditions
![]()
图 17 不同法向力下机器人牵引力测试结果
Figure 17. Traction force test results of mine pipeline inspection robot under different normal forces
表 1 矿用管道检测机器人主要技术参数
Table 1 Main technical parameters of mine pipeline inspection robot
技术参数 值 机器人长度/mm 480 机器人质量/kg 8.5 适应管径/mm 180～225 最大速度/（m·min−1） 3 牵引力/N ≥30 
下载: 导出CSV
表 2 驱动轮与管道接触参数
Table 2 Contact parameters of driving wheel and pipe
工况 管道材质 有无运输介质 静摩擦因数 动摩擦因数 钢（干） 钢 无 0.30 0.25 钢（湿） 钢 有 0.08 0.05 铝（干） 铝 无 0.25 0.20 铝（湿） 铝 有 0.05 0.03
下载: 导出CSV
表 3 管道检测机器人过弯测试结果
Table 3 Test results of mine pipeline inspection robot bending
螺旋角 20 rad/min 40 rad/min 60 rad/min 80 rad/min 100 rad/min 变螺旋角 √ √ √ √ √ 10° ○ ○ ○ ○ ○ 20° ○ ○ ○ √ √ 30° ○ √ √ √ √ 40° ○ √ √ √ √ 50° ○ ○ √ √ √ 60° ○ ○ ○ √ √ 70～90° ○ ○ ○ ○ ○
下载: 导出CSV
-
[1] 蔡继涛,张志晶,王杰峰,等. 基于CFX的煤矿瓦斯抽采主系统管道泄漏数值模拟[J]. 矿业科学学报,2021,6(3):342-347. CAI Jitao,ZHANG Zhijing,WANG Jiefeng,et al. CFX-based numerical simulation of pipeline leakage of coal mine main gas drainage system[J]. Journal of Mining Science and Technology,2021,6(3):342-347.
[2] 曹建树,林立,李杨,等. 油气管道机器人技术研发进展[J]. 油气储运,2013,32(1):1-7. CAO Jianshu,LIN Li,LI Yang,et al. Research and development progress in oil and gas pipeline robotics[J]. Oil & Gas Storage and Transportation,2013,32(1):1-7.
[3] 魏明生,童敏明,张春亚,等. 管道清堵机器人电磁定位系统[J]. 工矿自动化,2016,42(6):1-4. WEI Mingsheng,TONG Minming,ZHANG Chunya,et al. Electromagnetic positioning system of pipeline blockage clearing robot[J]. Industry and Mine Automation,2016,42(6):1-4.
[4] 赵林,王纪强,侯墨语. 煤矿管道泄漏监测系统设计[J]. 工矿自动化,2016,42(10):12-15. ZHAO Lin,WANG Jiqiang,HOU Moyu. Design of pipeline leakage monitoring system for coal mine[J]. Industry and Mine Automation,2016,42(10):12-15.
[5] SHEN Yan,LI Yu,LI Zengping. Application of intelligent inspection robot in coal mine industrial heritage landscape:taking Wangshiwa Coal Mine as an example[J]. Frontiers in Neurorobotics,2022,16. DOI: 10.3389/FNBOT.2022.865146.
[6] ZHAI Guodong,ZHANG Wentao,HU Wenyuan,et al. Coal mine rescue robots based on binocular vision:a review of the state of the art[J]. IEEE Access,2020,8. DOI: 10.1109/ACCESS.2020.3009387.
[7] WANG Weidong,DONG Wei,SU Yanyu,et al. Development of search-and-rescue robots for underground coal mine applications[J]. Journal of Field Robotics,2014,31(3):386-407. DOI: 10.1002/rob.21501
[8] ZHAO Jingchao,GAO Junyao,ZHAO Fangzhou,et al. A search-and-rescue robot system for remotely sensing the underground coal mine environment [J]. Sensors,2017,17(10). DOI: 10.3390/s17102426.
[9] 葛世荣,胡而已,裴文良. 煤矿机器人体系及关键技术[J]. 煤炭学报,2020,45(1):455-463. GE Shirong,HU Eryi,PEI Wenliang. Classification system and key technology of coal mine robot[J]. Journal of China Coal Society,2020,45(1):455-463.
[10] KAZEMINASAB S,SADEGHI N,JANFAZA V,et al. Localization,mapping,navigation,and inspection methods in in-pipe robots:a review[J]. IEEE Access,2021,9. DOI: 10.1109/ACCESS.2021.3130233.
[11] MIAO Xingyuan,ZHAO Hong,SONG Fulin,et al. Dynamic characteristics and motion control of pipeline robot under deformation excitation in subsea pipeline[J]. Ocean Engineering,2022,266. DOI: 10.1016/j.oceaneng.2022.112790.
[12] ZHAO Wentao,ZHANG Liang,KIM J. Design and analysis of independently adjustable large in-pipe robot for long-distance pipeline[J]. Applied Sciences,2020,10(10). DOI: 10.3390/app10103637.
[13] LEE D,PARK J,HYUN D,et al. Novel mechanisms and simple locomotion strategies for an in-pipe robot that can inspect various pipe types[J]. Mechanism and Machine Theory,2012,56:52-68. DOI: 10.1016/j.mechmachtheory.2012.05.004
[14] LILJEBACK P,PETTERSEN K Y,STAVDAHL O,et al. A review on modelling,implementation,and control of snake robots[J]. Robotics and Autonomous Systems,2012,60(1):29-40. DOI: 10.1016/j.robot.2011.08.010
[15] RASHID M Z A,YAKUB F,ZAKI S A,et al. Reconfigurable multi-legs robot for pipe inspection:design and gait movement[J]. Indian Journal of Geo-Marine Sciences,2019,48(7):1132-44.
[16] GUZMAN B G,CORTES T M,LOPEZ A R,et al. Design of a communication,vision and sensory system for a rescuer robot in coal mine areas[C]. International Conference on Wireless Networks and Mobile Communications,Rabat,2017. DOI: 10.1109/WINCOM.2017.8238150.
[17] LI Menggang,ZHU Hua,TANG Chaoquan,et al. Coal mine rescue robots:development,applications and lessons learned[C]. International Conference on Autonomous Unmanned Systems,Changsha,2021. DOI: 10.1007/978-981-16-9492-9_210.
[18] ZHANG Lei,MENG Shan. Analysis of traveling-capability and obstacle-climbing capability for radially adjustable tracked pipeline robot[C]. IEEE International Conference on Robotics and Biomimetics,Qingdao,2016. DOI: 10.1109/ROBIO.2016.7866581.
[19] PARK J,HYUN D,CHO W-H,et al. Normal-force control for an in-pipe robot according to the inclination of pipelines[J]. IEEE Transactions on Industrial Electrics, 2011,58(12):5304-5310.
[20] YAN Hongwei,WANG Lu,LI Pengcheng,et al. Research on passing ability and climbing performance of pipeline plugging robots in curved pipelines[J]. IEEE Access,2020,8:173666-173680. DOI: 10.1109/ACCESS.2020.3025560
[21] YAN Hongwei,LI Jian,KOU Ziming,et al. Research on the traction and obstacle-surmounting performance of an adaptive pipeline-plugging robot[J]. Strojniski Vestnik/Journal of Mechanical Engineering,2022,68(1):14-26. DOI: 10.5545/sv-jme.2021.7361
-
期刊类型引用(1)
1. 张科学，吕鑫淼，郑庆学，王晓玲，李小磊，刘昇，刘伟，李鑫磊，闫星辰，许雯，尹宇航. 基于eNSP的智慧矿山网络防火墙技术研究. 中国煤炭. 2024(08): 94-103 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 482
- HTML全文浏览量: 64
- PDF下载量: 33
- 被引次数: 1
