A positioning solution method for roadheader under optical target occlusion conditions
-
摘要: 针对目前常用的基于惯导+视觉测量+光学靶标的掘进机组合式导航定位存在的光学靶标被遮挡情况下掘进机定位中断问题，提出了一种光学靶标遮挡条件下掘进机定位解算方法。首先，采集4个呈矩形分布的靶标点组成的光学靶标在无遮挡情况下的图像，得到靶标点在相机内成像光斑的像素坐标并构造成矩形，再按照一定比例扩大构造辅助矩形区域框。其次，采集部分靶标点被遮挡情况下的图像，得到无遮挡靶标点在相机内成像光斑的像素坐标，根据靶标点的成像光斑与辅助矩形区域框顶点的欧氏距离，确定无遮挡靶标点与成像光斑的对应关系，进而确定被遮挡的靶标点。然后，利用已知的靶标几何尺寸和惯导提供的靶标姿态信息，建立投影后的靶标点与成像光斑的对应关系，进而求解出被遮挡靶标点对应的光斑像素坐标。最后，利用N点位姿透视求解（PNP）算法求得光学靶标中心位置的空间坐标，实现掘进机定位解算。试验结果表明，光学靶标被遮挡情况下，通过推算被遮挡靶标点对应的光斑像素坐标，可以解决掘进机定位中断问题，保证了掘进机定位的实时性，且定位误差满足掘进机实际定位需求。Abstract: In order to solve the problem of interruption in the positioning of roadheader in the case that the optical target is blocked under the current commonly used integrated navigation positioning of roadheader based on "inertial navigation+visual measurement+optical target", a positioning solution method for roadheader under optical target occlusion occlusion is proposed. Firstly, the method collects images of an optical target composed of four rectangular distributed target points in unblocked conditions, obtains the pixel coordinates of the imaging spot of the target points in the camera, and constructs a rectangle. Then, the method expands and constructs an auxiliary rectangular area box according to a certain proportion. Secondly, the method collects images of partially blocked target points, obtains the pixel coordinates of the imaging spot of the unblocked target points in the camera. The method determines the corresponding relationship between the unblocked target points and the imaging spot based on the Euclidean distance between the imaging spot of the target points and the vertex of the auxiliary rectangular area box, thereby determining the blocked target points. Thirdly, using the known geometric dimensions of the target and the target attitude information provided by inertial navigation, the method establishes the corresponding relationship between the projected target point and the imaging spot, and then solves for the pixel coordinates of the spot corresponding to the blocked target point. Finally, the spatial coordinates of the center position of the optical target are obtained using the perspective-N-point (PNP) algorithm to achieve the positioning solution of the roadheader. The experimental results show that when the optical target is blocked, by calculating the pixel coordinates of the light spot corresponding to the blocked target point, the problem of interruption in the positioning of the roadheader can be solved. It ensures the real-time positioning of the roadheader, and the positioning error meets the actual positioning requirements of the roadheader.
-
0. 引言
掘进机导航定位系统是掘进机智能化的关键组成部分[1-3]。目前掘进机导航定位技术主要有单一测量导航技术和组合导航技术2类。在单一测量导航技术研究方面：张国喜[4]采用惯导设备直接测量掘进机位姿；田原[5]采用基于相机+光学靶标的视觉测量方法对掘进机机身进行定位测量；刘超等[6]基于超宽带测距和TSOA（Time Sum of Arrival，波达时间和）定位原理对掘进机机身姿态进行测量；石勇[7]提出了基于3D激光雷达的动态测距、测向方法，实时检测掘进机相对巷道中线的位置偏移和角度偏移；薛光辉等[8]提出了基于激光靶向跟踪的掘进机位姿测量方法；杨文娟等[9-10]提出了一种基于激光束特征的悬臂式掘进机机身测量系统。单一测量导航技术仅能提供单一的位置或姿态测量功能，在能见度低、空间狭窄的环境下适用性较差。组合导航技术以惯导技术为核心，同时辅助其他测量手段。在组合导航技术研究方面：刘豪[11]将捷联惯导与里程计组合，构建了掘进机自主导航定位系统，但掘进机履带打滑造成里程计空转，进而引入较大的定位误差；张旭辉等[12]采用全站仪与捷联惯导进行联合定位，通过卡尔曼滤波融合全站仪与捷联惯导测量数据，实现掘进机精确定位，但井下大范围移站时全站仪操作过于复杂，难以广泛推广；崔玉明[13]提出了掘进机视觉/惯性融合定位策略，通过视觉测量系统自动识别并测量环境特征量，但井下光照不足、粉尘浓度大等因素对视觉测量造成影响；为进一步提升视觉测量的抗干扰能力，Yang Wenjuan等[14]、雷孟宇等[15]、黄东等[16]提出了直接在掘进机机身上设置光学靶标，利用视觉测量系统在掘进机后端对靶标进行测量。光学靶标自身可发光、光束可透粉尘等特性有效克服了光照不足、粉尘浓度大等环境因素的影响，因此惯导+视觉测量+光学靶标组合的掘进机导航定位成为目前广泛应用的技术方案[17]。
通常情况下，光学靶标由固定在同一平面上、排列参数已知的一系列靶标点组成，最常见的形式是由4个呈矩形分布的靶标点组成。光学靶标与惯导组成的掘进机位姿测量装置固定在掘进机尾部，并且朝向视觉测量设备。视觉测量设备采集到光学靶标的图像后，获得图像中靶标点对应的光斑像素坐标，采用N点位姿透视求解（Perspective-N-Point，PNP）算法计算得到光学靶标中心位置坐标，并将该坐标信息发送至惯导系统进行组合导航解算，得到掘进机的位置和姿态信息。但由于掘进工作面经常会出现其他设备（如电缆、锚杆钻臂、风筒等）遮挡靶标点的情况，此时相机采集的光斑图像与靶标点未被遮挡时采集的光斑图像不符，进而造成PNP算法无法正常解算，导致掘进机定位中断。
本文以光学靶标、视觉测量系统、惯导系统构成的掘进机组合式导航定位系统为研究对象，提出了一种光学靶标遮挡条件下掘进机定位解算方法。掘进机组合式导航定位系统获取无遮挡情况下的光学靶标图像并将图像中的光斑进行标记，当下一帧图像中部分靶标点被遮挡后，通过帧间图像匹配，得到被遮挡靶标点的图像信息，利用惯导提供的靶标姿态信息，建立投影后的靶标点与光斑的对应关系，进而求解出被遮挡靶标点对应的光斑像素坐标，从而解决靶标被遮挡情况下掘进机定位中断的问题。
1. 掘进机组合式导航定位原理
掘进机组合式导航定位系统采用惯导+视觉测量+光学靶标的定位方案，由悬挂在掘进机后端巷道顶板上的激光导引装置和安装在掘进机上的位姿测量装置组成，如图1所示。激光导引装置包含测量相机、指向激光器、姿态测量模块和调整机构。通过预先标定，指向激光器的激光束与相机坐标系OcXcYcZc的Yc轴重合。位姿测量装置包含光学靶标、惯导系统和数据解算模块。光学靶标由4个呈矩形分布的靶标点组成，光学靶标坐标系OtXtYtZt与惯导坐标系OiXiYiZi相平行。
激光导引装置的相机坐标系OcXcYcZc的Yc轴与巷道掘进方向一致，且Yc轴位于巷道中轴面上，Xc轴与巷道宽度方向一致，Zc轴与巷道高度方向一致。位姿测量装置中的光学靶标朝向激光导引装置，且光学靶标坐标系OtXtYtZt、惯导坐标系OiXiYiZi与掘进机机身坐标系OrXrYrZr完全平行。因此惯导系统提供的航向角、横滚角和俯仰角代表光学靶标和掘进机机身的航向角、横滚角和俯仰角，通过与地测部门提供的巷道航向角作差，可得掘进机机身相对于巷道坐标系的航向角、俯仰角和横滚角。
激光导引装置的测量相机检测光学靶标上光斑坐标，采用PNP算法对光学靶标进行坐标定位，即确定光学靶标坐标系原点Ot（光学靶标中心点）在相机坐标系中的坐标。由于相机坐标系与巷道坐标系平行，所以该定位坐标也反映了光学靶标中心点在巷道中的坐标。激光导引装置解算得到的初步定位结果通过无线方式传输至位姿测量装置中的惯导系统，由于光学靶标坐标系、惯导坐标系与掘进机机身坐标系完全平行，所以惯导系统内部可直接采用初步定位结果进行组合导航解算，并通过坐标位置推算出掘进机机身坐标系原点Or在巷道内的准确坐标及掘进机机身的航向角、俯仰角和横滚角。
2. 光学靶标遮挡条件下掘进机定位解算方法
掘进机组合式导航定位系统的光学靶标与惯导系统都集成在位姿测量装置中，因此当光学靶标中部分靶标点被遮挡时，可根据已知的靶标几何尺寸结合惯导系统提供的靶标姿态信息，对被遮挡靶标点对应的光斑像素坐标进行推算，进而采用PNP算法求得光学靶标中心位置的空间坐标，实现掘进机定位解算。
2.1 光斑标记
相机采集无遮挡条件下光学靶标图像，通过灰度阈值处理并识别4个光斑的位置，按顺时针方向将4个光斑依次标记为$ A， B， C， D $，如图2所示。使用高斯拟合方法[18-20]获得$ A， B， C， D $ 4个光斑对应的像素坐标，分别为（$ {\mu }_{{A}}， {v}_{{A}} $），（$ {\mu }_{{B}}， {v}_{{B}} $），（$ {\mu }_{{C}}， {v}_{{C}} $），（$ {\mu }_{{D}}， {v}_{{D}} $）。
![]()
图 2 光斑标记与辅助矩形区域框构建Figure 2. Labeling of light spot and construction of auxiliary rectangular region box将4个光斑构造成矩形G，然后将G按一定比例扩大，构造辅助矩形区域框。将辅助矩形区域框4个顶点按顺时针方向设为O1，O2，O3，O4，其对应像素坐标分别为（$\mu_{O_ 1}， v_{O_ 1} $），（$\mu_{O_ 2}， v_{O_ 2} $），（$\mu_{O_ 3}， v_{O_ 3} $），（$\mu_{O_ 4}， v_{O_ 4} $）。
2.2 光斑匹配
由于掘进机移动速率较低，4个靶标点在下一帧图像中的光斑像素位置不会发生剧烈变化。在获取下一帧图像后，可以参考上一帧图像中构造的辅助矩形区域框。相较于其他光斑，A点对应的靶标点在下一帧图像中的光斑$ {A}' $应与辅助矩形区域框顶点O1的欧氏距离最小，如图3所示。将下一帧图像中检测出来的4个光斑依次标记为$ {A}'， {B}'， {C}'， {D}' $。如果光学靶标的部分靶标点被遮挡，则可以根据辅助矩形区域框顶点的关系确定缺失的光斑标记。
2.3 无遮挡情况下靶标点成像投影关系
已知光学靶标上4个靶标点TA，TB，TC，TD构成长为2a、宽为2b的矩形靶面，如图4所示。在光学靶标坐标系OtXtYtZt中，4个靶标点的坐标分别为TA（−a，0，b），TB（a，0，b），TC（a，0，−b），TD（−a，0，−b）。光学靶标坐标系OtXtYtZt与惯导坐标系OiXiYiZi完全平行，利用惯导坐标系OiXiYiZi与相机坐标系OcXcYcZc的夹角，可将由TA，TB，TC，TD构成的光学靶标坐标系OtXtYtZt通过姿态矩阵变换生成与相机坐标系OcXcYcZc平行的由$ {T}_{{{{A}}}'} $，$ {T}_{{{{B}}}'} $，$ {T}_{{{{C}}}'} $，$ {T}_{{{{D}}}'} $构成的投影靶面坐标系Ot_PXt_PYt_PZt_P，其中$ {T}_{{{{A}}}'} $，$ {T}_{{{{B}}}'} $，$ {T}_{{{{C}}}'} $，$ {T}_{{{{D}}}'} $分别为4个靶标点TA，TB，TC，TD在投影靶面坐标系下的对应投影点。
![]()
图 4 实际靶标点根据惯导姿态信息的投影变换Figure 4. Projection transformation of the actual target point according to the attitude information provided by inertial navigation光学靶标坐标系OtXtYtZt下的靶标点TA，TB，TC，TD在投影靶面坐标系Ot_PXt_PYt_PZt_P中的投影点$ {T}_{{{{A}}}'} $，$ {T}_{{{{B}}}'} $，$ {T}_{{{{C}}}'} $，$ {T}_{{{{D}}}'} $可表示为
$$ \left\{ {\begin{array}{*{20}{c}} {{T_{{{A}}'}} = {\boldsymbol{R}}_{\mathrm{b}}^{\mathrm{t}} {T_{{A}}}} \\ {{T_{{{B}}'}} = {\boldsymbol{R}}_{\mathrm{b}}^{\mathrm{t}} {T_{{B}}}} \\ {{T_{{{C}}'}} = {\boldsymbol{R}}_{\mathrm{b}}^{\mathrm{t}} {T_{{C}}}} \\ {{T_{{{D}}'}} = {\boldsymbol{R}}_{\mathrm{b}}^{\mathrm{t}} {T_{{D}}}} \end{array}} \right. $$ (1) 式中$ {{\boldsymbol{R}}}_{{\mathrm{b}}}^{{\mathrm{t}}} $为实际靶面坐标系到投影靶面坐标系的转换矩阵。
$$ \begin{split} {\boldsymbol{R}}_{\mathrm{b}}^{\mathrm{t}} =& \left[ {\begin{array}{*{20}{c}} {{\mathrm{cos}}\;\gamma }&{ - {\mathrm{sin}}\;\gamma }&0 \\ {{\mathrm{sin}}\;\gamma }&{{\mathrm{cos}}\;\gamma }&0 \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} 1&0&0 \\ 0&{\cos \;\alpha }&{ - {\mathrm{sin}}\;\alpha } \\ 0&{{\mathrm{sin}}\;\alpha }&{\cos \;\alpha } \end{array}} \right]\times \\&\left[ {\begin{array}{*{20}{c}} {\cos \;\beta }&0&{\sin \;\beta } \\ 0&1&0 \\ { - \sin \;\beta }&0&{\cos \;\beta } \end{array}} \right] \end{split} $$ (2) 式中γ，α，β分别为惯导系统提供的航向角、俯仰角、横滚角。
光学靶标在经过姿态变换后，投影到与相机成像平面（相机坐标系XcOcZc平面）平行的投影靶面坐标系上的投影点坐标，用于后续光斑像素坐标的推算。
2.4 被遮挡靶标点对应的光斑像素坐标推算
下面对检测到3个光斑和2个光斑的情况分别进行缺失光斑像素坐标推算。
2.4.1 1个靶标点被遮挡时光斑像素坐标推算
如果光学靶标中的1个靶标点被遮挡，则在下一帧图像中的辅助矩形区域框内将找到3个光斑。对检测到的3个光斑进行标记，标记结果为A，B，C或A，B，D或A，C，D或B，C，D 4种情况。
以光斑标记结果A，B，C为例（被遮挡点为D点），由式（1）可得4个靶标点的投影点$ {T}_{{{{A}}}'} $，$ {T}_{{{{B}}}'} $，$ {T}_{{{{C}}}'} $，$ {T}_{{{{D}}}'} $的理论坐标，各个投影点之间的理论距离为$ {L}_{{{T_{A'}}}\_ T_{{B'}}} $，${L}_{{{T_{A'}}}\_T_{{C'}}} $，$ {L}_{{{T_{A'}}}\_T_{{D'}}} $，$ {L}_{{{T_{B'}}}\_T_{{C'}}} $，$ {L}_{{{T_{B'}}}\_T_{{D'}}} $，$ {L}_{{{T_{C'}}}\_T_{{D'}}} $。提取无遮挡的3个靶标点在相机成像平面中的像素坐标，分别为（$ {\mu }_{{A}}， {v}_{{A}} $），（$ {\mu }_{{B}}， {v}_{{B}} $），（$ {\mu }_{{C}}， {v}_{{C}} $）。被遮挡的$ D $点的像素坐标为（$ {\mu }_{{D}}， {v}_{{D}} $），则通过几何比例关系可得
$$ \left\{ {\begin{array}{l} {\dfrac{{{{\left( {{\upsilon _{{D}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{D}}} - {\mu _{{A}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{A}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{A'}}}\_T_{{{D'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{A'}}}\_T_{{{B'}}}}}} \right)}^2}}}} \\ {\dfrac{{{{\left( {{\upsilon _{{D}}} - {\upsilon _{{C}}}} \right)}^2} + {{\left( {{\mu _{{D}}} - {\mu _{{C}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{C}}} - {\upsilon _{{B}}}} \right)}^2} + {{\left( {{\mu _{{C}}} - {\mu _{{B}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{C'}}}\_T_{{{D'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{B'}}}\_T_{{{C'}}}}}} \right)}^2}}}} \\ {\dfrac{{{{\left( {{\upsilon _{{D}}} - {\upsilon _{{B}}}} \right)}^2} + {{\left( {{\mu _{{D}}} - {\mu _{{B}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{C}}} - {\upsilon _{{B}}}} \right)}^2} + {{\left( {{\mu _{{C}}} - {\mu _{{B}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{B'}}}\_T_{{{D'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{B'}}}\_T_{{{C'}}}}}} \right)}^2}}}} \end{array}} \right. $$ (3) 由式（1）−式（3）可得$ D $点的像素坐标（$ {\mu }_{{D}}， {v}_{{D}} $）。结合图像中已知的3个光斑的像素坐标，使用PNP算法求得光学靶标中心点Ot的空间坐标，实现对光学靶标的定位测量。
2.4.2 2个靶标点被遮挡时光斑像素坐标推算
如果光学靶标中的2个靶标点被遮挡，则在下一帧图像中的辅助矩形区域框内仅能找到2个光斑。对检测到的2个光斑进行标记，标记结果为A，B或A，D或B，C或C，D 4种情况。
以光斑标记结果A，B为例（被遮挡点为C，D点），通过式（1）求得4个靶标点的投影点$ {T}_{{{{A}}}'} $，$ {T}_{{{{B}}}'} $，$ {T}_{{{{C}}}'} $，$ {T}_{{{{D}}}'} $的理论坐标，则被遮挡的C点的像素坐标通过几何比例关系求得。
$$ \left\{ {\begin{array}{l} {\dfrac{{{{\left( {{\upsilon _{{C}}} - {\upsilon _{{B}}}} \right)}^2} + {{\left( {{\mu _{{C}}} - {\mu _{{B}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{A}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{B'}}}\_T_{{{C'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{A'}}}\_T_{{{B'}}}}}} \right)}^2}}}} \\ {\dfrac{{{{\left( {{\upsilon _{{A}}} - {\upsilon _{{C}}}} \right)}^2} + {{\left( {{\mu _{{A}}} - {\mu _{{C}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{A}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{A'}}}\_T_{{{C'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{A'}}}\_T_{{{B'}}}}}} \right)}^2}}}} \end{array}} \right. $$ (4) 由式（1）和式（4）可得像素坐标的2个解（$ {\mu }_{{C}}'， {v}_{{C}}' $），（$ {\mu }_{{C}}''， {v}_{{C}}'' $）。计算这2个解距O3（$\mu_{O_ 3}， v_{O_ 3} $）的欧氏距离，欧氏距离最小值对应点的坐标为C点的像素坐标，如图5所示。
![]()
图 5 2个靶标点遮挡情况下像素坐标推算Figure 5. Calculation of pixel coordinates when two target points are blocked同理，被遮挡的D点像素坐标通过几何比例关系求得。
$$ \left\{ {\begin{array}{l} {\dfrac{{{{\left( {{\upsilon _{{D}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{D}}} - {\mu _{{A}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{A}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{A'}}}\_T_{{{D'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{A'}}}\_T_{{{B'}}}}}} \right)}^2}}}} \\ {\dfrac{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{D}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{D}}}} \right)}^2}}}{{{{\left( {{\upsilon _{{B}}} - {\upsilon _{{A}}}} \right)}^2} + {{\left( {{\mu _{{B}}} - {\mu _{{A}}}} \right)}^2}}} = \dfrac{{{{\left( {{L_{T_{{{B'}}}\_T_{{{D'}}}}}} \right)}^2}}}{{{{\left( {{L_{T_{{{A'}}}\_T_{{{B'}}}}}} \right)}^2}}}} \end{array}} \right. $$ (5) 由式（1）和式（5）可得D点的像素坐标有2个解（$ {\mu }_{{D}}'， {v}_{{D}}' $），（$ {\mu }_{{D}}''， {v}_{{D}}'' $）。计算这2个解距O4（$\mu_{O _4}， v_{O_ 4} $）的欧氏距离，欧氏距离最小值对应点的坐标为D点的像素坐标。
3. 掘进机定位试验
为验证光学靶标被遮挡情况下掘进机定位的精确性和稳定性，在山东能源集团新巨龙煤矿11302回采工作面搭建井下试验平台，掘进巷道方向为北偏东209.355°。位姿测量装置安装在EBZ260掘进机机尾的正上方，光学靶标朝向机尾方向，靶面尺寸为400 mm×360 mm。激光导引装置悬挂在后端巷道顶板上。通过人工调整使得激光导引装置悬挂方向与巷道掘进方向一致，此时相机坐标系与巷道坐标系一致。测试前通过试验标定出惯导坐标系与掘进机机身坐标系的安装偏角，以惯导系统输出的姿态角（含标定的安装偏角）与地测部门给出的巷道方向之差作为掘进机相对于巷道坐标系的航向偏角、俯仰角和横滚角，同时也是光学靶标坐标系相对于相机坐标系的航向偏角、俯仰角和横滚角。
掘进机组合式导航定位系统正常工作后，按照系统提供的掘进机位置坐标和姿态信息，将掘进机驾驶到距离激光导引装置15，25，40，60 m的测试点来采集光靶图像。试验过程中，用手对相应的靶标点进行遮挡，分为随机遮挡1个靶标点和遮挡同侧2个靶标点2种情况。为便于比较，每个测试点下掘进机的俯仰角、横滚角、航向偏角尽量调整为固定值，以没有遮挡情况下解算得到的定位结果作为基准值，并与不同遮挡情况下定位结果进行对比，结果见表1。其中x，y，z分别为沿巷道宽度方向、巷道掘进方向、巷道高度方向的定位结果，Δx，Δy，Δz分别为沿巷道宽度方向、巷道掘进方向、巷道高度方向的定位误差（测量值与基准值之差）。
表 1 不同距离下掘进机定位试验结果Table 1. Experimental results of roadheader positioning at different distances掘进机距激光导引装置距离/m 姿态角/（°） 靶标点 定位结果/mm 定位误差/mm x y z Δx Δy Δz 15 俯仰角：−0.11 A，B，C，D 304 14925 −903 − − − A，B，C 303 14900 −902 1 25 −1 A，B，D 303 14920 −904 1 5 1 横滚角：−0.35 A，C，D 304 14918 −902 0 7 −1 B，C，D 304 14938 −904 0 −13 1 A，B 305 14935 −903 −1 −10 0 航向偏角：−1.14 C，D 303 14939 −904 1 −14 1 A，D 305 14960 −904 −1 −35 1 B，C 303 14890 −904 1 35 1 25 俯仰角：0.20 A，B，C，D 258 24951 −943 − − − A，B，C 259 24919 −939 −1 32 −4 A，B，D 258 24972 −947 0 −21 4 横滚角：0.11 A，C，D 258 24917 −940 0 34 −3 B，C，D 258 24978 −947 0 −27 4 A，B 259 24926 −941 −1 25 −2 航向偏角：0.06 C，D 258 24924 −942 0 27 −1 A，D 259 24977 −943 −1 −26 0 B，C 258 24962 −943 0 −11 0 40 俯仰角：−0.12 A，B，C，D 49 40036 −869 − − − A，B，C 49 40069 −869 0 −33 0 A，B，D 49 40052 −870 0 −16 1 横滚角：−0.22 A，C，D 49 40007 −868 0 29 −1 B，C，D 48 40015 −871 1 21 2 A，B 50 40093 −872 −1 −57 3 航向偏角：−1.07 C，D 48 40015 −870 1 21 1 A，D 50 39974 −869 −1 62 0 B，C 49 40023 −870 0 13 1 60 俯仰角：−0.24 A，B，C，D 16 60312 −997 − − − A，B，C 16 60367 −1000 0 −54 3 A，B，D 16 60268 −994 0 44 −3 横滚角：0.22 A，C，D 16 60356 −1000 0 −44 3 B，C，D 16 60259 −994 0 53 −3 A，B 16 60381 −999 0 −69 2 航向偏角：−0.37 C，D 17 60345 −998 −1 −33 1 A，D 16 60260 −997 0 52 0 B，C 15 60262 −996 1 50 −1 从表1可看出：在靶标点被遮挡时，采用本文方法得到的沿巷道宽度方向、巷道高度方向最大定位误差分别为1，4 mm；沿巷道掘进方向最大定位误差在掘进机距激光导引装置5，25，40，60 m时分别为35，34，62，69 mm，试验结果满足掘进机定位实际需求（沿巷道宽度方向、巷道高度方向的定位误差影响截割断面的控制精度，通常要求小于50 mm；沿巷道掘进方向的定位误差影响进尺精度，通常要求小于300 mm[21]）。
4. 结论
1） 在靶标点无遮挡情况下采集图像，将图像中光斑构造成辅助矩形区域框。当下一帧图像中部分靶标点被遮挡时，通过比较无遮挡靶标点的成像光斑与辅助矩形区域框顶点的欧氏距离，对无遮挡靶标点的成像光斑进行标记和匹配，进而确定被遮挡靶标点。根据已知靶标几何尺寸和惯导系统提供的靶标姿态信息，推导出投影后的靶标点与成像光斑的对应关系，进而求解出被遮挡靶标点对应的光斑像素坐标。
2） 在煤矿井下开展了掘进机定位试验，结果表明：光学靶标被遮挡情况下，通过推算被遮挡靶标点对应的光斑像素坐标，可以解决掘进机定位中断问题，保证了掘进机定位的实时性，且定位误差满足掘进机实际定位需求。
-
![]()
图 2 光斑标记与辅助矩形区域框构建
Figure 2. Labeling of light spot and construction of auxiliary rectangular region box
![]()
图 4 实际靶标点根据惯导姿态信息的投影变换
Figure 4. Projection transformation of the actual target point according to the attitude information provided by inertial navigation
![]()
图 5 2个靶标点遮挡情况下像素坐标推算
Figure 5. Calculation of pixel coordinates when two target points are blocked
表 1 不同距离下掘进机定位试验结果
Table 1 Experimental results of roadheader positioning at different distances
掘进机距激光导引装置距离/m 姿态角/（°） 靶标点 定位结果/mm 定位误差/mm x y z Δx Δy Δz 15 俯仰角：−0.11 A，B，C，D 304 14925 −903 − − − A，B，C 303 14900 −902 1 25 −1 A，B，D 303 14920 −904 1 5 1 横滚角：−0.35 A，C，D 304 14918 −902 0 7 −1 B，C，D 304 14938 −904 0 −13 1 A，B 305 14935 −903 −1 −10 0 航向偏角：−1.14 C，D 303 14939 −904 1 −14 1 A，D 305 14960 −904 −1 −35 1 B，C 303 14890 −904 1 35 1 25 俯仰角：0.20 A，B，C，D 258 24951 −943 − − − A，B，C 259 24919 −939 −1 32 −4 A，B，D 258 24972 −947 0 −21 4 横滚角：0.11 A，C，D 258 24917 −940 0 34 −3 B，C，D 258 24978 −947 0 −27 4 A，B 259 24926 −941 −1 25 −2 航向偏角：0.06 C，D 258 24924 −942 0 27 −1 A，D 259 24977 −943 −1 −26 0 B，C 258 24962 −943 0 −11 0 40 俯仰角：−0.12 A，B，C，D 49 40036 −869 − − − A，B，C 49 40069 −869 0 −33 0 A，B，D 49 40052 −870 0 −16 1 横滚角：−0.22 A，C，D 49 40007 −868 0 29 −1 B，C，D 48 40015 −871 1 21 2 A，B 50 40093 −872 −1 −57 3 航向偏角：−1.07 C，D 48 40015 −870 1 21 1 A，D 50 39974 −869 −1 62 0 B，C 49 40023 −870 0 13 1 60 俯仰角：−0.24 A，B，C，D 16 60312 −997 − − − A，B，C 16 60367 −1000 0 −54 3 A，B，D 16 60268 −994 0 44 −3 横滚角：0.22 A，C，D 16 60356 −1000 0 −44 3 B，C，D 16 60259 −994 0 53 −3 A，B 16 60381 −999 0 −69 2 航向偏角：−0.37 C，D 17 60345 −998 −1 −33 1 A，D 16 60260 −997 0 52 0 B，C 15 60262 −996 1 50 −1 
下载: 导出CSV
-
[1] 王步康. 煤矿巷道掘进技术与装备的现状及趋势分析[J]. 煤炭科学技术,2020,48(11):1-11. WANG Bukang. Current status and trend analysis of roadway driving technology and equipment in coal mine[J]. Coal Science and Technology,2020,48(11):1-11.
[2] 胡兴涛,朱涛,苏继敏,等. 煤矿巷道智能化掘进感知关键技术[J]. 煤炭学报,2021,46(7):2123-2135. HU Xingtao,ZHU Tao,SU Jimin,et al. Key technology of intelligent drivage perception in coal mine roadway[J]. Journal of China Coal Society,2021,46(7):2123-2135.
[3] 刘送永,张德义. 巷道掘进机智能化技术研究现状及展望[J]. 工矿自动化,2019,45(10):23-28. LIU Songyong,ZHANG Deyi. Research status and prospect of intelligentization technology of roadheader[J]. Industry and Mine Automation,2019,45(10):23-28.
[4] 张国喜. 悬臂式掘进机惯性测量系统的改进与试验[J]. 江西煤炭科技,2021(2):238-240. DOI: 10.3969/j.issn.1006-2572.2021.02.080 ZHANG Guoxi. Transformation and experiment on inertial measurement system in cantilever roadheader[J]. Jiangxi Coal Science & Technology,2021(2):238-240. DOI: 10.3969/j.issn.1006-2572.2021.02.080
[5] 田原. 悬臂式掘进机视觉定位方法研究[J]. 矿山机械,2019,47(3):8-12. DOI: 10.3969/j.issn.1001-3954.2019.03.003 TIAN Yuan. Research on vision positioning method for boom-type roadheader[J]. Mining & Processing Equipment,2019,47(3):8-12. DOI: 10.3969/j.issn.1001-3954.2019.03.003
[6] 刘超,符世琛,成龙,等. 基于TSOA定位原理混合算法的掘进机位姿检测方法[J]. 煤炭学报,2019,44(4):1255-1264. LIU Chao,FU Shichen,CHENG Long,et al. Pose detection method based on hybrid algorithm of TSOA positioning principle for roadheader[J]. Journal of China Coal Society,2019,44(4):1255-1264.
[7] 石勇. 基于三维激光雷达的掘进机实时位姿纠偏系统[J]. 煤矿机械,2023,44(5):64-66. SHI Yong. Real-time pose correction system of roadheader based on three-dimensional lidar[J]. Coal Mine Machinery,2023,44(5):64-66.
[8] 薛光辉,张云飞,候称心,等. 基于激光靶向跟踪的掘进机位姿测量方法[J]. 矿业科学学报,2020,5(4):416-422. XUE Guanghui,ZHANG Yunfei,HOU Chenxin,et al. Measurement of roadheader position and posture based on laser target tracking[J]. Journal of Mining Science And Technology,2020,5(4):416-422.
[9] 杨文娟,张旭辉,马宏伟,等. 悬臂式掘进机机身及截割头位姿视觉测量系统研究[J]. 煤炭科学技术,2019,47(6):50-57. YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Research on position and posture measurement system of body and cutting head for boom-type roadheader based on machine vision[J]. Coal Science and Technology,2019,47(6):50-57.
[10] 杨文娟,张旭辉,张超,等. 悬臂式掘进机器人巷道成形智能截割控制系统研究[J]. 工矿自动化,2019,45(9):40-46. YANG Wenjuan,ZHANG Xuhui,ZHANG Chao,et al. Research on intelligent cutting control system for roadway forming of boom-type tunneling robot[J]. Industry and Mine Automation,2019,45(9):40-46.
[11] 刘豪. 捷联惯导与里程计组合的矿用掘进机自主导航定位系统[D]. 重庆:重庆大学,2020. LIU Hao. An autonomous navigation system of mining TBM based on the combination of SINS and OD[D]. Chongqing:Chongqing University,2020.
[12] 张旭辉,刘博兴,张超,等. 掘进机全站仪与捷联惯导组合定位方法[J]. 工矿自动化,2020,46(9):1-7. ZHANG Xuhui,LIU Boxing,ZHANG Chao,et al. Roadheader positioning method combining total station and strapdown inertial navigation system[J]. Industry and Mine Automation,2020,46(9):1-7.
[13] 崔玉明. 煤矿巷道掘进机视觉/惯性融合自主定位关键技术研究[D]. 徐州:中国矿业大学,2021. CUI Yuming. Key technology research of visual/inertial fusion autonomous positioning for roadheader in coal mine[D]. Xuzhou:China University of Mining and Technology,2021.
[14] YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining[J]. IEEE Access,2019,7:33698-33712. DOI: 10.1109/ACCESS.2019.2904097
[15] 雷孟宇,张旭辉,杨文娟,等. 煤矿掘进装备视觉位姿检测与控制研究现状与趋势[J]. 煤炭学报,2021,46(增刊2):1135-1148. LEI Mengyu,ZHANG Xuhui,YANG Wenjuan,et al. Current status and trend of research on visual pose detection and control of heading equipment in coal mines[J]. Journal of China Coal Society,2021,46(S2):1135-1148.
[16] 黄东,杨凌辉,罗文,等. 基于视觉/惯导的掘进机实时位姿测量方法研究[J]. 激光技术,2017,41(1):19-23. HUANG Dong,YANG Linghui,LUO Wen,et al. Study on measurement method of realtime position and attitude of roadheader based on vision/inertial navigation system[J]. Laser Technology,2017,41(1):19-23.
[17] 田原. 悬臂式掘进机导航技术现状及其发展方向[J]. 工矿自动化,2017,43(8):37-43. TIAN Yuan. Present situation and development direction of navigation technology of boom-type roadheader[J]. Industry and Mine Automation,2017,43(8):37-43.
[18] 田原. 基于四点式光靶的掘进机自动定位方法研究[J]. 煤炭科学技术,2018,46(12):35-40. TIAN Yuan. Research on automatic positioning method of roadheader based on four point light target[J]. Coal Science and Technology,2018,46(12):35-40.
[19] 陈和,杨志浩,郭磐,等. 激光光斑中心高精度定位算法研究[J]. 北京理工大学学报,2016,36(2):181-185. CHEN He,YANG Zhihao,GUO Pan,et al. Research of the high precision laser spot center location algorithm[J]. Transactions of Beijing Institute of Technology,2016,36(2):181-185.
[20] 李道萍,杨波. 高精度光斑中心定位算法[J]. 光学仪器,2018,40(4):20-25. LI Daoping,YANG Bo. High-precision center location algorithm of light spot[J]. Optical Instrument,2018,40(4):20-25.
[21] GB 50213—2010 煤矿井巷工程质量验收规范[S]. GB 50213-2010 Code for acceptance of shaft sinking and drifting of coal mine[S].
计量
- 文章访问数: 72
- HTML全文浏览量: 17
- PDF下载量: 15
