0 引言
在煤矿智能化综采工作面的研究与应用中，液压支架的位置偏移已经成为制约综采工作面高产、高效、安全生产的难题。液压支架位置偏移分为前后未对齐偏移和不垂直于刮板输送机偏移2种类型,可通过液压支架底座的位姿及直线度检测来进行位置纠偏。传统的液压支架位姿与直线度检测方法多数是利用角度传感器、位移传感器对液压支架各组成元件间的相对位姿进行测量，或是借助激光、红外线、电磁式传感器通过判断液压支架间相对距离来实现局部位姿检测[1]。传统检测方法实施成本较高，且很难实现两物体的全位姿检测[2]。
视觉测量系统[3-4]的优点是非接触式测量，不伤及测量目标，不干扰被测对象自然状态，可在恶劣环境下工作，能更好地适用于矿井粉尘浓度大、测量路径易被遮挡、光照不均匀等复杂环境[5]。在采煤过程中，综采工作面设备振动剧烈，会造成传感器误差大等问题，视觉测量技术可以利用机载稳像[6]减少振动对传感器的影响，提高测量精度。杨曌[7]提出了一种基于视觉测量的综采工作面直线度测量方法，该方法通过在工作面液压支架上架设高强度LED灯，并使用云台摄像仪进行角度控制，对LED灯进行重复采样，从而测出整个工作面的直线度，但该方法只能检测液压支架的横向偏移，不能检测出液压支架的位姿。刘鹏坤等[8]提出了一种基于机器视觉的长壁工作面直线度测量方法，该方法利用梯形窗口、灰度识别和特征搜索等视觉算法获得工作面直线度，但该方法需要多台相机进行接力以统一坐标系, 实施成本高。张旭辉等[9]发明了一种基于多图像序列的井下液压支架组位姿及直线度测量方法,该方法利用视觉测量技术对采集到的序列图像进行处理与解算，得到液压支架的位姿与直线度，但该方法依据刮板作为直线度基准，直线度精度有待进一步提高。
针对以上液压支架位姿与直线度测量方法存在实施成本高、精度和实时性较差的问题，本文提出了一种基于视觉测量的液压支架位姿检测方法。在液压支架上设置红外LED标识板，利用安装在采煤机上的防爆相机进行图像采集，对图像进行特征点提取，利用基于4个共面特征点的视觉算法，得到液压支架的位姿，根据液压支架的位姿坐标可以得到其在多个方向的直线度。
1 位姿检测原理
视觉测量技术利用视觉传感器采集包含被测目标空间相对位置轨迹和空间相对位姿等参数信息的图像，以获得被测目标的位姿。按视觉传感器的数量，视觉测量方法可以分为单目视觉测量、双目视觉测量和多目视觉测量等。单目视觉测量修正了双目视觉及多目视觉中测量视场范围小、视觉传感器之间立体匹配困难等缺点，具有系统结构简单和相机标定步骤少等优点[10]。PNP(Perspective-N-Point)是一种基于单幅图像的定位解算方法，该方法由于不需要建立图像点之间的对应关系，所以在目标位置定位和姿态解算上得到了广泛应用。它可以确定目标物体上的n个特征点在相机坐标系下的坐标，根据标定完成的相机内外部参数与特征点在世界坐标系下的坐标值，最终算出目标的运动位置和位姿参数。为保证求解的唯一性，采用基于4个共面特征点的算法进行目标的位姿检测。
标识板上特征点在被测目标物体坐标系上的坐标为已知，利用基于4个共面特征点的算法解算出特征点在相机坐标系下的坐标，根据三维坐标空间转换，即可解算出相机相对于被测目标物体的位姿。 基于4个共面特征点的算法原理如图1所示。图中Oc-xcyczc为相机坐标系，O-xy为图像坐标系。P1—P4为4个共面特征点，构成正方形。4个特征点在图像坐标系下的坐标为C1—C4。
图1 基于4个共面特征点的算法原理
Fig.1 Algorithm principle based on 4 coplanar feature points
根据图1中的几何关系，可以得到：
(1)
式中：S1为ΔP1P2P3的面积；S2为ΔP1P2P4的面积；S3为ΔP1P3P4的面积；S4为ΔP2P3P4的面积；h为相机光心到Pi点(i=1,2,3,4)构成平面的距离。
同时有
(2)
式中：(xi,yi)为Ci点的坐标；di为相机的光心Oc点到Pi点的距离，
为相机的光心Oc点到Ci点的距离，
为相机的有效焦距。
(xi,yi)、f与Mi可通过坐标系转换与相机内参数标定得到，为已知量，通过求解di，即可得到相机坐标系下特征点Pi的坐标。
由式(1)和(2)可以推导出：
(3)
其中：
(4)
相机坐标系下特征点之间的距离Lij为
(5)
将式(2)、式(3) 代入式(5)，可解出d1：
d1=M1L12/
(6)
将d1代入式(3)，可计算出d2、d3、d4，再将d1、d2、d3、d4代入式(2)，即可求出特征点P在相机坐标系下的坐标(Xi,Yi,Zi)。
设特征点P在被测目标物体坐标系Ow-xwywzw中的坐标为(Xw,Yw,Zw)，在相机坐标系Oc-xcyczc的坐标为(Xc,Yc,Zc)，可建立如下关系：
(7)
式中：R为旋转矩阵;T为平移向量。
旋转矩阵和平移向量决定了相机相对于被测目标物体坐标系的方向和位置。其中旋转矩阵为正交矩阵，由3个旋转角表示，即俯仰角α、偏航角β、翻滚角γ。利用三维坐标空间转换，可求得旋转矩阵R和平移向量T，即相机相对于被测目标物体的位姿。
2 位姿检测方法实现
根据综采工作面中液压支架所处位置以及位姿测量需求，提出基于视觉测量的液压支架位姿检测方法的具体实现方案：在每个液压支架立柱的缸体前端安装红外LED标识板，防爆相机置于采煤机上，进行图像采集。利用视觉测量算法对图像进行处理与解算，得到液压支架的位姿。根据液压支架的空间位置坐标，进行三轴方向上的坐标拟合，获得液压支架多个方向的直线度。
基于视觉测量的液压支架位姿检测方法实现方案如图2所示。标识板为被测目标，利用基于4个共面特征点的视觉测量算法[11]进行姿态解算。标识板的4个顶点为被测目标上的特征标志，用相机对被测目标进行采集，采集到的图像用防爆计算机进行处理。图像处理的主要步骤为图像预处理、图像特征提取[12]、位姿解算、直线度解算。
图2 基于视觉测量的液压支架位姿检测方法实现方案
Fig.2 Implementation scheme of position detection method of hydraulic support based on vision measurement
用相机对标识板进行图像采集，在计算机中首先对图像进行高斯滤波、图像增强等预处理，接着利用基于亚像素的定位方法对预处理后的图像进行特征点提取。根据文献[13]，利用基于4个共面特征点的视觉算法可以得到液压支架相对于相机的位姿
基于视觉测量的液压支架位姿检测数学模型如图3所示，由于相机置于采煤机机身上,可以得到其转换矩
利用组合惯导[14]获得高精度的采煤机位姿0T，由此可得液压支架的位姿：
(8)
图3 基于视觉测量的液压支架位姿检测数学模型
Fig.3 Mathematical model of position detection of hydraulic support based on vision measurement
利用建立的数学模型的转换关系可以得到液压支架标识板上特征点在巷道中的三轴坐标Pi=(Xi,Yi,Zi)，可以选择其中任意一个特征点来解算液压支架横向和纵向的直线度。利用每一液压支架上标识板的同一特征点在Z轴上的坐标Zi进行直线度拟合，可获得液压支架在横向上的直线度。对Xi,Yi进行拟合，可获得液压支架其余2个方向的直线度。
3 位姿检测方法实验验证
3.1 液压支架位姿测量
本文采用的工业相机型号为维视MV_EM130M,标识板尺寸为250 mm×250 mm,特征点采用SE3470红外LED。在计算机中利用Vs、OpenCV等软件编写VC++程序，实现实时图像采集、图像预处理、特征点提取及液压支架位姿解算等功能。
利用实验室的三轴转台对标识板位姿进行准确的角度设置。设定其航向角α=2°，俯仰角β=1°，横滚角γ=1°。利用相机对标识板进行连续图像采集，解算液压支架的位姿。液压支架位姿测量结果见表1。
表1 液压支架位姿测量结果
Table 1 Posture measurement results of hydraulic support (°)
由表1中可以计算出，基于视觉测量的姿态角检测的最大误差为0.63°，满足综采工作面对液压支架位姿的精度要求。
3.2 液压支架直线度测量
利用实验室设备进行液压支架直线度测量实验。在液压支架组模型的立柱底部设置标识板，标识板由4个红外LED灯组成，分布在250 mm×250 mm的正方形边上；将相机置于CM40L多轴直线运动实验平台上，可以进行平移运动，模拟采煤机运动，并在相机上安装TransducerM九轴传感器，获得相机在移动过程中的位姿。在液压支架组模型上设置1—10号标识板，将液压支架组分别置于相机轨迹前的600、650、700、750、800、850、900、950、1 000、1 050 mm处。相机沿运动平台从1号液压支架运行到10号液压支架，进行连续图像采集，计算其位姿。
相机采集到的标识板的图像如图4所示。利用每一个标识板的P1点的Z坐标进行横向直线度的计算,计算结果见表2。根据表2，绘制实际值与测量值对比曲线，如图5所示。
(a) 650 mm
(b) 1 050 mm
图4 直线度测量标识板图像
Fig.4 Straightness measurement signage image
表2 液压支架横向直线度测量值与实际值对比
Table 2 Comparison of measurement values and actual values of lateral straightness of hydraulic support mm
图5 实际值与测量值对比曲线
Fig.5 Comparison curves of actual values and measurement values
《煤矿安全质量标准化》中明确规定：液压支架(支柱)排成一条直线，相邻两液压支架之间的偏差不超过50 mm[15]。从表2和图5可以看出，液压支架位置测量值与实际值非常接近，最大误差为19.43 mm，测量较为准确，满足测量精度50 mm的要求。
4 结语
基于煤矿综采工作面智能化、无人化的发展需求，提出了一种基于视觉测量的液压支架位姿检测方法，通过对置于液压支架上的标识板进行图像采集，利用基于4个共面特征点的视觉算法对图像进行处理与解算，得到液压支架的位姿，利用液压支架的位姿坐标对其进行多方向的直线度检测。实验结果显示，姿态精度在0.7°以内，直线度精度在20 mm以内，满足了液压支架测量精度要求。
参考文献
[1] 张坤,廉自生.液压支架姿态角度测量系统[J].工矿自动化,2017,43(5):40-45.
ZHANG Kun,LIAN Zisheng.Attitude angle measuring system of hydraulic support[J].Industry and Mine Automation,2017,43(5):40-45.
[2] 北京天地玛珂电液控制系统有限公司.一种采煤工作面直线度控制方法:201210142362.5[P].2015-02-18.
[3] 王伟兴.刚体位姿参数单目视觉测量系统研究[D].哈尔滨:哈尔滨工业大学,2013.
[4] 解邦福.基于单目视觉的刚体位姿测量系统研究[D].哈尔滨：哈尔滨工业大学,2009.
[5] 杜雨馨,刘停,童敏明,等.基于机器视觉的悬臂式掘进机机身位姿检测系统[J].煤炭学报,2016,41(11):2897-2906.
DU Yuxin,LIU Ting,TONG Minming,et al.Pose measurement system of boom-type roadheader based on machine vision[J].Journal of China Coal Society,2016,41(11):2897-2906.
[6] 马志强,陈广居,单勇,等.机载电子稳像技术综述[J].电子设计工程,2012,20(21):171-175.
MA Zhiqiang,CHEN Guangju,SHAN Yong,et al.An overview on electronic image stabilization of the airborne system[J].Electronic Design Engineering,2012,20(21):171-175.
[7] 杨曌.基于视觉测量的综采工作面直线度测量技术研究[J].煤炭工程,2016,48(9):134-136.
YANG Zhao.Research on measurement technology of working face straightness based on vision measurement[J].Coal Engineering,2016,48(9):134-136.
[8] 刘鹏坤,王聪.基于机器视觉的长壁工作面直线度测量算法研究[J].矿业科学学报,2017,2(3):267-273.
LIU Pengkun,WANG Cong.Straightness measurement algorithm based on machine vision for coal longwall face[J].Journal of Mining Science and Technology,2017,2(3):267-273.
[9] 张旭辉,杨文娟,刘永伟,等.基于多图像序列的井下液压支架组位姿及直线度测量方法:201710442811.0[P].2018-06-29.
[10] 汪启跃,王中宇.基于单目视觉的航天器位姿测量[J].应用光学,2017,38(2):250-255.
WANG Qiyue,WANG Zhongyu.Position and pose measurement of spacecraft based on monocular vision[J].Journal of Applied Optics,2017,38(2):250-255.
[11] 霍炬,崔家山,王伟兴.基于共面特征点的单目视觉位姿测量误差分析[J].光子学报,2014,43(5):150-156.
HUO Ju,CUI Jiashan,WANG Weixing.Error of monocular visual position measurement based on coplanar feature points[J].Acta Photonica Sinica,2014,43(5):150-156.
[12] 王敏,赵金宇,陈涛.基于各向异性高斯曲面拟合的星点质心提取算法[J].光学学报,2017,37(5):226-235.
WANG Min,ZHAO Jinyu,CHEN Tao.A new center location method for star-map targets based on anisotropic Gaussian surface fitting[J].Acta Optica Sinica,2017,37(5):226-235.
[13] 任远.方向选择性模型及其在图像处理中的应用[D].上海:复旦大学,2013.
[14] 张勇刚,张云浩,李宁.基于互补滤波器的MEMS/GPS/地磁组合导航系统[J].系统工程与电子技术,2014,36(11):2272-2279.
ZHANG Yonggang,ZHANG Yunhao,LI Ning.MEMS/GPS/geomagnetic integrated navigation system based on complementary filter[J].Systems Engineering and Electronics,2014,36(11):2272-2279.
[15] 李国雄,谢晓铭,孙德宁,等.走向长壁炮采放顶煤工作面顶板控制的实践[J].煤炭技术,2012,31(3):83-85.
LI Guoxiong,XIE Xiaoming,SUN Dening,et al.Practice of roof control at blasting and caving face with strike long wall mining[J].Coal Technology,2012,31(3):83-85.