基于双目结构光视觉的煤流量测量研究

张俊升, 王洪磊, 李佳城

张俊升,王洪磊,李佳城. 基于双目结构光视觉的煤流量测量研究[J]. 工矿自动化,2023,49(7):19-26. DOI: 10.13272/j.issn.1671-251x.2022100050
引用本文: 张俊升,王洪磊,李佳城. 基于双目结构光视觉的煤流量测量研究[J]. 工矿自动化,2023,49(7):19-26. DOI: 10.13272/j.issn.1671-251x.2022100050
ZHANG Junsheng, WANG Honglei, LI Jiacheng. Research on coal flow measurement based on binocular structured light vision[J]. Journal of Mine Automation,2023,49(7):19-26. DOI: 10.13272/j.issn.1671-251x.2022100050
Citation: ZHANG Junsheng, WANG Honglei, LI Jiacheng. Research on coal flow measurement based on binocular structured light vision[J]. Journal of Mine Automation,2023,49(7):19-26. DOI: 10.13272/j.issn.1671-251x.2022100050

基于双目结构光视觉的煤流量测量研究

基金项目: 天地科技股份有限公司科技创新创业资金专项项目(2022-3-TD-ZD001)。
详细信息
    作者简介:

    张俊升(1995—),男,四川巴中人,助理研究员,硕士,研究方向为智能矿山和机器视觉,E-mail:zhangjs2013s@163.com

  • 中图分类号: TD634

Research on coal flow measurement based on binocular structured light vision

  • 摘要: 在常规的双目视觉系统中,常用的加速稳健特征和尺度不变特征转换匹配算法对图像质量要求高,针对煤炭这种颜色纹理比较单一的场景应用时容易失效,且需要消耗大量的计算资源,难以保证实时性;激光雷达在进行煤流量测量时,有效视场范围较小,对应的测量点数较少,扫描频率也较低,在带式输送机运行速度较快时,精度会大幅降低。针对上述问题,提出一种基于双目结构光视觉的煤流量测量方法,将线结构光引入双目视觉系统,利用线结构光的约束,将图像特征点匹配简化成左右2幅图像行之间的匹配。在保证双目系统相机光轴平行度的基础上,采用对应行匹配计算三维坐标点,提高采样频率和分辨率,进而提高煤流量测量精度,降低测量系统对光照和环境的依赖。点云获取:利用线结构光凸显煤料截面曲线,提取煤料截面中心线的图像坐标,利用双目相机获取左右煤料截面线结构光图像,建立双目结构光三维重建模型,左右图像中心线坐标构成匹配点对参与计算煤料截面三维坐标,实现点云的实时获取。煤流量计算:利用空载胶带截面点云和负载胶带截面点云,结合获取煤料点云,利用微元法对煤料三维点云进行采样,分别利用均匀网格化法和三角网格化法求取单位时间内的煤料体积,实现带式输送机煤流量测量。实验结果表明,利用均匀网格化法检测煤料体积平均相对误差为6.758%,利用三角网格化法检测煤料体积平均相对误差为2.791%,三角网格化法测量精度高于均匀网格化法。工业性试验结果表明,基于双目结构光视觉的煤流量测量方法与电子胶带秤相比,绝对误差最大值为87.855 t/h,绝对误差平均值为25.902 t/h,相对误差最大值为2.876%,平均相对误差为0.847%,满足煤矿非接触式煤流量测量使用要求。
    Abstract: In the conventional binocular vision system, the commonly used speeded up robust features and scale-invariant feature transform matching algorithms have high requirements for image quality. When applied to scenes with relatively single color and texture such as coal, it is prone to failure. It needs to consume a lot of computing resources, which is difficult to ensure real-time performance. When using LiDAR for coal quantity measurement, the effective field of view is relatively small. The corresponding measurement points are few and the scanning frequency is low. When the belt conveyor runs at a faster speed, the precision will be significantly reduced. In order to solve the above problems, a coal flow measurement method based on binocular structured light vision is proposed. The linear structured light is introduced into the binocular vision system. By using the constraint of linear structured light, the image feature point matching is simplified into matching between left and right image lines. On the basis of ensuring the parallelism of the optical axis of the binocular system camera, corresponding row matching is used to calculate three-dimensional coordinate points. The sampling frequency and resolution is improved. The precision of coal flow measurement is improved. The dependence of the measurement system on lighting and environment is reduced. Point cloud acquisition: It uses the line structured light to highlight the coal material section curve, and extracts the image coordinates of the coal material section center line. It uses the binocular camera to obtain the left and right coal material section line structured light images. It establishes binocular structured light 3D reconstruction model. The left and right image center line coordinates form a matching point pair to participate in the calculation of the coal material section 3D coordinates, so as to achieve real-time acquisition of point clouds. Coal flow calculation: The point cloud of coal material is obtained by combining the point cloud of no-load belt section and the point cloud of loaded belt section. The infinitesimal method is used to sample the 3D point cloud of coal material. The volume of coal material in unit time is calculated by the uniform meshing method and the triangle meshing method, respectively. The coal flow measurement of belt conveyor is realized. The experimental results show that the average relative error of coal volume measured by the uniform meshing method is 6.758%. The average relative error of coal volume measured by the triangle meshing method is 2.791%. The measurement precision of the triangle meshing method is higher than that of the uniform meshing method. The industrial test results show that compared with the electronic belt weigher, the maximum absolute error of the coal flow measurement method based on binocular structured light vision is 87.855 t/h. The average absolute error is 25.902 t/h, the maximum relative error is 2.876%, and the average relative error is 0.847%. The results meet the requirements of non-contact coal flow measurement in coal mines.
  • 带式输送机是矿井主运输系统的关键设备,提高其智能化水平对提高能源利用率、降低矿井运营成本、保障安全生产具有重要意义。带式输送机智能化的关键在于依据输送量的多少实现智能调速,带式输送机上煤流量的精准实时计量是当前需要解决的主要问题。

    煤流量测量方法主要分为接触式和非接触式。目前,在煤矿场景中常用的接触式测量方法是电子胶带秤,电子胶带秤具有检测精度较高、检测结果直接的优点,但对安装环境、带式输送机工况、物料特性都有一定的要求,且依赖人工定期校准和维护[1]。非接触式测量方法中应用较多的主要包括二维图像法、双目视觉法、激光雷达法。二维图像法是通过分析带式输送机输煤图像,分别提取出煤和输煤胶带的边缘,利用煤占胶带的比例估计煤量,是一种定性的分析方法[2-3]。双目视觉法是利用预先标定的双目摄像头采集输煤图像,进行图像特征匹配和深度值计算,利用一段区域内的三维坐标解算输煤量[4]。激光雷达法利用激光雷达分别扫描带式输送机空载状态和输煤状态下的表面点云,对煤料的横截面面积进行采样计算,并在胶带输送方向上进行积分得到输煤量[5]。在煤矿井下输煤场景中,需要在斜巷中进行煤量测量,但电子胶带秤一般安装在水平地面上,以保证测量精度,因此,煤矿井下输煤量检测的研究方向为非接触式测量[6]。在定量计算输煤量的方法中,双目视觉方法属于被动式测量,受测量环境复杂的光照条件及煤料单一的颜色纹理的影响,测量精度较低[7]。在常规的双目视觉系统中,视差计算依赖于图像特征点提取匹配[8],常用的加速稳健特征(Speeded Up Robust Feature,SURF)和尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)匹配算法对图像质量要求高,应用在煤炭这种颜色纹理比较单一的场景容易失效,且需要消耗大量的计算资源,难以保证实时性[9];激光雷达的测距精度较高,但在煤量测量时,有效视场范围较小,对应的测量点数较少,扫描频率也较低[10],在胶带运行速度较快时,精度会大幅降低。

    针对上述问题,本文融合了双目视觉法和激光雷达法的部分优势,提出了一种基于双目结构光视觉的煤流量测量方法。将线结构光引入双目视觉系统,利用线结构光的约束,将图像特征点匹配简化成左右2幅图像行之间的匹配。在保证双目系统相机光轴平行度的基础上,使用对应行匹配计算三维坐标点,提高采样频率和分辨率,进而提高煤流量测量精度,降低测量系统对光照和环境的依赖。

    双目立体视觉[11]利用2个相机完成镜头前目标的图像采集,由于左右相机进行图像采集时的拍摄角度和位置的区别,因此同一时刻相机采集目标物的2幅图像存在一定的视差,根据视差得出目标的空间坐标[12-13]。双目视觉测距模型如图1所示。

    图  1  双目视觉模型
    Figure  1.  Binocular visual model

    设左相机位于世界坐标系$ o\text{-}xy {\textit{z}} $原点处且无旋转,图像坐标系为$ {O}_{{\rm{l}}} \text{-}{X}_{{\rm{l}}}{Y}_{{\rm{l}}} $,有效焦距为$ {f}_{{\rm{l}}} $;右相机坐标系为$ {o}_{{\rm{r}}}{ \text{-}}{x}_{{\rm{r}}}{y}_{{\rm{r}}} {\textit{z}} _{{\rm{r}}} $,图像坐标系为$ {O}_{{\rm{r}}}{ \text{-}}{X}_{{\rm{r}}}{Y}_{{\rm{r}}} $,有效焦距为$ {f}_{{\rm{r}}} $。$ o\text{-}xy {\textit{z}} $坐标系与$ {o}_{{\rm{r}}}{ \text{-}}{x}_{{\rm{r}}}{y}_{{\rm{r}}} {\textit{z}} _{{\rm{r}}} $坐标系可通过空间转换矩阵$ {{\boldsymbol{M}}}_{{\rm{lr}}} $互相转换。

    $$ \left[\begin{array}{c}{x}_{{\rm{r}}}\\ {y}_{{\rm{r}}}\\ { {\textit{z}} }_{{\rm{r}}}\end{array}\right]={{\boldsymbol{M}}}_{{\rm{lr}}}\left[\begin{array}{c}{x}_{{\rm{l}}}\\ {y}_{{\rm{l}}}\\ { {\textit{z}} }_{{\rm{l}}}\\ 1\end{array}\right]=\left[\begin{array}{c}{r}_{1} \;\; {r}_{2} \;\; {r}_{3} \;\; {t}_{{{x}}}\\ {r}_{4} \;\; {r}_{5} \;\; {r}_{6} \;\; {t}_{{{y}}}\\ {r}_{7} \;\; {r}_{8} \;\; {r}_{9} \;\; {t}_{ {\textit{z}} }\end{array}\right]\left[\begin{array}{c}{x}_{{\rm{l}}}\\ {y}_{{\rm{l}}}\\ { {\textit{z}} }_{{\rm{l}}}\\ 1\end{array}\right] $$ (1)
    $$ {{\boldsymbol{M}}}_{{\rm{lr}}}={\boldsymbol{RT}} $$ (2)

    式中:r1r9为旋转矩阵分量;txtytz为平移矩阵分量;R为$ o{\text{-}}xy{\textit{z}} $坐标系与$ {o}_{{\rm{r}}} {\text{-}}{x}_{{\rm{r}}}{y}_{{\rm{r}}} {\textit{z}} _{{\rm{r}}} $之间的旋转矩阵,${\boldsymbol{R}}=\left[\begin{array}{c}{r}_{1} \;\; {r}_{2}\;\; {r}_{3}\\ {r}_{4}\;\; {r}_{5}\;\; {r}_{6}\\ {r}_{7}\;\; {r}_{8} \;\; {r}_{9}\end{array}\right]$;T为$ o-xy{\textit{z}} $坐标系与原点之间的平移矩阵,${\boldsymbol{T}}={\left[{t}_{{{x}}} \; \; {t}_{{{y}}}\; \;{t}_ {\textit{z}} \right]}^{{\rm{T}}}$。

    对于o-xyz坐标系中的空间点,两相机图像坐标系中的投影点之间对应关系为

    $$\left[\begin{array}{c} X_{{\rm{r}}} \\ Y_{{\rm{r}}} \\ 1 \end{array}\right]=\left[\begin{array}{cccc} f_{{\rm{r}}} r_1&f_{{\rm{r}}} r_2&f_{{\rm{r}}} r_3&f_{{\rm{r}}} t_{{{x}}} \\ f_{{\rm{r}}} r_4&f_{{\rm{r}}} r_5&f_{{\rm{r}}} r_6&f_{{\rm{r}}} t_{{{y}}} \\ r_7&r_8&r_9&t_ {\textit{z}} \end{array}\right]\left[\begin{array}{c} \dfrac{Z X_{{\rm{l}}}}{f_{{\rm{l}}}} \\ \dfrac{ {\textit{z}} Y_{{\rm{l}}}}{f_{{\rm{l}}}} \\ {\textit{z}} \\ 1 \end{array}\right]$$ (3)

    空间点三维坐标为

    $$ \left\{\begin{array}{l}x=\dfrac{ {\textit{z}} {X}_{{\rm{l}}}}{{f}_{{\rm{l}}}}\\ y=\dfrac{ {\textit{z}} {Y}_{{\rm{l}}}}{{f}_{{\rm{l}}}}\\ {\textit{z}} =\dfrac{{f}_{{\rm{l}}}({f}_{{\rm{r}}}{t}_{{{x}}}-{X}_{{\rm{r}}}{t}_{ {\textit{z}} })}{{X}_{{\rm{r}}}\left({r}_{7}{X}_{{\rm{l}}}+{r}_{8}{Y}_{{\rm{l}}}+{f}_{{\rm{l}}}{r}_{9}\right)-{f}_{{\rm{r}}}({r}_{4}{X}_{{\rm{l}}}+{r}_{5}{Y}_{{\rm{l}}}+{f}_{{\rm{l}}}{r}_{3})}\end{array} \right. $$ (4)

    若左右两相机安装情况较为理想,则$ {Y}_{{\rm{l}}}= {Y}_{{\rm{r}}}={Y}^{{'}} $,且左右镜头焦距相等,$ {f}_{{\rm{l}}}={f}_{{\rm{r}}} $,则

    $$ \left\{\begin{array}{l}{X}_{{\rm{l}}}=f\dfrac{x}{ {\textit{z}} }\\ {X}_{{\rm{r}}}=f\dfrac{B-x}{ {\textit{z}} }\\ {Y}^{{{'}}}=f\dfrac{y}{ {\textit{z}} }\end{array}\right. $$ (5)

    式中:f为相机的焦距;B为右相机的基线距离。

    空间点的世界坐标为

    $$ \left\{\begin{array}{c}x=\dfrac{B{x}_{{\rm{l}}}}{{X}_{{\rm{l}}}-{X}_{{\rm{r}}}}=\dfrac{B{X}_{{\rm{l}}}}{D}\\y=\dfrac{B{Y}^{\mathrm{{'}}}}{{X}_{{\rm{l}}}-{X}_{{\rm{r}}}}=\dfrac{{BY}^{\mathrm{{'}}}}{D}\\ {\textit{z}} =\dfrac{Bf}{{X}_{{\rm{l}}}-{X}_{{\rm{r}}}}=\dfrac{Bf}{D}\end{array}\right. $$ (6)

    式中D为左右相机采集到的2幅图像的视差,$ D= {X}_{{\rm{l}}}-{X}_{{\rm{r}}} $。

    根据双目结构光测量原理设计满足实际使用要求的双目煤流量测量系统,如图2所示。该测量系统主要由工业相机、镜头、线激光器、编码器、同步电路控制器组成,沿胶带输送方向顺序布置。线激光器采用直射式投射到胶带和输送物料表面,2个工业相机等间隔位于激光器两侧,编码器用于测量胶带运动速度。

    图  2  双目煤流量测量系统布置
    Figure  2.  Arrangement of the binocular coal flow measurement system

    双目煤流量测量系统选用板级互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工业相机,分辨率为1 544×2 048,实际测量时,采集区域分辨率为256×2 048,按此分辨率设计最大帧率为1 000 帧/s,双目基线距离为120 mm;镜头选用500万像素6 mm定焦高清镜头;线激光器选用输出波长450 nm、额定线宽2 mm的半导体线激光器。

    利用线激光器对胶带表面进行投影,用双目煤流量测量系统采集到的图像如图3所示。可看出图像的线激光边缘部分为空载胶带,中间部分为煤料部分,空载胶带的线激光图像反映出胶带的基本截面形状,负载胶带的线激光图像受到煤料表面的调制,反映出煤料和胶带边缘部分的截面形状。

    图  3  双目结构光图像
    Figure  3.  Binocular structured light image

    中心线坐标提取是获取煤料点云的重要环节,直接决定三维点云的精度[14]。中心线的提取流程是根据检测系统、胶带、待测煤料的位置,确定图像的感兴趣区域(Region of Interest,ROI);按RGB图像各个通道的重要性,运用加权平均值法[15]对左图像和右图像进行预处理,转换为左灰度图和右灰度图。

    $$ f(x,y)=0.299 r (x,y)+0.597g (x,y)+0.114b(x,y) $$ (7)

    式中:f(xy)为在图像坐标( xy )处的灰度值;$ r(x,y) $,$ g(x,y) $,$ b(x,y) $分别为在图像坐标(xy)处的颜色分量。

    对左、右灰度图位于ROI内的部分进行水平扫描,每个扫描点的窗口能量为

    $$ E\left(x,y\right)= \sum\limits_{i=-n}^{n} \sum\limits_{j=-n}^{n}(x+i)I(x+i,y+j) $$ (8)

    式中:n为从左灰度图所选窗口中心到边缘的距离;ij分别为计算点距离窗口中心点在xy方向的偏移量;$ I(x+i,y+j) $为坐标$ (x+i,y+j) $处的图像灰度。

    对由左灰度图和右灰度图中坐标$ y $相同的水平扫描行构成的水平极线进行扫描,得到左灰度图和右灰度图的线激光成像点$ ({{x}_{{\rm{l}}},y)}_{{{k}}} $和$ {({x}_{{\rm{r}}},y)}_{{{k}}} $。在理想条件下,左右序列中行数k相同的点构成匹配点对。

    在实际测量煤流量时,胶带以速度v匀速输送,使用双目煤流量测量系统先采集空载胶带的表面点云,再采集负载胶带上煤料的表面点云。煤料点云的合成原理如图4所示,以负载点云为上表面,空载点云为下表面,即可得到胶带所运煤料截面点云,假设前后2帧点云的采集时间间隔均为∆t,在x方向上2帧点云的间隔为v∆t

    图  4  煤料点云合成原理
    Figure  4.  Synthesis principle of coal point cloud

    在胶带变速输送时,利用编码器将变速过程划分为多个匀速输送过程,把相邻的编码器信号之间的输送视为匀速过程,生成煤料的点云数据。

    获取煤料三维点云后,计算单位时间内输送煤料的体积,即煤流量,如图5所示。将空载胶带点云与世界坐标系o-xyz形成的体积记为$ {V}_{{\rm{ref}}} $,负载胶带点云与世界坐标系o-xyz形成的体积记为$ {V}_{{\rm{mess}}} $,则输送煤料的体积为$ {V}_{{\rm{s}}}={V}_{{\rm{ref}}}-{V}_{{\rm{mess}}} $。

    图  5  煤流量计算原理
    Figure  5.  Calculation principle of coal flow

    采用微元法将待测点云分成多个微元求取体积,再积分计算总体积。本文提出了均匀网格化和三角网格化2种方法。

    1) 均匀网格化。均匀网格化是以xoy平面为底面,对点云进行均匀采样[16],如图6所示。采样间隔为$ \Delta d=sv\Delta t $,s为采样比例,选取在煤料点云到xoy平面投影的采样区域内最接近采样区域中心的点为采样点,采样点z坐标的值为$ {h}_{u} $,其中s<1,s越小,采样间隔越小,则计算精度越高。

    图  6  点云均匀网格化
    Figure  6.  Point cloud uniform meshing

    以采样区域面积为底面积,以$ {h}_{u} $为高,计算长方体体积,共计m个采样长方体,则任一采样长方体体积为$ {V}_{u}^{\mathrm{{'}}}={\Delta d}^{2}{h}_{u} $,其中,$ \Delta d $为采样长方体的正方形底边长,对某一阶段扫描到的煤料点云的体积为

    $$ V=\sum _{u=1}^{m}{V}_{u}^{{'}}=\sum _{u=1}^{m}{\Delta d}^{2}{h}_{u} $$ (9)

    2) 三角网格化。三角网格化可把杂乱的三维点云转换为空间三角网格,反映目标物体的拓扑连接关系[17]。三角网格化中最常用的是Delaunay三角[18]

    Delaunay三角网格化法利用空圆和最小角性质对点云进行三角剖分,空圆特性表示在Delaunay三角中任一三角网格的外接圆内不存在其他点,最小角特性表示Delaunay三角的最小角最大,交换2个相邻三角形成的凸四边形对角线后,2个内角的最小角不再增大[19]。对点云进行Delaunay三角网格化,如图7所示。

    图  7  点云三角网格化
    Figure  7.  Point cloud triangle meshing

    将点云三角网格化后,p个三角网格与xoy平面构成p个上下底面不平行的三棱柱,三角网格包含3个点,坐标分别为$ ({x}_{1},{y}_{1}, {\textit{z}} _{1}) $、$ \left({x}_{2},{y}_{2}, {\textit{z}} _{2}\right) $、$ ({x}_{3},{y}_{3}, {\textit{z}} _{3}) $,其中$ {\textit{z}} _{1} \leqslant {\textit{z}} _{2} \leqslant {\textit{z}} _{3} $,三棱柱体积为

    $$ {V}_{q}^{{'}}=\frac{1}{6}( {\textit{z}} _{1}+ {\textit{z}} _{2}+ {\textit{z}} _{3})({x}_{1}{y}_{2}-{x}_{2}{y}_{1}+{x}_{2}{y}_{3}-{x}_{3}{y}_{2}+{x}_{3}{y}_{1}-{x}_{1}{y}_{3}) $$ (10)

    因此,整个待测点云与xoy平面构成的区域体积为

    $$ V=\sum\limits_{q=1}^{p}{V}_{q}^{{'}} $$ (11)

    在实验室条件下搭建了实验平台,如图8所示。实验平台由双目结构光煤流量测量系统、1 400 mm带宽的变频驱动带式输送机、用于测量胶带带速和旋转发电的托辊、DC24 V电源箱组成。其中,煤流量测量系统安装在胶带中央正上方,安装高度为1 200 mm;测速发电托辊安装在上胶带正下方,利用霍尔效应实时检测胶带速度,利用外转子发电机进行能量收集和整流输出;电源箱中的铅酸锂电池组用于储能,并向煤流量测量系统供能。

    图  8  煤流量测量试验平台
    Figure  8.  Coal flow measurement and test platform

    采用本文设计的实验平台,在电动机频率为20 Hz、带速为1.566 m/s的条件下分别采集空载胶带及负载胶带(250,500,750,1 000,1 250,1 500 cm3煤料)的点云,如图9所示。

    图  9  空载胶带与负载胶带表面点云
    Figure  9.  Point cloud on the surface of no-load belt and load belt

    依次计算世界坐标系中xoy平面与空载胶带和负载胶带表面点云形成的空间体积,求得运输煤料的体积,结果见表1

    表  1  煤料体积测量结果
    Table  1.  Measurement results of coal material volume
    标准
    体积/cm3
    均匀
    网格化/cm3
    三角
    网格化/cm3
    均匀网格化
    相对误差/%
    三角网格化
    相对误差/%
    250228.667252.1428.5330.857
    500478.458521.1724.9084.234
    750695.941764.5057.2081.934
    1 0001 091.213965.9419.1213.406
    1 2501 321.0481 275.5725.6842.046
    1 5001 423.6241 564.0145.0924.268
    平均相对误差/%6.7582.791
    下载: 导出CSV 
    | 显示表格

    表1可看出,采用均匀网格化法计算胶带上煤料体积平均相对误差为6.758%,采用三角网格化法计算胶带上煤料体积平均相对误差为2.791%。均匀网格化法的精度低于三角网格化法的精度,这是因为在均匀采样过程中,点云上采样降低了点云密度,使参与计算的点数减少,使精度降低。

    为进一步验证双目结构光煤流量测量系统测量的准确性与可靠性,在某选煤厂原煤胶带进行了试验,如图10所示。双目煤流量测量系统安装于原煤胶带上方,采用精度更高的三角网格化法进行体积计算,胶带宽为1 600 mm,系统安装高度为1 200 mm。

    图  10  选煤厂煤流测量试验
    Figure  10.  Coal flow measurement test of coal washing plant

    胶带运行速度为4.6 m/s,双目煤流量测量系统参数设置见表2,双目结构光煤流量测量系统软件界面如图11所示。

    表  2  检测参数设置
    Table  2.  Test parameter settings
    参数名称设置数值
    曝光时间/μs1 000
    增益2
    像素数2 048×256
    堆煤密度/(t·m−30.90
    下载: 导出CSV 
    | 显示表格
    图  11  双目煤流量测量系统软件界面
    Figure  11.  Software interface of the binocular coal flow measurement system

    现场安装位置处用电子胶带秤作为测量对照,其测量精度为0.001 t,其软件界面如图12所示。

    图  12  电子胶带秤软件界面
    Figure  12.  Software interface of electronic belt scale

    煤炭输运过程中,煤料之间的未填充部分为空隙,空隙受煤料颗粒大小、形状等因素的影响[20]。在实际输送量计量中,应除去空隙体积,以堆煤密度替代煤的密度,降低空隙体积的影响。

    本文方法与电子胶带秤检测的煤流量曲线如图13所示。可看出本文方法与电子胶带秤波动趋势基本相同,且本文方法检测灵敏度更高。

    图  13  本文方法与电子胶带秤检测结果
    Figure  13.  Test results of this method and electronic belt weigher

    本文方法与电子胶带秤检测的绝对误差如图14所示,相对误差如图15所示。由图14图15可看出,双目结构光煤流量测量系统测量结果相对电子胶带秤测量结果绝对误差最大值为87.855 t/h,绝对误差平均值为25.902 t/h,相对误差最大值为2.876%,平均相对误差为0.847%,可以满足现场使用要求。

    图  14  本文方法相对电子胶带秤绝对误差
    Figure  14.  Absolute error of this method relative to electronic belt weigher
    图  15  本文方法相对电子胶带秤相对误差
    Figure  15.  Relative error of this method relative to electronic belt weigher

    1) 为了实现带式输送机煤量的精准实时非接触式测量,将双目视觉与结构光技术融合,提取双目相机左右图像激光线中心点作为点对,利用双目视觉模型实现三维点云的获取,进行煤量测量时,利用双目结构光煤流量测量系统分别采集空载和负载情况下胶带的表面点云,合成运输煤料的三维点云。

    2) 分别利用点云均匀网格化法和三角网格化法进行煤量计算,实验结果表明,均匀网格化法测量平均相对误差为6.758%,三角网格化法测量平均相对误差为2.791%,三角网格化法测量精度高于均匀网格化法。

    3) 工业性试验结果表明,针对带式输送机煤炭输送场景,双目结构光煤流量测量方法与电子胶带秤相比,绝对误差最大值为87.855 t/h,绝对误差平均值为25.902 t/h,相对误差最大值为2.876%,平均相对误差为0.847%,满足煤矿非接触式煤流量测量使用要求。

  • 图  1   双目视觉模型

    Figure  1.   Binocular visual model

    图  2   双目煤流量测量系统布置

    Figure  2.   Arrangement of the binocular coal flow measurement system

    图  3   双目结构光图像

    Figure  3.   Binocular structured light image

    图  4   煤料点云合成原理

    Figure  4.   Synthesis principle of coal point cloud

    图  5   煤流量计算原理

    Figure  5.   Calculation principle of coal flow

    图  6   点云均匀网格化

    Figure  6.   Point cloud uniform meshing

    图  7   点云三角网格化

    Figure  7.   Point cloud triangle meshing

    图  8   煤流量测量试验平台

    Figure  8.   Coal flow measurement and test platform

    图  9   空载胶带与负载胶带表面点云

    Figure  9.   Point cloud on the surface of no-load belt and load belt

    图  10   选煤厂煤流测量试验

    Figure  10.   Coal flow measurement test of coal washing plant

    图  11   双目煤流量测量系统软件界面

    Figure  11.   Software interface of the binocular coal flow measurement system

    图  12   电子胶带秤软件界面

    Figure  12.   Software interface of electronic belt scale

    图  13   本文方法与电子胶带秤检测结果

    Figure  13.   Test results of this method and electronic belt weigher

    图  14   本文方法相对电子胶带秤绝对误差

    Figure  14.   Absolute error of this method relative to electronic belt weigher

    图  15   本文方法相对电子胶带秤相对误差

    Figure  15.   Relative error of this method relative to electronic belt weigher

    表  1   煤料体积测量结果

    Table  1   Measurement results of coal material volume

    标准
    体积/cm3
    均匀
    网格化/cm3
    三角
    网格化/cm3
    均匀网格化
    相对误差/%
    三角网格化
    相对误差/%
    250228.667252.1428.5330.857
    500478.458521.1724.9084.234
    750695.941764.5057.2081.934
    1 0001 091.213965.9419.1213.406
    1 2501 321.0481 275.5725.6842.046
    1 5001 423.6241 564.0145.0924.268
    平均相对误差/%6.7582.791
    下载: 导出CSV

    表  2   检测参数设置

    Table  2   Test parameter settings

    参数名称设置数值
    曝光时间/μs1 000
    增益2
    像素数2 048×256
    堆煤密度/(t·m−30.90
    下载: 导出CSV
  • [1] 方原柏. 皮带秤系统试验装置发展四十年回顾[J]. 衡器,2021,50(8):42-51. DOI: 10.3969/j.issn.1003-5729.2021.08.011

    FANG Yuanbai. Review of 40 years development of belt weigher system test sevice[J]. Weighing Instrument,2021,50(8):42-51. DOI: 10.3969/j.issn.1003-5729.2021.08.011

    [2] 王占飞,王耀. 煤矿井下煤流运输系统智能调速研究与应用[J]. 煤炭科学技术,2022,50(增刊1):283-288.

    WANG Zhanfei,WANG Yao. Research and application of intelligent speed regulation of coal flow transportation system in coal mine[J]. Coal Science and Technology,2022,50(S1):283-288.

    [3] 李瑶,王义涵. 带式输送机煤流量自适应检测方法[J]. 工矿自动化,2020,46(6):98-102.

    LI Yao,WANG Yihan. Adaptive coal flow detection method of belt conveyor[J]. Industry and Mine Automation,2020,46(6):98-102.

    [4] 杨春雨,顾振,张鑫,等. 基于深度学习的带式输送机煤流量双目视觉测量[J]. 仪器仪表学报,2021,41(8):164-174.

    YANG Chunyu,GU Zhen,ZHANG Xin,et al. Binocular vision measurement of coal flow of belt conveyors based on deep learning[J]. Chinese Journal of Scientific Instrument,2021,41(8):164-174.

    [5] 胡而已. 基于激光扫描的综放工作面放煤量智能监测技术[J]. 煤炭科学技术,2022,50(2):244-251. DOI: 10.13199/j.cnki.cst.2021-0105

    HU Eryi. Intelligent monitoring technology of coal caving in fully-mechanized caving face based on laser scanning[J]. Coal Science and Technology,2022,50(2):244-251. DOI: 10.13199/j.cnki.cst.2021-0105

    [6]

    MOLNAR V,LIPOVCOVA K. Design of clamping structure for material flow monitor of pipe conveyors[J]. Open Engineering,2019,9(1):586-592. DOI: 10.1515/eng-2019-0068

    [7] 代伟, 赵杰, 杨春雨, 等. 基于双目视觉深度感知的带式输送机煤量检测方法[J]煤炭学报, 2017, 42(增刊2): 547-555.

    DAI Wei, ZHAO Jie, YANG Chunyu, et al. Detection method of coal quantity in belt conveyor based on binocular vision depth perception[J]. Journal of China Coal Society, 2017, 42(S2): 547-555.

    [8] 王才东,刘丰阳,李志航,等. 基于双目视觉特征点匹配的图像拼接方法研究[J]. 激光与光电子学进展,2021,58(12):357-365.

    WANG Caidong,LIU Fengyang,LI Zhihang,et al. Research on image mosaic method based on binocular vision feature point matching[J]. Laser & Optoelectronics Progress,2021,58(12):357-365.

    [9] 罗久飞,邱广,张毅,等. 基于自适应双阈值的SURF双目视觉匹配算法研究[J]. 仪器仪表学报,2020,41(3):240-247.

    LUO Jiufei,QIU Guang,ZHANG Yi,et al. Research on speeded up robust feature binocular vision matching algorithm based on adaptive double threshold[J]. Chinese Journal of Scientific Instrument,2020,41(3):240-247.

    [10] 姜玉峰,张立亚,李标,等. 基于单线激光雷达的带式输送机煤流量检测研究[J]. 煤矿机械,2022,43(8):151-153.

    JIANG Yufeng,ZHANG Liya,LI Biao,et al. Study on coal flow detection of belt conveyor based on single-line LiDAR[J]. Coal Mine Machinery,2022,43(8):151-153.

    [11]

    FEI Yu, FU Qiang, ZHUANG Ying, et al. Binocular vision pose estimation based on PSOPF[J]. Journal of Physics: Conference Series, 2019, 1302(3). DOI: 10.1088/1742-6596/1302/3/032051.

    [12]

    WANG Song,HU Yanzhu. Binocular visual positioning under inhomogeneous,transforming and fluctuating media[J]. Traitement du Signal,2018,35(3/4):253-276.

    [13]

    ZHANG Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transaactions on Pattern Analysis and Machie Intelligence,2000,22(11):1330-1334. DOI: 10.1109/34.888718

    [14] 曾超,王少军,卢红,等. 线结构光光条中心提取算法[J]. 中国图象图形学报,2019,24(10):1772-1780.

    ZENG Chao,WANG Shaojun,LU Hong,et al. Center extraction algorithm of line structured light stripe[J]. Journal of Image and Graphics,2019,24(10):1772-1780.

    [15] 卢红阳,刘且根,熊娇娇,等. 基于最大加权投影求解的彩色图像灰度化对比度保留算法[J]. 自动化学报,2017,43(5):843-854.

    LU Hongyang,LIU Qiegen,XIONG Jiaojiao,et al. Maximum weighted projection solver for contrast preserving decolorization[J]. Acta Automatica Sinica,2017,43(5):843-854.

    [16]

    HERMOSILIA P,RITSCHEL T,VAZQUEZ P,et al. Monte carlo convolution for learning on non-uniformly sampled point clouds[J]. ACM Transactions on Graphics(TOG),2018,37(6):1-12.

    [17]

    PEREIRA F I,LUFT J A,IIHA G,et al. A novel resection-intersection algorithm with fast triangulation applied to monocular visual odometry[J]. IEEE Transactions on Intelligent Transportation Systems,2018,19(11):3584-3593. DOI: 10.1109/TITS.2018.2853579

    [18]

    ZHANG Yuyan,GUO Quanli,WANG Zhenchun,et al. Quantitative evaluation for small surface damage based on iterative difference and triangulation of 3D point cloud[J]. Measurement Science and Technology,2018,29(3):035601-035608. DOI: 10.1088/1361-6501/aa99fb

    [19]

    MATTHIJS E,PARLIER H,VEGTER G,et al. Minimal delaunay triangulations of hyperbolic surfaces[J]. Discrete & Computational Geometry,2022,69(2):1-25.

    [20] 李铁军,王学文,李博,等. 基于离散元法的煤颗粒模型参数优化[J]. 中国粉体技术,2018,24(5):6-12.

    LI Tiejun,WANG Xuewen,LI Bo,et al. Optimization method for coal particle model parameters based on discrete element method[J]. China Powder Science and Technology,2018,24(5):6-12.

  • 期刊类型引用(6)

    1. 林灿辉,俞佳宝,陈锋,郭恩特,黄锦楠,陈晨炜. 基于单目视觉的输送带料流体积检测方法研究. 电视技术. 2025(01): 37-41 . 百度学术
    2. 坎标,郝金鹏,王烨,马顺喜. 基于双目视觉的弱纹理凸多面体三维建模. 计算机仿真. 2025(03): 428-431+496 . 百度学术
    3. 雍家伟,乔铁柱,冀杰,刘亮亮,武宏旺. 基于双目实时匹配的输送带煤流监测方法. 煤炭技术. 2024(06): 220-223 . 百度学术
    4. 徐伟杰. 基于三维重建技术及人工智能的堵煤预警系统应用. 科学技术创新. 2024(20): 44-47 . 百度学术
    5. 张俊升,王洪磊,朱西硕,李佳城,刘晓明. 基于激光雷达点云的煤炭快速装车质量检测方法. 煤炭科学技术. 2024(10): 199-207 . 百度学术
    6. 戴春雷. 我国矿山智能化研究进展及大模型应用前景. 工矿自动化. 2024(S2): 1-11+22 . 本站查看

    其他类型引用(1)

图(15)  /  表(2)
计量
  • 文章访问数:  242
  • HTML全文浏览量:  215
  • PDF下载量:  58
  • 被引次数: 7
出版历程
  • 收稿日期:  2022-10-17
  • 修回日期:  2023-06-19
  • 网络出版日期:  2023-08-02
  • 刊出日期:  2023-07-24

目录

/

返回文章
返回