A mine image stitching method based on improved best seam-line
-
摘要: 煤矿井下掘进工作面高粉尘、低照度的恶劣环境导致图像信噪比较低，且有效特征点数量严重减少，处理后的图像存在较大色差和噪声，在使用最佳缝合线算法进行图像拼接时出现细节错位、缝合线处过渡不自然或拼接痕迹明显的现象。针对上述问题，提出了一种基于改进最佳缝合线的矿井图像拼接方法。首先，对原始图像进行HSV空间变换，采用改进的Retinex算法对亮度分量进行增强，利用双边滤波函数代替中心环绕函数，以解决亮度差异大处产生的光晕问题，通过增强算法有效提高特征点提取数量。然后，采用SIFT算法提取特征点，并以余弦距离作为匹配度指标；引入像素余弦相似度作为约束项，并采用形态学操作对颜色差异强度进行改进，利用动态规划法对最佳缝合线进行搜索，以避免图像拼接处的错位现象。最后，结合渐入渐出融合算法，使图像过渡平滑，实现煤矿井下掘进工作面的图像融合。模拟井下实际工况环境进行实验验证，结果表明：基于改进最佳缝合线的矿井图像拼接方法与传统最佳缝合线算法相比，避免了颜色差异和噪声引起的错位拼接现象，拼接缝处的图像过渡更加自然，避免了“鬼影”和明显拼接缝的产生，且图像平均梯度提高2.38%，拼接时间提高32.5%，使得融合区域更加平滑自然，提高了拼接质量。Abstract: The harsh environment of high dust and low lighting in the coal mine underground excavation working face results in low signal-to-noise ratio of the image, and a serious reduction in the number of effective feature points. The processed image has significant color difference and noise. When using the best seam-line algorithm for image stitching, there are problems such as fine section misalignment, unnatural transitions at the seam line, or obvious stitching traces. In order to solve the above problems, a mine image stitching method based on improved best seam-line is proposed. Firstly, the original image is subjected to HSV spatial transformation, and an improved Retinex algorithm is used for enhancement on the luminance component. Bilateral filtering is used instead of the center surround function to solve the halo problem caused by large brightness differences. The number of feature points extracted is effectively increased through the enhancement algorithm. Secondly, the SIFT algorithm is used to extract feature points, and cosine distance is used as the matching degree indicator. The method introduces pixel cosine similarity as a constraint, and uses morphological operations to improve color difference intensity, uses dynamic programming to search for the best seam-line to avoid misalignment at image stitching. Finally, combined with the gradual in and out algorithm, the image transition is smooth to achieve image fusion of the underground excavation working face. Experimental verification is conducted by simulating the actual working environment underground. The results show that the mine image stitching method based on the improved best seam-line avoids the phenomenon of misalignment stitching caused by color differences and noise compared to the traditional best seam-line algorithm. The image transition at the stitching seam is more natural, avoiding the generation of 'ghosts' and obvious stitching seams. The average gradient of the image is increased by about 2.38%, and the stitching time is increased by about 32.5%, making the fusion area smoother and more natural, improving the stitching quality.
-
0. 引言
煤炭作为我国的主体能源和国家能源安全的压舱石，是保障国家经济发展的重要基础性能源。随着社会的智能化发展，井下作业的智能化发展也是煤矿行业前进的必经之路[1]。智能开采是煤矿智能化建设的中心目标，其中掘进工作面作为最前沿、劳动强度最大、危险程度最高的区域[2]，是煤矿智能化建设的关键焦点，其智能化建设对于实现矿井智能化、少人化高效开采至关重要。近年来，视觉技术已被广泛应用于煤炭领域[3]，如目标跟踪 、煤岩识别、煤矸分拣等。掘进工作面大型工作设备多，只使用单个相机无法获取整个工作面的图像信息，每次只能采集一定区域的图像，利用广角镜头可拍摄整个区域，但会使所拍摄的图像产生扭曲变形，因此，为了获得完整的掘进工作面区域图像，还原真实场景，需将多幅图像拼接起来。采用合适的图像拼接技术能节省大量人工劳动，同时提高图像拼接的准确性，从而提高工作效率。
图像拼接实际上是将2张及以上有重叠部分的图像进行拼接，将视野范围小的单张图像拼接成为视野范围更广的图像[4]。目前国内外主要的图像拼接方法包括基于全局对齐的方法、基于局部变形的方法和缝合线主导的方法。文献[5]提出了一种将图像分为密集网络，并为每一个网络单独计算其单应性矩阵的方法，该方法可有效地对齐图像，但易在非重叠区域引起图像畸变。文献[6]引入了形状扭曲约束和块链接约束对重叠区域进行局部优化，这一过程消除了原始拼接产生的结构扭曲问题，进一步提高了图像拼接质量。但在图像采集过程中，若采集的图像中有运动的物体，采用基于全局对齐和基于局部变形的方法，会造成运动物体在图像拼接过程中的撕裂或重叠现象。文献[7]提出了一种利用动态规划求缝合线的方法来解决图像拼接过程中的重叠现象。文献[8]利用加权平均融合算法对提取出的最佳缝合线的两侧进行加权融合，改善了拼接缝过渡明显的问题，但在拼接缝部分的过渡仍不够自然。文献[9]提出了一种基于超像素的最佳缝合线搜索方法，该方法在超像素水平上对图像进行拼接，极大提高了效率。文献[10]为解决拼接图像中具有运动物体而导致拼接处产生“鬼影”的问题，在最佳缝合线搜索策略中引入局部信息权重，结合融合带和加权平均融合的方法进行图像融合，在一定程度上解决了“鬼影”现象。传统最佳缝合线融合算法在一般的情景中可得到良好的拼接结果，但当图像纹理复杂或噪声较大时，使用传统最佳缝合线算法进行融合也会产生错位、“鬼影”等现象。
针对上述问题，本文提出了一种基于改进最佳缝合线的煤矿井下图像拼接方法。首先，对图像进行预处理，通过改进的Retinex算法对图像进行增强，以提高有效特征点匹配数量。然后，利用SIFT算法对图像特征进行提取与匹配。最后，引入像素余弦相似度改进能量函数，并采用形态学操作对颜色差异强度进行改进，利用动态规划法对最佳缝合线进行搜索，并采用渐入渐出融合算法对图像进行融合处理，消除错位和拼接缝过渡明显的问题，实现工作面图像拼接。
1. 总体方案
基于改进最佳缝合线的煤矿井下图像拼接方法包括图像增强、特征提取与匹配、图像融合3个部分，总体方案如图1所示。
![]()
图 1 基于改进最佳缝合线的煤矿井下图像拼接方法总体方案Figure 1. The overall scheme of coal mine image stitching method based on improved best seam-line首先，对原始图像进行HSV空间变换，在亮度分量V使用基于双边滤波函数的改进Retinex算法，并进行伽马校正。然后，利用SIFT算法提取和匹配图像的特征点，将2幅待匹配图像的对应特征点对之间的余弦距离作为匹配度指标，再利用单应性矩阵计算2幅待拼接图像之间的变换关系，进行映射变换，实现2幅图像的对齐。最后，引入像素余弦相似性约束和形态学操作改进颜色差异强度，通过动态规划思想在重叠区域提取最佳缝合线，并利用渐入渐出融合算法对图像进行融合。
2. 基于改进Retinex算法的图像增强
由于掘进工作面环境恶劣，照度极低，拍摄的图像存在极暗区域，导致极暗区域信噪比非常低，后续利用SIFT算法提取特征点时，几乎检测不到有效特征点，对掘进工作面图像的拼接工作造成了极大的困难。所以在图像拼接前对图像进行增强处理，以提高有效特征点的检测。
首先对原始图像进行HSV空间变换。图像在RGB空间进行处理时易出现色彩失真的情况，而色相分量H、饱和度分量S、亮度分量V在色彩空间中是相对独立的，对亮度分量V的操作不影响图像的色彩信息。因此，将RGB空间转换为HSV空间。
$$ {V = \max (R,G,B)} $$ (1) $$ {S = 1 - \min ((R,G,B)/V)} $$ (2) $$ H = \left\{ {\begin{array}{*{20}{l}} {60 \left( {G - B} \right)/(V - \min (R,G,B))}&{V = R} \\ {120 + 60 \left( {B - R} \right)/\left( {V - \min \left( {R,G,B} \right)} \right)}&{V = G} \\ {240 + 60 \left( {R - G} \right)/\left( {V - \min (R,G,B)} \right)}&{V = B} \end{array}} \right. $$ (3) 式中R，G，B分别为RGB色彩空间中的红、绿、蓝通道。
在亮度分量V通道对图像采用Retinex算法进行增强处理。传统的多尺度Retinex（Multiscale Retinex，MSR）[11]算法在处理光照不均匀图像时，容易在图像边缘产生明显的灰度值差异，从而产生光晕现象。在亮度差异大处，像素值变化较为显著。为解决上述问题，本文采用双边滤波函数代替原来的中心环绕函数（高斯核函数）来估计光照分量，这是因为双边滤波函数在图像处理中不仅考虑了像素之间的空间距离关系，即空间域，还考虑了像素值之间的相似性，即像素值域，能够有效地解决光晕现象。Retinex理论认为人眼中物体的颜色是由物体对于红绿蓝3种光线的反射能力决定的[12]，成像过程为
$$ I(x,y) = N(x,y)L(x,y) $$ (4) 式中：$I(x,y)$为原始图像；x，y为图像中的像素坐标；$ N(x,y) $为反映物体本质信息的反射图像；$ L(x,y) $为照度图像。
为了方便计算，将式（4）变成对数域，其表达式为
$$ \lg I(x,y) = \lg L(x,y) + \lg N(x,y) $$ (5) 原始计算照度图像表达式为
$$ L(x,y) = F(x,y)I(x,y) $$ (6) 式中$ F(x,y) $为高斯核函数。
用双边滤波函数代替中心环绕函数来估计光照分量[13]。双边滤波函数表达式为
$$ Q(i,j) = \frac{{\displaystyle\sum\limits_{(k,l) \in I(i,j)} {I(k,l)W(i,j,k,l)} }}{{\displaystyle\sum\limits_{(k,l) \in I(i,j)} {W(i,j,k,l)} }} $$ (7) 式中：$ Q(i,j) $为输出图像；i，j，k，l为图像中的像素坐标；$ I(k,l) $为输入图像；$ W(i,j,k,l) $为空间域和像素值域的核函数。
采用$ Q(i,j) $代替式（6）中的$ F(x,y) $，并将式（6）代入式（3）中，得到反射图像：
$$ N\left( {x,y} \right) = \exp (\lg I\left( {x,y} \right) - \lg \left( {Q(i,j) I(x,y)} \right)) $$ (8) 使用伽马校正对全局亮度进行调整。
$$ O = {A^\gamma } $$ (9) 式中：O为输出图像的像素值；A为输入图像的像素值；γ为伽马值，当$ \gamma < 1.0 $时，图像的全局亮度提升，当$ \gamma > 1.0 $时，图像的整体亮度降低。
将原始图像与直方图均衡化（Histogram Equalization，HE）、MSR算法、改进Retinex算法处理后的图像进行对比，结果如图2所示。
由图2可看出，原始图像亮度低、对比度差，不利于后续特征点的提取；经过HE增强后的图像效果差，增强的同时也放大了噪声，且颜色失真；经过MSR算法处理后的图像颜色得到了很好的改善，但整体图像模糊，对比度低；经过改进Retinex算法处理后的图像细节清晰，在颜色保真、对比度方面都有明显提升。
使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity Index，SSIM）、平均绝对误差（Mean Absolute Error，MAE）、均方误差（Mean Squared Error，MSE）对各算法处理效果进行评价，结果见表1。其中PSNR用来衡量图像的噪声水平或失真程度，其值越大，失真度越小；SSIM从亮度、对比度和结构3个方面衡量图像的相似性，其值越大，图像失真度越小；MAE越小，表示与原始图像的偏差越小，图像质量越好；MSE越小，图像质量越好。由表1可看出，在低照度环境下，改进的Retinex算法在亮度、对比度增强及去除噪声和抗失真等方面，均优于其他算法。
表 1 评价结果Table 1. Evaluating results评价指标 算法 HE MSR 改进Retinex算法 PSNR 8.786 8 8.731 4 11.647 2 SSIM 0.154 2 0.233 3 0.277 9 MSE 123.148 9 115.643 2 112.313 4 MAE 172.511 7 171.113 5 164.494 3 3. 特征提取与匹配
3.1 基于SIFT的特征点提取
1） 高斯差分金字塔构建。对原始图像进行高斯平滑，得到一系列不同尺度的模糊图像，再对每个模糊图像不断进行下采样得到高斯金字塔[14]，再由高斯金字塔图像和其上一层金字塔图像之间的差值得到高斯差分金字塔。
2） 关键点检测。在高斯差分金字塔的每个尺度下的像素点与其同一尺度8个相邻点，以及上下相邻尺度对应的18个像素点进行比较，若该点是这26个点中最大或最小的像素点即是极值点。由于像素点在尺度空间是离散的，需通过DoG函数[15]进行曲线拟合，得到精确的关键点。在检测到的关键点中，剔除低对比度的噪声干扰点和由边缘效应引起的不稳定点，剩下的关键点为有效特征点。
3） 方向分配。根据周围像素梯度确定特征点的方向。此过程为每个特征点分配主方向，以便于后续计算特征描述子时，确保描述子的旋转不变性。
4） 特征描述子生成。以特征点为中心向外扩展16×16的范围，以该范围作为采样窗口，计算该范围内每个像素点与特征点的相对梯度方向，将每个梯度方向通过高斯加权后放置到8个方向区间的梯度直方图，最后获得4×4×8的128维特征描述子。目的是捕获特征点周围区域的局部梯度信息，用于描述特征点的特征。
3.2 特征点匹配
仅采用欧氏距离作为匹配度指标会存在误匹配点对的问题，因此，利用2幅待匹配图像的对应特征点对之间的余弦距离作为匹配度指标，以更好地描述2个对应特征点的描述子方向的差异。
$$ \cos \theta = \frac{{\displaystyle\sum\limits_{a = 1}^n {{b_{1a}}{b_{2a}}} }}{{\sqrt {\displaystyle\sum\limits_{a = 1}^n {b_{1a}^2} } \sqrt {\displaystyle\sum\limits_{a = 1}^n {b_{2a}^2} } }} $$ (10) 式中：n为描述子的向量维数，n=64；a为索引变量；${b_{1a}}$，${b_{2a}}$为2个对应特征点对的描述子。
余弦值越小，表示2个特征描述子的方向差异越大。
利用K最近邻算法（K−Nearest Neighbors，KNN）[16]对提取出的特征点进行匹配，再采用随机抽样一致性算法（Random Sample Consensus，RANSAC）[17]对匹配点进行误匹配剔除。
对原始图像1，2，3，4进行增强，并计算增强前后的特征点数量。增强结果如图3所示，增强前后提取特征点数量对比见表2。可看出进行图像增强前，所提取的特征点数量过少，通过本文增强方法，有效特征点的提取量明显增加。
表 2 图像增强前后提取特征点的数量Table 2. Number of feature points extracted before and after image enhancement图1 图2 图3 图4 增强前特征点数量/个 103 95 333 373 增强后特征点数量/个 966 806 1005 1017 4. 图像融合
4.1 单应性矩阵计算
图像配准后，通过2幅待拼接图像特征点之间的对应关系能估计出图像空间变换模型，即求解单应性矩阵[18]中的参数。通过RANSAC算法得到2幅图像之间的投影矩阵H。设$ {P_1}({x_1},{y_1}) $和$ {P_2}({x_2},{y_2}) $分别表示2幅待拼接图像中的对应点，则这2个点之间的单应性变换（图4）关系为
$$ \left( {\begin{array}{*{20}{c}} {{x_1}} \\ {{y_1}} \\ 1 \end{array}} \right) = {\boldsymbol{H}}\left( {\begin{array}{*{20}{c}} {{x_2}} \\ {{y_2}} \\ 1 \end{array}} \right) $$ (11) 4.2 基于改进能量函数的最佳缝合线算法
在图像实现对齐后，需对2幅待拼接图像进行融合。当2幅待融合的图像出现运动的物体，直接采用加权平均融合法对2幅图像进行融合会出现“鬼影”现象，因此，采用最佳缝合线算法对2幅图像进行融合。最佳缝合线算法是在2幅图像的重叠区域搜寻出一条能量最小的缝合线，绕开错位、跳变现象，以避免融合后场景中出现“鬼影”、重影现象。最佳缝合线算法如图5所示。
最佳缝合线需满足颜色差异与结构差异最小这2个条件，本文在能量函数中引入像素余弦相似性作为约束项，以确保图像在颜色方面的一致性。最佳缝合线的能量函数改进为
$$ E(x,y) = E_{{\mathrm{color}}}^2(x,y) + {E_{{\mathrm{geometry}}}}(x,y) + {E_{{\mathrm{p}}\cos }}(x,y) $$ (12) $$ {E_{{\mathrm{color}}}}(x,y) = {I_{{\mathrm{gray}}1}}(x,y) - {I_{{\mathrm{gray}}2}}(x,y) $$ (13) $$ \begin{split} {E_{{\mathrm{geometry}}}}(x,y) = & {[{{\boldsymbol{S}}_{ x}} ({I_{{\mathrm{c}}1}}(x,y) - {I_{{\mathrm{c}}2}}(x,y))]^2} + \\ &{[{{\boldsymbol{S}}_{ y}} ({I_{{\mathrm{c}}1}}(x,y) - {I_{{\mathrm{c}}2}}(x,y))]^2} \end{split} $$ (14) $$ {{\boldsymbol{S}}_{ x}} = \left[ {\begin{array}{*{20}{c}} { - 1}&0&1 \\ { - 2}&0&2 \\ { - 1}&0&1 \end{array}} \right] $$ (15) $$ {{\boldsymbol{S}}_{ y}} = \left[ {\begin{array}{*{20}{c}} { - 1}&{ - 2}&{ - 1} \\ 0&0&0 \\ 1&2&1 \end{array}} \right] $$ (16) $$ {E_{{\mathrm{p}}\cos }}(x,y) = \frac{{\displaystyle\sum\limits_{i = 1}^2 {({Z_{{\mathrm{c}}1}}(x - i,y) {Z_{{\mathrm{c}}2}}(x + i,y))} }}{{\sqrt {\displaystyle\sum\limits_{i = 1}^2 {{Z_{{\mathrm{c}}1}}{{(x - i,y)}^2}} } \sqrt {\displaystyle\sum\limits_{i = 1}^2 {{Z_{{\mathrm{c}}2}}{{(x + i,y)}^2}} } }} $$ (17) 式中：$ {E_{{\mathrm{color}}}}(x,y) $为重叠区域像素点颜色差值；$ {E_{{\mathrm{geometry}}}}(x,y) $为重叠区域像素点结构差值；$ {E_{{\mathrm{p}}\cos }}(x,y) $为重叠区域同一像素位置两侧像素的余弦相似度；$ {I_{{\mathrm{gray}}1}}(x,y) $和$ {I_{{\mathrm{gray}}2}}(x,y) $分别为2幅待拼接图像$ {I_1} $和$ {I_2} $的灰度图；$ {Z_{{\mathrm{c}}1}}(x,y) $与$ {Z_{{\mathrm{c}}2}}(x,y) $分别为2幅待拼接图像在重叠区域的像素强度；$ {S_{ x}} $和$ {S_{ y}} $分别为x和y方向上的Sobel算子。
由于图像增强后噪声较大，引入形态学操作[19]对能量函数进行改进，计算2幅图像重叠区域的灰度值，并对其差值取绝对值，采用该绝对值来近似计算。
$$ {E_{{\mathrm{color}}}}(x,y) = \left\{ {\begin{array}{*{20}{l}} {{I_{12}}(x,y) {W_{{\mathrm{color}}}}}&{{I_{{\mathrm{bin}}}}(x,y) = 1} \\ {{I_{12}}(x,y)}&{{I_{{\mathrm{bin}}}}(x,y) = 0} \end{array}} \right. $$ (18) $$ {I_{12}}(x,y) = {\text{abs}}({I_{{\mathrm{gray}}1}}(x,y) - {I_{{\mathrm{gray}}2}}(x,y)) $$ (19) $$ I_{\mathrm{bin}}(x,y)=\left\{ \begin{array}{*{20}{c}}1 & I_{12}(x,y)\geqslant1.5{{Y}_{\mathrm{avg}}} \\ 0 & I_{12}(x,y) < 1.5{{Y}_{\mathrm{avg}}}\end{array}\right. $$ (20) 式中：$ {I_{12}} (x,y)$为灰度差图像；$ {W_{{\mathrm{color}}}} $为权重系数；$ {I_{{\mathrm{bin}}}} (x,y)$为二值图像；$ {{Y}}_{\mathrm{avg}} $为重叠区域内灰度差图像$ {I_{12}} (x,y)$处像素的平均值。
能量函数改进前后图像对比如图6所示，可看出能量函数改进前图像细节不清晰，噪声较大，对后续寻找最佳缝合线过程可能会造成影响；能量函数改进后图像噪声小，细节清晰，方便后续寻找最佳缝合线时沿着能量更低的路径。
得到能量函数之后，采用动态规划法[20]在重叠区域寻找最佳缝合线，过程如图7所示。首先，将图像重叠区域第1行中的每个像素点作为每条缝合线的起点，若有m列，则有m条缝合线，计算其能量$ {X_m}(x,y) $。其次，将当前像素点下一行紧邻的3个像素点作为该点的备选扩展点，计算这3个点的能量$ {X_m}(x - 1,y + 1) $，$ {X_m}(x,y + 1) $，$ {X_m}(x + 1,y + 1) $。然后，比较这3个点的能量，选择能量最小的像素点作为扩展点，以此类推，当前像素点一直扩展到最后一行为止，所有扩展点连起来就是缝合线路径。最后，计算每条缝合线上的像素点能量之和，选择能量之和最小的路径作为最佳缝合线。
![]()
图 7 动态规划法寻找最佳缝合线过程Figure 7. Process of finding the best seam-line using dynamic programming method最佳缝合线算法很好地避免了图像拼接时会出现的错位现象，但在缝合线两边各取2幅图的一部分进行拼接时，导致2幅图像色彩不能很好过渡，拼接结果在缝合线周围会出现较为明显的拼接缝，影响拼接效果。因此，为了得到更加自然的拼接图像，在提取出最佳缝合线之后，在缝合线左右按照渐入渐出[21]融合算法进行融合。
$$ {I(x,y) = \left\{ {\begin{array}{*{20}{l}} {{D_1}(x,y)}&{\left( {x,y} \right) \in {D_1}} \\ {{d_1}{D_1}\left( {x,y} \right) + {d_{{\mathrm{seam}}1}}{D_2}\left( {x,y} \right)} & {\left( {x,y} \right) \in \left( {{D_1}\left( {x,y} \right) \cap {D_{{\mathrm{seam}}}}\left( {x,y} \right)} \right)} \\ {{d_2}{D_2}\left( {x,y} \right) + {d_{{\mathrm{seam}}2}}{D_1}\left( {x,y} \right)} & {\left( {x,y} \right) \in \left( {{D_{{\mathrm{seam}}}}\left( {x,y} \right) \cap {D_2}\left( {x,y} \right)} \right)} \\ {{D_2}\left( {x,y} \right)} & {\left( {x,y} \right) \in {D_2}\left( {x,y} \right)} \end{array}} \right. }$$ (21) $$ \left\{ {\begin{array}{*{20}{l}} {{d_1} = \dfrac{{{x_{{\mathrm{seam}}}} - {x_i}}}{{{x_{{\mathrm{seam}}}} - {x_{\mathrm{l}}}}}} \\ {{d_{{\mathrm{seam}}1}} = 1 - {d_1} = \dfrac{{{x_i} - {x_{\mathrm{l}}}}}{{{x_{{\mathrm{seam}}}} - {x_{\mathrm{l}}}}}} \\ {{d_{{\mathrm{seam}}2}} = \dfrac{{{x_{\mathrm{r}}} - {x_i}}}{{{x_{\mathrm{r}}} - {x_{{\mathrm{seam}}}}}}} \\ {{d_2} = 1 - {d_{{\mathrm{seam}}2}} = \dfrac{{{x_i} - {x_{{\mathrm{seam}}}}}}{{{x_{\mathrm{r}}} - {x_{{\mathrm{seam}}}}}}} \end{array}} \right. $$ (22) 式中：$ {D_1}(x,y) $为左边待拼接图像到2幅图像重叠区域左边界的像素点；${D_1}(x,y) \cap {D_{{\mathrm{seam}}}}(x,y) $为重叠区域左边界到缝合线$ {f_{{\mathrm{seam}}}} $的像素点；${D_{{\mathrm{seam}}}}(x,y) \cap {D_2}(x,y) $为缝合线$ {f_{{\mathrm{seam}}}} $到重叠区域右边界点的像素点；$ {D_2}(x,y) $为重叠区域右边界到右边待拼接图像的像素点；$ {d_1} $，$ {d_2} $，$ {d_{{\mathrm{seam}}1}} $，$ {d_{{\mathrm{seam}}2}} $为权重，且${d_1} + {d_{{\mathrm{seam}}1}} = 1$，${d_2} + {d_{{\mathrm{seam}}2}} = 1$，$0 < {d_1} < 1$，$0 < {d_2} < 1$；${x_i}$为当前像素点的横坐标；${x_{\mathrm{l}}}$和${x_{\mathrm{r}}}$分别为重叠区域左右边界点的横坐标；${x_{{\mathrm{seam}}}}$为最佳缝合线上点的横坐标。
5. 实验结果与分析
为验证本文方法的可行性，进行多组实验。第1组实验模拟井下掘进工作面环境，用喷烟机模拟井下粉尘环境，在夜间采集图像模拟井下低光照环境。第2组实验以某煤矿真实掘进工作面为环境，采集图像数据。使用传统最佳缝合线算法和本文改进算法对所采集图像进行拼接处理，并对处理后的图像进行主观评价和客观评价。
5.1 主观评价
在2组实验环境下各采集20组图像进行实验，部分实验结果如图8所示，组1、组2图像为在第1组实验环境下采集的图像，组3、组4图像为在第2组实验环境下采集的图像。
从图8可看出，能量函数改进前，传统最佳缝合线分割区域有错位现象，能量函数改进后，改进最佳缝合线从能量更低的区域经过，避免了拼接图像出现错位。结合渐入渐出融合算法融合拼接后的图像，拼接缝处的图像过渡更加自然，避免了“鬼影”和明显拼接缝的产生，提高了拼接质量。
5.2 客观评价
为了更清晰地呈现本文方法的综合性能，对融合后的图像进行客观评价（表3），采用平均梯度、有无明显拼接缝和拼接时间作为评价指标，对8组图像融合效果进行评价。其中，平均梯度越大，表示2幅图像融合后细节保留更好，拼接缝的过渡更加自然。由表3可看出，与传统最佳缝合线算法相比，本文算法对于融合后的图像在平均梯度和拼接时间上均有一定提高，平均梯度较原算法提高2.38%，拼接时间提高了32.5%。
表 3 图像拼接质量评价Table 3. Image stitching quality evaluation组别 算法 平均梯度 有无明显拼接缝 拼接时间/s 组1 传统最佳缝合线算法 2.5186 有 1.1276 本文算法 2.6365 无 0.9415 组2 传统最佳缝合线算法 3.9214 有 1.7412 本文算法 4.2211 无 1.3056 组3 传统最佳缝合线算法 4.9336 有 1.6361 本文算法 5.0371 无 1.3140 组4 传统最佳缝合线算法 5.4266 有 1.2675 本文算法 5.5375 无 0.9813 组5 传统最佳缝合线算法 2.9191 有 1.3508 本文算法 2.9522 无 0.9205 组6 传统最佳缝合线算法 4.1892 有 1.0856 本文算法 4.2614 无 0.7670 组7 传统最佳缝合线算法 4.8225 有 1.2719 本文算法 4.8572 无 0.9388 组8 传统最佳缝合线算法 4.1991 有 1.2033 本文算法 4.2344 无 0.9120 平均梯度对比柱状图、拼接时间对比柱状图分别如图9、图10所示。可看出本文算法的平均梯度均高于传统最佳缝合线算法的平均梯度，且本文算法拼接时间小于传统最佳缝合线算法的拼接时间。
6. 结论
1） 针对掘进工作面环境照度低，有效特征点提取数量不足的问题，对采集的图像进行增强处理。通过分解HSV空间，采用改进的Retinex算法对亮度分量V进行增强。结果表明，增强后有效特征点的提取数量明显增加。
2） 对能量函数进行改进，引入像素余弦相似性作为约束项，并采用形态学操作对颜色差异强度进行改进，降低能量图噪声；利用动态规划法对最佳缝合线进行搜索，以避免图像拼接处的错位现象；结合渐入渐出融合算法，使图像过渡平滑，实现煤矿井下掘进工作面的图像融合。
3） 从平均梯度、有无明显拼接缝、拼接时间3个方面对图像进行客观评价，实验结果表明，基于改进最佳缝合线的矿井图像拼接方法较原算法的平均梯度提高了2.38%，拼接时间提高了32.5%。
-
![]()
图 1 基于改进最佳缝合线的煤矿井下图像拼接方法总体方案
Figure 1. The overall scheme of coal mine image stitching method based on improved best seam-line
![]()
图 7 动态规划法寻找最佳缝合线过程
Figure 7. Process of finding the best seam-line using dynamic programming method
表 1 评价结果
Table 1 Evaluating results
评价指标 算法 HE MSR 改进Retinex算法 PSNR 8.786 8 8.731 4 11.647 2 SSIM 0.154 2 0.233 3 0.277 9 MSE 123.148 9 115.643 2 112.313 4 MAE 172.511 7 171.113 5 164.494 3 
下载: 导出CSV
表 2 图像增强前后提取特征点的数量
Table 2 Number of feature points extracted before and after image enhancement
图1 图2 图3 图4 增强前特征点数量/个 103 95 333 373 增强后特征点数量/个 966 806 1005 1017
下载: 导出CSV
表 3 图像拼接质量评价
Table 3 Image stitching quality evaluation
组别 算法 平均梯度 有无明显拼接缝 拼接时间/s 组1 传统最佳缝合线算法 2.5186 有 1.1276 本文算法 2.6365 无 0.9415 组2 传统最佳缝合线算法 3.9214 有 1.7412 本文算法 4.2211 无 1.3056 组3 传统最佳缝合线算法 4.9336 有 1.6361 本文算法 5.0371 无 1.3140 组4 传统最佳缝合线算法 5.4266 有 1.2675 本文算法 5.5375 无 0.9813 组5 传统最佳缝合线算法 2.9191 有 1.3508 本文算法 2.9522 无 0.9205 组6 传统最佳缝合线算法 4.1892 有 1.0856 本文算法 4.2614 无 0.7670 组7 传统最佳缝合线算法 4.8225 有 1.2719 本文算法 4.8572 无 0.9388 组8 传统最佳缝合线算法 4.1991 有 1.2033 本文算法 4.2344 无 0.9120
下载: 导出CSV
-
[1] 王国法. 加快煤矿智能化建设 推进煤炭行业高质量发展[J]. 中国煤炭,2021,47(1):2-10. DOI: 10.3969/j.issn.1006-530X.2021.01.002 WANG Guofa. Speeding up intelligent construction of coal mine and promoting high-quality development of coal industry[J]. China Coal,2021,47(1):2-10. DOI: 10.3969/j.issn.1006-530X.2021.01.002
[2] 张旭辉,杨红强,白琳娜,等. 煤矿掘进工作面低照度视频增强技术研究[J]. 煤田地质与勘探,2023,51(1):309-316. ZHANG Xuhui,YANG Hongqiang,BAI Linna,et al. Research on low illumination video enhancement technology in coal mine heading face[J]. Coal Geology & Exploration,2023,51(1):309-316.
[3] 王国法,张良,李首滨,等. 煤矿无人化智能开采系统理论与技术研发进展[J]. 煤炭学报,2023,48(1):34-53. WANG Guofa,ZHANG Liang,LI Shoubin,et al. Progresses in theory and technological development of unmanned smart mining system[J]. Journal of China Coal Society,2023,48(1):34-53.
[4] YUAN Yiting,FANG Faming,ZHANG Guixu. Superpixel-based seamless image stitching for UAV images[J]. IEEE Transactions on Geoscience and Remote Sensing,2021,59(2):1565-1576. DOI: 10.1109/TGRS.2020.2999404
[5] ZARAGOZA J,CHIN T J,TRAN Q H,et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(7). DOI: 10.1109/TPAMI.2013.247.
[6] 张晶晶,翟东海,黄莉芝,等. 基于特征分块的视差图像拼接算法[J]. 计算机工程,2018,44(5):220-226. ZHANG Jingjing,ZHAI Donghai,HUANG Lizhi,et al. Parallax image stitching algorithm based on feature blocking[J]. Computer Engineering,2018,44(5):220-226.
[7] DUPLAQUET M L,PARK S K,JUDAY R D. Building large image mosaics with invisible seam lines[C]. Proceedings of SPIE,1998. DOI: 10.1117/12.316427.
[8] 瞿中,乔高元,林嗣鹏. 一种消除图像拼接缝和“鬼影”的快速拼接算法[J]. 计算机科学,2015,42(3):280-283. QU Zhong,QIAO Gaoyuan,LIN Sipeng. Fast image stitching algorithm eliminates seam line and ghosting[J]. Computer Science,2015,42(3):280-283.
[9] 袁怡婷. 基于最佳缝合线的大视差图像拼接[D]. 上海:华东师范大学,2020. YUAN Yiting. Optimal seam based image stitching with large parallax[D]. Shanghai:East China Normal University,2020.
[10] 张翔,王伟,肖迪. 基于改进最佳缝合线的图像拼接方法[J]. 计算机工程与设计,2018,39(7):1964-1970. ZHANG Xiang,WANG Wei,XIAO Di. Image mosaic method based on improved best seam-line[J]. Computer Engineering and Design,2018,39(7):1964-1970.
[11] RAHMAN Z,JOBSON D,WOODELL G. Multiscale Retinex for color image enhancement[C]. 3rd IEEE International Conference on Image Processing,Lausanne,1996:1003-1006.
[12] LAND E H,MCCANN J J. Lightness and Retinex theory[J]. Journal of the Optical Society of America,1971,61(1):1-11. DOI: 10.1364/JOSA.61.000001
[13] 刘晓阳,乔通,乔智. 基于双边滤波函数和Retinex算法的矿井图像增强方法[J]. 工矿自动化,2017,43(2):49-54. LIU Xiaoyang,QIAO Tong,QIAO Zhi. Image enhancement method of mine based on bilateral filtering and Retinex algorithm[J]. Industry and Mine Automation,2017,43(2):49-54.
[14] LI Zhengguo,SHU Haiyan,ZHENG Chaobing. Multi-scale single image dehazing using laplacian and gaussian pyramids[J]. IEEE Transactions on Image Processing,2021,30:9270-9279.
[15] 张书霞,左海平. SIFT特征匹配算法研究[J]. 现代计算机(专业版),2010(7):64-67. ZHANG Shuxia,ZUO Haiping. Research on SIFT algorithm of feature matching[J]. Modern Computer,2010(7):64-67.
[16] CAO Mingwei,JIA Wei,LYU Zhihan,et al. Two-pass K nearest neighbor search for feature tracking[J]. IEEE Access,2018(6):72939-72951.
[17] SHENG Haiyan,WEI Shimin,YU Xiuli,et al. Research on binocular visual system of robotic arm based on improved SURF algorithm[J]. IEEE Sensors Journal,2020,20(20):11849-11855. DOI: 10.1109/JSEN.2019.2951601
[18] 杜港,侯凌燕,佟强,等. 基于BRISK和改进RANSAC算法的图像拼接[J]. 液晶与显示,2022,37(6):758-767. DOI: 10.37188/CJLCD.2021-0292 DU Gang,HOU Lingyan,TONG Qiang,et al. Image mosaicing based on BRISK and improved RANSAC algorithm[J]. Chinese Journal of Liquid Crystals and Displays,2022,37(6):758-767. DOI: 10.37188/CJLCD.2021-0292
[19] 邹攀红,孙晓燕,张雄伟,等. 一种基于数学形态学的二值图像去噪算法[J]. 微计算机信息,2010,26(32):202-203,206. ZOU Panhong,SUN Xiaoyan,ZHANG Xiongwei,et al. A noise reduction algorithm for binary image based on mathematical morphology[J]. Microcomputer Information,2010,26(32):202-203,206.
[20] 卢泉,杨振华,黄粒峰. 改进最佳缝合线的红外图像拼接方法[J]. 红外技术,2022,44(6):580-586. LU Quan,YANG Zhenhua,HUANG Lifeng. Infrared image mosaic method for improving the best seam-line[J]. Infrared Technology,2022,44(6):580-586.
[21] 罗永涛,王艳,张红民. 结合最佳缝合线和改进渐入渐出法的图像拼接算法[J]. 红外技术,2018,40(4):382-387. LUO Yongtao,WANG Yan,ZHANG Hongmin. Image-stitching algorithm by combining the optimal seam and an improved gradual fusion method[J]. Infrared Technology,2018,40(4):382-387.
计量
- 文章访问数: 167
- HTML全文浏览量: 89
- PDF下载量: 37
