0.   引言

远程智能掘进是实现少人甚至无人化掘进作业的根本目标，也是解决采掘失衡难题的基石^[1]。机载视觉技术是掘进机的重要感知手段。掘进机等煤机装备在行进或作业期间，易因车体振动引起机载相机视频模糊，导致基于机载视频的机器视觉检测精度和可靠性下降。因此，掘进机机载视频稳像处理对于实现远程智能掘进具有重要的现实意义^[2]。

近年来，对稳像技术的研究主要集中在机械稳像、光学稳像和电子稳像，与其他方法相比，电子稳像具有成本低和可移植性强的优点^[3-4]。电子稳像一般可以分为运动估计、运动平滑、运动补偿3个部分。先通过运动估计算法获取全局运动矢量，再利用运动滤波去除运动矢量中的抖动分量，实现运动平滑，最后通过运动补偿算法对随机抖动矢量进行反向补偿，生成稳定的视频序列^[5-6]。

目前，针对煤矿井下机载视频进行电子稳像的研究相对较少。文献[7]以矿用辅助运输车车载相机为研究对象，在稳像前对图像进行直方图均衡处理，提高了图像对比度，但直方图均衡是基于全局图像的均衡，对于图像中有明暗变化的区域均衡效果较差，难以提取图像中的有效特征点。文献[8-9]在稳像过程中利用均值滤波对运动轨迹进行平滑处理，去除运动轨迹中的抖动分量，但均值滤波是将连续采样的数据看作固定长度的队列，比较浪费运行内存，不适合应用于实时数据处理。针对上述问题，结合掘进机机载视频图像的特点，提出一种基于限制对比度自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）与卡尔曼滤波的掘进机机载视频稳像算法。在运动估计阶段对图像进行限制对比度的自适应增强，提高运动估计精度，然后结合卡尔曼滤波实现视频稳像。

1.   算法流程

基于CLAHE与卡尔曼滤波的掘进机机载视频稳像算法由运动估计、轨迹平滑和运动补偿3个部分组成，其流程如图1所示。提高运动估计的准确度是提高稳像精度的关键，对运动轨迹数据的实时处理是提高稳像实时性的重要保证。

图  1  基于CLAHE与卡尔曼滤波的掘进机机载视频稳像算法流程

Figure  1.  Process of onboard video stabilization algorithm for roadheader based on contrast limited adaptive histogram equalization and Kalman filter

下载: 全尺寸图片 幻灯片

采用CLAHE算法对井下巷道图像进行增强处理，可在提高局部对比度的同时保留更多图像细节，有效提高图像中特征点的提取数量，进而提高运动估计的精度。获取相机运动轨迹后，利用卡尔曼滤波，根据视频前一帧的最优值预测当前时刻值，避免均值滤波需预先存储采样数据的问题，提高稳像的实时性。根据原始运动路径和平滑路径的关系进行运动补偿，生成稳定的视频序列。

2.   基于图像增强的全局运动估计

为获取机载抖动视频的全局运动估计矢量，先对视频序列进行限制对比度的自适应增强，提高运动估计的精度；再利用Shi-Tomasi算法获取每帧图像的特征点；最后对获取的特征点进行光流追踪和匹配，进而计算出相机的运动轨迹。

2.1   限制对比度的图像自适应增强

煤矿井下图像具有低照度、高粉尘、明暗不均的特点，尤其是掘进过程中伴有大量粉尘，导致图像模糊，因此在稳像前需对图像进行增强处理^[10]。直方图均衡化(Histogram Equalization，HE)是一种经典的图像增强处理算法，将原始图像的灰度直方图从较集中的某个灰度区间变成更广泛灰度范围内的分布，但对于图像中有明显亮和暗的区域来说，效果较差。与HE基于全幅图像均衡不同的是，自适应直方图均衡化(Adaptive Histogram Equlization，AHE)是对局部图像的均衡，对于明暗不均的图像，可以有效提高图像的局部对比度，获取更多图像细节，但是自适应均衡后的图像易产生块状不连续和过度增强现象^[11-13]。

CLAHE算法在AHE的基础上对图像局部对比度进行限制^[14]。对局部图像设定阈值，超出阈值的部分平均分配到直方图的各个部分，从而限制局部对比度的增强幅度，防止因过度放大噪声而产生块状效应。CLAHE算法的核心过程如下：

1) 将图像分为M×N（实验中通常取8×8）个不重叠且相互连续的子区域。

2) 计算每个子区域内的平均像素：

式中：$ n_{x} $为图像横轴（x轴）方向的像素数；$ n_{y} $为图像纵轴（y轴）方向的像素数；${n}_{ {{\rm{gray}} }}$为子区域灰度级的数量。

3) 对每个子区域重新分配像素，截取像素值大于$\;\beta \bar{n}$($\; \beta$为截取系数，本文取2.0)的部分，统计截取像素的总数，并将其重新分配到直方图的各个灰度级上。直方图剪切与分配过程如图2所示。

图  2  直方图剪切与分配过程

Figure  2.  Histogram cutting and allocation process

下载: 全尺寸图片 幻灯片

4) 对裁剪后的区域进行HE处理，并以均衡化后子块中心的像素值为参考点，通过双线性插值方法计算并输出图像中各点的灰度值。

巷道图像增强前后对比如图3所示。可看出原始图像存在过亮或过暗区域，图像灰度直方图主要分布于低灰度级和高灰度级区域。经HE增强的图像直方图整体分布更加均衡，但对于灰度集中的过暗区域，直方图被拉伸得比较稀疏，导致对比度增强过大，造成图像局部细节丢失。经CLAHE增强的图像在提高局部对比度的同时，避免了因灰度聚集的过暗区域拉伸造成图像细节丢失的问题。

图  3  巷道图像增强前后对比

Figure  3.  Comparison of roadway image before and after enhancement

下载: 全尺寸图片 幻灯片

2.2   图像特征点提取

图像中亮度变化剧烈或2条线交叉处的点通常被认为是特征点。利用Shi-Tomasi算法提取图像特征点，其核心思想是通过移动固定尺寸的特征窗口，寻找图像中灰度值变化明显的点^[15]。

式中：$ S(u, v) $为滑动窗口向各个方向移动时像素点衡量系数的变化值；$ u, v $为滑动窗口沿x和y方向的滑动变量；$ w(x, y) $为加权函数；$ E(x, y) $为$ (x, y) $坐标下像素的灰度值。

为求出特征点位置，对式(2)进行泰勒展开，去除高阶项，得

式中M为特征点的梯度协方差矩阵。

假设$ \lambda_{1} $和$ \lambda_{2} $为矩阵M的2个特征值，设定一个阈值Y（Y为经验值，本文取0.01）。若图像中某处像素点满足$ \min \left(\lambda_{1}, \lambda_{2}\right)>Y $，则该位置存在特征点，否则不存在。

巷道图像增强前后特征点提取对比如图4所示。可看出与 图4 (a)相比， 图4 (b)因整体亮度提升，导致图像细节模糊，难以提取图像细节处特征点。 图4 (c)提取到的特征点数量更多，且更分散，在提高图像局部对比度的同时，还能获取更多图像细节。经CLAHE增强后的视频序列更有利于相邻帧间特征点的跟踪。

图  4  巷道图像增强前后特征点提取对比

Figure  4.  Comparison of feature point extraction before and after roadway image enhancement

下载: 全尺寸图片 幻灯片

2.3   LK光流跟踪

在获取每帧图像的特征点后，将具有较强鲁棒性的LK（Lucas-Kanade）光流法用于相邻帧间特征点的追踪与匹配。假设在时间间隔较小的情况下，相邻帧之间亮度恒定且物体运动位置变化较小^[16]。若相邻2帧图像的拍摄间隔为dt，像素移动了$ ({\rm{d}} x, {\rm{d}} y) $，由于相邻帧图像像素灰度具有不变性，则可得到图像的约束方程：

式中$G(x, y, t)$为t时刻坐标$ (x, y) $处的灰度。

对式(4)进行泰勒展开并化简可得

式中：$ I_{x} $，$ I_{y} $分别为像素点在x方向和y方向的偏导数；U，V分别为像素点在x方向和y方向的速度；I_t为像素点对时间的偏导数。

式(5)中含有2个未知数，无法直接解出像素点在2个方向的速度。因此以该运动像素点为中心，假设其W×W(W>1)邻域内所有像素都具有相同的运动状态，则有

式中：$I_{x _i} $，$I_{y _i} $分别为邻域内第i个像素点在x方向和y方向的偏导数，i=1,2,···,$W^2 $；$I_{t _i} $为邻域内第i个像素点对时间的偏导数。

将W×W邻域内像素点的运动状态联立，利用最小二乘原理求解可得

式中：$ {\boldsymbol{A}} $为邻域内像素点在x与y方向的偏导数；$ b $为邻域内像素点对时间的偏导数。

根据求得的像素点速度，可计算出经dt时间后像素点的位置$ \left(x+U {\rm{d}} t, y+V {\rm{d}} t\right) $，进而可实现相邻帧间特征点的跟踪。基于CLAHE增强图像的特征跟踪如图5所示，彩色圆点为跟踪的特征点，圆点后方彩线为跟踪轨迹。

图  5  基于CLAHE增强图像的特征跟踪

Figure  5.  Feature tracking based on contrast limited adaptive histogram equalization enhanced image

下载: 全尺寸图片 幻灯片

2.4   机载相机运动轨迹获取

对相邻帧特征点进行匹配追踪后，结合视频相邻帧间的运动变换模型计算相机的运动轨迹。机载相机抖动的主要原因在于水平、垂直、旋转偏移的变化，选用仿射变换模型作为抖动视频相邻帧间的运动变换模型^[17-18]：

式中：$ \left(x_{1}, y_{1}\right) $为参考帧特征点的坐标；H为前后2帧特征点对应的仿射变换矩阵，${\boldsymbol{H}}=\left[ \begin{array}{ccc}a_{1} & a_{2} & f_{1} \\a_{3} & a_{4} & f_{2} \\0 & 0 & 1\end{array} \right]$，$ a_{1} $—$ a_{4} $为相邻视频帧间的旋转参数，$ f_{1} $，$ f_{2} $分别为相邻视频帧在水平和垂直方向的平移量；$ \left(x_{2}, y_{2}\right) $为当前帧追踪特征点的坐标。

设第k帧至第k+1帧的仿射变换矩阵为H_k，则第k帧图像对应的机载相机轨迹为

3.   运动平滑及补偿

3.1   基于卡尔曼滤波的运动平滑

提取影响视频稳定的抖动分量进行反向补偿是实现电子稳像的核心过程，电子稳像的目的是保留主动运动矢量，去除随意抖动。主动运动矢量为低频运动，随意抖动表现为高频运动，根据二者的区别，通过卡尔曼滤波器^[19]对相机运动轨迹进行平滑处理。

与其他滤波方法相比，卡尔曼滤波实时性强，在运动平滑过程中使用前一帧运动参数预测的最优值和当前帧运动参数的测量值便可求得最优预测结果。基于卡尔曼滤波的运动平滑预测模型为

式中：${\hat{{\boldsymbol{X}}}}_{k}^{-}$为先验估计值，根据第k−1帧预测的最优估计值预测第k帧的结果；F_k为状态转移矩阵；${\hat{{\boldsymbol{X}}}}_{k-1} $为后验估计值；${\hat{{\boldsymbol{P}}}}_{k}^{-}$为第k帧的先验估计协方差，是对预测状态的不确定性度量；${\hat{{\boldsymbol{P}}}}_{k-1} $为后验估计协方差；$ {{\boldsymbol{Q}}}_{k} $为过程噪声协方差矩阵。

卡尔曼滤波的更新模型为

式中：$ {K}_k $为第k帧的卡尔曼增益；${\boldsymbol{H}}_{k}$为观测矩阵；${\boldsymbol{R}}_{k}$为观测噪声的协方差矩阵；${\boldsymbol{Z}}_k $为系统测量值。

抖动视频运动轨迹经卡尔曼滤波器的预测和更新后，去除抖动的高频分量，得到一条平滑的运动轨迹，滤波后轨迹的变化反映了相机原始路径的变化。滤波前后抖动视频中像素点在水平和垂直方向的方差见表1，运动轨迹如图6所示。与原始轨迹相比，滤波后的方差小于滤波前，运动轨迹离散度变得更小，轨迹曲线更加平滑。曲线越平滑，说明滤波后视频序列越稳定。

表  1  滤波前后方差

Table  1.  Variance before and after filtering

方向	滤波前方差	滤波后方差
水平	1.121	0.23
垂直	2.820	1.79

下载: 导出CSV 

| 显示表格

图  6  像素点水平及垂直方向运动轨迹

Figure  6.  Horizontal and vertical motion trajectories of pixel points

下载: 全尺寸图片 幻灯片

3.2   运动补偿

运动轨迹经过卡尔曼滤波后，去除了视频中的随意抖动，得到基于主观运动的平滑运动矢量${\boldsymbol{O}}_ {\rm{S}}$，视频的原始运动矢量$ {\boldsymbol{O}} $中包含主观运动矢量和抖动矢量，对$ {\boldsymbol{O}} $和${\boldsymbol{O}}_{{\rm{S}}}$作差可求得相邻帧之间的抖动补偿量$\Delta {\boldsymbol{O}}$，将其补偿到原始运动轨迹中即可生成稳定的视频序列。

4.   实验分析

采用掘进机机载摄像系统采集视频序列，结合OpenCV和VSCode编程工具对原始抖动视频进行处理，验证掘进机机载视频稳像算法性能。计算机配置为Intel(R) Core(TM) i5−8300H CPU@2.30 GHz。

4.1   全局特征点匹配分析

选取掘进机机载视频中的100帧图像，对相邻特征点匹配情况进行分析，结果如图7所示。分析可知，原始图像的平均特征点匹配数为56.25，经HE增强处理后图像的平均特征点匹配数为59.7，经CLAHE增强处理后图像的平均特征点匹配数为85.1。经CLAHE增强处理后，特征点匹配成功率比未增强处理时提高了58%，比HE增强处理时提高了43%，说明基于CLAHE的图像增强算法可有效提高图像特征点匹配数，更适用于掘进机机载视频稳像处理。

图  7  相邻帧特征点匹配结果

Figure  7.  Matching results of adjacent frame feature points

下载: 全尺寸图片 幻灯片

4.2   算法有效性分析

4.2.1   像素偏移分析

经稳像处理后，相邻帧图像像素之间的偏移量越小，说明稳像效果越好^[20]。稳像前后掘进机机载视频在水平方向的像素偏移对比情况如图8所示。分析可知，稳像前水平方向像素偏移均值为3.93，采用HE+均值滤波算法稳像后水平方向像素偏移均值为0.26，采用本文算法稳像后水平方向像素偏移均值为0.05。图像经本文算法处理后像素偏移量最小，与稳像前相比，水平方向偏移均值减少了3.88，与HE+均值滤波算法相比，水平方向偏移均值减少了0.21。

图  8  稳像前后水平方向偏移对比

Figure  8.  Comparison of horizontal deviation before and after image stabilization

下载: 全尺寸图片 幻灯片

图像经过CLAHE增强处理后，克服了稳像过程中因为掘进工作面图像光照明暗变化导致难以提取有效特征点的问题，进而提高了抖动视频中像素点运动偏移补偿的精度，最终实现视频稳像。

4.2.2   差分图分析

稳像前后相邻帧间的差分图也可用来评价稳像算法的有效性。将相邻2帧图像相减，即可得到差分图。相邻2帧图像的差分图信息越少，说明相邻图像越相似，稳像效果越好。经本文算法稳像处理前后的差分图如图9所示。经统计，稳像后差分图含有的信息较稳像前降低了39%，说明本文算法具有良好的稳像效果。

图  9  稳像前后差分图

Figure  9.  Difference map before and after image stabilization

下载: 全尺寸图片 幻灯片

4.2.3   峰值信噪比分析

相邻2帧图像间的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)也是用来客观评价视频稳像效果的有效方法^[21-22]。将相邻2帧图像的像素进行逐行对比，相似程度越高，则PSNR越大，视频稳像效果越好。稳像前后PSNR对比如图10所示。分析可知，稳像前PSNR均值为35.58 dB，采用HE+均值滤波算法稳像后PSNR均值为36.57 dB，采用本文算法稳像后PSNR均值为39.18 dB。经本文算法稳像处理后，与稳像前相比， PSNR均值提高了10%；与HE+均值滤波算法相比， PSNR均值提高了7%。实验结果验证了本文算法对井下掘进机机载抖动视频具有较好的稳像效果。

图  10  稳像前后PSNR值对比

Figure  10.  Comparison of PSNR values before and after image stabilization

下载: 全尺寸图片 幻灯片

4.3   算法耗时分析

采用HE+均值滤波算法和本文算法对测试的100帧视频序列进行稳像处理，统计算法各阶段的耗时情况，结果见表2。与HE+均值滤波算法相比，本文算法在运动估计阶段的耗时降低了17%，运动平滑阶段的耗时降低了33%，算法整体运行时间降低了10%。实验结果表明，在运动估计阶段，自适应图像增强算法提高了图像特征点提取的速度，降低了运动估计阶段的耗时。在运动平滑阶段，卡尔曼滤波根据视频前一帧的最优值预测当前时刻值，避免了均值滤波需预先存储采样数据的问题，减少了运动平滑阶段的耗时，进而提高了稳像的实时性。

表  2  各算法耗时

Table  2.  Time consuming of each algorithm s

算法	运动估计耗时	运动平滑耗时	相关计算耗时	整体耗时
HE+均值滤波	2.340	0.003	1.286	3.629
本文 算法	1.938	0.002	1.310	3.250

下载: 导出CSV 

| 显示表格

5.   结论

1） 在运动估计阶段，通过限制对比度的图像自适应增强算法动态提高图像的局部对比度，提高了相邻帧间运动估计的精度。经实验验证，与原始视频相比，图像自适应增强后特征匹配成功率提高了58%。

2） 在运动平滑与补偿阶段，通过卡尔曼滤波对获取的运动轨迹进行平滑处理，与HE+均值滤波算法相比，100帧视频图像处理的整体耗时减少了0.379 s，在去除抖动的同时，有效提高了稳像的实时性。

3） 由于抖动视频帧运动补偿过程中会发生旋转和偏移，造成视频帧边缘部分像素丢失，呈现出黑色区域，即“黑边”。如何对“黑边”区域进行修复，获取完整的图像输出，是今后研究的一个方向。