0 引言
综采工作面是煤矿的第一生产现场，是煤矿安全管理工作的重中之重[1-2]。目前国内综采工作面基本实现了三机设备一键启停、液压支架自动移架、采煤机自动跟机、刮板输送机自动校直等。随着网络通信技术的发展，越来越多的综采工作面完成了视频监控系统的覆盖，有的矿井开始尝试借助虚拟现实技术构建三维采矿现实环境，模拟综采工作面三机作业过程及设备运行情况[3-6]。煤矿井下视频监控系统作为煤矿安全生产的辅助系统，主要用于井下重点防护区域的监控与人员监管[7]。
随着煤矿开采自动化程度逐步提高，视频监控系统成为无人化综采工作面的必备系统。利用远程视频监控系统，地面人员可对井下情况进行实时监控，及时发现事故隐患，指导地面人员远程控制设备启停，避免事故发生，同时可为事故原因分析提供第一手影像资料。然而，现有综采工作面视频监控系统存在占用带宽大、视频存储不完整、采煤机截割画面不突出、视频拼接画面参差不齐等问题，为解决上述问题，笔者从系统硬件和软件、视频压缩和拼接算法等方面进行优化设计。
1 现有视频监控系统结构及存在问题
1.1 系统结构
综采工作面视频监控系统结构如图1所示。在液压支架上安装大量摄像仪[8-9]，将摄像仪正对煤壁，通过矿用网线与最近工作面交换机连接。工作面交换机之间通过光纤连接组成工作面环网并接入井下环网交换机。地面主机通过交换机连接至井下环网，便可获取每台摄像仪的视频画面。为直观显示整个综采工作面的情况，上位机软件对每台摄像仪的视频画面进行实时拼接，同时，将视频数据存储于网络视频存储服务器内。
1.2 存在问题
(1) 视频传输占用带宽较大。综采工作面一般采用百兆光纤环网，按照每台摄像仪占用3 Mbit/s带宽计算，可布置30多台摄像仪。即使采用千兆光纤环网，若在工作面布置大量摄像仪，视频数据传输占用的网络带宽也非常大，画面卡顿现象不可避免，同时，还会影响设备运行状态数据和控制信号的实时传输。
图1 综采工作面视频监控系统结构
Fig.1 Structure of video monitoring system on fully mechanized mining face
(2) 视频存储不完整。利用地面网络视频存储服务器存储井下视频数据时，井下摄像仪与地面网络视频存储服务器之间经过了多级网络连接，且摄像仪数量较多，视频数据传输量较大，很容易发生网络拥堵或线路故障，导致地面网络视频存储服务器无法存储完整、流畅的视频数据。
(3) 采煤机截割画面不突出。综采工作面需要重点监视采煤机的实时运行画面，但拼接后的全景视频画面不仅局部卡顿，而且采煤机在整个画面中的比例很小，采煤机运行状态无法看清，如图2所示。
图2 全景画面中采煤机位置
Fig.2 Shearer position in panoramic picture
(4) 视频拼接画面参差不齐。视频拼接的前提是所有摄像仪画面中心点位于同一水平轴上，而液压支架上的摄像仪位置高低有差异，角度有差异，画面中心点不可能完全处于同一水平轴上。这就导致视频拼接后的画面出现参差不齐的现象，影响整幅画面的流畅性，如图3所示。
图3 视频拼接画面
Fig.3 Video stitching screen
2 优化设计方案
2.1 硬件优化设计
优化后的视频监控系统结构如图4所示。在系统中引入网络硬盘录像机，将摄像仪按就近原则进行编组，每组8台摄像仪通过网线接入同一台硬盘录像机，将硬盘录像机通过网线就近接入工作面交换机，通过井下环网将数据传输至地面集控中心。这样设计的优势如下：① 减小网络带宽占用，避免网络拥堵。当视频数据进入硬盘录像机后，经压缩、存储后再转发，极大地降低了传输数据量，减小了网络带宽占用率。② 减少数据丢失，保证数据完整性。网络硬盘录像机的每个输入通道分别对应一台摄像仪，不受网络带宽的影响，保证每台摄像仪的视频数据可完整保存在硬盘录像机里；同时，由集中存储变为分散存储，避免了因网络硬盘录像机上一级线路连接故障造成的摄像仪视频数据集体丢失，保证在摄像仪正常的情况下，每台摄像仪的视频数据均能可靠存储，即使发生通信故障，也可在系统恢复后调取录像视频，实现工况再现。
图4 优化后的视频监控系统结构
Fig.4 Structure of optimized video monitoring system
2.2 软件优化设计
采用实时视频与动画模拟相结合的方式，以突出重点、局部放大为原则，将综采工作面视频画面与设备状态参数集中反映于显示屏上。远程控制界面如图5所示。采煤机截割视窗专门显示采煤机截割画面，系统具有智能识别功能，当采煤机运行至摄像仪视角范围内时，自动切换为正对采煤机的3台摄像仪所拍摄视频的拼接画面，可清晰显示出采煤机截割时的运行状态。选中采煤机全景视窗后，通过移动进度条可查看全景画面中的任意部分。刮板输送机视窗根据现场传回的刮板输送机运行状态参数，动画显示刮板输送机工作状态及状态参数。液压支架移架视窗通过动画显示现场支架移架情况，通过滑动进度条可查看任意液压支架的移架位置。摄像仪视窗中的每个编号对应一台摄像仪，点击任意编号即可查看对应摄像仪的视频画面，编号为绿色表示摄像仪为正常工作状态，红色表示故障状态，蓝色表示采煤机所在位置。
图5 远程控制界面
Fig.5 Remote control interface
3 视频处理算法设计
3.1 视频压缩算法
由于综采工作面的特殊性，实现全景视频展示需要安装大量的摄像仪。传统的视频压缩方法仅对视频数据本身进行压缩，不满足该场景下的高压缩比与传输实时性要求。本文提出了基于深度学习技术的视频压缩算法，除压缩视频数据本身外，对帧间数据也进行压缩。
将一个完整的视频分为由多个图像帧序列组成的视频片段，每个视频片段由一段16帧的图像帧序列组成。为提高视频片段分类的准确性，使相邻2个视频片段重叠8帧图像，采用双通道三维卷积神经网络(Convolutional Neural Networks，CNN)模型同时分析视频帧的空间信息和时序信息；将网络模型的输出结果送至支持向量机(Support Vector Machine，SVM)分类器，将视频片段分为剧变、渐变和普通类型；同时，将相同类型的相邻视频片段连接成一个视频片段，连接后的视频片段总长不超过32帧。视频片段分类框架如图6所示，其中N为视频帧数，N=8(n+1)，n为视频片段数量。
图6 视频片段分类框架
Fig.6 Video clip classification framework
要对视频片段进行准确分类，必须用大量数据对CNN模型进行训练。本文采用合成数据集和增量数据集，通过图像混合模型从正常视频帧序列中生成足够的剧变和渐变样本；利用这些样本进行训练，形成初步的分类器模型；利用分类器模型对未标注的数据进行预测，选出结果正确的数据集作为增量数据集。重复上述过程，直至CNN模型误差足够小，再利用最终的数据集进行训练，得到高性能分类器。
对分类后的视频片段进行后处理，计算视频片段中首帧和尾帧的颜色直方图，如果2帧图像颜色直方图之间的Bhatta-charyya距离足够小，则认为该视频片段为普通类型。因为剧变和渐变都表示该视频片段的帧序处于变化中，所以对这2类视频片段不作处理。对于普通视频片段，只保留首帧和尾帧，视频解码时需要在帧间进行插帧。
为验证视频压缩算法的有效性，利用H.264/AVC参考软件JM16.0和HEVC参考软件HM13.0实现算法，并用8个通用测试序列进行实验。全I帧编码结构下的实验结果见表1。实验结果表明：对于平缓的视频内容(如FourPeople序列)，相比于经典的H.264/AVC编码标准，本文算法的码率降低了79.43%，对于HEVC编码标准，本文算法的码率降低了13.65%。当视频内容变化剧烈时(如BasketballDrill序列)，相比于H.264/AVC编码标准，本文算法的码率降低了37.82%，相比于HEVC编码标准，本文算法的码率降低了1.97%。相比于H.264/AVC和HEVC编码标准，本文算法的平均码率分别降低53.87%和7.44%。
3.2 图像拼接算法
综采工作面空间狭窄，纵深较大，摄像仪距离煤壁较近，要保证大量视频数据传输的实时性，最好的方式是采用广角摄像仪，增加单个摄像仪的覆盖面，减少摄像仪数量。但是，摄像仪的视场角越大，视频画面畸变越大，增加了视频拼接的难度。若采用视场角较小的镜头，视频画面畸变较小，畸变修正较为简单，但需要摄像仪与煤壁保持足够的距离，在综采工作面有限的空间内，摄像仪的安装较为困难。即使摄像仪与煤壁保持较大距离，仍然避免不了视频画面的畸变。在全景视频拼接过程中，最关键的技术是图像预处理、图像配准和图像融合。图像拼接流程如图7所示。
表1 全I帧编码结构下的实验数据
Table 1 Experimental data ofall I frame coding
测试序列本文算法码率下降幅度/%与H.264/AVC相比与HEVC相比Akiyo-65.38-8.95BasketballDrill-37.82-1.97Claire-67.89-20.14Drawing-39.15-2.23Foreman-45.76-2.98FourPeople-79.43-13.65Pairs-38.21-2.03Silent-57.32-7.53平均值-53.87-7.44
图7 图像拼接流程
Fig.7 Image stitching flow
图像畸变分为线性畸变和非线性畸变。线性畸变可通过单应阵有效地进行矫正。非线性畸变是由镜头的固有特性所引入的不可避免的弯曲变形，即使对镜头进行改造都无法完全消除非线性畸变现象，非线性畸变会导致图像拼接时边界区域出现错位和重影。本文采用非线性抗失真模型(Nonlinear Anti-distortion Model，NAM)矫正算法，通过反变换找出理想图像与实际图像的映射点对，建立变换关系，还原出无失真的图像。
图像矫正后，对控制帧图像提取特征点并进行特征匹配。为提高图像变换单应阵的准确性，可在场景中添加控制板以增加匹配点数。本文采用加速稳健特征(Speeded-Up Robust Features，SURF)检测算法，建立尺度空间，进行特征点检测，确认特征点主方向并生成特征描述符。SURF检测算法通过近似计算和减少特征描述向量的方法，在保持较好的尺度不变性和旋转不变性的同时，降低了算法复杂度，不仅具备很强的鲁棒性和精确性，而且提升了运算速度，满足了视频拼接的实时性要求。
通过双线性插值方法将图像投影到参考平面，并计算出图像间的重合区域，在重合区域进行图像融合以消除接缝。首先，建立具有多分辨率信息的图像金字塔，将待融合的匹配图像降采样为不同尺度下的带通层图像；然后，对各带通层图像进行线性加权融合，得到拼接融合之后的带通层图像；最后，对拼接融合后的各带通层图像进行相加运算，得到最终的融合图像。图像拼接效果如图8所示。从图8(e)可看出，长焦图像畸变较小，特征匹配较准确，图像融合效果较佳。从图8(j)可看出，广角图像畸变较大，畸变矫正效果不理想，直接导致图像特征匹配效果较差，拼接后的图像边缘处出现错位，无法平滑过渡。
(a) 长焦原始图像1
(b) 长焦原始图像2
(c) 长焦原始图像3
(d) 长焦原始图像4
(e) 长焦拼接后的全景图像
(f) 广角原始图像1
(g) 广角原始图像2
(h) 广角原始图像3
(i) 广角原始图像4
(j) 广角拼接后的全景图像
图8 图像拼接效果
Fig.8 Image stitching effect
4 技术发展方向
(1) 摄像仪自清洁技术。摄像仪作为井下视频监控系统的核心部件，其性能好坏直接影响视频监控系统的整体效果。在煤矿井下高粉尘、多水雾的特殊环境下，摄像仪镜头不可避免地会吸附大量粉尘，造成视频画面不清晰等问题。目前，摄像仪除尘方法主要有3种：① 在镜头表面涂覆纳米涂层，防止粉尘吸附。② 给摄像仪加装雨刮清洁装置，通过定时冲洗、刮刷镜头来保持镜头透亮。③ 在摄像仪镜头前加装空气防护罩，通过不停吹风，在镜头前形成风幕，防止粉尘吸附在镜头上[10-12]。上述除尘方法各有优缺点，但使用效果均不理想。
摄像仪自清洁(自除尘)技术是指摄像仪自行通过外围辅助机构定时清理镜头上的泥污，保证摄像仪清晰成像。可考虑设计一种体积小、质量小、安装方便的除尘机构，将摄像仪与除尘机构进行整体设计，增加内部水循环系统，无需外部供水即可清除表面泥污，并在镜头处安装风干喷嘴，通过自循环气路将镜头吹干。
(2) 视频监控系统智能识别技术。随着人工智能的发展，视频监控系统的智能化成为趋势。智能化视频监控系统功能主要包括目标识别、目标跟踪、目标测距、目标定位、危险报警等。智能识别技术可在如下场合应用：① 带式转载机堆煤预警：当带式转载机搭接处有少量堆煤时，视频监控系统发出“提示预警”信号；当带式转载机搭接处有大量堆煤时，发出“危险报警”信号。② 危险区域闯入预警：在采煤机运行过程中，视频监控系统检测到危险区域有人员活动时，发出报警信号。③ 人员管理：建立人脸数据库，在井下交接班处通过人脸识别完成考勤。④ 危险动作预警：视频监控系统检测到工作面人员未戴安全帽，人员在同一位置长时间静止不动，人员有趴、躺、坐等危险动作时，发出报警信号[13]。可在工作面多角度安装摄像仪，大量采集工作面人员活动视频资料，采用AI智能图像识别算法，通过机器训练提升系统对各种场景的识别率。
(3) 工作面全景视频拼接技术。为了更加直观、实时了解综采工作面的生产情况，需要在工作面安装多台摄像仪，将所有摄像仪的画面进行实时拼接，形成工作面的全景动态画面，指导远程操作人员进行设备操作。井下通信网络带宽有限，大量视频数据实时传输不可避免地会造成网络拥堵，可采用边缘计算的方式，在摄像头终端设备上进行图像预处理和图像压缩，尽量减少数据传输量。
(4) 高带宽、低延时无线网络通信技术。有线视频监控系统需要大量布线，在综采工作面的狭小空间内布线会带来很大麻烦，而且液压支架移动过程中会造成电缆拉扯，增加系统故障率。现有的无线通信方式主要有WiFi、4G和5G，WiFi和4G带宽不足，无法支持大量视频数据传输，5G通信设备价格昂贵，不利于大面积使用。智能化视频监控系统需要依托高带宽、低延时的通信网络来实现[10-11]。可将5G与WiFi6通信技术进行融合，采用Mesh自组网技术实现工作面无线网络覆盖，完成工作面数据交互，通过5G技术实现主干网络数据传输。
(5) 工作面虚拟现实技术。目前，国内外普遍采用的监控方式是在工作面布置各类摄像仪获取实时视频信息，在设备上安装各类传感器采集温度、电流、位移等数据，将视频信息和数据信息传输至集控中心，供远程操作人员分析决策。这样的方式取得了不错的效果，但远程操作人员接收到的是片面的、局部的信息，没有身临其境的感觉。虚拟现实技术集计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术于一体，利用虚拟现实技术可将工作面实时视频画面、生产数据、传感器数据、GIS数据等结合起来，构建出工作面实时生产作业场景[14]。
(6) 煤岩界面识别技术。由于井下煤层与围岩条件十分复杂，现有煤岩识别传感器和系统难以准确、可靠地识别出煤岩分界线[15]。国外采用较多的是记忆智能程控技术，但并没有完全解决煤岩识别的问题。可考虑多技术融合的方式，结合基于红外热成像仪的视频监控系统实现煤岩界面识别[16]。
5 结语
分析了现有综采工作面视频监控系统存在的占用带宽大、视频存储不完整、采煤机截割画面不突出、视频拼接画面参差不齐等问题。针对上述问题，提出引入网络硬盘录像机，采用高压缩比视频编解码技术、视频拼接技术、动画模拟技术相结合的优化设计方案，实现了采煤机截割画面自动切换、工作面全景视频实时显示、刮板输送机运行状态与液压支架移架情况动画模拟显示等功能。优化后的系统具有视频传输流畅、视频存储可靠、局部画面明显、界面动态直观等特点。探讨了综采工作面视频监控技术的发展方向。
[1] 黄乐亭,黄曾华,张科学.大采高综采智能化工作面开采关键技术研究[J].煤矿开采,2016,21(1):1-6.
HUANG Leting,HUANG Zenghua,ZHANG Kexue.Key technology of mining in intelligent fully mechanized coal mining face with large mining height[J].Coal Mining Technology,2016,21(1):1-6.
[2] 许满贵,刘欣凯,文新强,等.煤矿综采工作面粉尘分布及运移规律研究[J].西安科技大学学报,2014,34(5):533-538.
XU Mangui,LIU Xinkai,WEN Xinqiang,et al.Research of coal mine dust distribution and movement laws on fully-mechanized working face[J].Journal of Xi'an University of Science and Technology,2014,34(5):533-538.
[3] 王金华,黄乐亭,李首滨,等.综采工作面智能化技术与装备的发展[J].煤炭学报,2014,39(8):1418-1423.
WANG Jinhua,HUANG Leting,LI Shoubin,et al.Development of intelligent technology and equipment in fully-mechanized coal mining face[J].Journal of China Coal Society,2014,39(8):1418-1423.
[4] 高旭彬.综掘工作面远程可视化控制关键技术研究[J].煤炭科学技术,2019,47(6):17-22.
GAO Xubin.Research on key technology of remote visual control in fully-mechanized heading face[J].Coal Science and Technology,2019,47(6):17-22.
[5] 李昊,陈凯,张晞,等.综采工作面虚拟现实监控系统设计[J].工矿自动化,2016,42(4):15-18.
LI Hao,CHEN Kai,ZHANG Xi,et al.Design of monitoring and control system based on virtual reality technology on fully-mechanized coal mining face[J].Industry and Mine Automation,2016,42(4):15-18.
[6] 王国法,张德生.煤炭智能化综采技术创新实践与发展展望[J].中国矿业大学学报,2018,47(3):459-467.
WANG Guofa,ZHANG Desheng.Innovation practice and development prospect of intelligent fully mechanized technology for coal mining[J].Journal of China University of Mining & Technology,2018,47(3):459-467.
[7] 王雯,马宁.基于H.264和DM6437的煤矿井下视频监控系统设计[J].机械工程与自动化,2017(5):167-168.
WANG Wen,MA Ning.Design of mine-used video monitoring system based on DM6437 and H.264[J].Mechanical Engineering & Automation,2017(5):167-168.
[8] 芦燕.矿井视频监控系统的设计与选型[J].煤矿机电,2010,31(3):38-40.
LU Yan.Design and selection of mine video supervision system[J].Colliery Mechanical & Electrical Technology,2010,31(3):38-40.
[9] 王峰.综采无人工作面自动化开采技术研究与应用[J].工矿自动化,2015,41(7):5-9.
WANG Feng.Research and application of automatic mining technology of unmanned fully-mechanized coal mining face[J].Industry and Mine Automation,2015,41(7):5-9.
[10] 索智文.煤矿综采工作面无人化开采技术研究[J].工矿自动化,2017,43(1):22-26.
SUO Zhiwen.Study on unmanned mining technology of fully mechanized coal mining face[J].Industry and Mine Automation,2017,43(1):22-26.
[11] 黄曾华.煤矿综采工作面视频系统的应用研究[J].煤矿机电,2013,34(4):1-5.
HUANG Zenghua.Application research on video system at fully mechanized mining field[J].Colliery Mechanical & Electrical Technology,2013,34(4):1-5.
[12] 张谢华.煤矿智能视频监控系统关键技术的研究[D].徐州:中国矿业大学,2013.
ZHANG Xiehua.Research on key techniques in coal mine intelligent video surveillance system[D].Xuzhou:China University of Mining and Technology,2013.
[13] 原志明.神东上湾煤矿安全智能视频系统的开发与应用[J].能源与环保,2017,39(12):263-266.
YUAN Zhiming.Application of safe intelligent video system in Shangwan Mine of Shendong Corporation[J].China Energy and Environmental Protection,2017,39(12):263-266.
[14] 徐雪战,孟祥瑞,何叶荣,等.基于三维可视化与虚拟仿真技术的综采工作面生产仿真研究[J].中国安全生产科学技术,2014,10(1):26-32.
XU Xuezhan,MENG Xiangrui,HE Yerong,et al.Research on virtual simulation of full mechanized mining face production based on three-dimensional visualization and virtual simulation[J].Journal of Safety Science and Technology,2014,10(1):26-32.
[15] 任洁,刘頔.基于采煤机振动时域特性的煤岩识别方法研究[J].煤炭工程,2016,48(3):106-109.
REN Jie,LIU Di.Recognition method of coal-rock interface based on time-domain vibration characteristics of coal cutter[J].Coal Engineering,2016,48(3):106-109.
[16] 王虹.综采工作面智能化关键技术研究现状与发展方向[J].煤炭科学技术,2014,42(1):60-64.
WANG Hong.Development orientation and research state on intelligent key technology in fully-mechanized coal mining face[J].Coal Science and Technology,2014,42(1):60-64.