图1 矿山智能视频分析与预警系统组成
Fig.1 Composition of intelligent video analysis and early warning system for mine
张立亚1,2,3
(1.煤炭科学技术研究院有限公司， 北京 100013； 2.煤矿应急避险技术装备工程研究中心，北京 100013； 3.北京市煤矿安全工程技术研究中心， 北京 100013)
摘要：针对现有的矿山视频监控系统只能实现环境和设备运行监控，无法对人员等动目标行为实施有效监控的问题，设计了一种矿山智能视频分析与预警系统，介绍了系统组成及架构，以胶带堆煤检测和人的行为检测与识别为例，阐述了系统实现原理。在煤矿井下进行了胶带堆煤检测、危险区域人员检测、系统识别率和响应时间试验，结果表明系统能够有效检测出胶带上的煤量及危险区域范围，识别响应时间不大于2 s，识别成功率不低于98%。
关键词：矿山视频监控； 智能视频分析； 胶带堆煤检测； 危险行为检测； 动目标检测； 故障预警； 危险行为预警
现有的矿山视频监控系统大多针对环境信息和设备运行状况进行监控，且只能对视频信息进行采集、传输、存储和显示[1-4]，缺乏对人员及其他动目标的图像识别、智能分析及预警功能，导致井下动目标监测不全面、不及时，因人的危险行为导致的安全事故时有发生。
本文综合采用智能视频、传感、数据挖掘等技术，设计了一种矿山智能视频分析与预警系统。该系统可接入生产监控、人员定位等系统数据，实现信息共享，并通过搭建GPU(Graphics Processing Unit，图形处理器)服务器集群，构建智能视频分析云服务平台，对监控视频码流进行在线智能分析，对胶带堆煤等风险事件和生产期间人员进入危险区域等违规行为进行预警，为井下危险区域人员管理和安全生产提供决策支持。
1.1 系统组成
矿山智能视频分析与预警系统主要由前端子系统、网络传输子系统、后端管理子系统等组成[5-7]，如图1所示。
图1 矿山智能视频分析与预警系统组成
Fig.1 Composition of intelligent video analysis and early warning system for mine
前端子系统由监控前端、视频存储设备和视频综合管理平台组成，负责完成井下监测区域的数据采集、分析、存储与上传。
网络传输子系统负责完成数据的传输与交换，中心网络由核心交换机、接入层交换机等组成。结合矿山视频监控的实际需求，传输视频的矿山集团总部级主干网络带宽应在万兆级，分公司汇聚层网络带宽在千兆级，矿区监控网络带宽在百兆级。各级平台的互联服务质量等级需达到网络时延不大于150 ms、丢包率不大于1×10-3的要求。
后端管理子系统由视频智能分析云平台、目标和事件资源库、业务应用组成，负责实现对矿山集团系统相关数据的汇聚、处理、存储和管理。其中视频智能分析云平台通过搭建GPU集群，对多路并发视频进行在线解析。
1.2 系统架构
系统采用分层架构[8]，包括接入层、视频解析层、基础服务层、业务支撑层、应用管理层，如图2所示。
图2 系统分层架构
Fig.2 Layered system architecture
接入层通过视频综合管理平台实时接入安防视频、综采工作面视频、主井视频和其他图像资源。
视频解析层主要通过目标描述、分类识别、特征计算和智能比对等进行视频图像解析，从而检测出需要关注的目标(人、车、生产设备、物料等)，对目标进行分类识别，计算目标的多属性特征。
基础服务层主要实现车辆描述、人员描述和设备识别，通过多属性特征识别，判断与业务有关的状态，对异常状态进行重点识别，并将识别结果发送至业务支撑层。
业务支撑层主要包括各类识别预警服务，通过对各类目标的识别，在特定业务场景下判定目标的业务逻辑，从而对异常事件进行解析判断，并对各类异常事件进行预警。
应用管理层主要实现统计分析、数据推送、预测防控和综合管理。
在系统设计中，通过对人员管理、设备运行、环境监测等数据进行联动分析及深度挖掘，实现对危险区域人员的管理和设备监测，进而形成人员和设备风险预控知识库[9-11]。本文以胶带堆煤检测和人的行为检测与识别为例，介绍系统实现原理。
2.1 胶带堆煤检测
在胶带搭接处上方安装矿用除尘摄像仪，采集胶带实时视频信息，然后采用无监督分割算法进行图像特征处理[12]，具体流程：
(1) 采用多尺度形态学的重构算子对原始图像进行空间滤波，计算出梯度图像。
(2) 将梯度图像中的像素x按递增顺序排列梯度值。
(3) 通过分水岭分割算法建立梯度值函数f(x)，并求其导数绝对值
(4) 根据G(x)的局部极值点，对f(x)进行区域划分，形成分水岭区域，从而得到分割区域。
通过无监督分割算法处理得到煤堆边界，最终计算出煤堆在画面中的占比。视频智能分析云平台通过视频信息检测胶带搭接处是否有堆煤，对堆煤进行分析并实现报警，具体实现步骤如下。
(1) 在视频图像上以画方格方式设置电子围栏，通过在视频图像上划定虚拟线设立警戒区域和警戒线，以此判断胶带上的煤量，如图3所示。
图3 电子围栏示意
Fig.3 Electronic fence
(2) 当胶带上的煤量处于方格内且持续一定时间(用户可根据需求设置)时，系统认为达到预警条件。当视频中出现少量堆煤时，视频监控画面显示“提醒告警”信息；当视频中出现大量堆煤现象时，视频监控画面显示“危险报警”信息，并进行系统联动报警。上位机软件进行相应的语音信息和图像推送。
2.2 人的行为检测与识别
首先建立人体模板，其由1个整体滤波器和多个结构化的部分滤波器构成，通过多次训练能够得到根滤波器和其他滤波器的响应，得到滤波器之间的相对位置关系，这些信息可形成有效的人体描述特征[13-14]。然后采用尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)算法进行行为分析，形成对人体具有检测和识别能力的模型。具体实现过程如下。
(1) 将人的身躯样本分割为A、B、C、D 4个图像集，分别代表身躯、上肢、下肢和头部样本。对样本图像集进行灰度化处理。
(2) 利用三维二次方程和Hessian矩阵，剔除低对比度点和边缘点，得到精确特征点。
(3) 统计区域内像素的梯度值，并绘制梯度直方图。
(4) 将梯度直方图的峰值处定义为精确特征点主方向，将主峰值80%的峰值方向定义为精确特征点的辅助方向。
(5) 对于待识别的图像，定义一个由精确特征点描述的子集合，形成特征点的模值向量。
(6) 根据杰卡德系数，对待识别图像与4个样本图像集的模值向量进行相似性度量。
(7) 计算出待识别图像与样本图像集的杰卡德系数最大值，相应的图像类别即为待识别图像的类别。
在井下危险区域人员管理的应用中，与人的行为检测与识别紧密相关的应用主要集中在违章行为识别方面，体现在危险区域跨界预警上，包括生产期间进出掘进面预警、空顶作业预警、人靠近危险设备预警等。
以空顶作业预警为例说明系统在人的行为检测与识别方面的应用。系统可对掘进工作面的空顶区域进行视频监测，非专岗工作人员进入掘进面空顶区域时触发报警。该功能采用SIFT算法和UWB(Ultra-Wide Band，超宽带)定位技术[15]来实现，原理如图4所示。
空顶作业预警实现原理如下。
(1) 已知锚杆间距L1，通过视频分析可知L1在视频图像中的长度。
(2) 根据预设的安全距离，可得到图像中锚杆与安全边界的距离L2。
(3) 采用SIFT算法对视频图像中人的行为进行检测与识别。为降低运算量，只检测L2外的区域，即空顶区域。
图4 空顶作业预警原理
Fig.4 Principle of empty roof operation early warning
(4) 如果检测到空顶区域有人，即人与最外侧锚杆间距L3>L2，则立即访问UWB定位系统，确认UWB定位系统是否在该区域检测到有人(即定位卡)，如果是则认为人员检测的结果可信，否则重新检测。
(5) 若已确认检测结果，则通过UWB定位系统获得人员身份信息，确认其是否有权限进入空顶区域。如果是无权限人员，则产生预警信息，并抓拍图像。
在煤矿井下进行系统试验。井下环境：呼吸性粉尘浓度为12 mg/m3，最低照度为0.001 Lux。
3.1 胶带堆煤检测试验
试验前划分电子围栏，设置胶带堆煤预警阈值为60%。当煤量占据电子围栏面积的60%且持续时间达到5 s时，系统认为达到预警条件并发出预警信息。随机选取视频图像，如图5所示，可看出当前堆煤监测数据为45%，没有达到预警阈值。
图5 胶带堆煤检测图像
Fig.5 Belt coal-piling detection image
3.2 危险区域人员检测试验
分别在综采工作面上隅角、下隅角安装矿用除尘摄像机，在视频图像上设置电子围栏，通过虚拟警戒线来划定危险区域，如图6所示。当采煤机启动时，生产控制系统向矿山智能视频分析与预警系统发送启动信号，视频警戒线生效。当采煤机停止时，生产控制系统向矿山智能视频分析与预警系统发送停止信号，视频警戒线失效。
图6 工作面人员检测图像
Fig.6 Person detection image on working face
系统通过分析视频信息及人员携带的UWB定位卡判断人员是否接近或越过虚拟警戒线。当人员触碰或越过警戒线时，系统报警，并提示人员禁止进入指定区域。
3.3 系统识别率和响应时间试验
选取5名井下人员(编号为1—5)，分别在掘进工作面、综采工作面、变电所进行系统识别率、响应时间试验。试验结果见表1。可看出系统对预警事件的识别率不低于98%，识别响应时间不大于2 s，满足煤矿井下预警需求。
表1 系统响应时间和识别率试验结果
Table 1 Test results of system response time and recognition rate
矿山智能视频分析与预警系统通过对井下工作面等场景的前端视频图像进行采集和存储，可实现对前端所有视频图像的集中管理，并能够对重点生产和安全监控视频图像进行在线智能分析，以加强对前端高风险安全隐患的预防。
参考文献(References)：
[1] 孙继平.煤矿信息化与智能化要求与关键技术[J].煤炭科学技术，2014,42(9):22-25.
SUN Jiping. Requirement and key technology on mine informationalization and intelligent technology[J].Coal Science and Technology,2014,42(9):22-25.
[2] 孙继平.煤矿信息化自动化新技术与发展[J].煤炭科学技术，2016,44(1):19-23.
SUN Jiping. New technology and development of mine informatization and automation[J].Coal Science and Technology,2016,44(1):19-23.
[3] 孙继平.煤矿监控新技术与新装备[J].工矿自动化，2015,41(1):1-5.
SUN Jiping.New technologies and new equipments of coal mine monitoring[J].Industry and Mine Automation,2015,41(1):1-5.
[4] 孙继平,田子建.矿井图像监视系统与关键技术[J]. 煤炭科学技术，2014,42(1):65-68.
SUN Jiping,TIAN Zijian. Image monitoring system and key technology in underground mine[J].Coal Science and Technology,2014,42(1):65-68.
[5] 康瑛石,吴吉义,王海宁.基于云计算的一体化煤矿安全监管信息系统[J].煤炭学报,2011,36(5): 874-877.
KANG Yingshi,WU Jiyi,WANG Haining. Overall coalmine safety monitoring and management system based on cloud computing[J]. Journal of China Coal Society,2011,36(5):874-877.
[6] 钟彬.视频监控系统及智能视频监控技术分析[J].电子技术与软件工程，2014(23):187-188.
[7] 张凡忠.智能视频分析技术在视频监控中的应用[J].中国安防，2013(12):56-61.
[8] 张谢华,赵小虎.煤矿智能视频监控中的运动目标检测研究[J].工矿自动化，2016,42(4):31-36.
ZHANG Xiehua,ZHAO Xiaohu. Research on moving target detection in coal mine intelligent video monitoring[J].Industry and Mine Automation,2016,42(4):31-36.
[9] 刘冬.矿用智能视频监控平台的应用及实现[J].电子世界,2016(16):153-154.
[10] 王颉,王珂.基于行人检测的智能视频监控系统[J].铁道技术监督,2015,43(3):36-39.
[11] 孙继平,贾倪.矿井视频图像中人员目标匹配与跟踪方法[J].中国矿业大学学报，2015,44(3):540-548.
SUN Jiping, JIA Ni. Human target matching and tracking method in coal mine video[J]. Journal of China University of Mining & Technology, 2015, 44(3): 540-548.
[12] 张谢华,张申,方帅,等.煤矿智能视频监控中雾尘图像的清晰化研究[J].煤炭学报，2014,39(1):198-204.
ZHANG Xiehua,ZHANG Shen,FANG Shuai,et al. Clearing research on fog and dust images in coalmine intelligent video surveillance[J].Journal of China Coal Society,2014,39(1):198-204.
[13] 周磊,华钢,徐钊,等.基于连续尺度空间和多特征提取的煤矿监控视频注意计算模型[J].煤炭学报,2010,35(8):1406-1411.
ZHOU Lei,HUA Gang,XU Zhao,et al.Computation model of visual attention for coal mine surveillance video based on sequential scale space and multi features[J].Journal of China Coal Society, 2010,35(8):1406-1411.
[14] 邓甜甜,王智灵,朱明清,等.基于轮廓图像空频域特征的人体姿态分层识别算法[J].模式识别与人工智能,2011,24(3):411-416.
DENG Tiantian,WANG Zhiling,ZHU Mingqing,et al.A hierarchical algorithm for human posture recognition based on spatial and frequency domain features[J].Pattern recognition and artificial intelligence,2011,24(3):411-416.
[15] 郭继坤,丁龙.矿井非视距环境下UWB人员定位算法[J].黑龙江科技大学学报,2013,23(2):181-184.
GUO Jikun,DING Long.Study on NLOS positioning using UWB in mines[J].Journal of Heilongjiang Institute of Science and Technology,2013,23(2):181-184.
ZHANG Liya1,2,3
(1.China Coal Research Institute, Beijing 100013, China; 2.Coal Mine Emergency Rescue Technology Equipment Research Center, Beijing 100013, China; 3.Beijing Mine Safety Engineering Technology Research Center, Beijing 100013, China)
Abstract:For the problem that existing mine video monitoring system could only monitor environment and equipment operation status, but could not effectively monitor moving targets behavior such as person, an intelligent video analysis and early warning system for mine was designed. The system composition and architecture were introduced, and system realization principle was expounded taking belt coal-piling detection and person behavior detection and recognition as examples. Some tests were taken out in coal mine underground including belt coal-piling detection, person detection in danger area, system recognition rate and system response time. The tests results show that the system can effectively detect coal amount on belt and danger area range, whose recognition response time is not more than 2 seconds and successful recognition rate is not less than 98%.
Key words:mine video monitoring; intelligent video analysis; belt coal-piling detection; danger behavior detection; moving target detection; fault early warning; danger behavior early warning
文章编号：1671-251X(2017)11-0016-05
DOI：10.13272/j.issn.1671-251x.2017.11.004
中图分类号：TD67
文献标志码：A 网络出版时间：2017-10-27 08:29
网络出版地址：http://kns.cnki.net/kcms/detail/32.1627.TP.20171027.0829.004.html
收稿日期：2017-08-25；
修回日期：2017-09-29；责任编辑李明。
基金项目：煤炭科学技术研究院科技发展基金资助项目(2016JC12；2016CX04)；中煤科工集团智慧矿山专项资助项目(2016-ZHKSZX-03)。
作者简介：张立亚(1985-)，男，河北定州人，助理研究员，硕士，现主要从事煤矿安全监测与通信等方面的研究工作，E-mail：zhangliya@ccrise.cn。
引用格式：张立亚.矿山智能视频分析与预警系统研究[J].工矿自动化，2017,43(11)：16-20.
ZHANG Liya.Research on intelligent video analysis and early warning system for mine[J].Industry and Mine Automation，2017,43(11)：16-20.