图1 基于视频的行人越界检测系统框图
董观利， 宋春林
(同济大学 电子与信息工程学院， 上海 201804)
摘要：针对目前矿井行人监测方法存在检测准确度不理想、报备信息少的问题，设计了基于视频的矿井行人越界检测系统。该系统以混合高斯背景建模为基础，利用行人越界检测算法识别出视频流中运动的行人目标，并在识别目标的基础上，通过状态缓冲处理计算出越界趋势，判断出越界方向。实际运行结果表明，该系统能够进行主动安全监测，有效克服灯光闪烁等干扰，可快速识别行人位置及跨越方向，稳定性好，准确度较高；在D1分辨率、25帧/s的高清监控下可实现在线实时处理。
关键词：煤矿监控； 矿井人员监测； 视频监测； 行人越界检测
人员安全管理是矿区日常作业的重中之重。通常，井下许多重点安全区域的人员活动需要进行实时监控管理。目前，人员安全管理一般采用硬件方式，如RFID人员定位监测与管理系统需要在井下提前部署好硬件触发传感器，另外矿工也需要佩戴身份识别卡，这种方式成熟简单，但需要大量硬件部署，且报备信息少，由于是区域检测,无法准确得出检测结果。随着矿区生产自动化程度的不断提高，越来越多的视频监控系统已被部署到井下的重点安全区域，如火药库、巷道、配电室、控制室、传送带区、水泵室等。高清的视频监控系统能够在事故发生后提供丰富的报备参考信息。但这种事后取证的被动做法并没有完全发挥出视频监控系统的主动识别报警作用，也仅仅是记录了视频信息,并没有对视频信息加以进一步处理分析，造成井下自动化监控和管理水平依然薄弱。
为更好地利用现有的硬件部署获得丰富的监控管理信息，基于视频分析的井下智能监控和矿井行人越界检测方法应运而生。基于视频的行人目标检测方法目前可分为两大类[1-4]：一类基于背景建模，另一类基于统计学习。统计学习方法准确性较好，其关键在于高效描述特征的选取和分类器的样本训练，但是由于特征提取和图像滑动窗口遍历的计算量过大，导致实时性要求难以保证。背景建模方法利用“前景-背景”分割技术，计算简单方便，效果直观，更容易实现实时处理，此类方法中有代表性的为混合高斯背景建模。在矿井环境下，往往存在噪声多、摄像头角度位置偏低、整体照度暗、光线变化复杂等问题，所以,目前已有的公共行人样本库并不能直接应用于井下行人，且没有足够量的井下行人样本。另外，矿工穿着的制服颜色较深，与背景相似，颜色的区分性弱。针对煤矿井下的行人检测，有研究者取得了一些效果[5-6]，但是并未详细说明算法的实时性，且检测场景单一，一般是基于离线的本地文件测试。
针对上述问题，根据煤矿井下的实际应用需求，本文设计并实现了一种基于视频的行人越界检测系统。该系统以混合高斯背景建模为基础，通过热点区域选择等处理，减弱环境突变影响，快速提取运动前景，大大减少了计算量;充分利用行人先验知识,并采用状态缓冲标记行人位置及运动趋势，能够进行主动安全监测，有效克服灯光闪烁等干扰，稳定性好，准确度较高。在D1(704×576)和部分720p分辨率、25帧/s的高清监控下可实现在线实时处理。
矿井行人越界检测系统的主要任务：基于井下已部署好的高清网络摄像头，集中式获取视频流[7]，通过行人越界检测算法识别出视频流中运动的行人目标，在识别目标的基础上，通过状态缓冲处理计算出越界趋势，并判断出越界方向。系统框图如图1所示。首先选择性设定感兴趣热点区域、检测模式(越线模式：设定检测线；区域模式：设定四边形)等配置参数。对输入图像初始化后，进行预处理及前景提取。主检测模块能够识别并标记出行人目标，最终对行人目标进行跨线或者入侵判断。越线检测模式下，需计算行人是否跨线和跨线方向；区域检测模式下，需计算行人是否入侵区域和已经侵入或侵出的方向(上、下、左、右)。集中式处理能够保持已有的摄像头部署结构，无需在场景中另加设备，同时检测系统可以在同一局域网中远程获取各个摄像通道的实时视频流。
图1 基于视频的行人越界检测系统框图
2.1 混合背景建模算法
为了从实时的连续视频图像帧中判别出运动行人目标，并进行检测和跟踪，背景模型建立至关重要。背景建模主要目的是根据当前的背景估计，把对序列图像的运动目标检测问题转化为一个二分类问题，将输入序列的所有像素划分为背景和运动前景两类，再对分类结果进行处理。通常的办法是采用高斯分布来描述场景背景像素颜色分布[8-9]。
在混合高斯背景模型中，每帧图像的每一个像素值可由K个高斯成分组成的混合分布表示[10-13]，即图像中像素p在时刻t的取值为xp的概率为
(1)
式中
表示t时刻像素p的混合高斯模型中第i个高斯分量的权重，
和
分别表示第i个高斯分量的均值和协方差,
准差，I为单位矩阵;η为概率密度，满足式(2)要求。
式中d为xp的维数。
在初始化阶段，可对每个高斯分布的权重取ωinit=1/K。随着场景的不断变化，每个像素的混合高斯模型都要不断地被学习更新。通过将混合高斯模型中的每个高斯分布按照
由大到小排序，可以检验新获取的图像帧的像素与混合高斯模型的K个高斯分布是否匹配。匹配方法为
(3)
式中δ为匹配阈值。
若xp与某一高斯成分匹配，则该高斯成分被xp更新，其余的高斯成分保持不变，更新方程如下：
(4)
式中：α为模型的学习率；β为参数的学习率。
α,β决定模型建立的收敛速度。
若xp与像素的K个高斯分布均不匹配，则模型中排序较小的高斯分布将被新高斯成分所代替，剩下的高斯分布的均值和方差不变，但权重按照
进行更新。更新完成后，需要对高斯成分的权重进行归一化处理。
排序后的前Bp个高斯成分作为背景的分布，由式(5)决定。
(5)
式中T0为预设阈值，代表了背景高斯成分在像素的整个概率分布中所占的最小比例。
高斯背景建模完成井下固定场景的视频图像序列的前景、背景分离。以此为基础，建立系统的行人越界检测算法，其中包括行人检测算法和越界检测算法。
2.2 行人越界检测算法
2.2.1 行人检测算法
在行人越界检测算法中，行人检测部分是核心。高斯背景建模提取的前景属于二值化后的灰度图像(灰度的取值范围为0～255，即从纯白到纯黑)，一般包括前景部分、背景部分，也可能包含前景的阴影部分,通常分别用灰度值最小的白色、最大的黑色、居中的灰色来标志。行人检测流程如图2所示。
由于各种噪声的影响，白色区域不纯粹，并不能直接将其判定为运动行人。对于不断闪烁的灯光，或者探照灯突然照亮的部分，其亮度变化明显。为了滤除亮度变化过大的像素点，需要将图像从RGB空间转换到亮度和色度分离的色彩描述空间。色彩模型除了最常见的RGB以外，还有HSB、YCbCr、
图2 行人检测流程
Lab等。HSB一般仅仅作为图像处理过程中的临时模式，YCbCr常常用于图像的压缩处理，而Lab 被视为与设备无关的颜色模型，严格按照人眼对光信号的敏感度进行分布。Lab色彩模型是由明度(L)和有关色彩的a、 b三个要素组成。本文采用Lab模型，通过判断相邻帧像素的变化强度，就可以部分滤除剧烈变化的前景。判断方法如下：
(6)
式中：L(i,j,t)为像素坐标(i，j)在t时刻的Lab空间的L分量；L1为预设亮度变化阈值。
前景形态学处理主要是为了进一步滤除孤立的前景点小目标，包括腐蚀和膨胀处理，此时得到的前景图像是比较合理的。为了能够用矩形框标志出行人位置，需要先检测出前景中白色区域的轮廓，并存储轮廓点集。逐一遍历轮廓点集，可以画出每一个点的外轮廓矩形框。将相交的矩形框合并，可以组成若干大的矩形框。此时矩形框可以认为是对运行后行人目标的粗检。前景中会存在属于同一运动目标，但是并不在一个连通域的白色部分，那么根据合并规则，需要将这些分别标志的行人矩形框合并成一个。同时根据先验知识，一般知道行人目标的高宽比范围(大于1)，通过设定目标的横向和纵向大小等规则，进一步筛选合理的运动行人目标。为了保证参数的适应性，参数均和输入视频图像帧分辨率成一定的比例关系。
2.2.2 越界检测算法
在正确检测出运动行人的基础上，根据业务需求，进一步判断行人的越界状态。越界判断算法的逻辑流程如图3所示。
以场景需求为导向，这里设置2种检测模式：越线检测模式和区域检测模式。在越线检测模式下，需要预先在图像上标定检测线，比如水平线、竖直线或斜线。检测线将画面分为2个部分(分别用1、2进行标志)。选择行人矩形框的中线靠下1/5位置的坐标点代表行人矩形框，以简化空间标定。通过判断行人矩形框坐标点和检测线的几何位置关系，能够判断出行人矩形框的位置标号，并将标号实时显示在行人矩形框的底部。
图3 越界判断算法的逻辑流程
当前位置虽然已经能够判别，但是由于矩形框抖动，可能在检测线上下(或左右)会反复出现越界状态跳变。所以，为了尽量滤除跳变的影响，采用状态缓冲记录下当前行人矩形框的前N帧状态，在进行越界判断时，通过回溯当前帧记录的前N帧状态的趋势综合判断。状态缓冲的具体过程如下：对于某一个运动行人而言，状态缓冲中包含N帧状态(包含当前帧状态)，依次记为S(t-N+1),S(t-N+2),…,S(t)。S(t)中包含实测状态Sm和修正状态Sf。如果N个Sm中，位置为1的次数较多，则当前帧S(t)中的Sf记为1。如果次数相等，则保持为前一帧的修正状态。总的来说，当前帧的状态需要以前面N帧状态为基础，延迟判断越界方向。
在区域检测模式下，四边形区域所在延长线将其周围分为9个区域(依次记为1—9)。同样根据几何位置关系，可以得到位置状态。通过行人矩形框在相邻图像序列中位置区域标号的状态变化，可以检测出其入侵或者侵出。同时状态的前后变化关系与跨越方向成对应关系，即上、下、左、右。相比检测线模式，区域检测模式下主要是位置状态增多，且跨越方向增多。系统中也对越界状态及方向字符串提示做了延时显示处理，以增强可视性，因为跨线或越界是一瞬间状态。
根据实际项目需求，对多场景样本进行在线测试。考虑到通用性、现场网络摄像机的视频流标准和对已有部署环境的集中式管理的便利性，处理视频统一遵循标准的RTSP(Real Time Streaming Protocol，实时流传输协议)流。通过开源的跨平台多媒体播放器及框架VLC(Video LAN Client)将视频文件模拟成RTSP视频流，然后在线获取视频流进行矿井行人检测，VLC播放器主界面如图4所示。
图4 VLC播放器主界面
搭建RTSP服务器的方法如下：
(1) 打开VLC，选择串流模式。
(2) 选择要串流的源文件，并设置串流地址。
(3) 测试是否串流成功。可以开启另一个VLC软件，然后获取并解码播放网络串流，在URL中根据前面设置好的路径输入地址，例如：“rtsp://127.0.0.1:8554/test”，或者将本机回环地址替换为本机IP地址。
在VS2010集成开发环境中采用C++，借助开源计算机视觉库OpenCV2.4.9联合编程[14-15]，选择不同场景进行实验与分析。视频实地采集于山西阳泉某煤矿。测试视频分辨率为摄像头主码流：D1或720p，视频帧率为25帧/s或50帧/s。
(1) 场景1：火药库(分辨率为D1，帧率为25帧/s)。
火药库检测结果如图5所示。火药库选择越线检测模式，图中铁门下方设置了越界检测线。线上方和下方分别为区域1和区域2(根据检测线斜率自动进行区域划分判断)。行人矩形框下方的数字实时表示其所在的区域标号。行人在跨线后会在画面左上显示越线方向。图5(a)、(b)表示行人从门中走出并跨过检测线，图5(b)中显示跨线方向为2→1；图5(c)、(d)表示行人从门外走进门并跨过检测线，图5(d)中显示跨线方向为1→2。
可以发现，虽然此场景中铁门存在反射干扰，容易影响行人目标越界的方向判断，但是系统采用的状态缓冲能很好地改善反射影响。场景中间部位一直有灯光闪烁干扰，但算法也将其较好地滤除了，减少了误检。另外，若根据算法中的感兴趣热点区域选择，可取消对此区域的检测，也能在源头部分消除此区域的变化干扰。
(a) 行人走出门
(b) 行人越过线，走出门
(c) 行人走向门
(d) 行人越过线，走进门
图5 火药库检测结果
(2) 场景2：配电室(分辨率为D1，帧率为25帧/s)。
配电室检测结果如图6所示。配电室选择区域检测模式，走道中间的四边形标记为设置的越界检测区域。此区域下，行人进入或者走出检测区域会在视频画面的左上角显示越线方向字符串。在入侵的时候，还会显示“invasion”字样并延迟显示几秒钟。图6(a)、(b)分别表示没有行人与行人未跨越区域的情况。图6(c)、(d)表示行人从四边形下方进入检测区域，并从上方走出检测区域的情况。在图6(c)中，显示的方向字符串为“In：from Down”和“invasion”，表示从下方入侵。在图6(d)中，显示的方向字符串为“Out：from Up”，表示从上方侵出。图6(e)、(f)表示行人从四边形上方进入检测区域，并从下方走出检测区域的情况。在图6(e)中，显示的方向字符串为“In：from Up”和“invasion”提示，表示从上方入侵。在图6(f)中，显示的方向字符串为“Out：from Down”，表示从下方侵出。整个来回表示行人的往返过程。
可以发现，系统能较好地识别行人目标，且在区域检测模式下，能够判别出是否跨越区域及入侵和侵出的方向。一定程度上，克服了行人手中电筒和瓷砖墙面反光的影响。
(a) 监控场景
(b) 行人停留控制面板
(c) 行人从下方进入区域
(d) 行人从上方走出区域
(e) 行人从上方进入区域
(f) 行人从下方走出区域
图6 配电室检测结果
(3) 场景3：巷道(分辨率为720p，帧率为50帧/s)。
巷道检测结果如图7所示。巷道选择区域检测模式，画面中央，在巷道靠深处的水平线标记为设置的检测线。此模式下的检测方法与场景1一致。图7(a)、(b)表示行人从下方进入视野，并跨过检测线，图7(b)中显示跨线方向为1→2。
此视频场景的分辨率较大，且帧率较高。通行巷道场景较深，所以，行人从开始进入场景到离开，目标区域的大小变化巨大。另外场景光线整体偏暗，光照条件差，行人与煤墙背景的差异小。这些不利因素对行人检测造成较大困难。但系统依然能够较正确地识别出行人位置，并检测行人的越线情况。
通过VLC搭建RTSP服务器，系统能够真实模拟实时视频流的解码及检测算法操作。该系统已经部署到山西阳煤集团一矿，并已实际运行了近6个月。目前，该系统能够保证正常解码视频流，并运行矿井行人越界检测算法，系统检测画面显示正常、连续、实时，通过实验室测试和现场实地在线运行充分证明了该系统的可行性。
(a) 行人进入视野
(b) 行人跨越线并走出视野
图7 巷道检测结果
基于视频的矿井行人越界检测系统以混合高斯背景建模为基础，建立了完整的行人越界检测算法。系统的行人检测部分可完成对前景和背景的分离，并通过Lab空间的亮度抑制等处理滤除干扰，较完整地识别出行人运动目标；系统的越界判断部分采用状态缓冲对识别的行人目标进行跟踪，以便进行跨线或者越界状态及方向判断。该系统已在山西阳煤集团一矿投入实际应用，运行结果表明，系统能够进行主动安全监测，可有效克服灯光闪烁等干扰，快速识别出行人位置及跨越方向，稳定性好，准确性较高。在D1及720p分辨率、25帧/s的高清监控下可完全实现在线实时处理。
参考文献：
[1] 苏松志,李绍滋,陈淑媛,等.行人检测技术综述[J].电子学报,2012,40(4):814-820.
[2] DOLLAR P, WOJEK C, SCHIELE B, et al. Pedestrian detection: an evaluation of the state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(4):743-761.
[3] ZHANG S, BENENSON R, OMRAN M, et al. How far are we from solving pedestrian Detection?[EB/OL].(2016-02-26)[2016-08-22].https://arxiv.org/pdf/1602.01237v2.pdf.
[4] DOLL
R P, BELONGIE S, PERONA P. The fastest pedestrian detector in the west[EB/OL].(2014-02-02) [2016-08-22].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.310.8578&rep=rep1&type=pdf.
[5] 屈凡非,王智峰,田建军.基于背景配准的矿井危险区域视频目标检测算法[J].工矿自动化,2011，37(3):48-50.
[6] 程德强,刘洁,郭政.基于分层光流的煤矿井下运动目标跟踪算法[J].工矿自动化,2015,41(3):75-79.
[7] 王峰,刘蓓莉,冯玉森.基于Hi3516的Web视频监控系统的设计与实现[J].电子科技,2013,26(10):62-63.
[8] 普婕.复杂动态场景背景建模与目标检测技术研究[D].成都：电子科技大学,2013.
[9] MALINOVSKIY Y, ZHENG J, WANG Y. Simple and model-free algorithm for real-time pedestrian detection and tracking[C]// 86th Annual Meeting of the Transportation Research Board, Washington, DC, 2007.
[10] KAEWTRAKULPONG P, BOWDEN R. An improved adaptive background mixture model for real-time tracking with shadow detection[M]. New York: Springer US, 2008: 135-144.
[11] ZHANG Y, LIANG Z, HOU Z, et al. An adaptive mixture gaussian background model with online background reconstruction and adjustable foreground mergence time for motion segmentation[C]// IEEE International Conference on Industrial Technology, Hong Kong, 2005: 23-27.
[12] 江汉红,熊玮佳,李庆.一种基于GMM的目标检测改进算法[J].武汉理工大学学报,2013,35(3):132-135.
[13] 刘亚利.背景建模技术的研究与实现[D].北京:北方工业大学,2010.
[14] LIPPMAN S B,LAJOIE J,BARBARA E M.C++ Primer中文版[M].5版.北京：电子工业出版社,2013.
[15] 毛星云,冷雪飞,王碧辉.OpenCV3编程入门[M].北京：电子工业出版社,2015.
DONG Guanli, SONG Chunlin
(College of Electronics and Information Engineering, Tongji University, Shanghai 201804, China)
Abstract：In view of problems of unsatisfactory detection accuracy and less information reported existed in pedestrian crossing detection methods, an underground pedestrian crossing detection system based on video was designed. The system is based on Gaussian mixture background modeling (GMM), and uses pedestrian crossing detection algorithm to recognize moving pedestrian objects in video streaming and mark them. Further, the state buffer will calculate the crossing trend and direction on the basis of the recognition results. The actual application result shows that the system can realize active safety detection and overcome interference such as flashing lights, and quickly identify the pedestrian location and its crossing direction, which has good stability and accuracy. The system also can achieve on-line and real-time video processing in high definition monitoring with D1 resolution at 25 fps.
Key words：coal mine monitoring; monitoring of underground personal; video monitoring; pedestrian crossing detection
文章编号：1671-251X(2017)02-0029-06
DOI：10.13272/j.issn.1671-251x.2017.02.007
收稿日期：2016-09-15；
修回日期：2016-12-12；责任编辑：张强。
基金项目：上海市自然科学基金项目(14ZR1442700)。
作者简介：董观利(1992-)，男，湖北仙桃人，硕士研究生，研究方向为信号与信息处理，E-mail：dongguanlishh@163.com。
通信作者：宋春林(1973-)，男，上海人，副教授，硕士研究生导师，博士，研究方向为移动通信、数字图像处理，E-mail：songchunlin@tongji.edu.cn。
中图分类号：TD67
文献标志码：A
网络出版：时间：2017-01-22 10:28
网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20170122.1028.007.html
董观利，宋春林.基于视频的矿井行人越界检测系统[J].工矿自动化，2017,43(2)：29-34.