0 引言
选煤厂作为煤炭加工的重要一环，主要进行原煤筛分、洗选、分离、运输、装车等工序，其生产过程复杂，涉及多过程环节、多系统设备、多操作岗位等[1-2]。目前选煤厂人员识别主要采用人员定位考勤、指纹身份标志、门禁虹膜识别等方式，解决了定点位置人员监测、有限范围内的人员定位跟踪问题。由于选煤厂人员活动轨迹不易确定，有必要在门禁和各操作工位处设置视频监控设备，通过人脸识别实现人员轨迹跟踪。
人脸识别是目前热门的智能识别技术。文献[3]提出了一种基于小波变换的人脸识别方法，能够滤除自然条件下的图像噪声，具有较好的鲁棒性。文献[4]将图像特征向量送入卷积神经网络进行训练和识别，可有效减小不同光照强度的影响，提高识别率，但时间复杂度较高。文献[5]提出了一种基于自适应阈值局部特征融合的人脸识别方法，可较为完整地提取到人脸特征。基于小波变换的人脸识别方法具有稳定和计算量较小的优点，通过非对称区域局部Gabor梯度编码(Asymmetric Region-Local Gabor Gradient Code,AR-LGC)编码算法可取得较好的识别性能[6-7]。但上述研究主要针对自然条件下人脸图像无污染的情况，在选煤厂环境下，人脸图像信息易受煤灰污染、光照变化、安全头盔姿态变化、人员面部角度变化等因素影响，识别难度相对较大。因此，本文在小波变换的基础上，对AR-LGC编码算法进行改进，用改进AR-LGC编码算法对选煤厂人脸图像进行编码，对编码后图像进行特征融合，并通过残差神经网络(Residual Network，ResNet)[8]实现人脸识别。
1 选煤厂工况环境下人脸识别过程
选煤厂工况环境下人脸识别过程如图1所示，包括图像数据的采集、传输、处理、识别等。在门禁、各操作工位等场所安装视频监控设备，采集人员图像信息。对采集的图像进行传输和预处理，并提取图像特征，根据图像特征检测采集的人脸与无污染人脸的相似度，完成人脸识别。
图1 选煤厂工况环境下人脸识别过程
Fig.1 Face recognition process in working environment of coal preparation plant
2 选煤厂工况环境下人脸识别方法
对脸部被煤灰污染的选煤厂人员图像进行识别时，稳定地提取到所需的特征信息是关键，这也是本文的研究重点。
2.1 AR-LGC编码算法改进
采用AR-LGC算子提取多噪声影响的选煤厂人脸图像特征时，不能很好反映图像的局部纹理相关性。因此，对AR-LGC编码算法进行改进。以5×5图像为例，改进后的AR-LGC编码算法如图2所示。
图2 改进AR-LGC编码算法
Fig.2 Improved AR-LGC coding algorithm
改进AR-LGC编码算法步骤：① 截取适当大小的子邻域窗口，计算中心像素点与其周围邻域像素点的差值，即窗口相关度ci,i=1,2,…,n,n为邻域像素点个数。② 计算ci的平均值，得到子邻域窗口内像素平均相关度cavg[9]。③ 计算子邻域内相关度标准差σ(式(1))，当|ci-cavg|<σ时，将窗口赋0,反之赋1。④ 用AR-LGC算子对子邻域窗口编码，求取2次编码值PA，PB的均值P,将P作为更新后的中心像素值。
(1)
(2)
式中：s()为比较函数。
改进AR-LGC编码算法通过对参数cavg的计算增强纹理相关度，解决了选煤厂人脸图像纹理相关度不足的问题，在弱化干扰特征的同时，保留了选煤厂人脸图像中更多重要特征，缓解了人员面部受煤灰污染的问题。
2.2 特征融合
由于特征图谱编码后数据量过大，需要对图像进行有效降维。采用二维Gabor滤波器组将原始图像分解为5个尺度、8个方向的特征图谱，用改进AR-LGC编码算法进行编码，对编码后同一尺度下不同方向的图谱进行特征融合。设Id,v为不同尺度和方向的特征图谱，d=0,1,…,7,v=0,1,…,4,对同一尺度、8个方向的图谱进行排列，如图3所示。
图3 图像融合编码原理
Fig.3 Principle of image fusion coding
计算8个方向对应像素点的均值Iavg,v：
Iavg,v=(I0,v+I1,v+…+I7,v)/8
(3)
以Iavg,v为阈值，对特征图谱进行二值化处理，得到十进制编码值Iv：
(4)
式中p为二值化参数。
特征融合精简了同一尺度下的特征信息，通过遍历计算，将原来的40幅特征图谱压缩为5幅融合图谱。通过特征融合解决了对输入图像进行Gabor变换时产生的特征冗余问题，在减少特征数量的同时，保留了重要的特征信息。
2.3 特征识别
选煤厂复杂工况环境下提取的人脸特征，利用传统人脸识别方法难以获得较好的识别效果。传统的卷积神经网络存在梯度消失或梯度爆炸的问题，ResNet解决了随着网络层数增加而出现的过拟合问题，且具有较强的自适应能力。因此本文采用ResNet进行选煤厂工况环境下的人脸识别。
ResNet残差学习单元结构如图4所示。其中x为输入，H(x)为输出，若把x和H(x)分别称为真实值和估计值，则F(x)为残差。将多个残差模块进行组合，得到残差网络模型。
图4 ResNet残差学习单元结构
Fig.4 Structure of ResNet residual learning unit
2.4 人脸识别模型
复杂环境下利用图像融合方式提取出人脸特征后，可有效增强不同尺度方向的图像特征信息和子邻域内的纹理相关性，在弱化干扰特征的同时解决了选煤厂人脸的面部污染问题[10]。利用ResNet训练特征时，良好的前馈修补机制可削弱人员安全头盔姿态变化、人员面部角度变化和光照差异等因素对识别效果的影响。本文结合改进AR-LGC编码算法和ResNet建立人脸识别模型，流程如图5所示。对归一化的选煤厂原始人脸图像进行Gabor小波变换，得到8个方向、5个尺度下的特征图谱；用改进AR-LGC编码算法进行编码，对编码后图像进行特征融合，得到融合特征图；将融合特征图划分为多个子块，统计分块直方图并加权级联得到直方图特征向量H；将H送入ResNet中训练，实现对选煤厂人员的人脸识别。
图5 人脸识别流程
Fig.5 Flow of face recognition
根据文献[11]，确定本文的最佳分块数目为25(5×5)。考虑到不同子块对人脸特征的贡献程度不同，以不同子块作为不同区域，采用定量描述信息量的信息熵方法计算权重[12]：计算区域k的信息熵EU，k和信息权重ωk，将区域k的特征值hk与信息权重相乘得到反映特征信息的人脸特征向量H：
(5)
ωk=EU,k/EU
(6)
(7)
式中qj,k为随机事件的概率;EU为整个图像的信息熵。
信息熵方法可根据选煤厂人脸图像不同区域特征的重要性差异，更加精准地计算出人脸特征向量。ResNet网络层数并不是越深越好，需要均衡性能与运算量，根据文献[13]，选择ResNet-34作为特征训练网络。
3 实验结果及分析
在Windows10、Visual Studio 2017环境下，采用C++语言编程实现人脸识别。采集选煤厂不同工位的大量人脸样本进行实验，部分样本如图6所示，尺寸均为130×140。
图6 选煤厂人员实验样本
Fig.6 Experimental samples of coal preparation plant personnel
特征提取及融合效果如图7所示。采用二维Gabor滤波器得到5个尺度、8个方向的特征图谱，用改进AR-LGC编码算法对特征图谱进行编码，再对同一尺度、不同方向的图谱进行特征融合，得到特征融合图；将特征融合图划分为25个子块，统计分块直方图，采用信息熵加权，得到灰度直方图，最后进行直方图级联，获取人脸特征向量。
图7 特征提取及融合效果
Fig.7 Effect of characteristics extraction and fusion
不同条件下的人脸特征提取结果如图8所示。对比图8(a)和图8(b)可知，当选煤厂人脸受到煤灰污染时，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%，具有较好的抗噪性。
(a) 入厂前的特征提取结果
(b) 出厂后的特征提取结果
图8 不同条件下的人脸特征提取结果
Fig.8 Face characteristics extraction results under different conditions
针对不同工位采集到的选煤厂人脸样本，采用局部二值模式(Local Binary Patterns,LBP)算法、AR-LGC算法和改进AR-LGC编码算法进行编码，通过识别率、平均耗时[14]反映算法的识别性能，结果见表1。
表1 多种算法性能比较
Table 1 Performance comparison of various algorithms
算法识别率/%识别平均耗时/sLBP89.00.726 1AR-LGC91.20.890 2本文方法94.50.933 0
由表1可知，与LBP算法相比，本文方法的识别率提高了5.5%，平均耗时增加了0.042 8 s；与AR-LGC算法相比，本文方法的识别率提高了3.3%，平均耗时增加了0.206 9 s。综合考量识别率和时间复杂度，本文在牺牲部分时间性能的条件下提升了识别率，牺牲的时间性能在可接受范围内。
4 结论
(1) 研究了一种选煤厂工况环境下的人脸识别方法，通过改进AR-LGC编码算法增强纹理相关度，解决了选煤厂人脸图像纹理相关度不足的问题，在弱化干扰特征的同时，保留了选煤厂人脸图像中更多重要特征，缓解了人员面部受煤灰污染的问题。通过特征融合解决了对选煤厂人员输入图像进行Gabor变换时产生的特征冗余问题，在减少特征数量的同时，保留了重要的特征信息。
(2) 当选煤厂人脸受到煤灰污染时，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%，具有较好的抗噪性。
(3) 本文方法的识别率为94.5%，平均耗时为0.9330 s。与LBP算法和AR-LGC算法相比，在牺牲部分时间性能的条件下提升了识别率，牺牲的时间性能在可接受范围内。
(4) 为提高选煤厂复杂环境下的人脸识别性能，后续研究将在模型复杂度和运行时间方面进行进一步优化。
[1] GB/T 34679—2017 智慧矿山信息系统通用技术规范[S].
GB/T 34679-2017 General technical specifications for smart mine information systems[S].
[2] 陈立潮,张秀琴,潘理虎,等.煤矿考勤系统中人脸识别算法的研究[J].工矿自动化,2015,41(4):69-73.
CHEN Lichao,ZHANG Xiuqin,PAN Lihu,et al.Research of face recognition algorithm of coal mine workers attendance system[J].Industry and Mine Automation,2015,41(4):69-73.
[3] 黄玉,张英俊,潘理虎.基于Shearlet变换的井下图像差异性特征提取方法[J].工矿自动化,2016,42(3):64-68.
HUANG Yu,ZHANG Yingjun,PAN Lihu.Otherness feature extraction method for underground image based on Shearlet transform[J].Industry and Mine Automation,2016,42(3):64-68.
[4] 王嘉欣,雷志春.一种基于特征融合的卷积神经网络人脸识别算法[J].激光与光电子学进展,2020,57(10):331-337.
WANG Jiaxin,LEI Zhichun.A convolutional neural network based on feature fusion for face recognition[J].Laser & Optoelectronics Progress,2020,57(10):331-337.
[5] 齐美彬,田中贺,蒋建国.自适应阈值局部特征融合的人脸识别[J].合肥工业大学学报(自然科学版),2018,41(4):468-472.
QI Meibin,TIAN Zhonghe,JIANG Jianguo.Face recognition based on adaptive threshold local feature fusion[J].Journal of Hefei University of Technology(Natural Science),2018,41(4):468-472.
[6] 胡敏,程轶红,王晓华,等.基于非对称局部梯度编码的人脸表情识别[J].中国图象图形学报,2015,20(10):1313-1321.
HU Min,CHENG Yihong,WANG Xiaohua,et al.Facial expression recognition based on asymmetric region local gradient coding[J].Journal of Image and Graphics,2015,20(10):1313-1321.
[7] 倪永婧,孙袆,岳莹,等.基于二维Gabor小波与AR-LGC的人脸特征提取算法研究[J].河北工业科技,2019,36(4):258-262.
NI Yongjing,SUN Yi,YUE Ying,et al.Face feature extraction algorithm based on two-dimensional Gabor wavelet and AR-LGC[J].Hebei Journal of Industrial Science and Technology,2019,36(4):258-262.
[8] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016.
[9] 刘雪锋.基于邻域相关度和LBP算子的人脸图像识别[J].吉林大学学报(理学版),2015,53(4):687-692.
LIU Xuefeng.Face recognition method based on neighborhood correlation modified LBP operator[J].Journal of Jilin University(Science Edition),2015,53(4):687-692.
[10] 张沙沙.基于卷积神经网络的选煤厂人脸识别考勤系统[D].西安:西安科技大学,2020.
ZHANG Shasha.Face recognition attendance system of coal preparation plant based on convolutional neural network [D].Xi'an:Xi'an University of Science and Technology,2020.
[11] 曹金沛.复杂光照条件下人脸特征提取技术研究[D].西安:长安大学,2019.
CAO Jinpei.Research on face feature extraction technology under complex illumination[D].Xi'an:Chang'an University,2019.
[12] 夏军,裴东,王全州,等.融合Gabor特征的局部自适应三值微分模式的人脸识别[J].激光与光电子学进展,2016,53(11):116-122.
XIA Jun,PEI Dong,WANG Quanzhou,et al.Face recognition based on local adaptive ternary derivative pattern coupled with Gabor feature[J].Laser & Optoelectronics Progress,2016,53(11):116-122.
[13] 黄健.基于深度学习和传统方法相结合的人脸识别[D].合肥:安徽建筑大学,2020.
HUANG Jian.Face recognition based on deep learning and traditional methods[D].Hefei:Anhui Jianzhu University,2020.
[14] 潘青华,潘松.人脸识别技术性能评价方法优化与实践[J].中国标准化,2019(15):159-164.
PAN Qinghua,PAN Song.Optimization and practice of performance evaluation method for face recognition technology[J].China Standardization,2019(15):159-164.