Local feature-guided label smoothing and optimization for re-identification of underground personnel with weak features
-
摘要: 煤矿井下低照度、强光扰、高粉尘等环境条件，以及井下人员服装的相似性和脸部落煤现象，导致井下弱特征人员重识别困难。现有人员重识别方法仅提取全局特征，未充分考虑局部特征，使得井下人员重识别准确率较低。针对上述问题，提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法首先通过卷积神经网络提取井下人员图像的全局特征与局部特征；然后利用k最近邻相似性计算全局特征和局部特征的互补性得分，来衡量全局特征和局部特征的相似程度；最后根据特征互补性得分对局部特征进行标签平滑及对全局特征进行标签优化，即动态调整每个局部特征的权重，以改进每个局部特征的标签，并对局部特征的预测结果进行汇总，利用更可靠的信息来完善标签以作为全局特征的标签，从而减少图像噪声并增强特征识别能力。实验结果表明，该方法在公开数据集和包含井下人员图像的自建数据集上的平均精度均值（mAP）、第一匹配正确率（Rank−1）和平均逆置负样本惩罚率（mINP）总体优于主流人员重识别方法，具有良好的泛化性和鲁棒性，能有效实现井下弱特征人员重识别。Abstract: The low light, strong light disturbance, high dust and other environmental conditions underground in coal mines, as well as the similarity of clothing and coal falling on the face of underground personnel, make it difficult to re identify underground personnel with weak features. The existing personnel re identification methods only extract global features and do not fully consider local features, resulting in low accuracy of underground personnel re identification. In order to solve the above problems, a local feature guided label smoothing and optimization method for re-identification of underground personnel with weak features is proposed. This method first extracts global and local features of underground personnel images through convolutional neural networks. Secondly, the k-nearest neighbor similarity is used to calculate the complementarity score between global and local features, in order to measure the degree of similarity between global and local features. Finally, based on the score of feature complementarity, label smoothing is performed on local features and label optimization is performed on global features. The weight of each local feature is dynamically adjusted to improve the label of each local feature. The prediction results of local features are summarized. The more reliable information is used to improve the label as a global feature label, thereby reducing image noise and enhancing feature identification capability. The experimental results show that the method outperforms mainstream personnel re identification methods in terms of mean average precision (mAP), rank-1 accuracy (Rank-1), and mean inverse negative penalty (mINP) on both publicly available datasets and self built datasets containing images of underground personnel. It has good generalization and robustness, and can effectively achieve underground weak feature personnel re identification.
-
0. 引言
我国煤炭行业正处于高质量发展期，为响应国家“双碳”政策，煤炭行业逐渐向绿色低碳转型[1-3]。矸石是采煤和洗煤过程中排放的固体废物，是在成煤过程中与煤层伴生的一种含碳量较低、比煤坚硬的黑灰色岩石。矸石的主要成分是Al2O3和SiO2[4]，发热值低，不仅会影响煤的发热量，而且燃烧时还会污染环境。煤矸识别是实现煤炭高效清洁利用不可或缺的步骤，对提高能源利用率和减少环境污染具有重要意义[5-6]。
目前，关于煤矸识别的方法主要包括基于可见光图像和基于高能射线透射的方法[7-9]。李曼等[10]提出了一种基于传统可见光图像的灰度和纹理特征差异的煤矸识别方法，选取灰度均值、纹理对比度、熵作为特征参数，采用最小二乘支持向量机作为图像识别分类器，但实际煤矿井下环境复杂，光线、粉尘等外部因素干扰会影响煤矸识别准确率。张释如等[11]利用改进YOLOv5模型对煤矸图像进行识别，在黑暗环境中也能准确划定目标边界，但该网络模型复杂，且需要大量的煤矸图像数据集，对计算机硬件设备要求较高，处理时间长，不能快速识别。郭永存等[12]采用双能X射线对煤和矸石进行透射成像识别，通过研究X射线图像目标区域中的R值均值与密度和灰分的关系，以确定煤和矸石的物质属性，但X射线具有很大辐射，对人员身体造成一定伤害，因此应用较少。
红外热成像是一种应用广泛、发展较快的新型数字化无损检测技术[13-14]，具有穿透性强、不受光线影响等优点，在电力设备温度监测、工业生产缺陷监测、煤矿事故报警和煤岩动力灾害预防等领域已广泛应用[15-18]。然而红外热成像技术在煤矸识别领域中的应用较少，这是因为煤和矸石的表面温度在室温下相对接近，导致煤和矸石在红外热图像中没有明显差异。针对该问题，本文提出了一种基于水传热和红外热成像的煤矸识别方法。通过将煤和矸石与不同温度的水混合，使用红外热像仪获取煤矸表面的温度分布红外热图像，并记录温度的变化，根据煤和矸石红外热图像及温度之间的差异来识别煤和矸石。
1. 红外热成像原理
红外热成像原理如图1所示。当被测物体吸收周围环境的辐射后，温度高于绝对零度时会向外辐射红外线。首先，通过红外热像仪的镜头收集并聚焦物体表面发出的红外辐射。其次，红外辐射通过光栅进行分光，将不同波长的红外辐射分离，使红外辐射具有不同的频率分布。然后，通过探测器将分光后的红外辐射转换为电信号。最后，探测器生成的电信号经过信号处理和图像生成算法转换后，得到被测物体表面温度分布红外热图像[19-20]。
2. 煤矸红外热成像实验
2.1 实验系统
为研究不同水温下煤和矸石的红外热图像差异及表面温度变化规律，搭建煤矸红外热成像实验系统，如图2所示。
![]()
图 2 煤矸红外热成像实验系统Figure 2. Experimental system of coal and gangue infrared thermal imaging实验系统由UTi320E红外热像仪、电加热板、可调三脚架、耐高温结晶皿、烧杯、电子温度计、样品夹、计算机及煤和矸石的实验样品等组成。红外热像仪同时具有红外光和可见光2种镜头，可监测物体表面温度和实时热成像；红外光谱带宽为8～14 μm，测温范围为−40～400 ℃，测温精度为±2%，红外分辨率为320×240，热灵敏度为65 mK。红外热像仪可实现高低温自动捕捉和样品特定区域温度的实时监测，监测的热图像和温度数据可通过计算机进行后处理分析。
2.2 实验方案
根据《煤矿安全规程》[21]规定，煤矿井下各工作地点的温度不允许超过30 ℃，最低温度一般在18 ℃。为更好地模拟煤矿井下实际温度变化，实验共设置了6组方案。方案1−方案5采用水加热，水温分别设定为18，21，24，27，30 ℃；考虑到环境温度对实验结果的影响，设置了空白组（方案6）为对照实验，空白组为环境温度（22.5 ℃）条件下不进行水加热。实验前将煤和矸石样品在相同环境中放置12 h，防止煤矸初始温差对实验结果带来干扰。在整个实验过程中，水的体积均相等，每组实验共持续3 min，通过红外热像仪每间隔10 s采集煤和矸石的红外热图像，并记录表面温度的变化。
3. 煤矸红外热成像实验结果及分析
3.1 红外热图像变化
煤和矸石在不同水温条件下不同时刻的红外热图像如图3所示（左边为煤，右边为矸石）。
由图3可看出，不同水温下的煤和矸石红外热图像不同，随着水温逐渐升高，红外热图像的背景颜色由蓝逐渐变红。当水温为18，21 ℃时，即水温低于环境温度时，煤和矸石红外热图像之间的差异较为明显；当水温为24，27，30 ℃时，即水温高于环境温度时，煤和矸石红外热图像没有明显差异。在相同水温条件下，180 s时的煤和矸石红外热图像比60，120 s时的煤和矸石红外热图像更具有显著的差异性，表明随着时间增加，煤和矸石红外热图像之间的差异逐渐增大。出现这种现象的原因主要是煤和矸石红外辐射能力的差异，煤通常具有较高的红外辐射能力，而矸石的红外辐射能力较低。随着水温升高，煤的红外辐射能力逐渐增强，热量会较快地传导到周围环境中，导致红外热图像中的背景颜色呈红色。通过煤和矸石红外热图像之间的差异可以很好地识别煤和矸石，表明基于水传热和红外热成像进行煤矸识别是一种可行有效的方法。
![]()
图 3 不同水温下不同时刻的煤和矸石红外热图像Figure 3. Infrared thermal images of coal and gangue under different water temperatures and time3.2 温度变化
为研究不同水温下煤和矸石表面温度的变化规律，定义煤和矸石的表面温度变化$ \Delta t $：
$$ \Delta t = {t_{\mathrm{s}}} - {t_0} $$ (1) 式中：$ {t_{\mathrm{s}}} $为红外热像仪记录的表面温度；$ {t_0} $为初始表面温度，为消除环境温度对煤和矸石传热特性的影响，$ {t_0} $与环境温度相同。
根据式（1）可知：当$ \Delta t＞0 $，表示煤和矸石表面温度大于初始温度，温度上升；当$ \Delta t＜0 $，表示煤和矸石表面温度小于初始温度，温度下降。
不同水温下煤和矸石表面温度的变化随时间变化曲线如图4所示。可看出煤和矸石与不同温度的水混合发生热传导后，其表面温度会发生变化。当水温低于环境温度时，煤和矸石表面温度逐渐下降，温度变化$ \Delta t＜0 $；当水温高于环境温度时，导致煤和矸石与水之间发生热传导，煤和矸石表面温度有所升高，温度变化$ \Delta t＞0 $。实验开始时，煤和矸石表面温度变化均为零；随着时间增加，矸石表面温度变化大于煤表面温度变化。水温越高，矸石表面温度上升越快；在相同水温情况下，矸石表面温度变化大于煤表面温度变化。
![]()
图 4 不同水温下煤和矸石表面温度变化曲线Figure 4. Surface temperature variation curves of coal and gangue under different water temperatures根据图4绘制了煤和矸石表面温度变化与水温和时间的关系，如图5所示。可看出煤和矸石表面温度变化均随水温升高和时间增加呈增大趋势，但矸石表面温度变化速度大于煤。这是因为当煤和矸石与水接触时，由于热传导，导致煤和矸石表面温度均会逐渐增大，但矸石的热传导能力大于煤的热传导能力，所以矸石表面温度的变化比煤表面温度的变化大。
![]()
图 5 煤和矸石表面温度变化与水温和时间的关系Figure 5. Surface temperature variation of coal and gangue in relation to water temperature and time为了更直观地反映不同水温条件下煤和矸石表面温度变化差异的程度，计算煤和矸石在不同水温下表面温度变化的均值和方差，如图6所示，表面温度变化的均值可反映平均热传导能力，表面温度变化的方差可反映热传导稳定性。可看出矸石表面温度变化的均值和方差均大于煤，表明在不同水温下，矸石具有较好的热传导能力，即矸石通过热传导使其表面温度上升的能力较好；而煤表面温度变化的均值和方差较低，表明其热传导能力较低，热传导过程相对稳定。煤和矸石在水传热过程中表现出不同的热传导能力和稳定性，可作为区分煤和矸石的有效依据，以此实现煤矸精确识别。
![]()
图 6 不同水温下煤和矸石表面温度变化的均值和方差Figure 6. Mean and variance of surface temperature variation of coal and gangue under different water temperatures为进一步研究在不同水温条件下煤和矸石之间的表面温差变化，定义煤和矸石表面温差$ \Delta t' $：
$$ \Delta t' = {t_{\mathrm{C}}} - {t_{\mathrm{G}}} $$ (2) 式中：$ {t_{\mathrm{C}}} $为煤表面温度；$ {t_{\mathrm{G}}} $为矸石表面温度。
不同水温下煤和矸石表面温差$ \Delta t' $随时间变化曲线如图7所示。可看出在相同水温下，煤和矸石表面温差随时间的增加而增大；当水温为18 ℃、时间为180 s时，煤和矸石之间的表面温差达到最大，为0.6 ℃。表明当水温低于环境温度时，煤和矸石之间会形成较大的温差，从而有利于实现煤矸准确识别。这是因为低温的水可作为一种辅助传热介质，煤和矸石在与低温的水混合后产生的温差较大，这种温差使煤和矸石在红外热图像中呈现出明显的差异，可据此进行煤矸识别。
![]()
图 7 不同水温下煤和矸石表面温差Figure 7. Surface temperature difference between coal and gangue under different water temperatures4. 结论
1） 由于煤和矸石红外辐射能力的差异，不同水温下的煤和矸石红外热图像不同，当水温低于环境温度时，煤和矸石红外热图像之间的差异较为明显；在相同水温条件下，煤和矸石红外热图像之间的差异随着时间增加逐渐增大。
2） 煤和矸石与水之间发生热传导，导致煤和矸石表面温度变化，均随水温升高和时间增加呈增大趋势，但由于矸石的热传导能力大于煤的热传导能力，矸石表面温度变化大于煤表面温度变化。
3） 当水温为18 ℃、时间为180 s时，煤和矸石红外热图像之间差异和温差均达到最大。低温的水更有利于使煤和矸石之间产生较大的温差，进一步使煤和矸石在红外热图像中呈现明显的差异，从而实现煤和矸石红外热图像准确、快速识别。
-
![]()
图 1 局部特征引导标签平滑与优化的井下弱特征人员重识别方法原理
Figure 1. Principle of local feature-guided label smoothing and optimization for re-identification of underground personnel with weak features
![]()
图 2 井下人员重识别可视化结果
Figure 2. Visualization results of underground personnel re-identification
表 1 消融实验结果
Table 1 Ablation experimental results
% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 69.3 78.3 52.7 AGW+标签优化 89.8 93.4 66.1 91.3 97.0 68.2 74.7 80.6 55. 6 AGW+标签平滑 88.6 93.1 65.8 90.8 96.8 67.7 75.3 83.8 56.7 AGW+标签优化+标签平滑 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8 
下载: 导出CSV
表 2 不同方法在各数据集上的性能对比
Table 2 Performance comparison of different methods on various datasets
% 方法 CoalReID Market1501 MSMT17 mAP Rank−1 mINP mAP Rank−1 mINP mAP Rank−1 mINP AGW 86.1 90.7 63.8 87.8 95.1 65.0 49.3 68.3 14.7 RGT&RGPG 88.3 93.4 65.3 95.6 96.9 70.3 65.9 86.2 51.3 SOLIDER 83.5 88.6 60.9 95.6 96.7 71.2 86.5 91.7 60.1 BPBreID 79.3 85.3 59.8 95.3 96.4 71.0 73.2 87.3 56.2 UniHCP 84.2 83.1 58.3 90.3 95.8 66.4 67.3 79.3 60.8 st−ReID 87.3 92.9 65.1 95.5 98.0 68.9 71.2 87.1 56.3 LDS 91.2 95.3 66.8 94.9 96.1 68.3 79.1 88.3 58.4 本文方法 93.1 97.3 69.1 95.2 98.6 70.3 83.1 86.8 59.8
下载: 导出CSV
表 3 不同方法在仅包含井下人员图像的自建数据集CoalReID上的性能对比
Table 3 Performance comparison of different methods on self-built CoalReID dataset containing only underground personnel images
% 方法 mAP Rank−1 mINP AGW 79.3 83.5 50.1 RGT&RGPG 79.6 84.1 55.3 SOLIDER 82.4 85.1 58.3 BPBreID 73.2 79.1 55.8 UniHCP 80.3 84.2 60.1 st−ReID 85.3 86.9 60.3 LDS 84.2 85.3 59.8 本文方法 90.1 93.3 68.4
下载: 导出CSV
-
[1] 易能. 基于深度学习的双目视觉煤矿井下人员定位研究[D]. 徐州:中国矿业大学,2023. YI Neng. Research on binocular vision underground personnel positioning in coal mine based on deep learning[D]. Xuzhou:China University of Mining and Technology,2023.
[2] 侯瑞兵,常虹,马丙鹏,等. 基于时序多尺度互补特征的视频行人重识别[J]. 计算机学报,2023,46(1):31-50. HOU Ruibing,CHANG Hong,MA Bingpeng,et al. Temporal multi-scale complementary feature for video person re-identification[J]. Chinese Journal of Computers,2023,46(1):31-50.
[3] 王素玉,肖塞. 行人重识别研究综述[J]. 北京工业大学学报,2022,48(10):1100-1112. WANG Suyu,XIAO Sai. Review of person re-identification[J]. Journal of Beijing University of Technology,2022,48(10):1100-1112.
[4] DALAL N,TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,2005:886-893.
[5] LOWE D G. Object recognition from local scale-invariant features[C]. IEEE International Conference on Computer Vision,Kerkyra,1999:1150-1157.
[6] LIAO Shengcai,HU Yang,ZHU Xiangyu,et al. Person re-identification by local maximal occurrence representation and metric learning[C]. IEEE Conference on Computer Vision and Pattern Recognition,Boston,2015:2197-2206.
[7] MARTIN K,HIRZER M,WOHLHART P,et al. Large scale metric learning from equivalence constraints[C]. IEEE Conference on Computer Vision and Pattern Recognition,Providence,2012:2288-2295.
[8] YI Dong,LEI Zhen,LIAO Shengcai,et al. Deep metric learning for person re-identification[C]. The 22nd International Conference on Pattern Recognition,Stockholm,2014:34-39.
[9] CHEN Yanbei,ZHU Xiatian,GONG Shaogang. Person re-identification by deep learning multi-scale representations[C]. IEEE International Conference on Computer Vision Workshops,Venice,2017:2590-2600.
[10] LUO Hao,GU Youzhi,LIAO Xingyu,et al. Bag of tricks and a strong baseline for deep person re-identification[C]. IEEE Conference on Computer Vision and Pattern Recognition,Long Beach,2019:580-587.
[11] YE Mang,SHEN Jianbing,LIN Gaojie,et al. Deep learning for person re-identification:a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(6):2872-2893. DOI: 10.1109/TPAMI.2021.3054775
[12] 孙彦景,魏力,张年龙,等. 联合DD−GAN和全局特征的井下人员重识别方法[J]. 西安电子科技大学学报,2021,48(5):201-211. SUN Yanjing,WEI Li,ZHANG Nianlong,et al. Person re-identification method combining the DD-GAN and global feature in a coal mine[J]. Journal of Xidian University,2021,48(5):201-211.
[13] 丁嘉婕. 基于质量增强和注意力机制的井下行人重识别算法[D]. 徐州:中国矿业大学,2022. DING Jiajie. Mine person re-identification algorithm based on quality enhancement and attention mechanism[D]. Xuzhou:China University of Mining and Technology,2022.
[14] 张立亚,王寓,郝博南. 基于改进度量学习的煤矿井下行人重识别方法研究[J]. 工矿自动化,2023,49(9):84-89,166. ZHANG Liya,WANG Yu,HAO Bonan. Research on personnel re-recognition method in coal mine underground based on improved metric learning[J]. Journal of Mine Automation,2023,49(9):84-89,166.
[15] 熊炜,杨荻椿,熊子婕,等. 基于全局特征拼接的行人重识别算法研究[J]. 计算机应用研究,2021,38(1):316-320. XIONG Wei,YANG Dichun,XIONG Zijie,et al. Person re-identification algorithm based on global feature stitching[J]. Application Research of Computers,2021,38(1):316-320.
[16] PEREYRA G,TUCKER G,CHOROWSKI J,et al. Regularizing neural networks by penalizing confident output distributions[EB/OL]. [2023-08-20]. http://arxiv.org/abs/1701.06548.
[17] DENG Jia,DONG Wei,SOCHER R,et al. ImageNet:a large-scale hierarchical image database[C]. IEEE Conference on Computer Vision and Pattern Recognition,Miami,2009:242-252.
[18] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:770-778.
[19] SHORTEN C,KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data,2019,6(1):532-540.
[20] ZHANG Zijun. Improved Adam optimizer for deep neural networks[C]. IEEE/ACM 26th International Symposium on Quality of Service,Banff,2018:1320-1331.
[21] GONG Yunpeng,HUANG Liqing,CHEN Lifei. Eliminate deviation with deviation for data augmentation and a general multi-modal data learning method[EB/OL]. [2023-08-20]. https://arxiv.org/abs/2101.08533v5.
[22] CHEN Weihua,XU Xianzhe,JIA Jian,et al. Beyond appearance:a semantic controllable self-supervised learning framework for human-centric visual tasks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Vancouver,2023:15050-15061.
[23] SOMERS V,VLEESCHOUWER C D. Body part-based representation learning for occluded person re-identification[C]. IEEE/CVF Winter Conference on Applications of Computer Vision,Waikoloa,2023:1613-1623.
[24] CI Yuanzheng,WANG Yizhou,CHEN Meilin,et al. UniHCP:a unified model for human-centric perceptions[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Vancouver,2023:17840-17852.
[25] WANG Guangcong,LAI Jianhuang,HUANG Peigen,et al. Spatial-temporal person re-identification[C]. AAAI Conference on Artificial Intelligence,Honolulu,2019:8933-8940.
[26] ZANG Xianghao,LI Ge,GAO Wei,et al. Learning to disentangle scenes for person re-identification[J]. Image and Vision Computing,2021,116. DOI: 10.1016/j.imavis.2021.104330.
-
期刊类型引用(6)
1. 王瑞，宋琦，刘文慧，摆玉龙. 基于变分模态分解和改进频率增强分解变压器的有色金属价格预测. 西北师范大学学报(自然科学版). 2025(01): 51-60 . 
百度学术
2. 肖国亮，杨博，牛勇. 基于Stacking集成模型的顺层钻孔预抽煤层瓦斯涌出量预测. 煤矿现代化. 2025(04): 153-156 . 百度学术
3. 梁旭，王玲，赵书涵. 基于残差神经网络的鸡蛋分类识别研究. 河南农业大学学报. 2024(03): 456-466 . 百度学术
4. 李常青. 基于矿山物联网的瓦斯涌出预测模型分析. 自动化应用. 2024(14): 277-279 . 百度学术
5. 宋世伟，张雪，张喜超，景媛媛. 基于深度神经网络的回采工作面瓦斯涌出量预测. 现代工业经济和信息化. 2024(09): 115-116+119 . 百度学术
6. 刘超，侯人杰. 基于自编码器与时域卷积神经网络算法的配电网线损分析. 软件导刊. 2024(09): 63-69 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 132
- HTML全文浏览量: 43
- PDF下载量: 13
- 被引次数: 9
