基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法

邹盛, 周李兵, 季亮, 于政乾

邹盛,周李兵,季亮,等. 基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法[J]. 工矿自动化,2023,49(2):77-84. DOI: 10.13272/j.issn.1671-251x.2022070001
引用本文: 邹盛,周李兵,季亮,等. 基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法[J]. 工矿自动化,2023,49(2):77-84. DOI: 10.13272/j.issn.1671-251x.2022070001
ZOU Sheng, ZHOU Libing, JI Liang, et al. A pedestrian target detection method for underground coal mine based on image fusion and improved CornerNet-Squeeze[J]. Journal of Mine Automation,2023,49(2):77-84. DOI: 10.13272/j.issn.1671-251x.2022070001
Citation: ZOU Sheng, ZHOU Libing, JI Liang, et al. A pedestrian target detection method for underground coal mine based on image fusion and improved CornerNet-Squeeze[J]. Journal of Mine Automation,2023,49(2):77-84. DOI: 10.13272/j.issn.1671-251x.2022070001

基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法

基金项目: 江苏省科技成果转化专项项目(BA2022040);中国煤炭科工集团有限公司科技创新创业资金专项重点项目(2021-TD-ZD004);天地科技股份有限公司科技创新创业资金专项项目(2021-TD-ZD004);中煤科工集团常州研究院有限公司科研项目(2022TY6001)。
详细信息
    作者简介:

    邹盛(1993—),男,湖北麻城人,工程师,硕士,主要从事机器视觉图像算法相关工作,E-mail:695449327 @qq.com

  • 中图分类号: TD67

A pedestrian target detection method for underground coal mine based on image fusion and improved CornerNet-Squeeze

  • 摘要: 在煤矿井下无人驾驶和安防监控等领域,对行人目标的检测至关重要,但受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响,图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题,难以有效识别遮挡多尺度下的行人目标。针对上述问题,提出了一种基于图像融合和改进CornerNet-Squeeze的煤矿井下行人目标检测方法。采用双尺度图像融合(TIF)算法将红外相机和深度相机采集的图像进行像素级融合,再进行形态学处理,减少背景干扰。在CornerNet-Squeeze网络基础上,将八度卷积(OctConv)引入沙漏型主干网络,处理图像特征中高低频信息,增强图像边缘特征,提高多尺度行人检测能力。实验结果表明:① 在深度图像、红外图像、融合图像3种数据集上,改进CornerNet-Squeeze模型在保持原算法实时性的同时,有效提升了井下行人检测精度。② 采用融合图像数据集训练的模型检测精度较红外图像和深度图像数据集训练的模型高,可见融合图像能充分发挥深度图像和红外图像的优势,有助于提高模型检测精度。③ 在不同程度遮挡和多尺度行人目标6种场景下,改进CornerNet-Squeeze训练的模型的行人漏检率最低。④ 与YOLOv4 相比,在 COCO2014 行人数据集上改进CornerNet-Squeeze算法的平均精度提高了 1.1%,检测速度提高了6.7%。⑤ 改进CornerNet-Squeeze能够有效检测出图像中远处小目标,对小目标的检测能力提升明显。
    Abstract: In unmanned driving and security monitoring in the coal mine, detecting pedestrian targets is very important. But under the influence of special working conditions such as dim light, uneven illumination, complex background, and small and dense pedestrian targets, the pedestrian targets in the image have some problems such as few edge details, low signal-to-noise ratio and high similarity with the background. It is difficult to effectively identify the pedestrian targets under multi-scale occlusion. In order to solve the above problems, a pedestrian detection method for underground coal mine based on image fusion and improved CornerNet-Squeeze is proposed. The image collected by the infrared camera and depth camera is fused at the pixel level using the two-scale image fusion (TIF) algorithm. The morphological processing is carried out for the fused imoge to reduce background interference. Based on the CornerNet-Squeeze network, octave convolution (OctConv) is introduced into the hourglass type backbone network to process the high and low frequency information of image features, so as to enhance the image edge features and improve the detection capability of multi-scale pedestrians. The experimental results show the following points. ① The improved CornerNet-Squeeze model can effectively improve the detection precision of underground pedestrian while maintaining the real-time performance of the original algorithm on the data sets of range image, infrared image and fusion image. ② The detection precision of the model trained by the fusion image dataset is higher than that of the models trained by the infrared image dataset or the depth image dataset. The result shows that the fusion image can give full play to the advantages of the depth image and the infrared image, and is helpful to improve the detection precision of the model. ③ In the six scenes of different degrees of occlusion and multi-scale pedestrian target, the model trained by the improved CornerNet-Squeeze has the lowest pedestrian misdetection rate. ④ Compared with YOLOv 4, the average accuracy of the improved CornerNet-Squeeze algorithm on the COCO2014 pedestrian dataset is improved by 1.1%, and the detection speed is improved by 6.7%. ⑤ The improved CornerNet-Squeeze can effectively detect the small target in the image. The detection capability of the small target is obviously improved.
  • 中国煤层气资源赋存条件复杂,低透气性煤层气资源占比高[1],针对低透气性煤层增透技术,国内外学者研发了水力压裂、水力冲孔、水力压穿等技术[2-5],极大促进了煤层气的开采,然而这些方法存在部分技术条件限制和工艺不完善的问题。高压气体致裂技术通过高压气体瞬间爆破产生的高压气体和冲击波冲击煤体,使原煤产生裂隙,以达到增透效果[6-7]。高压气体致裂的介质主要有CO2 、氮气、空气等,由于其经济成本低、增透效果显著,逐渐成为热门研究课题[8-10]

    目前,部分学者对高压气体冲击对煤岩体裂纹扩展的影响规律展开研究。李宁等[11]利用数值模拟对爆生气体压力驱动下岩石裂缝扩展进行跟踪模拟,得出致裂过程中气体随裂缝扩展的动态变化规律。李守国等[12-13]利用自主设计的高压气体冲击试验装置进行试验,发现高压气体冲击煤体时,裂纹萌生和发展优先在煤体较弱处开始。曾范永[14]研发了煤体高压气体爆破的实验装置,探究了不同起爆压力与起爆深度下的高压气体爆破致裂规律。严少洋等[15]、褚怀保等[16]利用高压空气爆破试验装置开展气体爆破模拟试验,分析了高压空气爆破作用下模拟煤体试件裂纹扩展规律和质点振动效应。刘勇等[17-18]通过高压气体冲击煤体,发现高压气体致裂引起的力学响应可分为动态加载阶段和准静态加载阶段2个连续阶段。Shang Zheng等[19]开展了超临界CO2冲击煤岩体试验,探究了致裂过程中试件表面的应变变化。Cai Can等[20-21]通过对标准有机玻璃与煤体试件开展超临界CO2射流实验,证明了应变监测数据能够有效反映射流距离、射流压力与三相应力对试件的破坏。

    现有研究大多对致裂后试件形态图及致裂过程中气压响应进行研究,缺乏对空气致裂全过程进行精准监测和评价的手段。应变监测能够实时记录裂纹萌生和扩展的过程,通过研究高压气体冲击全过程中孔壁应变响应,可明确致裂过程裂纹与应变响应之间的关系,获得最优致裂角度。本文利用高压空气冲击致裂煤岩真三轴实验平台,开展了基于孔壁应变监测的高压气体致裂煤岩实验,利用超动态应变仪监测了致裂过程中射流孔处孔壁的应变响应,研究不同冲击角度下高压气体致裂规律。

    煤体作为一种沉积岩,由于在形成过程中的条件不一样,受到多方面因素影响,各向异性明显。为消除各向异性的影响,采用相似材料制作的混凝土试件开展实验。将水泥、河砂、水按1.03∶5∶1的质量比混合制成尺寸为150 mm×150 mm×150 mm的试件。制作试件时,预制了直径为16 mm、长度为110 mm的致裂孔,如图1所示。试件制作完成后,在养护池中养护28 d,测得试件抗压强度为18.5 MPa。

    图  1  试件和致裂管
    Figure  1.  Test specimen and fracturing tube

    致裂管主体部分尺寸为ϕ8 mm×100 mm,距致裂管底部5 mm处两侧对称设置一对射流孔,孔径为3 mm。待试件养护完毕,在试件表面按顺时针方向标记出射流方向与最大水平主应力的夹角,将致裂管的射流孔对准标记出的射流方向垂直放入致裂孔,并用环氧树脂进行封孔处理。共设计5组冲击实验,冲击角度(射流孔方向与最大水平主应力方向夹角)分别为0,30,45,60,90°。

    实验系统包括真三轴加载装置、数据采集系统和高压气体致裂装置3个部分,如图2所示。真三轴加载装置包括加载泵组、加载泵数控单元、三轴腔体,可独立施加XYZ方向的应力。数据采集系统包括超动态应变数据采集仪、气压数据采集仪。高压气体致裂装置包括四级压缩机、5 L高压气体储罐、致裂管及触控电磁阀等。

    图  2  高压气体致裂煤岩实验系统
    Figure  2.  High pressure gas fracturing coal and rock experimental system

    实验过程中,利用NI PXIe−4331超动态应变数据采集仪实时采集应变数据,监测试件在高压气体冲击下产生的应变。使用气体压缩机将高压空气压入高压气体储罐中,通过触控电磁阀使高压气体瞬间释放。气压传感器用于监测气体瞬间释放过程中的气压变化。

    将25个模拟煤岩体试件分5组进行实验,每组5个试件。试件三轴应力如图3所示,设置水平应力$ {\sigma }_{{\mathrm{h}}} $=4.8 MPa,最大主应力$ {\sigma }_{{\mathrm{H}}} $=6.4 MPa,轴向应力$ {\sigma }_{{\mathrm{V}}} $=8.0 MPa。根据前期高压气体冲击预实验结果,设置释放压力为16 MPa。

    图  3  试件三轴应力
    Figure  3.  Triaxial stress of specimen

    1) 用毛刷将试件致裂孔内壁清理干净,将应变片粘贴在绝缘胶布上并在应变片背部涂上速干胶水,将应变片送入致裂孔预定位置;使用圆木棒反复碾压应变片,静置3 min待胶水凝固。

    2) 将致裂管放入致裂孔中,并用环氧胶水进行封孔处理,静置24 h待环氧树脂凝固。

    3) 将试件放入真三轴腔体内部,将应变片与超动态应变数据采集仪连接并测试;打开真三轴加载泵数控单元,设置三轴应力,在三轴加载阶段关闭应变数据采集仪,防止动压对应变数据的干扰;打开气体压缩机,向储气瓶中充入16 MPa气体;连接气压数据采集仪,打开应变数据采集仪并调试,打开数控电磁阀开始实验。

    本实验的目的是通过对高压气体冲击过程中的孔壁应变与气压数据进行监测,得到高压气体冲击试件破坏过程的裂纹扩展与动态应变响应之间的关系。为得到精准的动态应变数据,分别在封孔段、射流孔上端与射流孔处粘贴3枚径向应变片,如图4所示。

    图  4  应变片位置
    Figure  4.  Strain gauge position

    选取1组实验数据及试件破坏形态图进行分析。冲击角度对试件最终致裂形态的影响如图5所示。① 冲击角度为0时,试件呈现劈裂破坏,只有1条主裂纹,未出现次生裂纹。 ② 冲击角度为30°时,试件呈现交叉型破坏,主裂纹开始出现分支,沿着30°方向扩展,延伸至距致裂孔18 mm处时,由于冲击角度改变,在应力场与冲击波的共同作用下主裂纹发生偏转,偏转角度为10°,试件的裂缝网复杂程度较冲击角度为0时有所上升。③ 冲击角度为45°时,试件呈现交叉型破坏,主裂纹发育更为明显,在冲击区域出现分支,2条分支均扩展至试件表面,试件裂缝网络进一步发育,试件上表面及四周均出现贯通裂纹。④ 冲击角度为60°时,试件呈现交叉型破坏,主裂纹沿最大水平主应力方向在试件表面延伸,出现多处分支,并贯通至试件表面,试件内部出现较为复杂的裂纹网络。⑤ 冲击角度为90°时,试件呈现劈裂破坏,主裂纹基本沿垂直于最大水平主应力方向延伸,在三轴应力作用下,试件上端面发生拉伸破坏,并与主裂纹联通。

    图  5  不同冲击角度下试件破坏形态
    Figure  5.  Specimen damage morphology under different impact angles

    通过对试件破坏形态的分析可得出,随着冲击角度增大,主裂纹方向逐渐发生偏转,且试件的破坏类型呈现从劈裂破坏到交叉型破坏再到劈裂破坏的过程,其中45°破坏形态最为复杂。

    高压气体致裂煤岩实验结果见表1。随着冲击角度增加,起裂压力呈先减小后增大的趋势,裂缝长度、裂缝最大宽度呈先增大后减小的趋势。当冲击角度为0~45°时,随着冲击角度增大,高压气体对孔壁冲击使得试件失稳并产生裂纹所需的压力逐渐变小,且裂缝网络逐渐趋于复杂化;当冲击角度为45~90°时,随着冲击角度增大,孔壁起裂压力逐渐增大,裂缝网络趋于单一化。

    表  1  高压气体致裂煤岩实验结果
    Table  1.  Experimental results of high-pressure gas fracturing of coal and rock
    组号 冲击
    角度/(°)
    起裂
    压力/MPa
    裂缝总长
    度/cm
    裂缝最大宽
    度/mm
    1 0 14.11 43.50 2.5
    2 30 12.95 65.76 3.2
    3 45 11.64 102.50 6.4
    4 60 13.08 86.40 4.3
    5 90 12.20 80.30 5.5
    下载: 导出CSV 
    | 显示表格

    不同冲击角度下的气压曲线如图6所示,根据气压曲线变化特征可将致裂过程划分为4个阶段。

    图  6  不同冲击角度下气压曲线
    Figure  6.  Pressure curves under different impact angles

    Ⅰ阶段为气压上升阶段,当瞬间释放高压气体时,致裂孔内气体存储空间会短暂容纳气体,此时气压曲线迅速上升至峰值。

    Ⅱ阶段为气压陡降阶段,当空腔内压力达到极值的瞬间在孔壁内产生冲击波,冲击波的压力远大于试件的动态抗压强度,孔壁内部开始产生裂纹,主裂纹产生的气体通道导致气压陡然降低。

    Ⅲ阶段为压力聚集阶段,此时气体压力不足以继续扩展裂缝,气体在已产生的裂缝内聚集,气压曲线短暂上升,随后在聚集气体与冲击波的共同作用下,孔壁内产生的裂纹向试件内部及表面延伸,气压曲线持续下降,此过程中应力向试件内部传播并迅速衰减。

    Ⅳ阶段为压力稳定释放阶段,此阶段应力峰值小于煤体的动态抗压强度,难以使试件发生破坏,但在三轴应力、应力波与冲击气体的共同作用下,裂纹扩展并延伸至试件表面,腔体与试件内剩余气体完全释放。

    不同冲击角度下的孔壁应变曲线如图7所示,应变是一个无量纲值,本文中“+”表示压应变,“−”表示拉应变。

    图  7  不同冲击角度下致裂过程应变变化
    Figure  7.  Strain variation during fracturing under different impact angles

    冲击角度为0时,气压曲线在0.25 s到达峰值并在瞬间下降,随后应变曲线迅速到达压应变峰值+0.001 68,并在0.1 s内迅速下降至拉应变峰值−0.002 52,孔壁受到高压空气冲击后在冲击区域出现主裂纹。0.3 s时气压小幅回升,但不足以使裂纹继续扩展,应变曲线从拉应变峰值陡然上升至+0.009 7。由于气体在裂纹尖端处聚集,试图打开新的气体逃逸通道,导致应变剧烈波动,随着气体逃逸通道的打开,气压均匀释放,孔壁拉伸应变随之稳定。

    冲击角度为30°时,应变以拉应变为主,应变曲线出现数个上下阈值,且出现2次较为明显的峰值。第1次峰值出现在气压曲线到达峰值后下降的瞬间,由于孔壁受到气压的冲击,孔壁应变在拉应变和压应变之间波动,此时孔壁出现主裂纹。0.5 s时气压释放速率减缓,随后应变曲线开始剧烈波动,强烈的拉应变说明此时主裂纹尖端不断出现拉伸损伤,并逐渐发展为新裂缝。

    冲击角度为45°时,拉应变远大于压应变,且应变曲线出现较多上下阈值,说明试件内部裂缝起裂和扩展较为明显。0.15~0.25 s气压曲线在到达峰值后陡然下降,应变在拉应变和压应变之间波动,在高压气体冲击作用下孔壁裂纹开始发育。0.25~0.85 s气压曲线下降暂缓,0.5~1.4 s应变曲线出现剧烈波动,此时试件内部主裂纹与衍生裂纹逐渐发育成型。

    冲击角度为60°时,气压上升至峰值14.2 MPa后,在0.1 s内迅速下降至13 MPa,受到气压冲击后孔壁应变迅速上升至压应变峰值,并在0.1 s内剧烈波动,此时主裂纹出现,对应气压曲线有一定回升后再次下降。1 s时气压曲线出现断崖式下降,同时应变曲线开始剧烈波动,直到1.5 s后拉应变趋于稳定,此时试件内主裂纹产生分支并向外延伸扩展。

    冲击角度为90°时,应变曲线基本没有明显波动,0.15~0.4 s内随着气压冲击,孔壁拉应变在瞬间累积并伴随主裂纹出现,随后气压释放速率趋于稳定,应变也无波动情况。

    在高压气体冲击作用下,气压曲线与应变曲线具有极强的相关性。当气压上升到峰值后,由于高压气体对孔壁的冲击,应变曲线迅速上升至峰值。当气压曲线出现小幅攀升时通常伴随着应变曲线的攀升,这一现象对应着试件内部出现新裂纹。孔壁应变数据主要由拉应变组成,且在冲击角度为30,45,60°时孔壁应变曲线有2个明显峰值。第1个峰值在气压曲线达到峰值后0.1 s左右出现,出现第2个峰值时通常伴随着主裂纹的衍生与扩展及次生裂纹的出现。当冲击角度为0和90°时应变曲线未出现第2个峰值。

    高压气体致裂时改变冲击角度,试件主裂纹方向会发生不同程度的偏转,试件裂纹的萌生与扩展也与应变响应息息相关。对比不同冲击角度下的应变与气压曲线可发现一个共同规律:当气压快速上升并急剧下降时,应变迅速上升至最大值并伴随着主裂纹的产生;气压曲线在短时间内变化时应变曲线存在多个上下极值,在压裂过程中气压变化与裂缝的起裂与扩展有关,这也意味着可根据应变波动识别裂缝的起裂与扩展,且相较于气压曲线,应变曲线的变化规律更易识别。

    不同冲击角度下的应变响应如图8所示,高压气体致裂过程可划分成4个阶段。

    图  8  不同冲击角度下的应变响应
    Figure  8.  Strain response under different impact angles

    Ⅰ阶段为裂纹萌生阶段,由于孔壁受到气体瞬间冲击,应变曲线在短时间内从压应变向拉应变转换,说明气体对孔壁的冲击使得孔壁产生拉应力作用,气压曲线迅速上升到峰值,气压从0上升到峰值压力13.65 MPa的时间仅为71.2 ms,此时气体在致裂管内部与致裂孔内聚集并不断侵蚀孔壁表面,试图打开气体逃逸通道。

    Ⅱ阶段为主裂纹扩展阶段,气压出现小幅下降,同时应变迅速达到峰值,由于高压气体对孔壁的持续冲击,孔壁内沿着射流孔方向开始起裂,主裂纹形成的瞬间气体涌入通道内部,随后应变曲线在0.25 s内波动,应变波动存在多个拉应变与压应变的阈值,说明裂纹有延伸扩张趋势,因为此时气体冲击波的压力大于试件的动态抗压强度,高压气体深入主裂纹内部将主裂纹进一步延伸,这一过程随着气压降低而逐渐停止。

    Ⅲ阶段为裂纹延伸扩展阶段,Ⅱ阶段在裂纹内聚集的气体持续对裂纹冲击,使主裂纹持续扩展延伸,试件内部出现复杂的裂纹网络,气压出现大幅下降。由应变曲线可看出,此阶段因为主裂纹扩展,应变出现第2个峰值,随着试件内部出现复杂裂纹网络,应变曲线出现小范围波动。

    Ⅳ阶段为裂纹稳定阶段,试件内部形成复杂裂纹网络,主裂纹及其他裂纹的分支延伸至试件表面,剩余冲击气体通过已经打开的逃逸通道逐渐释放。

    将应变持续时间与拉应变峰值作为致裂效果的主要评价标准。持续时间指当高压气体对试件作用产生主裂纹后应变达到峰值到逐渐稳定所需时间(持续时间1),以及聚集在主裂纹尖端的气体使主裂纹衍生扩展时的应变响应时间(持续时间2)。持续时间越长,表明高压气体对试件内部的破坏时间越长,更容易使试件裂纹网络趋于复杂。拉应变峰值大小表明高压气体对试件作用瞬间试件的破坏程度。

    从应变响应曲线中提取出应变出现峰值后的应变持续时间与拉应变峰值,如图9所示。可看出稳定持续时间与拉应变峰值的变化规律均是随着冲击角度的增加呈先增加后减少的趋势,二者均在冲击角度为45°时达到峰值,表明当冲击角度为45°时,高压气体对试件内部造成的破坏程度与裂缝网络的复杂程度达到极致,试件破坏类型为交叉破坏,试件内部容易萌生复杂裂纹网络,致裂效果最佳。

    图  9  应变持续时间与拉应变峰值
    Figure  9.  Duration of strain and peak tensile strain

    1) 随着冲击角度的增加,主裂纹方向逐渐发生偏转,且试件的破坏类型呈现从劈裂破坏到交叉型破坏再到劈裂破坏的过程。

    2) 冲击过程中气压曲线主要分为4个阶段:气压上升阶段、气压陡降阶段、压力聚集阶段、压力稳定释放阶段。气压陡降阶段和压力聚集阶段对应冲击过程中主裂纹出现和试件内部裂缝网络扩展。

    3) 在高压气体冲击作用下,孔壁应变数据主要由拉应变组成,出现2个明显的峰值。第1个峰值在气压曲线达到峰值0.1 s后出现并伴随主裂纹产生,第2个峰值常伴随着主裂纹的衍生与扩展。

    4) 相较于气压监测数据,通过应变信号变化规律更易识别试件内部的裂隙发育情况。5种冲击角度的孔壁应变实验结果表明:0~45°时,随着冲击角度增大,应变的最小值与峰值逐渐减小,持续时间逐渐变长,试件更容易出现贯通裂纹,裂隙趋于复杂化;45~90°时,随着冲击角度增大,应变的最小值与峰值逐渐升高,持续时间缩短,主裂纹更容易发生偏转,裂隙趋于单一化。

  • 图  1   CornerNet网络结构

    Figure  1.   CornerNet network structure

    图  2   Hourglass-52 Network网络结构

    In−输入模块;Pool 池化模块;Res 残差模块;Up 上采样模块;Out 输出模块

    Figure  2.   Hourglass-52 Network structure

    图  3   改进CornerNet-Squeeze网络结构

    Figure  3.   Improved CornerNet-Squeeze network structure

    图  4   OctConv操作过程

    Figure  4.   OctConv operation procedure

    图  5   图像融合处理原理

    Figure  5.   Principle of image fusion processing

    图  6   图像融合处理过程

    Figure  6.   Process of image fusion

    图  7   同一数据集下验证损失值曲线

    Figure  7.   Validation-Loss value curve under the same data set

    图  8   3种数据的检测结果

    Figure  8.   Test results of three kinds of data

    表  1   不同模型的行人目标检测性能

    Table  1   Pedestrian target detection performance of different models

    数据集模型A/%FPS/(帧·s−1
    红外图像CornerNet71.1824
    CornerNet-Squeeze73.6831
    改进CornerNet-Squeeze78.3631
    深度图像CornerNet72.1125
    CornerNet-Squeeze74.5630
    改进CornerNet-Squeeze78.2129
    融合图像CornerNet75.7622
    CornerNet-Squeeze82.6328
    改进CornerNet-Squeeze85.3628
    下载: 导出CSV

    表  2   不同背景下行人目标检测效果

    Table  2   Pedestrian target detection effect in different backgrounds

    测试场景目标总
    数/个
    漏检率/%
    CornerNet CornerNet-
    Squeeze
    改进
    CornerNet-Squeeze
    轻微遮挡2002.82 2.33 1.81
    部分遮挡16011.439.128.36
    严重遮挡6052.3748.8143.54
    大尺寸目标1801.551.461.22
    中小尺寸目标1507.396.886.12
    极小尺寸目标5040.3335.7831.68
    下载: 导出CSV

    表  3   在COCO2014 行人数据集上性能对比

    Table  3   Performance comparison on the COCO2014 pedestrian dataset

    算法检测速度/ms A/%As/%Am/%Ab/%
    YOLOv43043.213.245.465.6
    改进CornerNet-Squeeze3244.318.144.164.3
    下载: 导出CSV
  • [1] 王珂硕. 基于深度学习的井下行人检测方法研究[D]. 哈尔滨: 黑龙江科技大学, 2022.

    WANG Keshuo. Research on pedestrian detection method in mines based on deep learning[D]. Harbin: Heilongjiang University of Science and Technology, 2022.

    [2] 杨清翔,吕晨,冯晨晨,等. 煤矿井下行人检测算法[J]. 工矿自动化,2020,46(1):80-84. DOI: 10.13272/j.issn.1671-251x.17540

    YANG Qingxiang,LYU Chen,FENG Chenchen,et al. Pedestrian detection algorithm of coal mine underground[J]. Industry and Mine Automation,2020,46(1):80-84. DOI: 10.13272/j.issn.1671-251x.17540

    [3] 李晓明,郎文辉,马忠磊,等. 基于图像处理的井下机车行人检测技术[J]. 煤矿机械,2017,38(4):167-170. DOI: 10.13436/j.mkjx.201704059

    LI Xiaoming,LANG Wenhui,MA Zhonglei,et al. Pedestrian detection technology for mine locomotive based on image processing[J]. Coal Mine Machinery,2017,38(4):167-170. DOI: 10.13436/j.mkjx.201704059

    [4]

    REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.

    [5] 唐聪,凌永顺,郑科栋,等. 基于深度学习的多视窗SSD目标检测方法[J]. 红外与激光工程,2018,47(1):302-310.

    TANG Cong,LING Yongshun,ZHENG Kedong,et al. Object detection method of multi-view SSD based on deep learning[J]. Infrared and Laser Engineering,2018,47(1):302-310.

    [6]

    REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.

    [7]

    LAW Hei,DENG Jia. CornerNet:detecting objects as paired Keypoints[J]. International Journal of Computer Vision,2020,128(2):642-656.

    [8] 李伟山,卫晨,王琳. 改进的Faster RCNN煤矿井下行人检测算法[J]. 计算机工程与应用,2019,55(4):200-207. DOI: 10.3778/j.issn.1002-8331.1711-0282

    LI Weishan,WEI Chen,WANG Lin. lmproved Faster RCNN approach for pedestrian detection in underground coal mine[J]. Computer Engineering and Applications,2019,55(4):200-207. DOI: 10.3778/j.issn.1002-8331.1711-0282

    [9] 李现国,李斌,刘宗鹏,等. 井下视频行人检测方法[J]. 工矿自动化,2020,46(2):54-58. DOI: 10.13272/j.issn.1671-251x.2019060024

    LI Xianguo,LI Bin,LIU Zongpeng,et al. Underground video pedestrian detection method[J]. Industry and Mine Automation,2020,46(2):54-58. DOI: 10.13272/j.issn.1671-251x.2019060024

    [10] 张明臻. 基于Dense-YOLO网络的井下行人检测模型[J]. 工矿自动化,2022,48(3):86-90. DOI: 10.13272/j.issn.1671-251x.17861

    ZHANG Mingzhen. Underground pedestrian detection model based on Dense-YOLO network[J]. Journal of Mine Automation,2022,48(3):86-90. DOI: 10.13272/j.issn.1671-251x.17861

    [11] 张庆庆,朱仲杰,高明,等. 基于CornerNet-Lite的输电塔与绝缘子目标识别与检测[J]. 浙江万里学院学报,2020,33(3):85-90. DOI: 10.13777/j.cnki.issn1671-2250.2020.03.014

    ZHANG Qingqing,ZHU Zhongjie,GAO Ming,et al. Target recognition and detection of transmission tower and insulator based on Corner Net-Lite[J]. Journal of Zhejiang Wanli University,2020,33(3):85-90. DOI: 10.13777/j.cnki.issn1671-2250.2020.03.014

    [12] 赵文清,孔子旭,赵振兵. 隔级融合特征金字塔与CornerNet相结合的小目标检测[J]. 智能系统学报,2021,16(1):108-116.

    ZHAO Wenqing,KONG Zixu,ZHAO Zhenbing. Small target detection based on a combination of feature pyramid and CornerNet[J]. CAAI Transactions on Intelligent Systems,2021,16(1):108-116.

    [13] 刘宇航,马健霄,王羽尘,等. 基于改进CornerNet-Lite的林区行人检测算法[J]. 林业工程学报,2021,6(4):154-156.

    LIU Yuhang,MA Jianxiao,WANG Yuchen,et al. Forest-pedestrian detection algorithm based on improved CornerNet-Lite[J]. Journal of Forestry Engineering,2021,6(4):154-156.

    [14] 刘子威,邓春华,刘静. 基于非对称沙漏网络结构的目标检测算法[J]. 计算机应用,2020,40(12):3526-3533.

    LIU Ziwei,DENG Chunhua,LIU Jing. Object detection algorithm based on asymmetric hourglass network structure[J]. Journal of Computer Applications,2020,40(12):3526-3533.

    [15] 吴佳豪,周凤,李亮亮. 基于堆叠沙漏网络的人体姿态估计[J]. 计算机系统应用,2021,30(10):295-300.

    WU Jiahao,ZHOU Feng,LI Liangliang. Human pose estimation based on stacked hourglass network[J]. Computer Systems & Applications,2021,30(10):295-300.

    [16] 江洪,宋勇,隋国成,等. 智能选矸机器人系统的研究与应用[J]. 选煤技术,2020(4):81-87. DOI: 10.16447/j.cnki.cpt.2020.04.019

    JIANG Hong,SONG Yong,SUI Guocheng,et al. Study and application of the intelligent robotic gangue picking system[J]. Coal Preparation Technology,2020(4):81-87. DOI: 10.16447/j.cnki.cpt.2020.04.019

    [17] 李坤伦,魏泽发,宋焕生. 基于SqueezeNet卷积神经网络的车辆颜色识别[J]. 长安大学学报(自然科学版),2020,40(4):109-116.

    LI Kunlun,WEI Zefa,SONG Huansheng. Vehicle color recognition based on SqueezeNet[J]. Journal of Chang'an University(Natural Science Edition),2020,40(4):109-116.

    [18] 王继霄,李阳,王家宝,等. 基于SqueezeNet的轻量级图像融合方法[J]. 计算机应用,2020,40(3):837-841.

    WANG Jixiao,LI yang,WANG Jiabao. Light-weight image fusion method based on SqueezeNet[J]. Journal of Computer Applications,2020,40(3):837-841.

    [19] 蒙双,陈乐庚,肖晨晨. 基于改进OctConv的车道线检测算法研究[J]. 计算机仿真,2021,38(5):142-145,218.

    MENG Shuang,CHEN Legeng,XIAO Chenchen. Researchon lane detection algorithm based on improved OctConv[J]. Computer Simulation,2021,38(5):142-145,218.

    [20] 高原,陈爱斌,周国雄,等. 基于OctConv的DCNN在遥感图像场景分类中的应用[J]. 电子测量与仪器学报,2020,34(1):61-67.

    GAO Yuan,CHEN Aibin,ZHOU Guoxiong,et al. Application of DCNN based on OctConv in scene classification of remote sensing images[J]. Journal of Electronic Measurement and Instrumentation,2020,34(1):61-67.

    [21]

    BAVIRISETI DP,DHULI R. Two-scale image fusion of visible and infrared images using saliency detection[J]. Infrared Physics & Technology,2016,76:52-64.

图(8)  /  表(3)
计量
  • 文章访问数:  255
  • HTML全文浏览量:  195
  • PDF下载量:  58
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-06-30
  • 修回日期:  2023-01-31
  • 网络出版日期:  2022-09-18
  • 刊出日期:  2023-02-24

目录

/

返回文章
返回