面向对象的设备建模方法及其应用

荆诚, 刘丽静, 陈醒, 周朴凡

荆诚,刘丽静,陈醒,等.面向对象的设备建模方法及其应用[J].工矿自动化,2021,47(4):113-115.. DOI: 10.13272/j.issn.1671-251x.2020120063
引用本文: 荆诚,刘丽静,陈醒,等.面向对象的设备建模方法及其应用[J].工矿自动化,2021,47(4):113-115.. DOI: 10.13272/j.issn.1671-251x.2020120063
JING Cheng, LIU Lijing, CHEN Xing, ZHOU Pufan. Object-oriented device modeling method and its applicatio[J]. Journal of Mine Automation, 2021, 47(4): 113-115. DOI: 10.13272/j.issn.1671-251x.2020120063
Citation: JING Cheng, LIU Lijing, CHEN Xing, ZHOU Pufan. Object-oriented device modeling method and its applicatio[J]. Journal of Mine Automation, 2021, 47(4): 113-115. DOI: 10.13272/j.issn.1671-251x.2020120063

面向对象的设备建模方法及其应用

基金项目: 

天地(常州)自动化股份有限公司研发项目(2020GY001-1)

详细信息
  • 中图分类号: TD76

Object-oriented device modeling method and its applicatio

  • 摘要: 各种煤矿监控类系统的通信协议对应不同数据结构,导致煤矿监控多系统融合运行时设备信息配置和管理困难。为解决上述问题,提出了一种面向对象的设备建模方法。通过数据驱动将多种非标准化的数据结构转换为标准化数据结构,根据实际设备的相关属性建立对应的设备模型;基于设备模型创建设备实例,采用层级树形结构展示设备实例的父子关系,通过动态页面展示设备实例的详细信息,可对具有不同属性的设备进行统一配置和管理。将面向对象的设备建模方法应用于图形组态中,使设备模型与图元绑定、设备实例与图形实例绑定,可快速配置数据可视化图形。
    Abstract: The communication protocols of different coal mine monitoring systems correspond to different data structures, which makes it difficult to configure and manage device information when multiple coal mine monitoring systems are integrated. To solve the above problems, an object-oriented device modeling method is proposed. The method converts a variety of non-standardized data structures into standardized data structures through data driving, and establishes corresponding device models based on the relevant attributes of actual devices. The method creates device instances based on device model, uses hierarchical tree structure to display the parent-child relationship of device instances, and displays the detailed information of device instances through dynamic pages, which enables unified configuration and management of devices with different attributes. The object-oriented device modeling method is applied to the graphic configuration so as to bind the device model to the graphic element and bind the device instance to the graphic instance, which can quickly configure the data visualization graphics.
  • 在实际的岩土工程中,如地下开采、隧道掘进和硐室开挖等施工活动中,岩体通常会经历多次荷载施加和卸载过程[1],岩石循环加卸载破裂会引起冲击地压、瓦斯突出和底板突水等灾害[2]。认识岩体微观结构的空间分布变化,有助于更好地理解岩体破裂过程中裂纹的扩展和分布[3-4],对于揭示致灾机理具有重要意义。随着CT等细观成像技术的不断进步,能够更深入地研究细微的尺度,从而揭示宏观结构特征演化的根本原因。然而,在实际应用中,由于采集设备成本和自然环境等因素的限制,往往难以获得高分辨率的岩石CT图像,这对岩石细观结构分析的准确性带来一定影响。为了克服这一限制,图像超分辨率重建技术应运而生。该技术旨在通过对低分辨率图像进行恢复和重建来获取高分辨率图像,可有效增强图像细节,提高图像质量[5]

    图像超分辨率重建方法可分为三大类:基于差值的方法[6]、基于重建的方法[7]和基于学习的方法[8]。前两者属于传统方法,通常面临图像整体模糊和细节丢失等问题,因此存在明显的局限性。近年来,随着深度学习的迅速崛起,深度学习方法在图像超分辨率重建方面得到广泛应用[9]。特别是基于卷积神经网络(Convolutional Neural Network,CNN)的超分辨率重建算法,不仅能够显著提高图像分辨率,在一定程度上还有助于去除图像噪声[10]。Dong Chao等[11]提出了超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network,SRCNN),使用3个卷积层进行图像重建,大幅提升了图像重建速度。C. Ledig等[12]首次将生成对抗网络(Generative Adversarial Network,GAN)[13]应用于图像重建,提出了超分辨率生成对抗网络(Super-Resolution Generative Adversarial Network,SRGAN),并对网络的损失函数进行了改进,使得在需要大幅度图像放大的情况下,能够生成视觉效果出色的图像。Wang Xiantao等[14]对SRGAN进行改进,提出了增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks,ESRGAN),进一步提升了重建图像的质量,增强了纹理信息,并提高了视觉效果。辛元雪等[15]对ESRGAN的生成网络进行改进,引入了多尺度特征融合、密集连接和注意力机制,有效提高了从低分辨率图像中学习高频信息的效率。B. Lim等[16]提出了一种增强的深度超分辨网络(Enhanced Deep Super-Resolution Network,EDSR),通过增加网络的深度和宽度以提升超分辨图像重建性能。

    然而,使用上述方法重建低质量岩石CT图像还存在以下问题:在试件内部高密度矿物质颗粒和孔裂隙的表征方面,部分网络在重建过程中会忽视这些细节,导致不能精细定量表征煤岩孔裂隙形态、分布及矿物分布。Wang Xintao等[17]提出了改进的ESRGAN−Real−ESRGAN。其引入了无批归一化的残差密集块(Residual in Residual Dense Block,RRDB)架构作为其基本构建模块,相较于ESRGAN中的普通残差块,RRDB包含多个残差块,每个残差块又包含了2个子残差块,增加了网络的容量和表征能力,提高了图像重建的质量。Real−ESRGAN更加注重重建图像的真实感和自然性,不仅能增加图像的细节和清晰度,还能保持图像的自然纹理和特征。因此,本文采用Real−ESRGAN对岩石CT图像进行超分辨率重建,对不同放大倍数下的重建效果进行分析,并运用三维可视化分析软件Avizo对重建图像进行三维重构,分析岩石内部细观结构,有助于更准确地表征砂岩的微纳米孔隙结构特征。

    在单轴抗压强度试验中,使用电液伺服压缩试验机,其最大轴向荷载为600 kN,加载速率为0.50 kN/s。通过该试验机进行岩石的抗压强度测试,得到砂岩的峰值强度、弹性模量、峰值应变等力学参数。

    为进行CT扫描,使用NanoVoxel−3000工业X射线显微镜,该设备将X光显微成像技术与三维数字重建技术结合,可有效对样品的复杂构造进行高精度三维数字成像,实现微米级别的三维数字表征,并允许对样品的物质属性进行分析,而无需损伤样品本身。CT扫描的主要参数:空间分辨率为60.63 μm,探测器为16位,感光单元尺寸为74.8 μm,探测器像素尺寸为127 μm×127 μm,灰度范围为0~65 536。

    试验岩样取自山西晋城无烟煤矿业集团有限责任公司赵庄煤矿15号煤层底板的砂岩。CT扫描系统的分辨率与样品尺寸直接相关。因此,在合理范围内尽可能减少样品尺寸,可以最大程度地提高扫描的精细程度。为实现这一目标,在本试验中,通过套孔取心、切割和打磨等工序,将砂岩加工成4个直径为20 mm、高度为30 mm的圆柱形试件。声波探测显示其中1个试件内部存在明显的初始节理,因此选择该试件进行CT扫描,其余3个试件用于砂岩抗压强度测试,并统计3个试件的峰值强度,通过计算平均值确定本批岩样的峰值强度。

    在CT扫描试验阶段,目标是追踪参考岩石在单轴压缩荷载下的变形全过程并记录全应力−应变曲线。这个变形过程可以分为4个主要阶段:初始孔隙压实阶段、弹性变形和裂隙稳定发展阶段、非稳定破裂扩展阶段、破裂后阶段。

    结合单轴压缩荷载下的全应力−应变曲线,对内部存在明显初始节理的试件进行4次不同荷载水平的CT扫描,如图1所示。

    图  1  不同荷载水平的岩石CT扫描点
    Figure  1.  Rock CT scanning points at different load levels

    试验加载前,采取措施确保岩石试件在加载时端部应力分布均匀,其中包括垫聚四氟乙烯片及涂抹硅脂。首先,对岩石试件在初始状态(对应零荷载)进行CT扫描,以获取有关其内部初始缺陷、矿物组分形态和分布等微观结构特征的信息。接着,以0.12 mm/min的加载速率进行加载试验,在轴向荷载达到目标值时,对试件进行扫描,以获取岩石内部裂隙网络的分布信息。然后,继续加载直到试件完全失稳并发生破坏。最后,对破坏后的试件进行CT扫描,试验结束。

    Real−ESRGAN由生成器和判别器2个部分组成。生成器用于对低分辨率图像进行超分辨率重建,而判别器则用于判断输入的图像是否为真实图像,通过不断训练增强网络的重建能力。Real−ESRGAN是在ESRGAN的基础上发展而来,它采用高阶退化模型和Sinc滤波器构建更优秀的数据集进行训练,但其生成器与ESRGAN相同。

    本文使用经过训练的Real−ESRGAN生成器来进行岩石CT图像重建。Real−ESRGAN生成器结构如图2所示,采用改进的超分辨率残差网络(Super-Resolution Residual Network,SRResNet)[18]作为骨干网络。当CT图像输入该网络后,通过下采样压缩图像尺寸,并扩充图像通道。之后图像输入改进的SRResNet,去除所有的批量归一化(Batch Normalization,BN)层[19],增强网络性能。在改进的SRResNet中,原有的残差模块被替换为RRDB模块,融合了多级残差网络和密集连接的思想,进一步增强网络的稳定性。

    图  2  Real−ESRGAN生成器结构
    Figure  2.  Real-ESRGAN generator structure

    Real−ESRGAN的判别器采用带有光谱归一化的U−Net结构,能够对单个生成的像素进行真假判断。这种结构在确保生成的高分辨率CT图像整体真实性的同时,也特别关注图像细节的保留。

    在4组扫描试验中,本文从原始CT图像中筛选和剪切了不同位置的480像素×480像素二维切片,形成了一个包含2 430张图像的数据集。采用DIV2K数据集格式,训练集包含1 944张图像,验证集、测试集各包含243张图像。

    为得到低分辨率的岩心图像,使用OpenCV库中的resize函数,选择双三次插值法,从而降低图像的分辨率。对原始图像进行不同倍数的下采样处理,获得不同倍数的低分辨率图像,如图3所示。随着岩心图像的放大倍数增加到6倍,可明显观察到许多孔隙内部细节的丢失。

    图  3  原始图像与不同倍数低分辨率图像对比
    Figure  3.  Comparison between original image and low resolution images of different multiples

    硬件设备包括AMD Ryzen 9 3950X 16−Core处理器(主频为3.70 GHz、内存为32 GiB)及NVIDIA GeForce RTX 3080显卡。使用PyTorch框架构建Real−ESRGAN模型,并在训练期间采用Adam优化器。学习率设定为0.000 1,同时分别设置一阶动量项为0.9、二阶动量项为0.999。训练迭代时,设置批次大小为8,共进行400 000次迭代训练(2 d)。每迭代5 000次,保存1次训练权重。

    超分辨率是一个涉及不确定性的问题,不同方法可能会产生不同的视觉印象和结果。通常情况下,超分辨率可靠性的评估方法有主观评估和客观评估2种。主观评估是由测试人员根据个人感受对重建图像进行打分。这种评价方法更加主观,因为评分结果会受不同个体的主观因素影响。客观评估则采用制定好的计算公式对重建图像与原始高清图像之间的误差进行评估。常见的客观评估指标包括峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)[20]

    PSNR是一种用于评估图像质量的指标,通过比较信号的最大功率与信号噪声功率来衡量图像的重建质量。通常情况下,PSNR越高,表示重建图像与原始图像之间的差异越小,噪声水平越低,图像质量越好。PSNR计算公式为[21]

    $$ P=10{{{\mathrm{lg}}}}\frac{{255}^{2}}{\dfrac{1}{mn}\displaystyle\sum _{i=0}^{m-1}\displaystyle\sum _{j=0}^{n-1}{\left[I\left(i,j\right)-K\left(i,j\right)\right]}^{2}} $$ (1)

    式中:$ P $为图像的PSNR;mn分别为图像行、列的像素数;$ I $(ij)为原始图像的第i行、第j列像素值;$ K $(ij)为重建的高分辨率图像的第i行、第j列像素值。

    SSIM是一种通过比较图像的亮度、对比度及结构信息来评估2幅图像相似程度的指标,取值范围为0~1。当2幅图像的SSIM接近1时,表示它们的结构和内容非常相似,即重建图像与原始图像非常接近,图像质量好。SSIM计算公式为[22]

    $$ M\left(a,b\right)=\frac{\left(2{\mu }_{a}{\mu }_{b}+{c}_{1}\right)\left(2{\sigma }_{ab}+{c}_{2}\right)}{\left({\mu }_{a}^{2}{\mu }_{b}^{2}+{c}_{1}\right)\left({\sigma }_{a}^{2}{\sigma }_{b}^{2}+{c}_{2}\right)} $$ (2)

    式中:$ M\left(a,b\right) $为图像$ a $和$ b $的SSIM;$ {\mu }_{a},{\mu }_{b} $分别为图像$ a,b $灰度的平均值;$ {c}_{1} $和$ {c}_{2} $为用来维持稳定的常数,$ {c}_{1}={\left({k}_{1}L\right)}^{2} $,$ {c}_{2}={\left({k}_{2}L\right)}^{2} $,$ {k}_{1}=0.01 $,$ {k}_{2}=0.03 $,L为像素;$ {\sigma }_{ab} $为图像$ a $和$ b $灰度协方差;$ {\sigma }_{a},{\sigma }_{b} $分别为图像$ a,b $灰度方差。

    本试验的主要目标是对岩石CT低分辨率图像进行2倍、4倍和6倍的超分辨率重建。为验证Real−ESRGAN算法的有效性,将其与SRCNN算法、SRGAN算法、EDSR算法、ESRGAN算法进行比较。

    从4组CT扫描试验中选择15张图像作为测试集Z1,以验证训练后的图像超分辨率重建算法的可靠性。对Z1进行2倍、4倍、6倍的超分辨率重建后,对各种图像超分辨率重建算法的客观评估结果见表1表2。可以发现,各算法重建图像PSNR和SSIM随着放大倍数的增加逐渐减小。Real−ESRGAN重建图像的PSNR和SSIM均优于其他算法。与PSNR相比,SSIM更能反映重建图像的结构信息和感知质量,Real−ESRGAN更注重图像细节的重建。

    表  1  不同算法超分辨率重建图像PSNR比较
    Table  1.  Comparison of PSNR of super-resolution reconstruction images with different algorithms
    放大倍数 SRCNN SRGAN EDSR ESRGAN Real−ESRGAN
    2 34.653 35.592 36.865 36.871 36.880
    4 32.452 34.429 35.735 35.736 35.742
    6 29.236 30.513 32.769 32.773 32.781
    下载: 导出CSV 
    | 显示表格
    表  2  不同算法超分辨率重建图像SSIM比较
    Table  2.  Comparison of SSIM of super-resolution reconstruction images with different algorithms
    放大倍数 SRCNN SRGAN EDSR ESRGAN Real−ESRGAN
    2 0.896 0.907 0.920 0.924 0.933
    4 0.875 0.881 0.905 0.910 0.917
    6 0.855 0.868 0.875 0.891 0.896
    下载: 导出CSV 
    | 显示表格

    为更直观地感受Real−ESRGAN算法在图像重建的视觉效果,各超分辨率重建算法在测试集Z1上进行2倍、4倍和6倍超分辨率重建的结果如图4图6所示。图中白色区域代表砂岩内部高密度矿物质颗粒,浅灰色区域代表岩样基质,深灰色及黑色区域代表内部孔(裂)隙。

    图  4  不同算法2倍超分辨率重建结果对比
    Figure  4.  Comparison of 2x super-resolution reconstruction results of different algorithms
    图  5  不同算法4倍超分辨率重建结果对比
    Figure  5.  Comparison of 4x super-resolution reconstruction results of different algorithms
    图  6  不同算法6倍超分辨率重建结果对比
    Figure  6.  Comparison of 6x super-resolution reconstruction results of different algorithms

    图4图6可观察到:① SRCNN算法重建的超分辨率图像存在一定程度的模糊,并且随着图像放大倍数的增大,模糊程度加深。特别是图6中的Image2,SRCNN无法准确重建裂隙的弯曲走向,导致视觉效果较差。② SRGAN算法的重建图像整体质量优于SRCNN。该算法基于GAN,引入内容损失,更注重原始图像的语义特征差异,从而减少图像的模糊感。③ ESRGAN算法的重建图像细节优于SRGAN和ESDR。从图4可看出,ESRGAN算法重建的白色区域和黑色区域相较于SRGAN和ESDR更加清晰,伪影较少。然而,ESRGAN在重建微小的矿物质颗粒方面存在一定的局限性。④ Real−ESRGAN算法的重建图像在视觉上比其他算法表现更出色,能够更清晰地展示砂岩内部高密度矿物质,裂隙边缘更加突出。尤其在图5的Image1和Image2中,黑色孔隙也更加清晰可见。然而,随着图像放大倍数的增加,Real−ESRGAN算法重建图像中的白色区域逐渐出现模糊现象,如图6所示。

    为验证Real−ESRGAN算法的优越性,对测试集Z1中的其余部分重建图像进行比较,如图7所示。可明显看出Real−ESRGAN重建的图像整体更清晰、更亮,裂隙的轮廓和高密度矿物质颗粒在重建图像中比原始图像更加清晰,而孔隙的分布形态与原始图像差异不大。

    图  7  不同算法2倍超分辨率单幅图像重建结果对比
    Figure  7.  Comparison of 2x super-resolution reconstruction results of a single image of different algorithms

    在本试验中,选取轴向荷载为30 kN时CT扫描得到的图像(共540张),并通过OpenCV对CT图像进行2倍、4倍和6倍的下采样,获得低分辨率图像。使用训练好的SRCNN算法、SRGAN算法、EDSR算法、ESRGAN算法、Real−ESRGAN算法对图像进行重建,分别得到轴向荷载为30 kN时的原始CT图像(1倍)和放大2倍、4倍、6倍的超分辨率图像。运用Avizo软件对每组图像进行三维重构,并按切片进行孔隙率分析,结果如图8图9所示。

    图  8  Real−ESRGAN重建图像与原始CT图像孔隙率对比
    Figure  8.  Comparison of porosity between Real-ESRGAN reconstructed images and original CT images

    图8可看出,Real−ESRGAN重建的原始CT图像(Real−ESRGAN−1x)和放大2倍图像(Real−ESRGAN−2x)的孔隙率与原始CT图像的孔隙率基本吻合,表明Real−ESRGAN重建图像在孔隙率方面与原始图像一致。然而,随着放大倍数的增加,放大6倍图像上的孔隙出现模糊。这是因为使用Real−ESRGAN算法进行高倍数的超分辨率重建时,由于细小孔隙的复杂性,难以重建这些微小的细节,导致重建图像的孔隙率低于原始CT图像。然而,从图9可看出,相对于其他算法所重建的图像,Real−ESRGAN在重建放大4倍图像(Real−ESRGAN−4x)和放大6倍图像(Real−ESRGAN−6x)时,其重建图像的孔隙率更加接近原始CT图像的孔隙率,并且Real−ESRGAN重建图像整体孔隙率走向与原始CT图像保持一致。

    图  9  不同算法重建图像与原始CT图像孔隙率对比
    Figure  9.  Comparison of porosity between reconstructed images of different algorithms and original CT images

    孔隙网络模型用来描述岩石复杂孔隙结构,通常由孔隙和喉道2个部分组成,其中喉道代表连接孔隙的细长通道[23]。通过Avizo软件获取每组图像的孔隙网络模型,并获得喉道长度分布占比,结果如图10图11所示。

    图  10  Real−ESRGAN重建图像与原始CT图像喉道长度分布占比对比
    Figure  10.  Comparison of throat length distribution ratio between Real-ESRGAN reconstructed images and original CT images
    图  11  不同算法重建图像与原始CT图像喉道长度分布占比对比
    Figure  11.  Comparison of throat length distribution ratio between reconstructed images of different algorithms and original CT images

    图10可看出,Real−ESRGAN重建1倍、2倍和4倍高分辨率图像的喉道长度分布占比趋势与原始CT图像基本一致。从图11可看出,在相同放大倍数下,Real−ESRGAN重建图像的喉道长度分布占比相比于其他算法更接近原始CT图像。

    1) Real−ESRGAN算法在2倍超分辨率重建后图像的PSNR高达36.880 dB,SSIM达0.933。随着原始图像放大倍数的增加,6倍超分辨率重建图像上的孔隙出现模糊,PSNR降至32.781 dB,SSIM为0.896。这表明Real−ESRGAN算法在超分辨率图像重建方面表现出色,但也需注意在高倍率放大情况下可能出现一定的模糊问题。

    2) 基于Real−ESRGAN算法重建图像放大倍数不超过4时,Real−ESRGAN生成的高分辨率CT图像与原始CT图像非常相似,并且能够成功重建微小的矿物质颗粒,显著提高了微纳米孔隙图像的分辨率。

    3) Real−ESRGAN重建超分辨图像的孔隙率和喉道长度分布占比与原始CT图像基本吻合,尤其是重建的原始CT图像和放大2倍的图像与原始CT图像的孔隙率吻合较好,表明Real−ESRGAN算法能够准确重建岩石内部复杂的孔隙网络结构。

  • 期刊类型引用(1)

    1. 田帅,李盛,王露曼,邱博之. 基于超分辨率重建的反无人机检测方法研究. 无线互联科技. 2024(08): 103-105 . 百度学术

    其他类型引用(4)

计量
  • 文章访问数:  133
  • HTML全文浏览量:  20
  • PDF下载量:  20
  • 被引次数: 5
出版历程
  • 刊出日期:  2021-04-19

目录

/

返回文章
返回