基于改进CNN−SVM的甲烷传感器数显识别方法

唐守锋, 史经灿, 周楠, 赵仁慈, 仝光明, 黄洁

唐守锋,史经灿,周楠,等. 基于改进CNN−SVM的甲烷传感器数显识别方法[J]. 工矿自动化,2022,48(1):52-56. DOI: 10.13272/j.issn.1671-251x.2021070033
引用本文: 唐守锋,史经灿,周楠,等. 基于改进CNN−SVM的甲烷传感器数显识别方法[J]. 工矿自动化,2022,48(1):52-56. DOI: 10.13272/j.issn.1671-251x.2021070033
TANG Shoufeng, SHI Jingcan, ZHOU Nan, et al. Digital recognition method of methane sensor based on improved CNN-SVM[J]. Industry and Mine Automation,2022,48(1):52-56. DOI: 10.13272/j.issn.1671-251x.2021070033
Citation: TANG Shoufeng, SHI Jingcan, ZHOU Nan, et al. Digital recognition method of methane sensor based on improved CNN-SVM[J]. Industry and Mine Automation,2022,48(1):52-56. DOI: 10.13272/j.issn.1671-251x.2021070033

基于改进CNN−SVM的甲烷传感器数显识别方法

基金项目: 国家重点研发计划项目(2017YFF0205500)。
详细信息
    作者简介:

    唐守锋(1970—),男,山东淄博人,教授,博士研究生导师,主要研究方向为检测技术与自动化装置、传感器应用技术、智能仪表和智能机器人技术,E-mail: tsf0816@126.com

    通讯作者:

    史经灿(1995—),男,江苏徐州人,硕士研究生,主要研究方向为粉尘均匀性控制、检测技术与自动化装置,E-mail: 954170067@qq.com

  • 中图分类号: TD712

Digital recognition method of methane sensor based on improved CNN-SVM

  • 摘要: 甲烷传感器材质存在光反射,显示面板上有附着物,造成甲烷传感器自动检定系统采集的传感器数值图像质量较差,对字符识别困难。而现有的基于机器学习的仪表字符识别方法识别率较低、算法运行速度较慢。针对上述问题,提出了一种基于改进卷积神经网络(CNN)−支持向量机(SVM)的甲烷传感器数显识别方法。通过图像增强、数值区域图像提取、图像分割、小数点定位等4个步骤对甲烷传感器数值图像进行预处理,并将处理后的数字图像作为自定义数据集。针对CNN−SVM模型运行时间较长的问题,使用PCA算法对CNN全连接层提取的图像特征进行降维处理,用最主要数据特征代替原始数据作为SVM分类器的样本进行分类识别。在自建数据集上的验证结果表明,与传统CNN模型和CNN−SVM模型相比,改进CNN−SVM模型的准确率更高,运行时间更短。在经典MNIST数据集上的验证结果表明,综合考虑精度和实时性要求,改进CNN−SVM模型的综合性能优于CRNN,SSD,YOLOv3,Faster R−CNN等模型。采用微型高清USB摄像头采集甲烷传感器数值图像,将训练好的改进CNN−SVM模型移植到树莓派中进行图像处理和识别,结果表明,基于改进CNN−SVM的甲烷传感器数显识别方法的识别成功率为99%,与仿真分析结果一致。
    Abstract: The methane sensor material has light reflection, and there are attachments on the display panel, which causes the poor quality of the sensor numerical image collected by the automatic verification system of methane sensor, and the difficulty of character recognition. However, the existing instrument character recognition methods based on machine learning have low recognition rate and slow algorithm running speed. In order to solve the above problems, a digital recognition method of methane sensor based on improved convolutional neural network (CNN) and support vector machine (SVM) is proposed. The numerical image of methane sensor is preprocessed by four steps, including image enhancement, numerical region image extraction, image segmentation and decimal point positioning. And the processed digital images are taken as a custom data set. In order to solve the problem of long running time of the CNN-SVM model, PCA algorithm is used to reduce the dimension of the image characteristics extracted from the CNN fully connected layer, and the most important data characteristics are used to replace the original data as the samples of the SVM classifier for classification and recognition. The verification results on the custom dataset show that the improved CNN-SVM model has higher accuracy and shorter running time than the traditional CNN model and CNN-SVM model. The verification results on the classical MNIST dataset show that considering the precision and real-time requirements, the improved CNN-SVM model has better comprehensive performance than CRNN, SSD, YOLOv3 and Faster R-CNN. A micro high-definition USB camera is used to collect the numerical images of methane sensor. The trained improved CNN-SVM model is transplanted to raspberry pi for image processing and recognition. The results show that the recognition success rate of methane sensor digital recognition method based on improved CNN-SVM is 99%, which is consistent with the simulation analysis results.
  • 仪器仪表显示值的识别在机器人自动巡检、自动检定系统示值读取等应用领域必不可少。目前数显仪表的显示方式主要有数码管和液晶2种。常用的甲烷传感器多为非色散红外甲烷传感器,主要采用数码管显示。甲烷传感器自动检定系统采集传感器数值图像时,由于传感器本身材质存在光反射,且显示面板上有附着物,采集到的数值图像质量较差,对字符识别造成困难,降低了识别准确率。

    基于机器学习的检测算法是一种常用的仪表字符识别方法,可以很好地解决传统图像处理方法对图像噪声敏感且鲁棒性差的问题。这类算法中,卷积神经网络(Convolutional Neural Network,CNN)和支持向量机(Support Vector Machine,SVM)表现突出并逐渐成为主流。文献[]将图像预处理方法与模板匹配结合使用进行数值图像识别,实时性好,但识别率较低。文献[-]分别使用BP神经网络和CNN对数字仪表进行识别,不仅可以识别仪表字符图像和小数点,还可以识别仪表字轮图像,但识别率较低。文献[-]提出一种基于CRNN的识别方法,结合CNN和深度循环神经网络(Recurrent Neural Networks,RNN)进行声纹个体识别,识别率高,但忽略了网络模型输出数据量大小,算法运行时间较长。文献[]以SSD(Single Shot MultiBox Detector)为算法框架基础,有效解决了文字识别问题,但算法运行速度较慢。文献[]采用Faster R−CNN网络对存在拥挤、遮挡等情况的图像进行识别,其优点是鲁棒性强。文献[]提出的YOLOv3网络具有很好的实时性,但对相似目标的检测效果很差。针对上述问题,本文提出一种基于改进CNN−SVM的甲烷传感器数显识别方法。先对传感器数值图像进行增强与分割处理,然后采用传统CNN进行特征提取,在此基础上,结合主成分分析法(Principal Component Analysis,PCA)对提取的图像特征进行降维,最后通过SVM实现数字分类识别。

    为了更好地提取甲烷传感器数码示值区域数字,首先利用带色彩恢复的多尺度视网膜增强(Multi−Scale Retinex with Color Restoration,MSRCR)算法进行图像增强处理,使得甲烷传感器数码管显示区域明显区别于其他区域;其次,将RGB图像转换至HSV空间,提取出图像中包含红色像素的区域;然后,为了提高特征提取和识别的可靠性,利用区域分割方法将数值区域从整体图像中分割出来;最后,使用高斯滤波算法对图像进行去噪处理,并对处理后的图像进行二值化。图像增强与数值提取过程如图1所示。

    图 1 图像增强与数值提取过程
    图  1  图像增强与数值提取过程
    Figure  1.  Image enhancement and numerical extraction process

    利用OpenCV中的Rect数据结构将数值图像中的数字分割成单个数字图像,作为自建数据集。正常情况下小数点位于数字右下角,判断对应区域像素值是否为0即可得到小数点位置。数字分割效果如图2所示。

    图 2 数字分割效果
    图  2  数字分割效果
    Figure  2.  digital split effect

    CNN通过卷积层从原始图像中提取基本数字特征,为减少后续计算量,防止过拟合情况的发生,通过池化层对数值图像的局部代表性特征进行提取,全连接层将前面提取的特征整合到一起后通过Softmax分类器进行分类识别。与Softmax相比,SVM采用最大类间分类平面对样本数据进行分类,具有更高的识别准确率。因此,CNN−SVM模型[-]用SVM分类器替代原有的Softmax分类器,其结构如图3所示。

    图 3 CNN−SVM模型结构
    图  3  CNN−SVM模型结构
    Figure  3.  CNN-SVM model structure

    用SVM分类器替代Softmax分类器的具体操作步骤如下:

    (1) 训练原始CNN,使CNN模型具有较高的识别率。

    (2) 将模型中的损失函数Cross−entropy Loss更换为Hinge Loss。

    (3) 将全连接层之前的学习率系数lr_mult全都设置为0,直到固定特征提取完毕。

    (4) 重新训练模型(只需要训练最后的SVM分类器),经过一段时间后,完成CNN−SVM模型训练。

    CNN−SVM模型运行时间依然较长,为了缩短运行时间,提高识别准确率,本文使用PCA算法对全连接层提取的图像特征进行降维处理,用最主要数据特征代替原始数据作为SVM分类器的样本进行分类识别。改进CNN−SVM模型由3个卷积层、3个池化层、1个全连接层、PCA及SVM分类器组成,其流程如图4所示。

    图 4 改进CNN−SVM模型流程
    图  4  改进CNN−SVM模型流程
    Figure  4.  Improved CNN−SVM model process

    (1) 对传感器数值图像进行增强与分割处理,得到统一大小的80×80灰度数字图像。

    (2) 卷积层使用9×9的卷积核,取步长为1,对输入图像做卷积计算,得出对应大小的特征图。激活层使用ReLU激活函数对特征图进行处理。

    (3) 设置池化层窗口大小为2×2,步长为2,对激活层得到的特征图进行降维处理。

    (4) 全连接层对第3次池化得到的特征图进行全连接操作,得到640个1×1的特征图,即640维特征。

    (5) 利用PCA算法对全连接层提取的640维特征进行进一步降维处理,最终得到150维特征。

    (6) 将150维特征作为SVM的样本数据,通过SVM分类器进行分类识别。

    为了验证改进CNN−SVM模型的性能,采用多种模型对自建数据集和经典MNIST数据集中的单个数字图片进行识别和对比分析。仿真实验平台配置:Intel Core i7处理器,NVIDIA1080Ti显卡,32 GB运行内存,操作系统为Linux Ubuntu 16.04的微服务器,在Pycharm 2020.3平台使用Python 3.7进行软件设计。

    自建数据集包含数字0~9和小数点共11类字符。训练集包括5 500个样本,每种字符选择500个样本。测试集包括6 600个样本,每种字符选择600个样本。对自建数据集图像进行预处理,全部归一化为80×80的图像。

    为了对比改进前后模型的性能,采用传统CNN模型、CNN−SVM模型及改进CNN−SVM模型进行仿真,结果如图5所示。3种模型的识别准确率及所需时间见表1

    图 5 3种模型识别准确率对比
    图  5  3种模型识别准确率对比
    Figure  5.  Comparison of the recognition accuracy of three models
    表  1  3种模型识别结果对比
    Table  1.  Comparison of recognition results of three models
    模型准确率/%时间/s
    传统CNN 96.5 134.56
    CNN−SVM 98.2 120.92
    改进CNN−SVM 99.1 108.34
    下载: 导出CSV 
    | 显示表格

    图5可看出,改进CNN−SVM模型的识别准确率随迭代步数的增加而稳定上升;传统CNN模型的准确率在迭代步数达到200左右时波动起伏严重;CNN−SVM模型的准确率也随迭代次数的增加而稳定上升,但低于改进CNN−SVM模型的准确率。3种模型的准确率在迭代步数达到300时趋于稳定,改进CNN−SVM模型、CNN−SVM模型、传统CNN模型的准确率分别为99.1%,98.2%,96.5%。从表1可得出改进CNN−SVM模型的运行时间最短。仿真结果表明,与另外2种模型相比,改进CNN−SVM模型的准确率更高,运行时间更短。

    在MNIST数据集下,使用主流深度学习模型与改进CNN−SVM模型进行对比分析。各模型训练参数见表2

    表  2  主流深度学习模型训练参数
    Table  2.  Training parameters of mainstream deep learning models
    模型初始学习率优化器学习动量权重衰减批量大小
    CRNN 0.0003 Adam 0.9 0.00050 64
    SSD 0.0003 SGD 0.9 0.00050 16
    YOLOv3 0.0010 Adam 0.9 0.00045 8
    Faster R−CNN 0.0010 SGD 0.9 0.00050 4
    下载: 导出CSV 
    | 显示表格

    选取MINST数据集中10 000张数字图像作为测试集,采用表2中的各模型进行测试,结果见表3

    表  3  实验结果对比
    Table  3.  Comparison of experimental results
    模型准确率/%帧率/(帧·s−1)
    CRNN 94.9 75
    SSD 95.4 59
    YOLOv3 95.7 85
    Faster R−CNN 97.4 60
    改进CNN−SVM 99.0 80
    下载: 导出CSV 
    | 显示表格

    表3可知,YOLOv3的实时性较好,每秒可识别85张图片,但其准确率只有95.7%,精度较低;Faster R−CNN识别准确率高,但实时性较差。综合考虑精度和实时性要求,改进CNN−SVM模型的综合性能优于其他模型。

    由于对数值图像识别的准确率、实时性有较高要求,单独使用1台计算机完成图像识别不利于系统迁移。综合考虑,选择插拔方便且体积小的树莓派作为图像识别处理器。通过树莓派与微距摄像头配合完成系统图像采集与识别工作,保证图像采集的实时性和识别的准确率。基于改进CNN−SVM的甲烷传感器数显识别方法如图6所示[]。采用STM32F407ZGT6作为控制器,实现数据接收、处理及传输;采用树莓派运行改进CNN−SVM模型,实现图像处理和识别;选用微型高清USB摄像头采集甲烷传感器数值图像,该摄像头使用CMOS型感光芯片,具有体积小、功耗低、价格低等优点。

    图 6 基于改进CNN−SVM的甲烷传感器数显识别方法
    图  6  基于改进CNN−SVM的甲烷传感器数显识别方法
    Figure  6.  Digital recognition method of methane sensor based on improved CNN−SVM

    数显识别流程如图7所示。将训练好的改进CNN−SVM模型移植到树莓派中,上电后,通过上位机发送开始指令给控制器,控制不同浓度甲烷标准气体及N2的通断和流量;微型高清USB摄像头采集传感器数值图像并传输至树莓派进行识别处理;树莓派将识别后的数据传输至控制器,控制器与上位机进行通信,上位机显示所采集的甲烷传感器数值。

    图 7 数显识别流程
    图  7  数显识别流程
    Figure  7.  Digital recognition process

    为了验证基于改进CNN−SVM的甲烷传感器数显识别方法的识别率,在实验平台通入体积分数为0.5%,3.5%,9%,35%的甲烷标气,对摄像头捕获的100张甲烷传感器数值图像进行识别,准确识别出99张图片,识别成功率为99%,与仿真分析结果一致。

    (1) 改进CNN−SVM模型在采用传统CNN模型进行特征提取的基础上,结合PCA完成对数字图像特征的降维提取,通过SVM对不同数字进行分类识别。

    (2) 在自建数据集上的验证结果表明,改进CNN−SVM模型、CNN−SVM模型、传统CNN模型的准确率分别为99.1%,98.2%,96.5%,运行时间分别为108.34,120.92,134.56 s,改进CNN−SVM模型的准确率最高,运行时间最短。

    (3) 在经典MNIST数据集上的验证结果表明,改进CNN−SVM模型的识别准确率为99.0%,帧率为80帧/s,综合考虑精度和实时性要求,改进CNN−SVM模型的综合性能优于CRNN,SSD,YOLOv3,Faster R−CNN等模型。

    (4) 采用微型高清USB摄像头采集传感器数值图像,将训练好的改进CNN−SVM模型移植到树莓派中进行图像处理和识别,结果表明,基于改进CNN−SVM的甲烷传感器数显识别方法的识别成功率为99%,与仿真分析结果一致。

  • 图  1   图像增强与数值提取过程

    Figure  1.   Image enhancement and numerical extraction process

    图  2   数字分割效果

    Figure  2.   digital split effect

    图  3   CNN−SVM模型结构

    Figure  3.   CNN-SVM model structure

    图  4   改进CNN−SVM模型流程

    Figure  4.   Improved CNN−SVM model process

    图  5   3种模型识别准确率对比

    Figure  5.   Comparison of the recognition accuracy of three models

    图  6   基于改进CNN−SVM的甲烷传感器数显识别方法

    Figure  6.   Digital recognition method of methane sensor based on improved CNN−SVM

    图  7   数显识别流程

    Figure  7.   Digital recognition process

    表  1   3种模型识别结果对比

    Table  1   Comparison of recognition results of three models

    模型准确率/%时间/s
    传统CNN 96.5 134.56
    CNN−SVM 98.2 120.92
    改进CNN−SVM 99.1 108.34
    下载: 导出CSV

    表  2   主流深度学习模型训练参数

    Table  2   Training parameters of mainstream deep learning models

    模型初始学习率优化器学习动量权重衰减批量大小
    CRNN 0.0003 Adam 0.9 0.00050 64
    SSD 0.0003 SGD 0.9 0.00050 16
    YOLOv3 0.0010 Adam 0.9 0.00045 8
    Faster R−CNN 0.0010 SGD 0.9 0.00050 4
    下载: 导出CSV

    表  3   实验结果对比

    Table  3   Comparison of experimental results

    模型准确率/%帧率/(帧·s−1)
    CRNN 94.9 75
    SSD 95.4 59
    YOLOv3 95.7 85
    Faster R−CNN 97.4 60
    改进CNN−SVM 99.0 80
    下载: 导出CSV
  • [1] 陈英, 李磊, 汪文源, 等. 家用水表字符的识别算法研究[J]. 现代电子技术,2018,41(18):99-103.

    CHEN Ying, LI Lei, WANG Wenyuan, et al. Research on character recognition algorithm for domestic water meter[J]. Modern Electronics Technique,2018,41(18):99-103.

    [2] 潘帅成, 韩磊, 陶毅, 等. 基于卷积神经网络的水表字符识别方法研究[J]. 计算机时代,2020(2):25-28.

    PAN Shuaicheng, HAN Lei, TAO Yi, et al. Research on character recognition technology for watermeter based on deep convolution neural network[J]. Computer Era,2020(2):25-28.

    [3] 肖佳. 基于机器视觉的数字仪表自动读数方法研究[D]. 重庆: 重庆大学, 2017.

    XIAO Jia. Study on automatic reading method of digital instrument based on machine vision[D]. Chongqing: Chongqing University, 2017.

    [4]

    CALEFATI A, GALLO I, NAWAZ S. Reading meter numbers in the wild[C]//Digital Image Computing: Techniques and Applications, Perth, 2019: 1-6.

    [5] 高晓利, 李捷, 王维, 等. 基于CRNN的汽车发动机声纹个体识别方法[J]. 火力与指挥控制,2021,46(3):150-153. DOI: 10.3969/j.issn.1002-0640.2021.03.025

    GAO Xiaoli, LI Jie, WANG Wei, et al. Individual identification method of automobile engine voiceprint based on CRNN[J]. Fire Control & Command Control,2021,46(3):150-153. DOI: 10.3969/j.issn.1002-0640.2021.03.025

    [6]

    SAI K M, CHANDRIKA P H, BEBE K, et al. Optical character recognition using CRNN[J]. International Journal of Innovative Technology and Exploring Engineering,2020,9(8):115-120. DOI: 10.35940/ijitee.H6264.069820

    [7]

    LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016: 21-37.

    [8]

    REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.

    [9]

    LIN Xiaoping, DUAN Peiyong, ZHENG Yuanjie, et al. Posting techniques in indoor environments based on deep learning for intelligent building lighting system[J]. IEEE Access,2020,8:13674-13682. DOI: 10.1109/ACCESS.2019.2959667

    [10] 孟彩茹, 宋京, 孙明扬. 基于改进CNN与SVM的手势识别研究[J]. 现代电子技术,2020,43(22):128-131.

    MENG Cairu, SONG Jing, SUN Mingyang. Research on gesture recognition based on improved CNN and SVM[J]. Modern Electronics Technique,2020,43(22):128-131.

    [11] 黄洁. 非色散红外甲烷传感器自动检定系统研究[D]. 徐州: 中国矿业大学, 2020.

    HUANG Jie. Research on automatic verification system of non-dispersive infrared methane sensor[D]. Xuzhou: China University of Mining and Technology, 2020.

    [12] 林仁耀, 邓浩伟, 兰红. 卷积神经网络结合SVM的手写数字识别算法[J]. 通信技术,2019,52(10):2389-2394. DOI: 10.3969/j.issn.1002-0802.2019.10.012

    LIN Renyao, DENG Haowei, LAN Hong. Handwritten digits recognition algorithm based on convolutional neural network and SVM[J]. Communications Technology,2019,52(10):2389-2394. DOI: 10.3969/j.issn.1002-0802.2019.10.012

    [13] 刘昶, 徐超远, 张鑫, 等. 液晶字符识别的CNN和SVM组合分类器[J]. 图学学报,2021,42(1):15-22.

    LIU Chang, XU Chaoyuan, ZHANG Xin, et al. A combined classifier based on CNN and SVM for LCD character recognition[J]. Journal of Graphics,2021,42(1):15-22.

  • 期刊类型引用(6)

    1. 刘天畅, 张守亮, 蒙丹, 吴任翔. 基于改进YOLOv8网络的高精度仪器仪表示值识别算法研究. 铁道技术监督. 2025(06) 百度学术
    2. 邓飞. 水热法检测传感器技术的油库监控系统气敏响应分析. 粘接. 2025(04): 123-126 . 百度学术
    3. 吕伽奇,丁帅,庞静珠,许小进. 基于改进LeNet-5网络的堆芯燃料组件编码识别. 东华大学学报(自然科学版). 2024(02): 121-128 . 百度学术
    4. 窦国贤,赵峰,余江斌,郭力旋. 基于改进CNN的电力设备红外目标检测技术. 电子设计工程. 2024(18): 145-149 . 百度学术
    5. 王丹. RVM在煤自燃预测中的应用研究. 煤. 2022(04): 1-5 . 百度学术
    6. 王晓霞. 瓦斯传感器的故障模式及其判断. 内蒙古石油化工. 2022(10): 59-62 . 百度学术

    其他类型引用(4)

图(7)  /  表(3)
计量
  • 文章访问数:  147
  • HTML全文浏览量:  55
  • PDF下载量:  28
  • 被引次数: 10
出版历程
  • 收稿日期:  2021-07-12
  • 修回日期:  2022-01-08
  • 网络出版日期:  2022-01-18
  • 发布日期:  2022-01-19
  • 刊出日期:  2022-01-19

目录

HUANG Jie

  1. On this Site
  2. On Google Scholar
  3. On PubMed

/

返回文章
返回