经验交流

语音交互技术在矿山救护队应急救援管理系统中的应用

李文峰1,李大娟1,张军会2

(1.西安科技大学 通信与信息工程学院, 陕西 西安 710054;2.陕北矿山救援基地, 陕西 神木 719300)

摘要针对现有矿山救护队应急救援管理系统存在数据录入实时性和交互性较差、应急处置消息传递手段落后等问题,将语音交互技术应用到矿山救护队应急救援管理系统中,实现了系统报警信息的智能录入和通知公告的语音自动播放等功能。采用语音识别技术智能录入接警信息,快速生成接警记录单,并实时跟踪接警处置情况;采用语音合成技术将通知公告和待办提醒通过语音提醒用户,避免工作延误。测试结果表明,该系统的平均语音识别率为90%以上,语音合成正确率为100%,通过语音识别方式录入接警信息速度明显快于手写和打字方式。现场应用结果验证了该系统的有效性和稳定性。

关键词矿山救护队; 应急救援; 语音交互技术; 语音识别; 语音合成; 智能录入; 语音自动播放

0 引言

煤炭开采行业危险系数极高,矿山救护队是煤矿安全生产的重要保障,其建设直接影响矿工生命和国家财产安全[1-3]。现有矿山救护队应急救援管理系统存在以下问题[4-7]:信息记录和统计、查询困难;使用简单的人机交互方式(如键盘、显示屏)进行数据录入,实时性和交互性比较差;应急接警时需要手写记录接警信息,通过电话传递消息,消息传递过程中可能会出现误传,从而浪费宝贵的救援时间。

语音交互被认为是人机交互最自然的方式,已经在多领域得到广泛应用。语音交互技术主要包括语音识别、语音合成和自然语言处理等[8],通过语音交互技术可将语音来电直接转换为文字,生成接警记录单,并实时跟踪接警处置情况。因此,本文将语音交互技术应用于矿山救护队应急救援管理系统,以提高矿山救护队的工作效率和应急接警的时效性。

1 应急救援管理系统

矿山救护队应急救援管理系统采用三层B/S体系结构,包括表示层、业务逻辑层和数据访问层[9-11]。表示层主要是为救护队用户提供友好的交互式操作界面,显示救护队的业务数据。业务逻辑层对用户输入信息进行分析处理,实现救护队所需要的具体业务逻辑。数据访问层实现对救护队静态数据和动态数据的操作和保存,为救护队的管理提供动态数据支持。B/S结构简单、灵活,具有良好的扩展性,且不需要安装客户端软件,系统升级维护时只需要更新服务器软件即可。该系统同时使用了SOA(Service-Oriented Architecture, 面向服务架构)和JavaEE技术,可以大幅度加快系统运行速度,增强系统稳定性。

根据《国家矿山应急救授队建设规范(征求意见稿)》要求和矿山救护队的业务需求,设计矿山救护队应急救援管理系统功能模块,如图1所示。

图1 矿山救护队应急救援管理系统功能模块
Fig.1 Function modules of emergency rescue management system for mine rescue team

系统主要实现了以下功能:

(1) 替代人工统计分析数据。系统可统计救护队人员、培训训练和物资装备等方面的数据,为救护队提供参考。用户可在移动端和计算机端同时使用系统,提高了救护队工作效率。

(2) 采用语音识别技术智能录入接警信息,快速生成接警记录单,供接警人员实时查看。收到接警通知后,用户可通过查看新增的接警记录单来了解事故详细信息。

(3) 使用语音合成技术将通知公告和待办提醒提前一周通过语音提醒用户,或直接以新闻形式推送给相应用户。

2 语音交互技术

2.1 语音识别技术

语音识别技术通过语音设备捕捉语音信号,经过一系列处理后,将语音信号转换为相应的文本或命令[12]。语音识别技术主要包括特征提取、模式匹配和参考模式库。首先对应急接警电话进行录音,并采用端点检测和语音增强方法对录音信息进行预处理。特征参数直接影响语音识别质量,梅尔频率倒谱的频带划分是在梅尔刻度上等距划分的,比其他对数倒谱频带更接近人类听觉系统,因此,对处理后的语音采用MFCC(Mel Frequency Cepstrum Coefficient, 梅尔频率倒谱系数法)进行特征向量提取,得到语音特征矩阵,并依次和语言模型里的模板进行相似度对比,将相似度最高者作为识别结果输出,最后返回文本信息。语音识别流程如图2所示。

图2 语音识别流程
Fig.2 Voice recognition flow

2.2 语音合成技术

语音合成技术将以其他方式存储的信息转换为语音[13],从听觉上实现人机交互。语音合成技术主要包括文本分析、韵律生成和声学模块。首先找到绑定的通知公告和待办提醒的文本,对要处理的文本进行分词、注音,输出音标序列。为了得到自然、可懂的语音输出,韵律生成模块需要对每个发音单元进行韵律调整,调整后的输出是包含韵律信息的音标序列。声学模块利用音标序列中的相应参数,选择合适的语音合成方法生成合成语音,读出文本信息。语音合成流程如图3所示。

图3 语音合成流程
Fig.3 Voice synthesis flow

3 语音交互技术在应急救援管理系统中的应用

应急救援管理系统采用Vue.js和element-UI框架实现前端界面设计,使用jFinal框架实现后台管理设计,并通过Service方法完成系统业务逻辑,采用MySQL数据库和VSCode和Eclipse开发环境。系统采用具有响应式布局的Bootstrap框架,能兼容移动端和计算机端,实现多客户端使用。

3.1 语音识别技术的实现

当应急电话接入时,点击“语音识别”按钮,语音通过录音盒子进入系统;采用recoder.js进行录音,对录音进行预处理并保存到本地计算机, 采用json方式上传音频文件;调用HTTP语音识别接口对语音进行识别,在系统页面的相应位置显示识别结果,以便与手工记录信息进行比对,减少漏记、错记等情况。系统根据识别结果提取关键字并和数据库中保存的数据进行比对,数据比对成功后填入相应文本框中,生成应急接警记录单,并保存到系统中供救护队员实时查看。

根据接警记录单生成派警记录单和空白的处置记录单。为了方便接警人员快速上传处置时间信息,在系统页面中设置了按钮,接警人员点击按钮即可完成时间上报。当接警人员接到调度中心的救援命令时,在手机应用程序上接收处置记录单,开启处置流程,同时根据接警人员信息生成处置记录单。当接警队伍出动时,在手机应用程序上点击“出动”按钮,系统自动记录该时间。同样,当队伍到达、处置完毕后点击“到达”“完毕”按钮,完成整个处理流程。通过手机实时上传处置状态,可确保系统能实时追踪处置过程。接警记录单生成过程如图4所示。救援人员登录系统后可以直接看到事故的相关信息,实时获取救护队救援状态,从而改变应急消息的传递手段,提高接警效率。

图4 接警记录单生成过程
Fig.4 Alarm record generation process

3.2 语音合成技术的实现

当有新的通知公告和待办提醒发布时,用户点击“语音朗读”按钮,系统创建语音合成播放器,使用POST请求方式并设置参数,利用html表单的方式将参数传递到服务端,获取语音合成服务器端口的响应,利用语音合成播放器播放。系统会根据救护队的业务需求对相关的通知公告和待办提醒进行推送,只要系统网页没有关闭,用户在做其他工作时也能及时收到消息。语音播报流程如图5所示。

图5 语音播报流程
Fig.5 Voice broadcast process

4 测试与应用

在实验室环境下,对矿山救护队应急救援管理系统的语音交互功能进行测试。使用计算机端的麦克风采集语音,测试共分为4组,每组50次,分别对煤矿事故的专有名词和事故地点及长句子(包括专有名词和事故地点)进行识别,识别结果统计见表1。从表1可知,平均识别率达90%以上,初步满足救护队使用需求。

表1 语音识别率统计结果
Table 1 Statistics results of voice recognition rate

测试组别语句正确识别数识别率/%第1组4794.0第2组4692.0第3组4590.0第4组4692.0统计18492.0

对语音合成功能进行50次测试,正确率为100%,可以达到正确朗读通知公告的效果。

对系统的有效性进行测试,分别采用手写、打字和语音识别方式录入接警信息,平均录入速度分别为0.65,0.80,2.00 字/s。语音识别方式录入速度明显比其他2种方式快。

矿山救护队应急救援管理系统已在陕西省榆林市陕北矿山救援基地投入使用,接警登记界面和派警记录单如图6和图7所示。在使用过程中,系统能正常稳定运行,提高了救护队的应急救援能力和工作效率。

图6 接警登记界面
Fig.6 Alarm record interface

图7 派警记录界面
Fig.7 Police dispatch record interface

5 结语

语音交互技术在矿山救护队应急救援管理系统中的应用改变了应急消息传递手段,实现了系统报警信息的智能录入和通知公告的语音播放等功能,使系统的操作更简便、更人性化,推动了应急救援管理工作与信息技术的有效结合,提高了救护队的管理水平和应急处置能力。通过矿山救护队应急救援管理系统能实时查看救护队的工作状态和相关信息,使救护队的管理更加有序化和智能化。测试结果表明,该系统的平均语音识别率为90%以上,语音合成正确率为100%,通过语音识别方式录入接警信息速度明显快于手写记录和打字方式。现场应用结果验证了该系统的有效性和稳定性。

参考文献(References):

[1] 邓军,李贝,李海涛,等.中国矿山应急救援体系建设现状及发展刍议[J].煤矿开采,2013,18(6):5-9.

DENG Jun,LI Bei,LI Haitao,et al.Construction status of Chinese mine emergency rescue system and development[J].Coal Mining Technology,2013,18(6):5-9.

[2] 张旭.浅析矿山应急救援体系建设现状及发展[J].科技创新与应用,2017(28):181-182.

ZHANG Xu.Analysis on the status quo and development of mine emergency rescue system construction[J].Technology Innovation and Application,2017(28):181-182.

[3] 陈细菊.浅谈我国矿山救护工作存在的问题及解决途径[J].煤矿安全,2009,40(2):103-105.

CHEN Xiju.Talking about the problems and solutions of mine rescue work in China [J].Safety in Coal Mines,2009,40(2):103-105.

[4] 李文峰,冯永明,唐善成.互联网+矿山应急救援技术研究[J].煤炭科学技术,2016,44(7):59-63.

LI Wenfeng,FENG Yongming,TANG Shancheng.Study on technology of Internet plus mine emergency rescue[J].Coal Science and Technology,2016,44(7):59-63.

[5] 刘永立,王海涛,孙维民,等.煤矿救援队伍业务管理系统研究[J].中国安全生产科学技术,2010,6(4):90-94.

LIU Yongli,WANG Haitao,SUN Weimin,et al.Research on business management system of mine rescue force[J].Journal of Safety Science and Technology,2010,6(4):90-94.

[6] 赵继军,李艳妮.基于WebGIS的煤矿应急救援管理系统设计与实现[J].煤炭工程,2015,47(5):21-23.

ZHAO Jijun,LI Yanni.Design and implementation of coal mine emergency management system based on WebGIS[J].Coal Engineering,2015,47(5):21-23.

[7] 吴兵,周立,张晓熙,等.基于.NET平台的煤矿应急救援信息管理系统研究[J].矿业安全与环保,2009,36(1):35-37.

WU Bing,ZHOU Li,ZHANG Xiaoxi,et al.Study of coal mine emergency rescue information management system based on .NET platform[J].Mining Safety & Environmental Protection,2009,36(1):35-37.

[8] 刘金媛,孟宪遵,丁海韬.改变移动互联网的新型人机交互技术[J].电信科学,2013,29(6):136-138.

LIU Jinyuan,MENG Xianzun,DING Haitao.Novel human-computer interaction technology to change mobile internet[J].Telecommunications Science,2013,29(6):136-138.

[9] 李春辉,李洪洲,吴勇,等.基于GIS的隧道坍塌救援管理系统的设计与开发[J].现代隧道技术,2018,55(4):59-63.

LI Chunhui,LI Hongzhou,WU Yong,et al.Design and development of a GIS-based management system for tunnel collapse rescue[J].Modern Tunnelling Technology,2018,55(4):59-63.

[10] 苏建锋,薄万举.地震应急装备信息管理系统的设计与实现[J].震灾防御技术,2017,12(2):383-391.

SU Jianfeng,BO Wanju.Design and realization of earthquake emergency equipment information management system[J].Technology for Earthquake Disaster Prevention,2017,12(2):383-391.

[11] 王华,崔振伟,陈勇.石化企业危险化学品管理系统设计与实现[J].化工进展,2018,37(7):2493-2499.

WANG Hua,CUI Zhenwei,CHEN Yong.Design and implementation for management system of hazardous chemicals in petrochemical enterprises[J].Chemical Industry and Engineering Progress,2018,37(7):2493-2499.

[12] 符斌,任鸿翔,彭修全.语音识别在船用三维罗经仿真系统中的应用[J].船海工程,2018,47(1):163-167.

FU Bin,REN Hongxiang,PENG Xiuquan.Application of speech recognition in the simulation system of marine 3D compass[J].Ship & Ocean Engineering,2018,47(1):163-167.

[13] 卢振利,田铠,徐惠钢,等.面向人机对抗赛的语音交互系统设计[J].高技术通讯,2017,27(5):457-463.

LU Zhenli,TIAN Kai,XU Huigang,et al.Design of a speech interaction system for man-machine confrontation[J].Chinese High Technology Letters,2017,27(5):457-463.

Application of voice interaction technology in emergency rescue management system for mine rescue team

LI Wenfeng1,LI Dajuan1,ZHANG Junhui2

(1.College of Communication and Information Engineering, Xi'an University of Science and Technology,Xi'an 710054, China; 2.Northern Shaanxi Mine Rescue Base, Shenmu 719300, China)

AbstractIn view of problems of poor real-time performance and interactivity of data input and backwardness of emergency response message transmission methods in existing emergency rescue management system for mine rescue team,voice interaction technology is applied to emergency rescue management system for mine rescue team to realize functions of intelligent information input of alarm information and voice autoplay of announcements.Voice recognition technology is used to intelligently input alarm information, quickly generate alarm record sheet, and track alarm handling situation in real time; voice synthesis technology is used to remind the user of announcements and to-do items by voice,so as to avoid work delay. The test results show that the average voice recognition rate of the system is more than 90%, and the voice synthesis accuracy rate is 100%,the speed of entering the alarm information by voice recognition is obviously faster than handwritten recording and typing. Field application results verify the effectiveness and stability of the system.

Key words:mine rescue team; emergency rescue; voice interaction technology; voice recognition; voice synthesis; intelligent input; voice autoplay

中图分类号:TD655

文献标志码:A

文章编号1671-251X(2019)11-0098-05

DOI:10.13272/j.issn.1671-251x.2019070033

收稿日期:2019-07-11;修回日期:2019-10-23;责任编辑:胡娴。

基金项目:国家重点研发计划项目(2017YFC0703204);陕西省科技统筹创新工程计划资助项目(2015KTCQ03-10)。

作者简介:李文峰(1969-),男,河南襄城人,教授,博士,主要研究方向为矿山应急通信,E-mail:liwenfeng@xust.edu.cn。

通信作者:李大娟(1991-),女,河南淮阳人,硕士研究生,主要研究方向为软件开发,E-mail:1964577952@qq.com。

引用格式:李文峰,李大娟,张军会.语音交互技术在矿山救护队应急救援管理系统中的应用[J].工矿自动化,2019,45(11):98-101.

LI Wenfeng,LI Dajuan,ZHANG Junhui.Application of voice interaction technology in emergency rescue management system for mine rescue team[J].Industry and Mine Automation,2019,45(11):98-101.