留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于大数据技术的区域煤矿监管数据服务平台设计

孟光伟

孟光伟.基于大数据技术的区域煤矿监管数据服务平台设计[J].工矿自动化,2021,47(10):97-102..  doi: 10.13272/j.issn.1671-251x.2021030067
引用本文: 孟光伟.基于大数据技术的区域煤矿监管数据服务平台设计[J].工矿自动化,2021,47(10):97-102..  doi: 10.13272/j.issn.1671-251x.2021030067
MENG Guangwei. Design of a regional coal mine supervision data service platform based on big data technology[J]. Industry and Mine Automation, 2021, 47(10): 97-102. doi: 10.13272/j.issn.1671-251x.2021030067
Citation: MENG Guangwei. Design of a regional coal mine supervision data service platform based on big data technology[J]. Industry and Mine Automation, 2021, 47(10): 97-102. doi: 10.13272/j.issn.1671-251x.2021030067

基于大数据技术的区域煤矿监管数据服务平台设计

doi: 10.13272/j.issn.1671-251x.2021030067
基金项目: 

国家重点研发计划项目(2018YFC0808306)

详细信息
  • 中图分类号: TD67

Design of a regional coal mine supervision data service platform based on big data technology

  • 摘要: 针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队列,将区域内煤矿监测监控数据生成标准化Kafka数据体,批量上传至云平台Kafka集群;通过发布-订阅模式提供监测监控实时数据消费服务,减轻了网络传输开销,避免了联网数据多级上传和过滤带来的不利影响;采用Spark Structured Streaming计算引擎和Spark SQL进行数据实时计算和历史数据统计分析,通过集成的各类数据分析挖掘算法,为数据挖掘和预测预警提供支持;采用HBase列存储数据库实现海量历史数据的可靠存储,通过与HBase相关联的Hive数据仓库建立各类主题数据模型库,满足数据的多维关联分析需求;通过统一安全权限认证的数据订阅服务为各级监管机构提供所需的煤矿监测监控数据、统计分析数据和数据挖掘结果,将后台数据服务中心与前端监管监察业务系统解耦,通过数据服务为各级监管机构提供数据定制和消费服务,提高了数据利用效率。应用结果表明,平台可满足区域煤矿监测监控数据的存储、分析计算和数据共享需求。

     

  • 加载中
计量
  • 文章访问数:  430
  • HTML全文浏览量:  72
  • PDF下载量:  76
  • 被引次数: 0
出版历程
  • 刊出日期:  2021-10-20

目录

    /

    返回文章
    返回