留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Hadoop的煤矿数据中心架构设计

韩安

韩安.基于Hadoop的煤矿数据中心架构设计[J].工矿自动化,2019,45(8):60-64..  doi: 10.13272/j.issn.1671-251x.17436
引用本文: 韩安.基于Hadoop的煤矿数据中心架构设计[J].工矿自动化,2019,45(8):60-64..  doi: 10.13272/j.issn.1671-251x.17436
HAN An. Architecture design of coal mine data center based on Hadoop[J]. Industry and Mine Automation, 2019, 45(8): 60-64. doi: 10.13272/j.issn.1671-251x.17436
Citation: HAN An. Architecture design of coal mine data center based on Hadoop[J]. Industry and Mine Automation, 2019, 45(8): 60-64. doi: 10.13272/j.issn.1671-251x.17436

基于Hadoop的煤矿数据中心架构设计

doi: 10.13272/j.issn.1671-251x.17436
基金项目: 

天地科技股份有限公司科技创新创业资金专项项目(2018-TD-QN019)

天地(常州)自动化股份有限公司科研项目(2018GY117)

详细信息
  • 中图分类号: TD67

Architecture design of coal mine data center based on Hadoop

  • 摘要: 根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce、Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。

     

  • 加载中
计量
  • 文章访问数:  100
  • HTML全文浏览量:  3
  • PDF下载量:  13
  • 被引次数: 0
出版历程
  • 刊出日期:  2019-08-20

目录

    /

    返回文章
    返回