0 引言

2006年McKinsey&Company首次提出大数据概念[1]。经过十几年的发展，大数据从商业新概念发展成为新经济增长和企业战略的关键引擎，将对未来的科技与经济发展带来深远影响[2]。国务院印发的《促进大数据发展行动纲要》及《中华人民共和国国民经济和社会发展第十三个五年规划纲要》均明确指出中国要大力发展大数据、实施大数据战略。孙继平[3]、王海军等[4]分析了大数据在煤矿信息化和煤矿安全生产中的重要作用。煤炭大数据研究和应用将对煤炭行业提供新的发展途径和机遇。

1 煤炭大数据来源及特征

传统的煤炭数据包括煤矿企业管理信息系统数据库中存储的数据、纸质版信息、音视频图像等，多为单独的小范围异构数据。煤炭大数据包含这些传统数据及其相关和延伸的源数据，涵盖了煤矿企业生产经营整个生命周期中的所有数据及其发生的时间、空间关系。煤炭大数据来源可归纳为3个方面：

(1) 传统煤矿企业管理信息系统产生的日常经营数据。煤矿企业管理信息系统积累了大量采掘机运通、销售、安全、财务、经营、环境等数据，大多以表、图、音频、视频、日志等形式存储。

(2) 智慧矿山建设中应用感知技术和物联网技术[5]等获取的实时数据。该类数据包括生产过程中的综合自动化信息(如智能设备感知自控数据、机器运行参数等)、工程数字化信息(如井下各类监控监测、人员定位、采掘进尺、地质变化等数据)。

(3) 煤炭运营相关外部数据。其是指与煤矿企业生产经营活动相关的企业外部信息，如地质、煤炭分布、信用、金融、消费情况、能源政策、预测产品市场的宏观社会经济等数据。

煤炭大数据的主要特征体现在以下4个方面：

(1) 从煤矿企业信息化现状来看，信息化水平不一，信息孤岛严重，数据量大且难以集成。

(2) 从煤炭行业特点来看，煤炭生产多位于地下矿井，情况复杂，数据多样且复杂。

(3) 从感知设备采集数据情况来看，数据产生高速且真实。

(4) 从数据分析角度来看，煤炭大数据具有高价值和行业预测性。

2 煤炭大数据应用现状

(1) 煤矿企业数据量大，无法发挥价值。自物联网技术应用于煤炭生产各方面，各煤矿企业基础数据快速增长，但采集范围不全面，采集过程中存在数据缺失、劣质，标准不统一，缺少合理的数据分析模型[6]等问题，导致大部分煤矿企业的数据量剧增却无法充分利用。

(2) 煤炭行业数据散乱。行业协会或省煤炭工业厅等行业管理部门无法获得小粒度数据，统计到的各专业数据均为汇总数据，只具有统计效力，无法进行深度分析。另外，这些数据存在统计困难、疑似造假等问题，数据种类有限，无法达到大数据水平。

(3) 学者力图应用大数据攻取堡垒。中国多位学者已开始研究大数据对于解决煤炭重点问题的作用，如李飒[7]、孙继平[8]利用大数据进行安全管理和煤矿事故分析，罗波等[9]利用大数据甄别带式输送机故障，张科利等[10]提出利用大数据技术指导科学的煤炭开采，申琢等[11]分析设计了大数据展示方案。

(4) 部分组织、企业建立大数据中心。目前，中国已在小范围或分专业利用煤炭大数据，并展示出巨大潜力，如贵州省毕节地区设计应用了煤矿安全大数据生产监管联网平台[12]，神华集团有限责任公司通过建立大数据中心助力智能矿山建设[13]，兖矿集团有限公司拟建大数据中心示范工程[14]，山东省集中省内全部煤炭数据形成数据中心，2015年国内首个煤炭运销大数据平台在山西省太原市上线[15]。

3 煤炭大数据发展方向

3.1 煤炭大数据平台化发展

Gartner研究机构表示大数据是需要新处理模式才能发挥作用的信息资产。但从现状分析，煤炭大数据规模大、关联性强，但目前利用率极低，且缺乏统一指导和管理，难以发挥其核心作用。大数据平台是实现数据采集、存储、处理、分析等的综合载体，形成统一的IPO(Input-Processing-Output，输入-处理-输出)模式，承载着大数据全生命周期发展进程，为煤炭大数据应用提供了可靠支持。

(1) 大数据平台使数据行业化。煤炭大数据平台从煤炭行业出发，综合行业内各方面数据，进行统一挖掘分析，形成开放共享的行业知识。其不仅对煤炭大数据进行顶层设计、统一规划和标准化，避免重蹈覆辙、出现孤岛，而且可通过共享开放促进整个行业的发展。

(2) 大数据平台为行业数据提供数据“大中台”。通过煤炭大数据平台将煤矿企业产供销数据、矿井和设备实时数据等提取到统一的数据资源池并进行存储和管理，形成煤炭行业完整的数据共享体系，为煤矿企业数据管理提供方法与技术，为大数据利用提供数据保障。

(3) 大数据平台集技术与数据于一体，可全面进行数据挖掘。大数据存储模式可采用混合云存储方式，设置单独的技术管理中心，然后根据需求调取相应数据集，选择最佳的ETL(Extract Transform Load，抽取-转换-加载)处理方式和挖掘分析方法，实现全面、透彻的大数据分析。

(4) 大数据挖掘结果助力实现智慧化。通过对煤炭大数据进行挖掘分析，探索数据规律及相关性，可实现生产态势感知和安全预警、重大资产状态管理等，做到前期预防、实时控制、动态监测，助力智慧矿山建设；还可以预测市场煤炭需求供给趋势、政策变化走向、行业发展前景、附带产业投资情况，推动“智慧煤炭”早日实现。

(5) 协助政府部门进行更合理的调控。煤炭大数据平台的规范化数据采集工作，使统计部门的工作更能保质保量；预测结果可为国家制定能源政策提供数据依据，使政府部门更加科学、理性、有针对性地对煤炭行业发布指导文件，并提出更有效的经济调控手段。

(6) 实现煤炭行业数据开放共享，为相关科学研究和其他行业活动提供借鉴。煤炭大数据平台可有效促进煤炭行业数据的流通和共享，为相关科学研究和相关行业提供数据支持。

3.2 煤炭大数据平台建设阻力

(1) 信息孤岛存在，数据共享困难。煤矿企业之前建设的信息系统大多是业务驱动，彼此相互独立，各系统数据库格式不统一，导致信息与资源分散，异构性严重，横向不能共享，上下级间纵向贯通困难，数据无法交换。此外，管理信息化、综合自动化和工程数字化设备和系统之间不能联通，数据不能充分利用。

(2) 数据可用性低，数据质量差。随着信息化建设的不断推进，很多煤矿企业逐年增加了部分井下感知设备，每时每刻都在产生大量数据。但数据采集不全面、数据采集设备种类繁多、产生的数据繁杂、企业处理数据手段多样，导致数据形式各异、处理困难、可用性低。

(3) 数据安全性因素制约。煤炭在线数据越来越多，黑客犯罪的动机也愈加强烈，必须加强煤炭大数据网络安全建设。很多煤矿企业出于对大数据平台的安全性考虑，限制煤炭大数据平台发展。建立一套完整、全面的安全保障体系和安全中心，是煤炭大数据平台建设的基础。另外，煤炭大数据平台对数据存储的物理安全性、数据的多副本与容灾机制的高要求，使得大数据存储平台的资源管理至关重要。

(4) 缺乏煤炭大数据相关专业人才。大数据建设的每个环节都需要依靠专业人员完成，如数据标准体系制定、数据预处理、数据挖掘分析、数据可视化展示等，都需要一定的技术人员、行业研究人员、一线工作人员共同参与。目前，熟悉先进管理、大数据技术和煤炭数据特点的综合型人才十分稀少。

3.3 煤炭大数据平台建设建议

(1) 顶层设计，统筹规划。为避免之前孤岛严重、重复建设的问题，要站在行业角度统筹规划，可采用政府主导，协会、企业、科研院校多方参与的模式，共同建设。在管理上统筹规划，设置相应的大数据管理单元，明确规划和目标；技术上可使用可伸缩的混合云存储方式集成当前的独立系统，整合和共享全部数据，为孤立的业务系统提供统一的技术、数据支持，实现资源最大化利用。

(2) 完善煤炭数据标准体系和专业性数据模型。标准化是煤炭行业大数据平台建设的基本保障。研究制定有关煤炭数据的采集标准、传输标准、应用标准、统计标准、编码等基础标准、管理标准等是简化煤炭大数据处理过程的重要手段，标准先行是实现共享的必要途径。不同专业的数据采用相应的处理方法，完善煤炭各专业数据的处理模型和分析方法理论，为数据挖掘提供更有效的基础数据。

(3) 培养专业队伍。建设、挖掘和处理煤炭大数据，不可能依靠单一专业或单个企业就能完成，而是需要众多理论实践经验丰富的专家参与。培养专业队伍，为煤炭大数据平台建设提供人才支持，是煤炭大数据平台建设持续下去的动力所在。

(4) 科学合理地设计煤炭大数据平台框架。煤炭大数据平台化是大数据建设、利用的有效途径，设计科学合理的煤炭大数据平台框架，不仅能够为有效采集、管理、分析煤炭大数据提供保障，而且可为煤炭大数据未来发展(如数据交易等)提供数据和技术支持。

4 结语

煤炭大数据平台在煤炭行业的发展过程中发挥着非常重要的作用。随着各行业对大数据平台的不断建设与完善，煤炭行业也应结合自身行业特点，尽快建设煤炭大数据平台。此外，煤炭大数据平台的技术框架和关键技术、管理职能规划、数据管理模式等问题还应继续深入研究，为煤炭大数据平台运行提供良好的技术和管理保障。

参考文献(References)：

[1] McKinsey&Company.麦肯锡大数据指南[M].王霞,译.北京：机械工业出版社,2016.

[2] 李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊,2012,27(6):647-657.

LI Guojie, CHENG Xueqi. Research status and scientific thing of big data[J]. Chinese Academy of Sciences,2012,27(6):647-657.

[3] 孙继平.煤矿信息化自动化新技术与发展[J].煤炭科学技术,2016,44(1):19-23.

SUN Jiping. New technology and development of mine informatization and automation[J].Coal Science and Technology,2016,44(1):19-23.

[4] 王海军,武先利.“互联网+”时代煤矿大数据应用分析[J].煤炭科学技术,2016,44(2):139-143.

WANG Haijun, WU Xianli. Analysis on application of coal mine big data in age of 'Internet +' [J]. Coal Science and Technology,2016,44(2):139-143.

[5] 丁恩杰,施卫祖,张申,等.矿山物联网顶层设计[J].工矿自动化,2017,43(9):1-11.

DING Enjie, SHI Weizu, ZHANG Shen,et al.Top-down design of mine Internet of things[J].Industry and Mine Automation,2017,43(9):1-11.

[6] 徐计,王国胤,于洪.基于粒计算的大数据处理[J]. 计算机学报,2015,38(8):1497-1517.

XU Ji, WANG Guoyin, YU Hong. Review of big data processing based on granular computing[J]. Chinese Journal of Computers,2015,38(8): 1497-1517.

[7] 李飒.大数据挖掘技术在煤炭企业安全管理中的应用[J].煤炭技术,2016,35(3):323-324.

LI Sa. Application of big data mining technology in coal enterprise safety management[J]. Coal Technology,2016,35(3):323-324.

[8] 孙继平.煤矿事故分析与煤矿大数据和物联网[J].工矿自动化,2015,41(3):1-5.

SUN Jiping. Accident analysis and big data and Internet of things in coal mine[J].Industry and Mine Automation,2015,41(3):1-5.

[9] 罗波,张金锁,邢书宝.大数据煤矿胶带输送机速度状态评估模型设计[J].西安科技大学学报,2016,36(2):176-180.

LUO Bo, ZHANG Jinsuo, XING Shubao. Design of speed state evaluation model of coal mine belt conveyor based on big data[J].Journal of Xi'an University of Science and Technology,2016,36(2):176-180.

[10] 张科利,王建文,曹豪.互联网+煤矿开采大数据技术研究与实践[J].煤炭科学技术,2016,44(7):123-128.

ZHANG Keli, WANG Jianwen, CAO Hao. Study and practice on big data technology of Internet plus coal mining[J]. Coal Science and Technology, 2016,44(7):123-128.

[11] 申琢,谭章禄.基于数据挖掘的煤矿大数据可视化管理平台研究[J].中国煤炭,2016,42(12):86-89.

SHEN Zhuo, TAN Zhanglu. Research on big data visual management platform of coal mine based on data mining[J].China Coal,2016,42(12):86-89.

[12] 沈宇,王祺.基于大数据的煤矿安全监管联网平台设计与实现[J].矿业安全与环保,2016,43(6):21-24.

SHEN Yu,WANG Qi. Design and implementation of coal mine safety supervision networking platform based on big data[J]. Mining Safety & Environmental Protection,2016,43(6):21-24.

[13] 韩建国.神华智能矿山建设关键技术研发与示范[J].煤炭学报,2016,41(12):3181-3189.

HAN Jianguo. Key technology research and demonstration of intelligent mines in Shenhua Group[J].Journal of China Coal Society,2016,41(12):3181-3189.

[14] 杨林.兖矿集团煤矿工业大数据发展应用刍议[C]//第26届全国煤矿自动化与信息化学术会议暨第7届中国煤矿信息化与自动化高层论坛论文集,济南，2017:157-161.

[15] 邢云鹏.中国煤炭大数据平台上线[N].中国国土资源报,2015-06-20.