基于云服务的煤矿水害监测大数据智能预警平台构建
发布时间：2021-08-10 11:27
针对华北型煤田煤层底板突水监测预警问题,以底板"下三带"理论为基础,开展了微震-电法耦合系统水害监测预警。在分析微震-电法耦合系统监测数据基础上,采用Flume设计数据迁移子系统,以流处理方式对监测源数据进行预处理,对关键目标数据进行采集、聚合和传输,实现了有效监测数据的实时迁移。此外,针对煤矿水害多源监测预警过程中数据规模大、数据实时处理要求高等特点,结合多源异构数据关联分析和时空属性数据分析处理需求,基于Spark和HDFS设计实现了具备TB级数据存储处理能力的煤矿水害多源监测大数据存储平台。该平台采用HDFS设计构建统一的多源时序大数据存储体系,通过MapReduce实现大数据并行处理,利用YARN实现资源的调度与管理,为海量数据存储提供支撑。平台采用Spark Streaming框架搭建了数据实时处理中心,通过流处理方式实现监测数据高速处理,并通过智能预警算法模块和远程服务接口为预警系统现场应用提供支撑。在智能预警技术方面,结合监测数据的时空属性特点,提出了基于深度学习时空序列预测方法——长短时记忆循环网络智能预警模型的底板突水模型预警技术。该预警技术基于LSTM方法,以"下三...
【文章来源】：煤炭学报. 2020,45(07)北大核心EICSCD
【文章页数】：9 页
【部分图文】：
基于“下三带”理论的煤层底板水害综合监测示意
数据迁移子系统基于Flume系统设计实现，以流处理方式对源数据进行筛选整理，对关键数据进行采集、聚合，并通过互联网将数据实时传输至大数据处理中心，实现监测数据的实时迁移。在数据迁移传输过程中，并不需要把所有采集到的数据都迁移到数据池中，而是通过重新选择和整理分类后将所需数据迁移到数据池中[16]。数据迁移的原理如图2所示。Flume是一个海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据。Flume以流方式处理数据，可作为代理持续运行。当新的数据可用时，Flume能够立即获取数据并输出至目标，解决数据迁移的实时性问题[17]。Flume的核心是Agent，里面包含3个核心的组件:接受数据输入的source、数据缓存channel和数据输出sink。source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据;source组件收集数据后，将数据发送给channel;channel组件用来存放临时数据，对采集到的数据进行简单缓存;sink组件将数据发送到HDFS中。
根据煤矿水害多源监测数据的存储、数据特点以及预警应用的具体需求，笔者采用HDFS对监测数据进行存储设计，提出基于Spark和HDFS的煤矿水害多源监测大数据存储平台架构，主要由数据迁移存储层、数据处理层和业务应用层组成。平台具有数据管理与分布式存储功能，并包括矿井水害监测预警的业务处理数据接口、资源管理子系统和运行调度子系统等，为处理TB级大规模的数据存储问题提供了有效的解决方案。此外，还包括信息综合查询子系统、任务负载管理子系统、资源搜索子系统、用户管理子系统和平台监控子系统。向上是基于Web的云服务，通过基于互联网的云API(Application Programming Interface，应用程序接口)，使布设在煤矿监测主机上的预警系统应用端能够远程调用大数据中心的分布式计算机资源、大容量数据存储和智能预警算法库，为现场实时智能预警提供支撑。综合数据管理作为支持系统，支持整个平台的业务运行。大数据处理与分布式存储系统则通过一定的网络架构及传输协议将多源数据整合起来，如图3所示。其中数据处理层基于Hadoop平台设计，采用HDFS设计构建统一的多源时序大数据存储体系，通过MapReduce实现大数据并行处理，同时，通过YARN实现资源的调度与管理，为海量数据存储提供支撑[20]。实时处理中心采用具有较强容错能力的Spark Streaming框架搭建，通过流处理方式读取HDFS中的监测数据，实现监测数据高速处理。
【参考文献】：
期刊论文
[1]煤层底板水害三维监测与智能预警系统研究[J]. 靳德武,赵春虎,段建华,乔伟,鲁晶津,李鹏,周振方,李德山. 煤炭学报. 2020(06)
[2]深部底板奥灰薄灰突水机理及全时空防治技术[J]. 尹尚先,王屹,尹慧超,徐斌,王铁记,杨俊文,田午子,徐维,曹敏. 煤炭学报. 2020(05)
[3]煤炭智能精准开采工作面地质模型梯级构建及其关键技术[J]. 程建远,朱梦博,王云宏,岳辉,崔伟雄. 煤炭学报. 2019(08)
[4]随采地震监测数据采集控制软件开发[J]. 段建华,王云宏,王保利. 煤田地质与勘探. 2019(03)
[5]含水煤层水害形成机理及防治技术[J]. 王皓. 煤田地质与勘探. 2019(03)
[6]华北型煤田奥灰顶部利用与改造判别准则及底板破坏深度[J]. 董书宁,王皓,张文忠. 煤炭学报. 2019(07)
[7]煤矿防治水智能化技术与装备研究现状及展望[J]. 靳德武,乔伟,李鹏,樊娟. 煤炭科学技术. 2019(03)
[8]基于云平台的矿井水害智慧应急救援系统与应用[J]. 武强,徐华,赵颖旺,杜沅泽,张小燕,穆文平,姚义. 煤炭学报. 2018(10)
[9]智慧矿山建设架构体系及其关键技术[J]. 陈晓晶,何敏. 煤炭科学技术. 2018(02)
[10]基于LSTM循环神经网络的故障时间序列预测[J]. 王鑫,吴际,刘超,杨海燕,杜艳丽,牛文生. 北京航空航天大学学报. 2018(04)
本文编号：3333977
【文章来源】：煤炭学报. 2020,45(07)北大核心EICSCD
【文章页数】：9 页
【部分图文】：
基于“下三带”理论的煤层底板水害综合监测示意
数据迁移子系统基于Flume系统设计实现，以流处理方式对源数据进行筛选整理，对关键数据进行采集、聚合，并通过互联网将数据实时传输至大数据处理中心，实现监测数据的实时迁移。在数据迁移传输过程中，并不需要把所有采集到的数据都迁移到数据池中，而是通过重新选择和整理分类后将所需数据迁移到数据池中[16]。数据迁移的原理如图2所示。Flume是一个海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据。Flume以流方式处理数据，可作为代理持续运行。当新的数据可用时，Flume能够立即获取数据并输出至目标，解决数据迁移的实时性问题[17]。Flume的核心是Agent，里面包含3个核心的组件:接受数据输入的source、数据缓存channel和数据输出sink。source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据;source组件收集数据后，将数据发送给channel;channel组件用来存放临时数据，对采集到的数据进行简单缓存;sink组件将数据发送到HDFS中。
根据煤矿水害多源监测数据的存储、数据特点以及预警应用的具体需求，笔者采用HDFS对监测数据进行存储设计，提出基于Spark和HDFS的煤矿水害多源监测大数据存储平台架构，主要由数据迁移存储层、数据处理层和业务应用层组成。平台具有数据管理与分布式存储功能，并包括矿井水害监测预警的业务处理数据接口、资源管理子系统和运行调度子系统等，为处理TB级大规模的数据存储问题提供了有效的解决方案。此外，还包括信息综合查询子系统、任务负载管理子系统、资源搜索子系统、用户管理子系统和平台监控子系统。向上是基于Web的云服务，通过基于互联网的云API(Application Programming Interface，应用程序接口)，使布设在煤矿监测主机上的预警系统应用端能够远程调用大数据中心的分布式计算机资源、大容量数据存储和智能预警算法库，为现场实时智能预警提供支撑。综合数据管理作为支持系统，支持整个平台的业务运行。大数据处理与分布式存储系统则通过一定的网络架构及传输协议将多源数据整合起来，如图3所示。其中数据处理层基于Hadoop平台设计，采用HDFS设计构建统一的多源时序大数据存储体系，通过MapReduce实现大数据并行处理，同时，通过YARN实现资源的调度与管理，为海量数据存储提供支撑[20]。实时处理中心采用具有较强容错能力的Spark Streaming框架搭建，通过流处理方式读取HDFS中的监测数据，实现监测数据高速处理。
【参考文献】：
期刊论文
[1]煤层底板水害三维监测与智能预警系统研究[J]. 靳德武,赵春虎,段建华,乔伟,鲁晶津,李鹏,周振方,李德山. 煤炭学报. 2020(06)
[2]深部底板奥灰薄灰突水机理及全时空防治技术[J]. 尹尚先,王屹,尹慧超,徐斌,王铁记,杨俊文,田午子,徐维,曹敏. 煤炭学报. 2020(05)
[3]煤炭智能精准开采工作面地质模型梯级构建及其关键技术[J]. 程建远,朱梦博,王云宏,岳辉,崔伟雄. 煤炭学报. 2019(08)
[4]随采地震监测数据采集控制软件开发[J]. 段建华,王云宏,王保利. 煤田地质与勘探. 2019(03)
[5]含水煤层水害形成机理及防治技术[J]. 王皓. 煤田地质与勘探. 2019(03)
[6]华北型煤田奥灰顶部利用与改造判别准则及底板破坏深度[J]. 董书宁,王皓,张文忠. 煤炭学报. 2019(07)
[7]煤矿防治水智能化技术与装备研究现状及展望[J]. 靳德武,乔伟,李鹏,樊娟. 煤炭科学技术. 2019(03)
[8]基于云平台的矿井水害智慧应急救援系统与应用[J]. 武强,徐华,赵颖旺,杜沅泽,张小燕,穆文平,姚义. 煤炭学报. 2018(10)
[9]智慧矿山建设架构体系及其关键技术[J]. 陈晓晶,何敏. 煤炭科学技术. 2018(02)
[10]基于LSTM循环神经网络的故障时间序列预测[J]. 王鑫,吴际,刘超,杨海燕,杜艳丽,牛文生. 北京航空航天大学学报. 2018(04)
本文编号：3333977
本文链接：https://www.wllwen.com/kejilunwen/anquangongcheng/3333977.html
