基于Hadoop的矿山安全监控云平台任务调度优化方法研究

发布时间：2020-10-09 12:23

　　随着物联网技术应用于煤矿生产活动中,煤矿井下设置了大量的异构复杂传感器,这些传感器用于生产过程、安全环境、人员、设备等的实时监控,导致传感器采集到的监控数据呈现出指数级别的增长。为了指导安全生产,海量的煤矿安全监控数据需要进一步的挖掘和利用。传统的数据处理与存储技术已经不能满足矿山大数据的现实需求。而云计算技术具有的海量数据存储能力和分布式并行处理能力为矿山安全监控数据的存储和数据挖掘提供了强有力的技术支持。本文将Hadoop应用于煤矿安全监控系统之中,为了提高矿山海量数据挖掘的效率,从监控数据自身和云平台调度算法两个方面研究安全监控云平台的任务调度优化方法。本文主要开展如下工作:(1)对矿山物联网、Hadoop云平台及其资源调度算法进行了综述。(2)对煤矿安全监控系统架构进行了阐述,结合淮北矿业集团安全监控系统阐述了煤矿安全监控时间序列的采集与存储。为了提高数据挖掘的质量,需要对原始数据进行预处理。结合集团实际情况,对煤矿安全监控系统的数据采集与预处理技术进行介绍,针对经过压缩的煤矿安全监控数据,提出一种基于分段插值的数据解压缩方法,该方法对每两条数据记录的时间差进行分段,在每一段插入两条记录之间的随机值,有效地填补了缺失的数据;针对煤矿安全监控时间序列中存在的异常值等,提出了安全监控时间序列清理方法,该方法对数据中不同种类的异常值进行了清理,提高了数据质量。(3)矿山安全监控云平台是分布式的异构云平台,而Hadoop默认调度策略的同质化假设,无法根据集群节点的综合计算能力强弱动态调整其任务份额,可能导致优势节点资源浪费、劣势节点资源吃紧的问题;而且为所有任务分配的资源是统一规格的,可能导致出现大量的碎片资源,造成异构集群下Hadoop任务调度性能下降。针对这一问题,结合异构的矿山安全监控云平台,设计了一种基于相似度分析的自适应任务调度策略,该策略可以根据作业的实时运行情况以及节点计算能力的优劣,自适应调整任务的资源份额大小。实验证明,在异构集群下,优化的调度策略能够提高作业的执行效率,缩短作业的执行时间并且提高集群资源利用率。
【学位单位】：中国矿业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TD76
【部分图文】：

时间序列,瓦斯传感器,掘进工作面

图 3-4 掘进工作面瓦斯传感器的设置Figure3-4 Setting of Methane Transducer on Driving Face，煤矿企业都按照国家标准的要求安装并完善了煤矿测系统在井下设置了大量的传感器，可以采集本矿的示，以淮北矿业集团安全监测监控预警综合监管系统集团下属有 26 个煤矿，每个煤矿都安装配备了安全感器采集的数据传送上来之后，经过统一的瓦斯数据缩过程，形成了瓦斯监控时间序列，统一存储在数数据的集成。数据库又分为历史数据库和实时数据模式，在瓦斯历史数据库中选取大量的具有代表性的的瓦斯数据进行特征提取与识别，以此建立分类器要求。然后将此建立的分类器用到实时数据库中，实导决策预警。知识库分类器决策预警瓦斯预

测点,原始数据,传感器,分站

该测点表示的是 S518 工作面：“分站号”+“D”+“通道号”查表得知，该测点表示的是 S5）测点的定义格式为：“分站号”1 通道开出量测点，查表得知，该监控系统需要 24h 不间断运行产生一个安全监控文本文件，该据值以及测点的状态，文件名称测点状态”。时间戳是“年月日时传感器测点不同的状态，以模拟感器断线，“2”代表传感器调报警，“5”代表模拟量下限超限时 26 分 30 秒淮北矿业集团芦岭

曲线,瓦斯传感器,浓度曲线,工作面

7 Measuring Point Concentration Curve of Methane Transduc图 3-8 Ⅱ415 工作面温度传感器（032A16）曲线 Measuring Point Concentration Curve of Temperature Transd瓦斯测点出现了若干个在浓度 2%左右的“脉冲”调校，2%就是调校用的标准气样的浓度。另外由传感器性能产生干扰的各种因素，比如温度、煤尘输、存储和处理的过程中可能存在的传感器和传导致传感器出现断线或故障、局矿之间的通信中断

【参考文献】