分布式光纤传感监测大数据的存储、管理与处理系统研究

发布时间：2020-09-29 09:42

　　针对输电线缆由于风舞和外力拉扯破坏而产生的故障以及石油、天然气的长距离运输管道中存在的恶劣油气偷盗等问题,需要对电力线缆、输气管道状态进行安全监测以减少经济损失避免产生不必要的社会危害。分布式光纤传感在实时安全监测上具有巨大优势,然而全天候、全分布的监测应用必将带来海量的监测数据,这给监测数据的存储、查询访问和处理带来了前所未有的挑战。本文基于电力线缆安全监测以及管道安全监测应用需求,分别利用分布式系统基础架构Hadoop下的HDFS和HBase实现分布式光纤传感大数据可靠性存储和实时查询访问,利用Spark技术对监测大数据进行高效统计分析,从而判断电力线缆是否存在风舞异常,应用Spark ML机器学习组件于管道扰动状态的分类,通过实验对比了传统方法和本文所提出方案的性能,验证了方案的高效性。本文主要完成以下几个方面的工作:(1)分析了应用大数据技术解决分布式光纤传感电力线缆和管道安全监测中存在的问题的现状以及意义。(2)综合考虑分布式光纤传感数据以及大数据处理技术的特点,构建了分布式光纤传感大数据存储、管理和处理的整体框架,采用数据采集层、数据存储管理层、数据处理层三层体系架构;并结合实际应用场景搭建Cloudera大数据集群。(3)在数据存储管理层,基于HDFS设计了光纤传感监测大数据的高可靠性快速存储方案,并通过写入/读取(I/O)实验验证了该方案具有高吞吐、快速存储的优势;基于HBase设计了光纤传感监测大数据的实时查询方案,通过实验验证了查询速度在“秒”级。(4)针对统计分析的数据处理,在分布式光纤传感电力线缆安全监测领域,分别利用MapReduce和Spark对光纤传感系统采集到的原始数据进行数据预处理、特征提取,从而判断风舞异常的有无,并通过实验比较Spark、MapReduce和单机的数据处理性能,Spark速率可以达到MapReduce的10多倍,是单机的30倍。(5)针对复杂迭代计算的数据处理,在分布式光纤传感管道安全监测领域,设计了数据预处理和特征提取的方法,构建了基于Spark ML的决策树、随机森林、支持向量积、XGBoost多种分类算法的管道扰动模式识别方案,通过实验获得预测精度,并对比Spark与单机在机器学习上的速率,实验数据显示Spark速度是单机处理的50倍。
【学位单位】：电子科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TM75;TP311.13;TP212.9
【文章目录】：
摘要
abstract
第一章绪论
    1.1 课题背景及研究意义
    1.2 国内外研究现状
        1.2.1 分布式光纤传感应用研究现状
        1.2.2 光纤传感监测大数据研究现状
    1.3 本文研究内容和结构安排
        1.3.1 主要研究内容
        1.3.2 章节内容安排
第二章大数据处理技术
    2.1 大数据的概念和特点
    2.2 Hadoop大数据处理技术
        2.2.1 Hadoop分布式文件系统HDFS
        2.2.2 Hadoop并行计算框架MapReduce
        2.2.3 分布式列式存储数据库HBase
    2.3 Spark大数据处理技术
        2.3.1 Spark软件栈
        2.3.2 数据在RDD、DataFrame中的分布式存储
        2.3.3 Spark MLlib和 ML
    2.4 本章小结
第三章分布式光纤传感大数据管理平台搭建及存储方法研究
    3.1 分布式光纤传感监测大数据来源和特点
        3.1.1 基于P-OTDR的线缆风舞、外力破坏监测
        3.1.2 基于Φ-OTDR的管道扰动监测
        3.1.3 分布式光纤传感监测大数据的特点
    3.2 分布式光纤传感监测大数据存储、管理和处理整体框架设计
    3.3 分布式高可用集群设计与搭建
    3.4 光纤传感大数据HDFS持久化存储系统设计
        3.4.1 HDFS存储设计
        3.4.2 基于HDFS存储实验
    3.5 光纤传感大数据HBase实时交互查询数据库设计
        3.5.1 HBase存储设计
        3.5.2 基于HBase的存储实验
    3.6 本章小结
第四章电力线缆监测中的光纤传感大数据处理方法及应用
    4.1 分布式光纤传感电力线缆安全监测大数据处理流程
    4.2 电力线缆风舞监测数据预处理方法
        4.2.1 一阶差分处理
        4.2.2 小波包去噪处理
    4.3 电力线缆风舞监测数据特征选择与提取方法
    4.4 光纤传感电力线缆监测数据的Spark、MapReduce处理方法设计
        4.4.1 基于Spark的数据处理设计
        4.4.2 基于MapReduce的数据处理设计
    4.5 实验结果及分析
        4.5.1 Spark、MapReduce以及单机数据统计计算处理性能对比
        4.5.2 基于相关特征的异常判断
    4.6 本章小结
第五章埋地输油管道安全监测大数据处理方法及应用
    5.1 分布式光纤传感管道安全监测大数据处理流程
    5.2 管道监测数据预处理方法
    5.3 管道监测数据特征提取方法
    5.4 基于Spark ML的光纤传感输油管道监测信号的事件分类设计
        5.4.1 Spark ML机器学习
        5.4.2 基于Spark ML的管道安全监测分类预测设计
    5.5 实验结果与分析
    5.6 本章小结
第六章总结与展望
    6.1 全文总结
    6.2 后续工作展望
致谢
参考文献
攻读硕士学位期间取得的成果

【参考文献】