大数据分析在智能变电站状态监测系统中的应用研究

发布时间：2017-08-06 10:18

  本文关键词：大数据分析在智能变电站状态监测系统中的应用研究

  更多相关文章： 状态监测 大数据 联机分析 数据模型 层次编码

【摘要】：随着云计算、大数据处理等相关领域技术以及状态监测技术本身的迅猛发展,在智能变电站状态监测中得到广泛地应用。变电设备状态监测数据量呈现指数级增长,给传统的变电设备状态监测数据平台的存储、管理与分析能力带来了极大的挑战,而现有硬件所提供的计算和存储能力已难以适应未来电力企业数据存储优化与并行处理的要求。将大数据分析技术融入到变电设备状态监测中,可以提高状态监测数据的利用率、信息共享与数据分析能力。本文首先结合电力系统业务发展需求,给出了一种传统变电设备状态监测平台的架构方案。然后,鉴于传统状态监测平台存储性能差、分析效率低等问题,设计了一种大数据环境下变电设备状态监测数据平台,提出了基于Hive的关系型联机分析(ROLAP)、基于Impala的关系型联机分析(ROLAP)和基于HBase的多维联机分析(MOLAP)三种分布式数据分析方案。同时,设计了基于Hive的分布式ROLAP星型模型及状态监测平台的工作流程。常规数据模型涉及大量的维表和事实表之间的映射运算,导致数据分析的响应速度慢、开销大等问题。针对该问题,本文提出一种基于无连接层次编码的变电设备状态监测数据模型,该模型把维表的层次信息进行编码,压缩至事实表中,减少大量连接操作,以优化其性能。由于Hadoop平台具有易扩展、可靠性高、高效的设备利用率等特点,本文利用Hadoop分布式集群搭建变电设备状态监测实验平台,采用Hive和Impala等大数据分析工具,在不同规模监测数据集上对本模型的监测数据加载、上卷操作、存储开销等方面进行实验测试。实验结果表明,数据加载速度慢于常规模型,但上卷执行性能与存储开销均优于常规数模模型。通过实验验证了本模型的有效性与可行性,本模型能够解决分布式ROLAP大量繁琐的表之间的连接操作,从而更加适合在大规模、分布式集群上执行大数据分析,给变电设备状态监测大数据分析带来一种新的思路。
【关键词】：状态监测 大数据 联机分析 数据模型 层次编码
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TM63;TM76;TP311.13
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 绪论10-15
• 1.1 课题研究的背景和意义10-11
• 1.2 国内外研究现状11-13
• 1.2.1 变电设备状态监测数据分析研究现状11-12
• 1.2.2 大数据分析技术研究现状12
• 1.2.3 变电设备状态监测大数据分析的研究12-13
• 1.3 本文主要工作及内容安排13-15
• 第2章 大数据分析技术的研究15-25
• 2.1 大数据处理技术15-16
• 2.2 Hadoop16-19
• 2.2.1 Hadoop概述16
• 2.2.2 HDFS16-17
• 2.2.3 MapReduce17-18
• 2.2.4 Hadoop YARN18-19
• 2.2.5 Sqoop19
• 2.3 分布式OLAP技术19-24
• 2.3.1 分布式OLAP技术分析19-20
• 2.3.2 Hive20-22
• 2.3.3 Impala22-23
• 2.3.4 Hive与Impala的分析比较23-24
• 2.4 本章小结24-25
• 第3章 变电设备状态监测大数据分析平台的设计25-29
• 3.1 传统变电设备状态监测平台架构25-27
• 3.2 大数据下变电设备状态监测平台的设计27-28
• 3.3 本章小结28-29
• 第4章 基于无连接层次编码的变电设备状态监测数据模型29-38
• 4.1 常规数据模型29-33
• 4.1.1 基于Hive的分布式ROLAP星型模型30-31
• 4.1.2 基于Hive智能变电站状态监测数据的工作流程31-33
• 4.2 无连接层次编码模型33-35
• 4.3 基于NJLS的变电设备状态监测数据模型35-37
• 4.4 模型性能分析37
• 4.5 本章小结37-38
• 第5章 实验测试与分析38-45
• 5.1 实验平台的搭建38-39
• 5.2 监测数据准备39-40
• 5.3 监测数据加载40-41
• 5.4 分析操作41-42
• 5.5 存储开销42-43
• 5.6 实验结果分析43-44
• 5.7 本章小结44-45
• 第6章 总结与展望45-46
• 参考文献46-50
• 攻读硕士学位期间发表的论文及其它成果50-51
• 致谢51

【参考文献】

中国期刊全文数据库 前10条

1 王德文;孙志伟;;电力用户侧大数据分析与并行负荷预测[J];中国电机工程学报;2015年03期

2 严英杰;盛戈v，

本文编号：629440