基于Hadoop的海量电能质量数据云计算平台研究

发布时间：2017-04-24 11:22

  本文关键词：基于Hadoop的海量电能质量数据云计算平台研究，，由笔耕文化传播整理发布。

【摘要】：随着科学技术的发展和国民经济的增长,对电能的需求量日益增加,同时电力用户对电能质量的要求也越来越高。为了提高电能质量,电能质量监测数据采集系统的监测数据采样频率需要明显提高,监测范围也将大大扩展,由此涌现出海量的电能质量监测数据。目前电力系统的电能质量的分析计算基于调度中心的集中式计算平台实现,面对大规模电能质量数据,其计算速度慢,任务执行效率低,分析结果存在严重滞后性。基于传统关系型数据库的数据管理难以满足其要求,或需付出高昂的成本代价实现。如何对海量电能质量数据进行可靠快速的处理成为电能质量分析中的重要问题。 本文通过对Hadoop计算框架和MapReduce并行编程模型等云计算关键技术进行研究,在现有的电能质量分析计算平台的基础上,结合Hadoop在海量数据存储和处理方面的优势,开展基于Hadoop的海量电能质量数据云计算平台设计和实现工作。在数据存储方面,通过对电能质量监测数据存储和处理特征分析,实现了基于HBase的大规模数据存储平台,具有可扩展性和高可靠性,同时结合面向列存储数据库HBase和关系数据库SQL Server各自的特点,分别存储不同类型的数据,不仅提升了平台性能,而且使平台可以较为方便地整合到现有的电能质量监测系统中,以增强现有系统；在数据处理方面,通过对现有的电能质量分析算法程序重构,实现了基于MapReduce的电能质量分析处理,并对基于MapReduce电能质量分析作业提出了一些配置参数优化方式,增强了分析处理过程并发性,提高了电能质量计算分析效率。此外,针对HDFS存在的单点故障问题,课题设计的平台增加了热备节点,实现了具有高可用性的存储系统。 在实验部分,对比现有传统方式电能质量分析处理,计算了不同时间段的电能质量稳态谐波指标,验证了基于Hadoop电能质量分析平台的正确性和优越性。
【关键词】：电能质量 海量数据 Hadoop MapReduce 云计算
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TM711;TP3
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-15
• 1.1 问题提出9-11
• 1.1.1 研究背景9-10
• 1.1.2 Hadoop在数据处理方面的优势10-11
• 1.2 研究现状11-12
• 1.2.1 Hadoop应用现状11-12
• 1.2.2 电力系统云计算平台研究现状12
• 1.3 主要研究内容12-13
• 1.4 论文结构13-15
• 第2章 Hadoop概述15-23
• 2.1 Hadoop应用现状简介15
• 2.2 HDFS分布式文件系统15-18
• 2.2.1 HDFS设计目标15-16
• 2.2.2 HDFS体系结构16-17
• 2.2.3 HDFS数据存储17
• 2.2.4 HDFS容错机制17-18
• 2.3 MapReduce计算模型18-20
• 2.3.1 MapReduce编程模型18
• 2.3.2 MapReduce体系结构18
• 2.3.3 MapReduce执行流程18-20
• 2.3.4 MapReduce容错机制20
• 2.4 HBase分布式数据库20-22
• 2.4.1 HBase简介20-21
• 2.4.2 HBase逻辑模型21-22
• 2.4.3 HBase物理模型22
• 2.5 本章小结22-23
• 第3章 电能质量数据云计算平台分析23-29
• 3.1 电能质量监测系统分析23-25
• 3.1.1 电能质量监测系统概述23-24
• 3.1.2 电能质量监测数据特征24
• 3.1.3 电能质量监测数据处理24-25
• 3.2 平台结构分析25-27
• 3.2.1 平台简介25
• 3.2.2 平台总体结构25-26
• 3.2.3 平台数据处理26-27
• 3.3 平台关键问题分析27-28
• 3.3.1 电能质量监测数据存储27
• 3.3.2 电能质量分析算法调用27
• 3.3.3 电能质量分析作业调度27-28
• 3.3.4 电能质量分析结果处理28
• 3.3.5 平台监测数据存储可靠性28
• 3.4 本章小结28-29
• 第4章 电能质量数据云计算平台设计与实现29-46
• 4.1 电能质量数据存储方案设计与实现29-37
• 4.1.1 电能质量监测数据存储29-30
• 4.1.2 电能质量分析结果存储30
• 4.1.3 监测数据存储HA方案30-32
• 4.1.4 平台集群环境关键配置32-37
• 4.2 电能质量数据处理方案设计与实现37-45
• 4.2.1 MapReduce作业输入输出37-38
• 4.2.2 电能质量分析算法38-39
• 4.2.3 电能质量监测数据预处理作业39-40
• 4.2.4 电能质量分析作业40-44
• 4.2.5 MapReduce作业优化44-45
• 4.3 本章小结45-46
• 第5章 实验与数据分析46-50
• 5.1 实验设计46
• 5.2 实验配置46
• 5.3 实验分析46-49
• 5.3.1 电能质量计算效率实验分析46-47
• 5.3.2 平台HDFS可靠性实验分析47-49
• 5.4 本章小结49-50
• 第6章 总结与展望50-52
• 参考文献52-55
• 攻读硕士学位期间发表的论文及其它成果55-56
• 致谢56

【参考文献】

中国期刊全文数据库 前3条

1 刘越;;云计算综述与移动云计算的应用研究[J];信息通信技术;2010年02期

2 王宪磊;;电能质量与在线监测方法研究[J];科技创新导报;2012年10期

3 王淑祥;马素霞;;基于Hadoop的海量电能质量监测数据分析平台研究[J];中国科技信息;2013年13期

  本文关键词：基于Hadoop的海量电能质量数据云计算平台研究，由笔耕文化传播整理发布。

本文编号：324125