基于Storm云平台的电网设备报警数据快速处理的研究

发布时间：2017-08-22 14:10

  本文关键词：基于Storm云平台的电网设备报警数据快速处理的研究

  更多相关文章： 电网监测 海量数据 分布式计算 Storm 实时处理

【摘要】：随着电力数据总量的急速增长,电力大数据时代已经来临,智能电网建设的逐步推进对数据处理的可靠性和实时性提出了更高要求。近年来云计算技术迅速发展,分布式处理平台不断涌现,为电力大数据的处理提供了切实可用的基础架构。Storm是分布式实时处理框架,具有实时响应能力强、可靠性高、可扩展性好等突出特点,开源以来得到广泛应用,为大规模电网数据的实时处理提供了新的研究思路。本文首先总结智能电网大规模数据处理的研究现状,重点分析在海量监测数据实时处理中面临的问题;随后对当前大数据处理平台进行总结,结合大规模报警数据快速响应的应用需求,选择基于Storm平台进行系统架构,展开相关研究工作。课题的关键是Storm集群环境的部署和原有业务向Storm平台的迁移。在Storm框架下,首先设计了基于近似熵算法的电网数据快速特征提取方案,将整个过程分为数据接入、数学计算、结果处理等阶段,在Storm框架的各组件中编程实现,通过数据流连通形成任务实体,提交到集群运行。之后基于DBSCAN算法进行电网监测数据流的聚类分析,实时高效的处理计算结果。此外,平台开展的工作还包括监测数据越限检查、数据筛选等。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量等优势,适合智能电网环境下大规模数据的实时处理。本课题为电力大数据背景下的实时处理探索了一种新的解决方案,是Storm平台应用于智能电网领域的一次有益尝试。
【关键词】：电网监测 海量数据 分布式计算 Storm 实时处理
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TM76
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-13
• 1.1 课题研究背景与意义9-10
• 1.2 智能电网发展现状10-11
• 1.2.1 国外智能电网研究与发展10-11
• 1.2.2 国内智能电网研究与发展11
• 1.3 论文研究内容11-12
• 1.4 论文的组织结构12
• 1.5 本章小结12-13
• 第2章 大数据处理平台13-20
• 2.1 引言13-14
• 2.2 批处理平台14-16
• 2.2.1 Hadoop14-15
• 2.2.2 Impala15
• 2.2.3 Spark15-16
• 2.3 流处理平台16-18
• 2.3.1 Twitter Storm16-17
• 2.3.2 Yahoo S417-18
• 2.4 电力大数据实时处理平台的选取18-19
• 2.5 本章小结19-20
• 第3章 Storm平台简介20-29
• 3.1 Storm平台架构20-21
• 3.2 Storm基本概念21-27
• 3.3 Storm并行模型27-28
• 3.4 本章小结28-29
• 第4章 Storm平台下的电网数据处理29-41
• 4.1 基于近似熵算法的电网数据特征提取29-35
• 4.1.1 近似熵理论29-30
• 4.1.2 Storm框架下近似熵算法的实现30-35
• 4.2 基于DBSCAN的电网数据实时聚类35-39
• 4.2.1 DBSCAN算法概述35-36
• 4.2.2 Storm框架下DBSCAN算法实现36-39
• 4.3 数据越限检查39-40
• 4.4 本章小结40-41
• 第5章 集群部署与性能分析41-50
• 5.1 Storm集群部署41-45
• 5.1.1 安装部署Storm外部依赖41-42
• 5.1.2 搭建Zookeeper集群42-43
• 5.1.3 安装Storm43-44
• 5.1.4 启动Storm各进程44-45
• 5.2 Storm集群吞吐能力分析45-47
• 5.3 数据处理延迟分析47-49
• 5.4 集群内存使用情况49
• 5.5 本章小结49-50
• 第6章 结论与展望50-51
• 参考文献51-54
• 攻读硕士学位期间发表的论文及其它成果54-55
• 致谢55

【相似文献】

中国硕士学位论文全文数据库 前4条

1 王铭坤;基于Storm云平台的电网设备报警数据快速处理的研究[D];华北电力大学;2015年

2 孙一品;入侵检测报警数据融合与关联技术研究[D];国防科学技术大学;2006年

3 杨晓君;入侵检测报警数据处理技术研究[D];哈尔滨理工大学;2009年

4 晏少华;网络入侵检测系统中报警数据融合技术研究[D];沈阳航空航天大学;2011年

，

本文编号：719568