智能电网大数据实时流处理方法研究

发布时间：2017-10-16 16:13

  本文关键词：智能电网大数据实时流处理方法研究

  更多相关文章： 智能电网 大数据 流式处理 状态监测 异常检测

【摘要】：近年来,随着传感器测量技术、通信技术和计算机技术等在智能电网中的广泛使用,相量测量单元、电能采集、数据采集与监控等系统产生了以指数级增长的数据,渐渐呈现出数据量巨大、种类多等大数据的特点,如何快速地处理这些数据,是智能电网所面临的重大挑战。大数据技术在智能电网中的应用主要集中在海量数据的采集存储、分析挖掘与可视化等研究领域。目前,大数据处理技术可以分为批处理与流处理两种模式。批处理系统具有先存储后计算、数据的准确性和全面性要求高等特点。流处理系统往往不要求结果绝对精确,而注重对动态产生的数据进行实时计算并及时反馈结果。数据流处理的特殊性以及大数据处理的时效性等各种限制使得传统的实时处理技术已不能够满足需求,因此,大数据的流式处理成为了研究学者和工业界的关注热点。本文首先分析智能电网大数据的来源,针对电力大数据的数据量大、种类繁多与速度快等特点,指出状态监测与电能计量等数据逐渐构成了大规模数据流。数据流具有实时性、易失性、无序性、无限性等特征,数据流的价值会随时间的流逝而减少。结合大数据处理技术,给出一种智能电网大数据实时流处理框架,采用流式计算系统处理海量数据,通过采集系统节点监听数据源变化并实时收集数据,利用消息订阅模式对数据进行缓冲与计算,满足状态监测异常检测与异常用电分析等业务应用对数据流快速分析需要。流式数据的实时处理是一个连续计算的处理过程,本质上是一种连续微批处理技术,将批计算的处理窗口设置为小时级、分钟级或秒级。以状态监测数据流的异常检测为例,在Storm流式计算框架下实现滑动窗口处理拓扑,对时序流数据进行阈值判断,提高数据处理的实时性,为大数据处理技术在电网中应用提供了一种思路。实验结果表明,在集群规模一定的条件下,适当的改变工作进程数以及执行器线程的并发数设置,可以降低滑动窗口的处理延时,提高状态监测异常检测的实时处理效率。
【关键词】：智能电网 大数据 流式处理 状态监测 异常检测
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TM76;TP311.13
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 绪论10-15
• 1.1 课题研究的背景与意义10-11
• 1.2 国内外研究现状11-13
• 1.2.1 智能电网大数据研究现状11-12
• 1.2.2 数据流处理研究现状12-13
• 1.3 本文主要工作及内容安排13-15
• 第2章 大数据流式计算技术15-22
• 2.1 流式计算模型15
• 2.2 流式计算关键技术15-17
• 2.2.1 系统架构16
• 2.2.2 编程接口16
• 2.2.3 数据传输16-17
• 2.3 开源流式计算系统17-21
• 2.3.1 Spark系统17-18
• 2.3.2 S4系统18-19
• 2.3.3 Storm系统19-20
• 2.3.4 Samza系统20-21
• 2.4 流式计算典型应用场景21
• 2.5 本章小结21-22
• 第3章 智能电网大数据实时流处理框架22-28
• 3.1 大数据来源及特征分析22-24
• 3.1.1 智能电网中的大数据22-23
• 3.1.2 智能电网大数据的特点23-24
• 3.2 智能电网大数据分析24-25
• 3.2.1 大数据处理方式分析24
• 3.2.2 智能电网大数据分类处理分析24-25
• 3.3 实时流处理框架的设计25-27
• 3.4 本章小结27-28
• 第4章 状态监测数据流的异常检测方法28-37
• 4.1 状态监测的系统功能及异常检测28-29
• 4.1.1 状态监测系统功能28
• 4.1.2 状态监测的异常检测28-29
• 4.2 流式处理平台Storm29-31
• 4.2.1 Storm工作原理29-30
• 4.2.2 智能电网大数据流式处理平台选取30-31
• 4.3 时间滑动窗口原理31-32
• 4.3.1 时间滑动窗口概念31
• 4.3.2 状态监测异常检测的滑动窗口模型31-32
• 4.4 Storm框架下滑动窗口的拓扑实现32-36
• 4.4.1 滑动窗口拓扑实现过程32-33
• 4.4.2 状态监测数据流的并行处理过程33-36
• 4.5 本章小结36-37
• 第5章 实验测试及结果分析37-42
• 5.1 实验环境37-38
• 5.1.1 环境配置37
• 5.1.2 集群搭建37-38
• 5.2 实验测试数据38-39
• 5.3 平均处理延时测试39-41
• 5.3.1 Storm集群与单机对比测试39
• 5.3.2 不同集群节点数的平均处理延时测试39-40
• 5.3.3 不同进程并行度的平均处理延时测试40-41
• 5.3.4 不同组件并发数的平均处理延时测试41
• 5.4 本章小结41-42
• 第6章 结论与展望42-43
• 参考文献43-46
• 攻读硕士学位期间发表的论文及其它成果46-47
• 致谢47

【参考文献】

中国期刊全文数据库 前10条

1 严英杰;盛戈v，

本文编号：1043645