基于流计算的调度数据网监测平台的研究与实现
发布时间：2020-12-11 15:06
由于电力调度数据网出现任何网络故障都可能发生极度严重的事故,因此具有极高的可靠性及安全性的要求。与此同时随着电力大数据时代的到来,当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求。因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成。本文结合调度数据网网络的特点以及监测准确性及实时性的需求,研究了流计算相关的主要关键技术和实现网络监测的主要方法。主要成果是构建出一个基于流计算的数据处理分析平台,设计和实现了平台的整体框架和数据网异常监测模型,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成监测应用,构建基于机器学习的网络异常检测模型,提出基于DBSCAN聚类算法的网络异常划分和基于SVM分类算法的网络异常识别来对模型进行实现。通过实验测试和分析,结果证明了平台的可用性,同时通过实验与传统云计算和批量计算等传统计算方式对比,实验验证...
【文章来源】：中国科学院大学(中国科学院沈阳计算技术研究所)辽宁省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
流计算处理一般过程
第 2 章 相关技术综述下大数据领域最活跃的开源项目之一，拥有 Hadoop基于内存并行计算，且提供多种数据计算结果处理多性能和功能缺陷[30]。改善了海量数据批处理计算互查询等性能和功能缺陷，拥有可用性高易于使用和有快速处理数据能力。围绕着 Spark 推出了包括 SLlib,GraphX，Spark 的扩展组件[31]如图 2.2 所示：
单条记录组成的成本较高，Spark Streaming 首先将数据切据集，然后累积一批数据集后单独启动一个任务线程进行提高了 Spark Streaming 流式计算处理的吞吐量，Spark 框架支持非常多的数据输入源，如 Kafka、MQTT、Zer字、日志采集 Flume 等，所以使用范围非常广[32-33]。 Streaming 的工作原理和计算流程如下：Spark Streaming 接tch size 时间间隔将数据流划分为多段数据，而每段的连续然后交给 Spark 引擎处理这些数据，最终得到结果流从而rk Streaming 提供多种数据源支持，可以使用 kafka 等进行数的缓存和分发，对接入的数据流按批次创建 Dstream[34]。个时间段所对应的 RDD 的集合，每一段数据都转化成分布式数据集。然后将 Spark Streaming 中对 DStream 的操 RDD 的操作，对于 DStream 数据流的定义如图 2.3 所示
【参考文献】：
期刊论文
[1]基于Spark的密度聚类算法并行化研究[J]. 朱子龙,李玲娟. 计算机技术与发展. 2018(06)
[2]Spark Streaming框架下的气象自动站数据实时处理系统[J]. 赵文芳,刘旭林. 计算机应用. 2018(01)
[3]电力调度自动化系统中的人工智能技术应用[J]. 赵瑞君. 现代工业经济和信息化. 2017(21)
[4]自动化系统在电力调度中的应用现状和发展[J]. 郭大可. 电子技术与软件工程. 2017(22)
[5]电力调度数据网仿真建模及路由协议攻击影响[J]. 何剑峰,罗豫,李俊娥,刘剑,袁凯,吴亦贝,彭弼君,王宇飞. 武汉大学学报(理学版). 2017(02)
[6]内存计算技术研究综述[J]. 罗乐,刘轶,钱德沛. 软件学报. 2016(08)
[7]分布式实时流数据聚类算法及其基于Storm的实现[J]. 马可,李玲娟. 南京邮电大学学报(自然科学版). 2016(02)
[8]基于Spark的大规模网络流量准实时分类方法[J]. 杨晨光,马永征. 科研信息化技术与应用. 2016(02)
[9]一种基于Spark和聚类分析的辨识电力系统不良数据新方法[J]. 孟建良,刘德超. 电力系统保护与控制. 2016(03)
[10]基于Spark的空间数据实时访存技术的研究[J]. 方金云,刘羽,姚晓,陈翠婷,张梦菲,肖茁建,张广发. 地理信息世界. 2015(06)
博士论文
[1]基于Hadoop的网络流量分析系统的研究与应用[D]. 乔媛媛.北京邮电大学 2014
硕士论文
[1]面向铁路运维的大数据流式处理技术的研究与应用[D]. 陈润.北京交通大学 2017
[2]基于Spark平台的恶意流量监测分析系统[D]. 郭成林.北京交通大学 2016
[3]基于Spark平台的聚类算法的优化与实现[D]. 曹鹏.北京交通大学 2016
[4]木马和僵尸网络监测平台设计与实现[D]. 王楠.天津大学 2016
[5]基于权限分析与流量监控的恶意软件检测与防护机制研究[D]. 张帆.北京交通大学 2016
[6]Storm在电力大数据分析平台中的研究与应用[D]. 曾文静.华北电力大学(北京) 2016
[7]基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D]. 梁彦.中山大学 2014
[8]工业控制网络的异常检测与防御资源分配研究[D]. 王海凤.浙江大学 2014
[9]基于Storm的数据分析系统设计与实现[D]. 孙朝华.北京邮电大学 2014
[10]分布式流数据实时计算框架的研究和开发[D]. 顾伟.浙江理工大学 2013
本文编号：2910745
【文章来源】：中国科学院大学(中国科学院沈阳计算技术研究所)辽宁省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
流计算处理一般过程
第 2 章 相关技术综述下大数据领域最活跃的开源项目之一，拥有 Hadoop基于内存并行计算，且提供多种数据计算结果处理多性能和功能缺陷[30]。改善了海量数据批处理计算互查询等性能和功能缺陷，拥有可用性高易于使用和有快速处理数据能力。围绕着 Spark 推出了包括 SLlib,GraphX，Spark 的扩展组件[31]如图 2.2 所示：
单条记录组成的成本较高，Spark Streaming 首先将数据切据集，然后累积一批数据集后单独启动一个任务线程进行提高了 Spark Streaming 流式计算处理的吞吐量，Spark 框架支持非常多的数据输入源，如 Kafka、MQTT、Zer字、日志采集 Flume 等，所以使用范围非常广[32-33]。 Streaming 的工作原理和计算流程如下：Spark Streaming 接tch size 时间间隔将数据流划分为多段数据，而每段的连续然后交给 Spark 引擎处理这些数据，最终得到结果流从而rk Streaming 提供多种数据源支持，可以使用 kafka 等进行数的缓存和分发，对接入的数据流按批次创建 Dstream[34]。个时间段所对应的 RDD 的集合，每一段数据都转化成分布式数据集。然后将 Spark Streaming 中对 DStream 的操 RDD 的操作，对于 DStream 数据流的定义如图 2.3 所示
【参考文献】：
期刊论文
[1]基于Spark的密度聚类算法并行化研究[J]. 朱子龙,李玲娟. 计算机技术与发展. 2018(06)
[2]Spark Streaming框架下的气象自动站数据实时处理系统[J]. 赵文芳,刘旭林. 计算机应用. 2018(01)
[3]电力调度自动化系统中的人工智能技术应用[J]. 赵瑞君. 现代工业经济和信息化. 2017(21)
[4]自动化系统在电力调度中的应用现状和发展[J]. 郭大可. 电子技术与软件工程. 2017(22)
[5]电力调度数据网仿真建模及路由协议攻击影响[J]. 何剑峰,罗豫,李俊娥,刘剑,袁凯,吴亦贝,彭弼君,王宇飞. 武汉大学学报(理学版). 2017(02)
[6]内存计算技术研究综述[J]. 罗乐,刘轶,钱德沛. 软件学报. 2016(08)
[7]分布式实时流数据聚类算法及其基于Storm的实现[J]. 马可,李玲娟. 南京邮电大学学报(自然科学版). 2016(02)
[8]基于Spark的大规模网络流量准实时分类方法[J]. 杨晨光,马永征. 科研信息化技术与应用. 2016(02)
[9]一种基于Spark和聚类分析的辨识电力系统不良数据新方法[J]. 孟建良,刘德超. 电力系统保护与控制. 2016(03)
[10]基于Spark的空间数据实时访存技术的研究[J]. 方金云,刘羽,姚晓,陈翠婷,张梦菲,肖茁建,张广发. 地理信息世界. 2015(06)
博士论文
[1]基于Hadoop的网络流量分析系统的研究与应用[D]. 乔媛媛.北京邮电大学 2014
硕士论文
[1]面向铁路运维的大数据流式处理技术的研究与应用[D]. 陈润.北京交通大学 2017
[2]基于Spark平台的恶意流量监测分析系统[D]. 郭成林.北京交通大学 2016
[3]基于Spark平台的聚类算法的优化与实现[D]. 曹鹏.北京交通大学 2016
[4]木马和僵尸网络监测平台设计与实现[D]. 王楠.天津大学 2016
[5]基于权限分析与流量监控的恶意软件检测与防护机制研究[D]. 张帆.北京交通大学 2016
[6]Storm在电力大数据分析平台中的研究与应用[D]. 曾文静.华北电力大学(北京) 2016
[7]基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D]. 梁彦.中山大学 2014
[8]工业控制网络的异常检测与防御资源分配研究[D]. 王海凤.浙江大学 2014
[9]基于Storm的数据分析系统设计与实现[D]. 孙朝华.北京邮电大学 2014
[10]分布式流数据实时计算框架的研究和开发[D]. 顾伟.浙江理工大学 2013
本文编号：2910745
本文链接：https://www.wllwen.com/kejilunwen/dianlilw/2910745.html
教材专著
