基于Storm框架的电网设备监测大数据并行分析

发布时间：2020-05-17 21:42

【摘要】：随着智能电网的不断快速推进,电力系统已经迈入了“大数据”时代。各种电网设备的监测数据被送达监测中心,形成了海量电网流式数据,需要对其进行快速处理。传统的单机处理方式在面对海量电网流式数据时,存在实时响应能力差、可靠性低等问题,而当前云计算技术在各行各业的广泛应用为电力行业大数据的处理提供了新思路。云计算技术中的Storm流数据处理框架,具有高吞吐量、实时性强等特点,满足电力系统实时持续监测数据的处理。本文基于大数据Storm分布式计算框架对电网设备状态监测数据的并行分析与诊断进行研究。引入相关向量机算法,设计了相关向量机“一对一”算法基于Storm框架的并行化实现方案。该方案分为建立模型和分类测试两个模块。建立模型模块完成初始化模型的建立及增量更新,分类测试模块实现对海量电网流数据的实时快速诊断处理。依据Storm有很强的增量计算优势以及为了应对电网流数据的概念漂移现象,添加了增量学习方法。通过对比实验,验证了所设计的方案具有更高的分类准确率和更好的时效性。对部署在Storm平台上的算法模型进行性能测试,验证了Storm集群具有高吞吐量、低延迟,能够满足大规模电网设备海量监测流数据的在线实时处理。引入K最近邻算法,设计实现了基于Storm框架的并行化K最近邻算法Storm-KNN(S-KNN),完成电网设备海量监测流数据的快速分类与诊断。首先将已知样本集随机平均分块,然后并行计算未知样本与每块已知样本的相似度,得到每块的K个最近邻相似度,最后采用分半比较的并行化方式,汇总得到最终K个最近邻相似度,实现未知样本的分类识别。通过实验结果表明,集群环境下并行KNN算法性能优势较好,能够满足当前实际工程需求。
【图文】：

华北电力大学硕士学位论文Storm 架构orm 集群采用主从结构，由一个主控节点 Nimbus (Master Node) 和工作节点）Supervisor (Worker Node) 组成。主控节点 Nimbus 主要码分发到所需的各个工作节点、计算任务的分配及监控集群的运点 Supervisor 主要负责监听分配给它所在机器的工作，即根据主s 分配的任务来决定启动或停止 worker 进程。Storm 集群架构与执-1。

图 2-2 Stream 结构图(3) 拓扑(Topology)在 Storm 框架中，实时计算任务被抽象成 Topology 结构，如图 2-3。Topolo Storm 中最重要的抽象，是一个有向无环图，被提交到 Storm 集群上执行。Sto行任务的方式与 Hadoop 类似，但两者的不同是 MapReduce 最终会完成计算束执行，而 Topology 是持续处理消息直到人为终止。Topology 中有两种组件别是 Spout 和 Bolt。Topology 结构中的每一个组件都是并行运行的，可以设个组件的并行度，，Storm 会在集群中分配给其相应的资源。Spout 和 Bolt、B Bolt 之间通过 Stream 连接，它们之间是订阅的方式。当 Spout 或者 Bolt 发uple 时，它会把 Tuple 发送到每个订阅了该 Stream 的 Bolt 上进行处理。
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TM76;TP311.13

【相似文献】

相关期刊论文 前10条

1 田鑫;靳晓凌;韩新阳;于汀;;典型电网工程投资成效监管重点及趋势[J];中国电力企业管理;2019年28期

2 ;国家加大对内蒙风电送出电网工程投资[J];水利水电工程造价;2011年04期

3 李勇伟;;加强矿山电网工程环保规划设计的探讨[J];中国金属通报;2018年12期

4 张亚平;陈颖;;电网工程数据治理与应用[J];中国电力企业管理;2017年36期

5 李勇;李小云;陆雯林;雷川丽;;电网工程指标评审及实现分析[J];科技创新与应用;2018年05期

6 王健;;电网工程可研评审要点分析[J];贵州电力技术;2016年11期

7 黄凭;王允龙;张璐;;中国电建江西院电网工程公司输电结构部:让青春建功融入电建事业[J];中国电力企业管理;2017年15期

8 刘晓佳;;电网工程技经评审发展趋势探究[J];科技与企业;2015年23期

9 陆贤邦;;以精细化管理为主导的电网工程项目建设质量提升分析[J];科技展望;2016年11期

10 李建青;刘丽;殷敏;方天睿;;基于灰色关联度分析的营改增对电网工程造价管理的影响[J];今日财富;2016年16期

相关会议论文 前10条

1 闫军;郭向伟;戴巍;刘俊岭;燕博;;以保障电网建设顺利实施为核心的新型前期工作综合管理方式[A];2017年中国电力企业管理创新实践——2017年度中国电力企业管理创新实践优秀论文大赛论文集（下册）[C];2018年

2 姚普及;;陕送公司全面预算管理体系的构建与优化[A];电力行业优秀管理论文集——2014年度全国电力企业优秀管理论文大赛获奖论文（《中国电力企业管理》2014年第一期增刊）[C];2014年

3 马敏;王平;李梦渔;;基于现代(智慧)供应链的重大电网工程智慧供应平台研究[A];生态互联 数字电力——2019电力行业信息化年会论文集[C];2019年

4 苏丹;杨睿;刘超;吴佳;孟继军;;基于供应链管理的电网物流运作优化研究[A];第三届智能电网会议论文集[C];2018年

5 苏雯;;基于ERP系统的电网工程智能化结算管理[A];电力行业信息化优秀论文集2013[C];2013年

6 郑燕;崔万福;;电网工程技术经济仿真关键技术[A];电网工程造价管理优秀论文[C];2011年

7 王萍;;抓好农村电网工程档案 服务新农村建设[A];科学发展观指导下的档案学理论与实践[C];2007年

8 袁衢龙;阙振波;;新形势下高效推进电网建设政策处理工作的创新与实践[A];浙江省电力学会2016年度优秀论文集[C];2016年

9 李冰;;国核电力规划设计研究院中标山东两项电网工程[A];核工业勘察设计（2015年第2期）[C];2015年

10 姜波;徐_g;贺金红;颜拥;;分布式微电网区块链技术系统研究[A];数字中国 能源互联——2018电力行业信息化年会论文集[C];2018年

相关重要报纸文章 前10条

1 记者 李易峰 通讯员 余艳春;南疆四地州深度贫困地区脱贫攻坚电网工程全面完成[N];国家电网报;2019年

2 张爱萍;国网辽宁电力 建设重点电网工程 助力辽宁全面振兴[N];国家电网报;2019年

3 本报记者 刘丹　整理;“十二五”1.7万亿元投资电网建设[N];科学时报;2011年

4 王天一 记者 李晓辉;优化服务降低企业办事成本 电网工程审批效率大幅提升[N];锦州日报;2019年

5 本报记者 王宁 通讯员 傅云路;2019年张家口电网建设有哪些看点？[N];张家口日报;2019年

6 记者 李易峰 通讯员 王福梁;国网新疆电力今年计划投资51.75亿元建设南疆深度贫困地区电网[N];国家电网报;2019年

7 本报记者 李易峰 通讯员 周广科;建设生态电网 服务美丽新疆[N];中国电力报;2019年

8 记者 李易峰 通讯员 宋德义;南疆750千伏电网延伸补强工程投运[N];国家电网报;2019年

9 陈晖;公司圆满完成上半年电网建设任务[N];国家电网报;2019年

10 记者 王燕 通讯员 陈奕衡;国网重庆电力 上半年电网工程投产规模创新高[N];国家电网报;2019年

相关博士学位论文 前2条

1 常烨殭;我国电网有功平衡控制性能评价方法的理论研究[D];大连理工大学;2018年

2 傅砾;电网工程绿色设计集成化管理研究[D];华北电力大学（北京）;2011年

相关硕士学位论文 前10条

1 王英澜;电网地磁感应电流及其引起的无功损耗的计算[D];西安科技大学;2019年

2 王东;基于Storm框架的电网设备监测大数据并行分析[D];华北电力大学;2019年

3 罗宇;基于资产墙的电网企业资产运维检修资源预测研究[D];华南理工大学;2019年

4 王一男;G公司电网造价管理研究[D];大连理工大学;2018年

5 高仕林;含柔性直流电网的交直流混联系统运行特性研究[D];山东大学;2019年

6 邓少治;SD电网公司发展战略研究[D];山东大学;2019年

7 吴占宁;基于参数优化灰色模型的电网技改投资预测研究[D];电子科技大学;2019年

8 吕增亮;冀北唐承秦220kV电网分区供电方案研究[D];华北电力大学;2018年

9 刘栋;电网物资存储模式及配送优化研究[D];华北电力大学;2018年

10 朱雷;J电网公司客户服务端到端流程评价模型研究[D];南京理工大学;2018年

本文编号：2669223