基于Hadoop平台电能质量监测系统的设计与研究
发布时间：2021-03-03 00:58
随着科技的发展,电能作为现代社会不可缺少的一部分,其质量的好坏成为衡量国家技术发展水平的重要指标。电能质量监测数据对电网的分析与治理起着至关重要的作用。由于电网规模的扩张、电能质量监测系统采集装置采样频率的提高以及监测范围不断的扩大,导致电能质量监测系统采集的数据量不断增大。传统的电能质量监测系统都是基于调度中心的集中式计算平台,无法存储和处理海量的电能质量数据。本文利用Hadoop平台对传统的电能质量监测系统进行改进,解决了海量数据无法存储以及计算处理时间过长的问题。首先介绍了Hadoop平台的HDFS分布式文件系统、MapReduce并行计算框架以及HBase分布式数据库,并搭建了Hadoop集群平台。针对传统电能质量监测系统的弊端,提出基于Hadoop平台电能质量监测系统,并给出了该系统具体的架构及优势。其次分析了数据存储与处理相关技术,对系统默认的数据分布策略和数据连接算法进行改进。将多副本一致性哈希算法与HashMapJoin并行连接算法结合使用在该平台,增大了数据本地化程度,节约了网络带宽资源,提高了数据连接查询的效率,增强了系统的性能。另外还对系统涉及到的其他技术进行简单...
【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
RSA密钥对Figure2-6RSAkeypair
修改core-site.xmlFigure2-8Modifycore-site.xml
配置文件：source /etc/profile：修改 hadoop-2.7.4/etc/hadoop 文件夹下 hadoop-env.sh，如图 2图 2-7 修改 hadoop-env.shFigure 2-7 Modify hadoop-env.sh：修改 hadoop-2.7.4/etc/hadoop 文件夹下 core-site.xml，如图图 2-8 修改 core-site.xmlFigure 2-8 Modify core-site.xml：修改 hadoop-2.7.4/etc/hadoop 文件夹下 hdfs-site.xml，如图
【参考文献】：
期刊论文
[1]减少任务完成时间和数据局部性的数据复制及副本放置算法[J]. 廖仲夏,宋雨欣,廖启明. 电子测量与仪器学报. 2018(02)
[2]基于云计算和改进K-means算法的海量用电数据分析方法[J]. 张承畅,张华誉,罗建昌,何丰. 计算机应用. 2018(01)
[3]基于集群规模调整的节能存储策略[J]. 妙晓龙,陈浩,钟将. 计算机工程与应用. 2017(24)
[4]基于开源生态系统的大数据平台研究[J]. 雷军,叶航军,武泽胜,张鹏,谢龙,何炎祥. 计算机研究与发展. 2017(01)
[5]大数据分析的硬件与系统支持综述[J]. 孙仕亮,陈俊宇. 小型微型计算机系统. 2017(01)
[6]改进的Hadoop作业调度算法[J]. 冯兴杰,贺阳. 计算机工程与应用. 2017(12)
[7]MapReduce大数据处理平台与算法研究进展[J]. 宋杰,孙宗哲,毛克明,鲍玉斌,于戈. 软件学报. 2017(03)
[8]轨迹大数据:数据处理关键技术研究综述[J]. 高强,张凤荔,王瑞锦,周帆. 软件学报. 2017(04)
[9]基于Hadoop的用电信息大数据计算服务及应用[J]. 王相伟,史玉良,张建林,梁波,程翠萍. 电网技术. 2015(11)
[10]电力用户侧大数据分析与并行负荷预测[J]. 王德文,孙志伟. 中国电机工程学报. 2015(03)
硕士论文
[1]基于Hadoop的海量小文件存储性能优化研究[D]. 张硕.湖南大学 2016
[2]基于数据偏斜条件下Reduce任务放置机制的研究[D]. 马稳.湖南大学 2016
[3]HDFS云存储系统可用性能的优化研究[D]. 胡梦楠.电子科技大学 2016
[4]云计算在电力系统中的应用研究[D]. 朱迪.华北电力大学 2015
[5]基于Hadoop的海量电能质量数据处理研究[D]. 曾杰.华北电力大学 2015
[6]基于Hadoop的海量电能质量数据云计算平台研究[D]. 王淑祥.华北电力大学 2014
[7]Hadoop平台存储策略的研究与优化[D]. 高蓟超.北京交通大学 2012
[8]基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D]. 陈殿伟.兰州大学 2012
[9]基于MapReduce的数据挖掘算法研究与应用[D]. 杜玲玲.桂林电子科技大学 2012
[10]基于MapReduce的海量图像检索技术研究[D]. 陈广钊.西安电子科技大学 2012
本文编号：3060286
【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
RSA密钥对Figure2-6RSAkeypair
修改core-site.xmlFigure2-8Modifycore-site.xml
配置文件：source /etc/profile：修改 hadoop-2.7.4/etc/hadoop 文件夹下 hadoop-env.sh，如图 2图 2-7 修改 hadoop-env.shFigure 2-7 Modify hadoop-env.sh：修改 hadoop-2.7.4/etc/hadoop 文件夹下 core-site.xml，如图图 2-8 修改 core-site.xmlFigure 2-8 Modify core-site.xml：修改 hadoop-2.7.4/etc/hadoop 文件夹下 hdfs-site.xml，如图
【参考文献】：
期刊论文
[1]减少任务完成时间和数据局部性的数据复制及副本放置算法[J]. 廖仲夏,宋雨欣,廖启明. 电子测量与仪器学报. 2018(02)
[2]基于云计算和改进K-means算法的海量用电数据分析方法[J]. 张承畅,张华誉,罗建昌,何丰. 计算机应用. 2018(01)
[3]基于集群规模调整的节能存储策略[J]. 妙晓龙,陈浩,钟将. 计算机工程与应用. 2017(24)
[4]基于开源生态系统的大数据平台研究[J]. 雷军,叶航军,武泽胜,张鹏,谢龙,何炎祥. 计算机研究与发展. 2017(01)
[5]大数据分析的硬件与系统支持综述[J]. 孙仕亮,陈俊宇. 小型微型计算机系统. 2017(01)
[6]改进的Hadoop作业调度算法[J]. 冯兴杰,贺阳. 计算机工程与应用. 2017(12)
[7]MapReduce大数据处理平台与算法研究进展[J]. 宋杰,孙宗哲,毛克明,鲍玉斌,于戈. 软件学报. 2017(03)
[8]轨迹大数据:数据处理关键技术研究综述[J]. 高强,张凤荔,王瑞锦,周帆. 软件学报. 2017(04)
[9]基于Hadoop的用电信息大数据计算服务及应用[J]. 王相伟,史玉良,张建林,梁波,程翠萍. 电网技术. 2015(11)
[10]电力用户侧大数据分析与并行负荷预测[J]. 王德文,孙志伟. 中国电机工程学报. 2015(03)
硕士论文
[1]基于Hadoop的海量小文件存储性能优化研究[D]. 张硕.湖南大学 2016
[2]基于数据偏斜条件下Reduce任务放置机制的研究[D]. 马稳.湖南大学 2016
[3]HDFS云存储系统可用性能的优化研究[D]. 胡梦楠.电子科技大学 2016
[4]云计算在电力系统中的应用研究[D]. 朱迪.华北电力大学 2015
[5]基于Hadoop的海量电能质量数据处理研究[D]. 曾杰.华北电力大学 2015
[6]基于Hadoop的海量电能质量数据云计算平台研究[D]. 王淑祥.华北电力大学 2014
[7]Hadoop平台存储策略的研究与优化[D]. 高蓟超.北京交通大学 2012
[8]基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D]. 陈殿伟.兰州大学 2012
[9]基于MapReduce的数据挖掘算法研究与应用[D]. 杜玲玲.桂林电子科技大学 2012
[10]基于MapReduce的海量图像检索技术研究[D]. 陈广钊.西安电子科技大学 2012
本文编号：3060286
本文链接：https://www.wllwen.com/kejilunwen/dianlilw/3060286.html
教材专著
