基于Hadoop的海量电能质量监测数据云平台的研究

发布时间：2019-11-24 18:58

【摘要】：随着不断扩大电能质量的监测规模以及不断提高电能质量监测数据的采集频率,对电能质量的长期监测将形成电能质量大数据。现有的电能质量监测系统主要利用关系型数据库存储数据,采用传统的集中式处理方式分析计算数据。面对日益大量而繁杂的电能质量监测数据,现有的电能质量监测系统不能满足电能质量大数据的存储和计算要求,分析计算效率低,很难有效利用电能质量大数据。近年云计算作为互联网与大数据研究的热门,具有可靠性高、效率快、拓展性好等特点。论文针对电能质量监测云平台展开以下研究:通过对云平台中的Hadoop集群和MapReduce并行计算框架等组件的分析,研究电能质量大数据高效存储和分析的云计算平台。在数据存储方面,利用分布式数据库HBase,实现了电能质量数据的集中存储和列族存储,提高了数据检索效率,保证了数据的安全可靠。在数据处理方面,实现了基于MapReduce并行计算框架的电能质量数据统计和评估算法,增强了分析处理过程并发性,提高了电能质量计算分析效率,通过JavaEE与Hadoop的交互实现了电能质量数据存储和计算程序的编写、调试和运行。云计算技术解决了海量电能质量数据的存储和计算效率问题。最后利用实验室现有的若干台廉价主机搭建起Hadoop集群,进行了实验分析。实验结果表明,基于云计算的电能质量监测平台具有分析处理海量数据效率高,高可靠存储的优势,证明了云平台的高效性和优越性,为电能质量监测提供了新方案。
【图文】：

西安科技大学硕士学位论文2 Hadoop 平台概述.1 云计算简介云计算（Cloud Computing）是 2006 年由谷歌的 CEO Eric Schmidt 第一次提出，计算并不是一个新兴的概念，上个世纪中期计算机科学家 John McCar-thy[37]就提过力的概念，并提出通过公共事业销售计算力的设想，这种说法预示了计算在将来可水电一样作为一种日常商品方便使用。它传递了一个存在已久的重要趋势：穿越网计算。“云”指的是那些规模比较大的计算机集群，能够独立实现经管和维持的虚拟的资源。“云计算”有很多定义，维基百科把“云计算”解释为动态易扩展的，能够互联网提供虚拟资源的一种计算方式。可以通过图 2.1 来了解“云”概念。

图 2.2 云计算的服务类型基础设施服务：用户使用的是硬件设备等基础资源，相当于在使用裸机和磁盘，在基础设施服务环境中用户几乎可以做任何事情，但必须考虑多台机器怎样系统工作起来。用户可以申请或释放节点，具有更高的资源使用率。平台服务：提供的不是具体的服务而是抽象的资源，用户获取的服务是应用程序的运行环境，比较著名的有微软的 Microsoft Windows Azure 和 Google App Engine。用户没有像基础设施服务一样的自主权，必须遵照定义好的编程模型来使用定义好的编程环境。软件服务：具有很强的专门性，，只提供某些专门用途的服务应用，将特殊的应用软件功能打包成服务，比较典型的是 salesforce 公司的 CRM (client relationship managemen服务。云计算有以下几个明显的优势：(1)数据安全。云计算采用分布式和冗余的存储方式存储数据，数据存储安全不会损失。(2)超大规模。“云计算”具有非常大的规模，谷歌、雅虎和微软等公司的“云”由
【学位授予单位】：西安科技大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TM930

【参考文献】

相关期刊论文 前10条

1 曲广龙;杨洪耕;李兰芳;;主动配电网电能质量实时监测系统设计与实现[J];电力系统自动化;2015年10期

2 崔妍;;基于云计算的智能电网信息平台的研究[J];数字技术与应用;2015年05期

3 张毅;;煤矿电能质量在线监测评估系统研究[J];中州煤炭;2013年12期

4 王剑雄;王玉兰;孙fg月;李辉;叶云龙;;基于以太网的电能质量计算机监测系统设计[J];电源技术;2013年07期

5 王淑祥;马素霞;;基于Hadoop的海量电能质量监测数据分析平台研究[J];中国科技信息;2013年13期

6 肖美玲;陈根根;;电能质量问题来源及其影响综述[J];企业技术开发;2013年17期

7 李蓉;宋忆穷;吴峰;;电力系统谐波的危害及其抑制措施[J];科学之友;2013年06期

8 于健勇;初小明;王玲;路通;崔琦;;智能电网技术研究中的技术构成与实现方式[J];科技与企业;2013年06期

9 黄斌;许舒人;蒲卫;;基于MapReduce的数据挖掘平台设计与实现[J];计算机工程与设计;2013年02期

10 何吉彪;程浩忠;姚良忠;Masoud Bazargan;;基于两种改进方法的电能质量综合评估[J];电力系统及其自动化学报;2013年01期

相关硕士学位论文 前10条

1 曾杰;基于Hadoop的海量电能质量数据处理研究[D];华北电力大学;2015年

2 陈海涛;电能质量监测海量数据分析研究[D];华南理工大学;2013年

3 杨倩茹;Hadoop平台中作业调度算法分析与改进研究[D];海南大学;2013年

4 陈娜;基于Hadoop平台的海量数据处理应用[D];吉林大学;2012年

5 云阔;基于蓝牙无线局域网的电能质量监控的研究[D];东北大学;2012年

6 吴金虎;基于Hadoop的大型网站海量数据的统计与应用[D];南京大学;2012年

7 范帆;Hadoop中基于优先级的调度算法研究[D];复旦大学;2012年

8 白红伟;基于云计算的电力设备状态监测数据的存储与查询[D];华北电力大学;2012年

9 曹风兵;基于Hadoop的云计算模型研究与应用[D];重庆大学;2011年

10 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年

本文编号：2565568