基于云计算的负荷建模精确数据获取

发布时间：2020-01-25 00:53

【摘要】：随着社会经济的不断发展,电网规模和用电量不断增加,同时对用电的安全性和可靠性的要求也越来越高。为了提高电力系统的运行可靠性,负荷模型的准确性的重要性明显提高。精确负荷数据的获取对负荷建模至关重要,暂态数据的记录频率不断提高,测量装置数量、监测范围不断扩大,由此产生了大量待处理的监测数据。目前电力系统的各种监测数据分析计算主要基于调控中心的集中式计算平台实现,计算能力、数据存储能力有限。面对海量的数据,传统的关系型数据库系统管理复杂、扩展成本高昂。如何对海量的负荷特性监测数据进行可靠快速的处理已经成为负荷建模中的重要问题。本文通过对Hadoop云计算平台的研究,以MapReduce计算框架和HDFS存储结构为基础,Hive数据仓库为核心,结合HBase数据库的快速查询技术和信息融合技术,开展基于Hadoop的海量负荷数据云计算平台研究工作。在数据存储方面,通过对不同监测装置数据记录格式的解析,构建了能够处理不同来源的基于Hive的数据库存储结构。同时针对半结构化数据,结合HBase处理非结构化数据的特性,构建了存储COMTRADE中的半结构化数据的HBase表。对不同特点的数据库的使用,提高了平台的整合能力并增强了处理数据的性能。在数据优化查询方面,Hive的查询要转化为MapReduce任务,耗费的时间较长,实现了 Hive表到HBase的映射,能够同时利用Hive和HBase各自的特点分别存储静态采样数据和负荷特征数据,减少了数据处理时延,提高了数据处理的效率。在数据计算与数据处理方面,通过在数据记录的电气量提取过程,采用了并行递推的算法,减少了计算量加快了计算的速度;通过Sqoop工具将数据ETL任务转化为MapReduce任务,简化了编程压力和操作步骤;同时结合数据平滑算法,抑制数据噪声,提高了数据的精度。在实验部分,对比了 Hadoop的分布式数据库Hive与传统关系型数据库的导入与查询大量数据的速度,分析了 Hive和HBase数据库导入与查询数据的性能。利用Sqoop转化数据处理为MapReduce任务,验证了基于Hadoop云计算平台对海量负荷特性数据处理的优越性。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TM743

【参考文献】

相关期刊论文 前10条

1 王远;陶烨;袁军;何卫;;一种基于HBase的智能电网时序大数据处理方法[J];系统仿真学报;2016年03期

2 王远;陶烨;蒋英明;陈波;陈立宇;;智能电网时序大数据实时处理系统[J];计算机应用;2015年S2期

3 王珂;吴静沁;王伟;;基于时序模型的负荷不良数据研究[J];信息通信;2015年06期

4 桂勋;;基于递推算法的海量COMTRADE数据计算并行化[J];电力系统自动化;2014年01期

5 桂勋;;面向IEEE COMTRADE格式的海量录波数据并行压缩/解压算法[J];电力自动化设备;2013年05期

6 王德文;肖凯;肖磊;;基于Hive的电力设备状态信息数据仓库[J];电力系统保护与控制;2013年09期

7 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

8 刘树仁;宋亚奇;朱永利;王德文;;基于Hadoop的智能电网状态监测数据存储研究[J];计算机科学;2013年01期

9 黎宏剑;刘恒;黄广文;卜立;;基于Hadoop的海量电信数据云计算平台研究[J];电信科学;2012年08期

10 葛利;印桂生;;基于小波和过程神经网络的时序聚类分析[J];电机与控制学报;2011年12期

相关博士学位论文 前1条

1 张红斌;电力系统负荷模型结构与参数辨识的研究[D];华北电力大学（北京）;2003年

相关硕士学位论文 前8条

1 王丹;基于Hadoop平台的时序数据处理方法研究[D];中国科学技术大学;2015年

2 王淑祥;基于Hadoop的海量电能质量数据云计算平台研究[D];华北电力大学;2014年

3 平利强;基于云计算的海量时空数据存储及挖掘方法的研究和应用[D];杭州电子科技大学;2014年

4 陈铭;电力系统“调度云”关键技术的研究与实现[D];广西大学;2013年

5 冯懿;基于云计算的电力系统不良数据辨识算法研究[D];南京理工大学;2013年

6 徐婷婷;基于云计算的电力系统潮流分析[D];合肥工业大学;2012年

7 黄钟元;Hadoop平台下的关系数据库查询与实现[D];复旦大学;2011年

8 叶文宸;基于hive的性能优化方法的研究与实践[D];南京大学;2011年

，

本文编号：2572845