智能电网中数据处理技术的应用研究

发布时间：2017-11-27 12:00

  本文关键词：智能电网中数据处理技术的应用研究

  更多相关文章： MapReduce 关联规则挖掘 FP-Growth算法 K-Means算法

【摘要】：随着智能电网建设的不断发展和深入推进,积累的电网数据呈指数级增长。如何从这些历史数据中挖掘出“宝藏”,已经成为坚强智能电网建设过程中的迫切需求,而大数据存储和处理技术的崛起为其数据的挖掘带来了新的机遇。在使用大数据技术挖掘海量数据的过程中,Hadoop平台优良的集群特性、MapReduce强大的计算能力以及HDFS的存储能力都发挥了极大的优势。本文将Hadoop平台与关联规则挖掘技术相结合,根据电网数据的实际需求,采用K-Means聚类算法对连续型数据离散化处理,再采用改进的FP-Growth算法挖掘关联关系,最后设计并实现了基于Hadoop的关联规则挖掘系统。本文主要完成了以下三方面的工作:第一,给出一种改进的基于MapReduce并行FP-Growth算法,该算法在保证并行算法划分事务集相互独立的基础上,引入矩阵存储事务,减少了数据库扫描次数。与此同时,在生成频繁模式项时,设计了IDFPTree数据结构,减少程序运行所需内存空间,提高了算法的效率。第二,基于MapReduce框架实现了K-Means算法和FP-Growth算法,并将其移植到Hadoop平台上。第三,构建了基于MapReduce编程框架的智能电网数据关联规则挖掘系统,采用B/S架构,服务器建立在Hadoop平台上,负责对用户提交的任务进行分布式计算。本文将所设计的系统应用到电力企业营销数据的分析之中,挖掘出用户的分类属性(用户属性、市场属性等)与决策属性(分时用电量)之间的强关联规则,从而揭示出传统方法无法发现的售电规律,对电力市场营销分析意义重大。
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TM76

【参考文献】

中国期刊全文数据库 前10条

1 施亮;钱雪忠;;基于Hadoop的并行FP-Growth算法的研究与实现[J];微电子学与计算机;2015年04期

2 张东霞;苗新;刘丽平;张焰;刘科研;;智能电网大数据技术发展研究[J];中国电机工程学报;2015年01期

3 崔莉霞;;基于Hadoop的并行聚类算法的研究[J];计算机光盘软件与应用;2014年23期

4 章志刚;吉根林;;一种基于FP-Growth的频繁项目集并行挖掘算法[J];计算机工程与应用;2014年02期

5 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

6 吕雪骥;李龙澍;;FP-Growth算法MapReduce化研究[J];计算机技术与发展;2012年11期

7 王千;王成;冯振元;叶金凤;;K-means聚类算法研究综述[J];电子设计工程;2012年07期

8 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

9 江务学;张t，

本文编号：1231747