基于MapReduce和深度学习的负荷分析与预测

发布时间：2017-12-01 17:31

本文关键词：基于MapReduce和深度学习的负荷分析与预测

【摘要】：智能用电服务系统是智能电网的重要组成部分,其思想是通过供电企业与用户间的双向互动,针对用户用电特性提供更加个性化、人性化的智能服务。准确的电力负荷分析与预测是智能用电服务的前提。然而随着智能电网中智能电表、智能终端以及各类传感器的铺设,用户侧的数据已经达到了大数据的规模,大大提升了负荷分析与预测的难度。如何有效的从这些海量数据中挖掘潜在的知识和模式,为供电企业拓展电力市场、优化能源结构、合理配置资源等提供决策依据,是电力系统目前最具挑战性的任务之一。大数据技术以及深度学习理论是解决上述问题的关键。本文首先在分析大数据技术、深度学习、智能用电三者关系的基础上,设计了智能用电大数据平台的整体架构,并自底向上分别从数据来源层、数据处理层、挖掘分析层以及业务应用层四个层次探讨了平台搭建的关键元素。之后,考虑到传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,本文将基于MapReduce模型的并行化决策树应用于智能电表数据的用电习惯挖掘中,并通过在最佳分裂属性选择中引入相关系数,修正了ID3算法中的多值偏向问题。通过实际负荷数据,从挖掘结果和并行性能两方面验证算法的有效性。深度学习通过多个隐含层对原始输入的逐步抽象表示,能够充分挖掘海量负荷数据中的规律,实现更精准的短期负荷预测。本文介绍了深度学习中的堆栈自编码器(SAE)与深度置信网络(DBN)的基本组件、网络结构以及训练方法,对深度学习只能依靠专家经验选取隐含层神经元个数这一缺陷,提出基于信息熵的隐含层神经元个数确定方法,并利用通用MNIST数据集验证方法的有效性。同时,在Spark平台中,利用数据并行的方式将深度学习的训练过程并行化,并提出基于典型负荷曲线的深度学习改进方法,最终利用实际负荷数据与其他算法进行比对验证该方法的可行性。
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TM714;TM715

【参考文献】

中国期刊全文数据库前10条

1 杨永标;颜庆国;王冬;杨斌;高辉;;居民用户智能用电建模及优化仿真分析[J];电力系统自动化;2016年03期

2 王亚玲;刘越;洪建光;崔蔚;李彦虎;苏伊鹏;黄高攀;张明明;刘万涛;;基于Spark/Shark的电力用采大数据OLAP分析系统[J];中国科学技术大学学报;2016年01期

3 石鑫;朱永利;萨初日拉;王刘旺;孙岗;;基于深度信念网络的电力变压器故障分类建模[J];电力系统保护与控制;2016年01期

4 董跃华;刘力;;基于相关系数的决策树优化算法[J];计算机工程与科学;2015年09期

5 王德文;孙志伟;;一种基于内存计算的电力用户聚类分析方法[J];智能系统学报;2015年04期

6 张春霞;姬楠楠;王冠伟;;受限波尔兹曼机[J];工程数学学报;2015年02期

7 ;2015年大数据十大发展趋势预测[J];中国教育网络;2015年Z1期

8 王德文;孙志伟;;电力用户侧大数据分析与并行负荷预测[J];中国电机工程学报;2015年03期

9 张东霞;苗新;刘丽平;张焰;刘科研;;智能电网大数据技术发展研究[J];中国电机工程学报;2015年01期

10 刘杰;侯跃斌;刘念;;针对非技术性损失的智能用电异常检测方法[J];华东电力;2014年04期