基于LSTM混合模型的能耗数据分析与平台设计
发布时间：2021-01-27 05:46
伴随着社会发展进步和人们生活水平的提高,城市化愈来愈热,伴随而来的一种局面便是水电等能源的急剧消耗,与此同时各种能耗数据也呈现迅猛增长的趋势。如何利用这海量的能源消耗数据来更好地把握能耗规律,为用能单位和部门决策提供辅助参考,进一步实现节能减排的目标,是当前业内专家学者高度关注的问题。随着高新技术的日益创新和发展,大数据的浪潮己经开始席卷社会的各行各业,这也为我国可以利用先进信息化方法来加强对能耗数据的管控方式提供了更大的选择。借助大数据技术的相关方法可以更加智能地探究区域单位的用能规律和合理优化资源配置,科学地提高水电能源使用效率。本文以Hadoop和Spark大数据技术为基础,结合深度学习算法模型,对能源消耗数据挖掘和分析展开了研究。主要研究内容如下:（1）本文将经验模态分解应用到能耗预测领域,基于神经网络模型和时序算法模型提出了一种新型的用于预测区域耗电数据的EMD-LSTM-ARIMA混合模型,并通过实验实现了对EMD-LSTM-ARIMA模型和其他预测模型（基于残差的ARIMALSTM混合模型、EMD-ARIMA混合预测模型）的对比分析,EMD-LSTM-ARIMA混合预测模...
【文章来源】：青岛科技大学山东省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
Hadoop版本发展变化
荒茉谖募??末尾添加而不能完成修改操作。由于HDFS的分布式特点也不适合用于频繁写入数据的场景。HDFS的这种机制都是为了保证各个节点数据的一致性。HDFS不适合小规模的数据文件存储和管理。一方面，当大量的小文件保存再HDFS上存储时，系统会将NameNode的内存空间地址用用作小文件元数据存储,这会对容量有限的NameNode造成空间浪费[25]；另一方面，读取小文件时需要在寻址上浪费很多时间，块的读取频繁也给NameNode造成压力，不利于集群或平台的稳定性；总之在Hadoop存储量多的小文件是一个只能临时而不能长久的方案。图2-3HDFS架构图Fig.2-3HDFSarchitecturediagramHDFS数据存储架构为主从架构（Master/Slave），如2-3图所示。这种架构主要由四部分组成。接下来对这四个部分进行简单的功能介绍。（1）Client又叫客户端，主要负责文件切分任务。当数据文件上传到HDFS文件系统中时，客户端调用creat()方法、输入流DFSOutputStream()等方法将文件切分并采用block块形式存储，并将block的副本分发到其它集群节点上。(2)NameNode就是整个架构的master，即管理者角色，包括管理HDFS名称空间以及block块的元数据信息映射，配置副本策略，处理来自客户端的数据读写请求。
分为两个数据处理阶段，这两个阶段分别为Map和Reduce（又称为映射与归约）[27]。用户在解决问题时，需要用map()和reduce()两个编程函数来实现问题的解决流程，最后提交两个函数模型到集群环境中来实现分布式并行计算，最后输出保存结果。这种并行处理模式很适合用在大数据处理上，同时它为研发人员降低了技术门槛，使用该模型的人不需要特别擅长分布式编程能力，而且该框架在数据处理上具有速度快。容错性高，节点扩展性强等优点，因此能够在目前很多国内外大型网站和企业被中广泛采用，比如雅虎，阿里巴巴，腾讯等等。图2-4MapReduce数据处理流程图Fig.2-4MapReducedataprocessingflowchartMapReduce数据处理过程如图2-4所示，MapReduce在进行数据处理过程中主要分为Map和Reduce两个大阶段，shuffle可以理解为在这两个大阶段之间的过渡阶段。在数据处理的map阶段，首先需要将目标数据从HDFS分布式文件系
【参考文献】：
期刊论文
[1]基于Hadoop和HBase的输变电设备数据聚合平台[J]. 陈锐,吴应双,曹杰,刘明顺. 电力大数据. 2020(03)
[2]国家电网公司“三型两网”的战略内涵及实施问题[J]. 杜志婕,蔡明珺,潘益伟. 科技与创新. 2019(21)
[3]能源消费碳排放的影响因素及空间相关性分析[J]. 张仁杰,董会忠,韩沅刚,李旋. 山东理工大学学报(自然科学版). 2020(01)
[4]大型公共建筑用电能耗预测模型及预测数据[J]. 张杰,王波. 电子技术与软件工程. 2019(20)
[5]基于Hadoop的高可用数据采集与存储方案[J]. 袁昌权,胡益群,许光,俞理超. 电子技术与软件工程. 2019(18)
[6]基于大数据与人工智能技术的电力在线技术监督平台建设方案[J]. 张国斌,张叔禹,刘永江,郭瑞君. 热力发电. 2019(09)
[7]浅析Hadoop平台安全机制不足与解决方案[J]. 魏楠,赵刚. 中国安防. 2019(08)
[8]“能源消耗情况”对建筑节能的影响分析[J]. 金国辉,梁娜飞,梁丽娜,惠之瑶,王悦,李威风,杨鹏. 节能. 2019(07)
[9]Hadoop平台的分布式重删存储系统研究[J]. 荆东星. 科技风. 2019(20)
[10]基于SSM框架的智能Web系统研发[J]. 孙乐康. 决策探索(中). 2019(05)
硕士论文
[1]基于大数据的存量用户指标预测系统的设计实现[D]. 王泽润.南京邮电大学 2018
[2]基于数据挖掘技术的经济责任审计的研究[D]. 王爱军.南京邮电大学 2018
[3]基于Spark医疗信息大数据交互统计分析研究[D]. 赵建峰.江西财经大学 2019
[4]HBase性能预测与资源配置优化技术的研究与实现[D]. 台恩.西安电子科技大学 2019
[5]基于SSM框架的电子商城项目的设计与实现[D]. 李天庆.山东大学 2019
[6]基于Hadoop集群作业调度实时性能改进的研究与设计[D]. 董碧莹.沈阳工业大学 2019
[7]基于SSM框架的网上商城系统的设计与实现[D]. 赵浩翔.北京邮电大学 2019
[8]基于SSM框架的立体化样书系统的设计与实现[D]. 孟想.沈阳师范大学 2019
[9]ARMA（1,1）模型中自回归和移动平均系数的最大似然估计[D]. 顾宝强.云南财经大学 2018
[10]大型公共建筑能耗预测模型与监管系统研究[D]. 秦育.西安建筑科技大学 2018
本文编号：3002536
【文章来源】：青岛科技大学山东省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
Hadoop版本发展变化
荒茉谖募??末尾添加而不能完成修改操作。由于HDFS的分布式特点也不适合用于频繁写入数据的场景。HDFS的这种机制都是为了保证各个节点数据的一致性。HDFS不适合小规模的数据文件存储和管理。一方面，当大量的小文件保存再HDFS上存储时，系统会将NameNode的内存空间地址用用作小文件元数据存储,这会对容量有限的NameNode造成空间浪费[25]；另一方面，读取小文件时需要在寻址上浪费很多时间，块的读取频繁也给NameNode造成压力，不利于集群或平台的稳定性；总之在Hadoop存储量多的小文件是一个只能临时而不能长久的方案。图2-3HDFS架构图Fig.2-3HDFSarchitecturediagramHDFS数据存储架构为主从架构（Master/Slave），如2-3图所示。这种架构主要由四部分组成。接下来对这四个部分进行简单的功能介绍。（1）Client又叫客户端，主要负责文件切分任务。当数据文件上传到HDFS文件系统中时，客户端调用creat()方法、输入流DFSOutputStream()等方法将文件切分并采用block块形式存储，并将block的副本分发到其它集群节点上。(2)NameNode就是整个架构的master，即管理者角色，包括管理HDFS名称空间以及block块的元数据信息映射，配置副本策略，处理来自客户端的数据读写请求。
分为两个数据处理阶段，这两个阶段分别为Map和Reduce（又称为映射与归约）[27]。用户在解决问题时，需要用map()和reduce()两个编程函数来实现问题的解决流程，最后提交两个函数模型到集群环境中来实现分布式并行计算，最后输出保存结果。这种并行处理模式很适合用在大数据处理上，同时它为研发人员降低了技术门槛，使用该模型的人不需要特别擅长分布式编程能力，而且该框架在数据处理上具有速度快。容错性高，节点扩展性强等优点，因此能够在目前很多国内外大型网站和企业被中广泛采用，比如雅虎，阿里巴巴，腾讯等等。图2-4MapReduce数据处理流程图Fig.2-4MapReducedataprocessingflowchartMapReduce数据处理过程如图2-4所示，MapReduce在进行数据处理过程中主要分为Map和Reduce两个大阶段，shuffle可以理解为在这两个大阶段之间的过渡阶段。在数据处理的map阶段，首先需要将目标数据从HDFS分布式文件系
【参考文献】：
期刊论文
[1]基于Hadoop和HBase的输变电设备数据聚合平台[J]. 陈锐,吴应双,曹杰,刘明顺. 电力大数据. 2020(03)
[2]国家电网公司“三型两网”的战略内涵及实施问题[J]. 杜志婕,蔡明珺,潘益伟. 科技与创新. 2019(21)
[3]能源消费碳排放的影响因素及空间相关性分析[J]. 张仁杰,董会忠,韩沅刚,李旋. 山东理工大学学报(自然科学版). 2020(01)
[4]大型公共建筑用电能耗预测模型及预测数据[J]. 张杰,王波. 电子技术与软件工程. 2019(20)
[5]基于Hadoop的高可用数据采集与存储方案[J]. 袁昌权,胡益群,许光,俞理超. 电子技术与软件工程. 2019(18)
[6]基于大数据与人工智能技术的电力在线技术监督平台建设方案[J]. 张国斌,张叔禹,刘永江,郭瑞君. 热力发电. 2019(09)
[7]浅析Hadoop平台安全机制不足与解决方案[J]. 魏楠,赵刚. 中国安防. 2019(08)
[8]“能源消耗情况”对建筑节能的影响分析[J]. 金国辉,梁娜飞,梁丽娜,惠之瑶,王悦,李威风,杨鹏. 节能. 2019(07)
[9]Hadoop平台的分布式重删存储系统研究[J]. 荆东星. 科技风. 2019(20)
[10]基于SSM框架的智能Web系统研发[J]. 孙乐康. 决策探索(中). 2019(05)
硕士论文
[1]基于大数据的存量用户指标预测系统的设计实现[D]. 王泽润.南京邮电大学 2018
[2]基于数据挖掘技术的经济责任审计的研究[D]. 王爱军.南京邮电大学 2018
[3]基于Spark医疗信息大数据交互统计分析研究[D]. 赵建峰.江西财经大学 2019
[4]HBase性能预测与资源配置优化技术的研究与实现[D]. 台恩.西安电子科技大学 2019
[5]基于SSM框架的电子商城项目的设计与实现[D]. 李天庆.山东大学 2019
[6]基于Hadoop集群作业调度实时性能改进的研究与设计[D]. 董碧莹.沈阳工业大学 2019
[7]基于SSM框架的网上商城系统的设计与实现[D]. 赵浩翔.北京邮电大学 2019
[8]基于SSM框架的立体化样书系统的设计与实现[D]. 孟想.沈阳师范大学 2019
[9]ARMA（1,1）模型中自回归和移动平均系数的最大似然估计[D]. 顾宝强.云南财经大学 2018
[10]大型公共建筑能耗预测模型与监管系统研究[D]. 秦育.西安建筑科技大学 2018
本文编号：3002536
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3002536.html
