基于Hadoop的公共建筑能耗数据挖掘方法研究

发布时间：2017-03-25 09:11

  本文关键词：基于Hadoop的公共建筑能耗数据挖掘方法研究，由笔耕文化传播整理发布。

【摘要】：我国对公共建筑能源审计工作已全面展开,各省、市陆续建立了大型公共建筑能耗监测平台。目前,山东省对公共建筑进行节能监测的数量累计达到1000余栋。真实准确的公共建筑能耗统计数据对进一步推进建筑节能工作具有重大意义,但是目前对能耗数据的有效利用还存在明显不足。随着建筑能耗数据量不断增加,数据的分析工作也面临巨大的挑战。这些能耗数据背后蕴涵着丰富的知识,且数量巨大,传统分析方法难以发现和总结这些数据中所蕴涵的知识。本文探索了基于Hadoop的数据挖掘技术在处理海量建筑能耗数据中的应用。Hadoop是Apache软件基金会旗下基于Java语言开发的一个开源分布式计算平台,它允许将Hadoop集群部署在低廉的硬件上,用户可以充分利用集群服务器的存储和计算能力,完成海量数据的分析处理。在对Hadoop分布式计算平台深入分析研究的基础上,针对建筑能耗数据无法有效利用这一问题,本文提出利用Hadoop分布式架构,结合建筑基本信息对公共建筑能耗数据进行数据挖掘的方法。首先,本文对基于Hadoop的公共建筑能耗数据挖掘系统进行了初步设计,并对系统的基本架构和各模块的功能进行了设计和说明。其次,在对HDFS的架构和数据读写机制进行深入学习和研究的基础上,进行基于MapReduce编程模型的Java程序编写,实现将实验样本数据XML文件写入HDFS。然后,根据本课题数据挖掘需求和实验数据的特点,选择数据挖掘算法。在对MapReduce的架构和任务运行机制进行深入学习和研究的基础上,实现了基于MapReduce的改进Apriori算法、C4.5算法设计,以及算法的Java程序编写。最后,利用四台计算机搭建Hadoop集群作为实验平台,以山东省200栋办公建筑制冷期空调系统单位面积(月)耗电量为例进行能耗数据挖掘实验,得到了建筑基本信息与建筑空调能耗关系的相关结论,根据判定树和建筑信息可预测建筑物制冷期空调系统耗电等级,并对实验结论进行了评价和分析。本文利用Hadoop分布式架构结合建筑基本信息对公共建筑能耗数据进行数据挖掘,实现了对建筑能耗数据更大化的利用,弥补了以往的数据分析方法对海量数据处理时出现成本高、效率低的缺陷,对完善山东省公共建筑节能监测信息管理系统的数据分析功能进行了探索,从数据的角度客观地分析建筑能耗情况并为节能工作提供决策支持。本课题所涉及的思想和方法可推广应用到各类建筑能耗数据挖掘工作中,对既有建筑的节能改造和新建建筑的节能设计提供参考和借鉴。
【关键词】：Hadoop 公共建筑能耗 数据挖掘 HDFS MapReduce Apriori算法 C4.5算法
【学位授予单位】：山东建筑大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-6
• ABSTRACT6-11
• 第1章 绪论11-19
• 1.1 课题研究的背景及意义11-12
• 1.1.1 课题研究背景11-12
• 1.1.2 课题研究目的及意义12
• 1.2 课题研究现状12-15
• 1.2.1 国内外建筑能耗数据分析研究现状13-14
• 1.2.2 国内外基于Hadoop技术的数据挖掘研究及应用现状14-15
• 1.3 课题研究的可行性分析15-16
• 1.4 课题主要研究内容及论文组织结构16-18
• 1.4.1 主要研究内容16-17
• 1.4.2 论文组织结构17-18
• 1.5 本章小结18-19
• 第2章 基于Hadoop的公共建筑能耗数据挖掘系统架构设计19-30
• 2.1 Hadoop分布式系统基础架构19-22
• 2.1.1 Hadoop概述19-20
• 2.1.2 Hadoop的基本架构20-22
• 2.2 数据挖掘介绍22-24
• 2.2.1 数据挖掘的概念22-23
• 2.2.2 知识发现的过程23-24
• 2.2.3 数据挖掘的功能24
• 2.3 基于Hadoop的公共建筑能耗数据挖掘系统架构设计24-28
• 2.3.1 系统架构模型设计24-25
• 2.3.2 模块功能设计25-26
• 2.3.3 系统底层结构设计26-28
• 2.4 本章小结28-30
• 第3章 基于HDFS的实验数据写入设计30-36
• 3.1 HDFS的主要特征及读写机制分析30-34
• 3.1.1 HDFS的主要特征30-31
• 3.1.2 HDFS读写机制分析31-34
• 3.2 实验样本数据写入HDFS程序设计34-35
• 3.3 本章小结35-36
• 第4章 基于MapReduce编程模型的数据挖掘算法设计36-56
• 4.1 MapReduce任务运行过程分析36-42
• 4.1.1 Map Task和Reduce Task执行过程36-39
• 4.1.2 MapReduce作业的执行流程分析39-42
• 4.2 基于MapReduce的Apriori算法设计42-50
• 4.2.1 关联分析介绍42
• 4.2.2 Apriori算法的基本原理及思路42-43
• 4.2.3 基于MapReduce的改进Apriori算法设计43-50
• 4.3 基于MapReduce的决策树算法设计50-55
• 4.3.1 决策树算法介绍50
• 4.3.2 C4.5算法基本思路50-52
• 4.3.3 基于MapReduce的C4.5算法设计52-55
• 4.4 本章小结55-56
• 第5章 以办公建筑为例进行数据挖掘及实验结果分析评价56-74
• 5.1 实验平台的安装与部署56-65
• 5.1.1 Hadoop集群软、硬件配置57
• 5.1.2 软件部署57-63
• 5.1.3 Hadoop集群启动及测试63-65
• 5.2 以办公建筑为例进行能耗数据挖掘65-71
• 5.2.1 实验数据预处理65-68
• 5.2.2 关联数据挖掘及实验结果68-69
• 5.2.3 决策树数据挖掘及实验结果69-71
• 5.3 实验结果分析及评价71-72
• 5.4 本章小结72-74
• 第6章 总结与展望74-76
• 6.1 总结74-75
• 6.2 课题展望75-76
• 参考文献76-80
• 后记80-81
• 攻读硕士学位期间论文发表及科研情况81-82
• 附录82-85

【参考文献】

中国期刊全文数据库 前10条

1 王磊;张永坚;贾继鹏;牛晓光;聂昌龙;;基于Hadoop的公共建筑能耗数据挖掘方法[J];计算机系统应用;2016年03期

2 郭兴忠;杨闯;杨辉;吴和平;;门窗热工性能对建筑能耗影响的模拟研究[J];新型建筑材料;2014年S1期

3 廖飞;黄晟;龚德俊;安乐;;基于Hadoop的城市道路交通流量数据分布式存储与挖掘分析研究[J];公路与汽运;2013年05期

4 李依桐;;云存储文件系统对比[J];计算机与现代化;2013年10期

5 喻伟;李百战;杨明宇;杜秀媛;;基于人工神经网络的建筑多目标预测模型[J];中南大学学报(自然科学版);2012年12期

6 李道洋;蒙艳玫;胡映宁;徐聪麒;刘长俊;周权;;基于分项实时监测的建筑能耗数值分析[J];广西大学学报(自然科学版);2012年05期

7 卿晓霞;肖丹;王波;;能耗实时监测的数据挖掘方法[J];重庆大学学报;2012年07期

8 陈高峰;张欢;由世俊;叶天震;谢真辉;;天津市办公建筑能耗调研及分析[J];暖通空调;2012年07期

9 赵晓永;杨扬;孙莉莉;陈宇;;基于Hadoop的海量MP3文件存储架构[J];计算机应用;2012年06期

10 朱钥;贾思奇;张俊魁;李琦;;基于Hadoop的城市交通碳排放数据挖掘研究[J];计算机应用研究;2011年11期

中国硕士学位论文全文数据库 前10条

1 吴剑平;基于数据挖掘的医院建筑用能评价及分析[D];哈尔滨工业大学;2015年

2 黄承真;云计算环境下机票价格预测及任务分配研究[D];中国科学技术大学;2014年

3 苏江夺;基于关联规则挖掘的节能系统用电分项关联耦合分析的研究与实现[D];华南理工大学;2013年

4 吴健;基于Hadoop的上市公司舆情挖掘系统的研究与实现[D];电子科技大学;2013年

5 周思宇;不同气候区围护结构节能技术对办公建筑能耗的影响[D];天津大学;2012年

6 刘寅;Hadoop下基于贝叶斯分类的气象数据挖掘研究[D];南京信息工程大学;2012年

7 梁瑜;基于Hadoop平台的医保数据挖掘[D];东北大学;2012年

8 向小军;面向情感分类任务的云数据挖掘研究[D];南京大学;2012年

9 郝明慧;济南地区办公建筑能耗模拟与节能分析[D];山东建筑大学;2011年

10 白云龙;基于Hadoop的数据挖掘算法研究与实现[D];北京邮电大学;2011年

  本文关键词：基于Hadoop的公共建筑能耗数据挖掘方法研究，由笔耕文化传播整理发布。

，

本文编号：266976