基于混合架构的海量数据存储系统的研究与实现

发布时间：2017-08-14 15:04

  本文关键词：基于混合架构的海量数据存储系统的研究与实现

  更多相关文章： 海量数据存储 混合架构 能耗数据 HBase 分布式计算

【摘要】：信息技术的发展推动着数据中心市场规模的不断扩大,节约能源消耗已经成为数据中心运营机构迫切需要解决的问题。数据中心能源监控系统主要负责动力环境以及IT设备实时运行状态的监控及分析,数据中心运行过程中会持续不断的产生大规模日志数据,因此海量能耗数据的存储成为了构建高效的数据中心能源监控系统的核心问题。数据中心能源监控系统不仅需要提供对能源消耗数据的多维分析与展示等强大的数据统计分析功能,同时还要求能源监控系统中的数据存储系统具备高可用性、高可扩展性。传统的数据存储解决方案主要采用关系型数据库,关系型数据库具有强大的数据存储与分析能力,不仅支持数据的顺序扫描、随机读写同时具有强大的索引功能。与传统的关系型数据库不同,HBase属于NoSQL中面向列存储的分布式数据库,主要优势在于强大的并行计算能力、高可扩展性。 本文分别针对传统关系型数据库以及NoSQL数据库的数据存储特性进行了深入的研究与分析,同时结合Hadoop平台高可靠性、高可扩展性的数据存储及处理能力设计并实现了一种基于MySQL关系型数据库和HBase分布式数据库的混合架构的海量能耗数据存储系统。该系统中基于Hadoop实现了海量能耗数据的并行处理,基于HBase和MySQL数据库实现了高效的海量能耗数据结构化存储。 本文搭建了Hadoop实验平台,并对HBase以及MySQL的数据存储及访问进行了详细的性能测试及结果分析。实验结果表明,基于混合架构的海量数据存储系统不仅具有高可靠性、高可扩展性,同时具有高效的数据存储及访问性能。
【关键词】：海量数据存储 混合架构 能耗数据 HBase 分布式计算
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-10
• 第一章 绪论10-16
• 1.1 研究背景10
• 1.2 国内外研究现状10-13
• 1.2.1 关系型数据库11
• 1.2.2 NoSQL11-12
• 1.2.3 Hadoop12-13
• 1.3 本文的主要内容和意义13-14
• 1.4 本文的组织结构14-15
• 1.5 本章小结15-16
• 第二章 相关原理和技术综述16-24
• 2.1 概述16
• 2.2 Hadoop16-20
• 2.2.1 Hadoop HDFS16-18
• 2.2.2 Hadoop MapReduce18-20
• 2.3 Hive20
• 2.4 HBase20-22
• 2.5 Sqoop22
• 2.6 MySQL22-23
• 2.7 本章小结23-24
• 第三章 系统设计24-42
• 3.1 系统需求分析24-27
• 3.1.1 数据采集需求24-25
• 3.1.2 数据存储需求25-26
• 3.1.3 数据分析需求26
• 3.1.4 系统交互需求26-27
• 3.1.5 系统性能需求27
• 3.2 系统架构设计27-41
• 3.2.1 数据采集层设计28-34
• 3.2.2 源数据文件存储层设计34-36
• 3.2.3 数据预处理层设计36-37
• 3.2.4 混合架构存储层设计37-40
• 3.2.5 数据访问层设计40-41
• 3.3 本章小结41-42
• 第四章 系统实现42-61
• 4.1 数据采集层实现42-45
• 4.1.1 数据采集层数据结构42
• 4.1.2 数据采集层的具体实现42-45
• 4.2 源数据文件存储层实现45-47
• 4.3 数据预处理层实现47-51
• 4.3.1 能耗数据记录的数据结构47-48
• 4.3.2 基于MapReduce的数据预处理实现48-50
• 4.3.3 基于Hive的数据预处理实现50-51
• 4.4 混合架构存储层实现51-57
• 4.4.1 HBase存储模型51-53
• 4.4.2 HBase能耗数据导入53-54
• 4.4.3 MySQL存储模型54-55
• 4.4.4 MySQL能耗数据导入55-57
• 4.5 数据访问层实现57-60
• 4.5.1 HBase数据访问57-59
• 4.5.2 MySQL数据访问59-60
• 4.6 本章小结60-61
• 第五章 系统测试61-69
• 5.1 实验环境61-62
• 5.2 性能测试62-67
• 5.3 结论67-68
• 5.4 本章小结68-69
• 第六章 总结及展望69-71
• 6.1 总结69-70
• 6.2 展望70-71
• 参考文献71-73
• 致谢73-74
• 攻读学位期间发表的学术论文74

【相似文献】

中国期刊全文数据库 前10条

1 AlixL.Paultre;用全息技术实现海量数据存储[J];今日电子;2002年08期

2 邵志举;;海量数据高效存储与管理研究 一种高效海量数据存储、管理与实时发布方案[J];职业圈.现代软科学;2006年02期

3 邵志举;;海量数据高效存储与管理研究 一种高效海量数据存储、管理与实时发布方案[J];职业圈.现代软科学;2006年03期

4 白立新;王雷;;海量数据存储的解决方法[J];数字与缩微影像;2007年02期

5 郭艳霞;颜军;;海量数据存储模式的研究[J];计算机与数字工程;2008年11期

6 段红英;;浅谈海量数据存储中的几个问题[J];甘肃科技纵横;2009年01期

7 杜海宁;;基于云计算的图书馆海量数据存储研究[J];图书与情报;2010年03期

8 张德山;李海浩;;海量数据存储管理方法的研究[J];信息化研究;2011年04期

9 许小媛;程宏兵;;基于云计算的海量数据存储[J];制造业自动化;2013年13期

10 姚书怀,刘兴伟;大型数据中心海量数据存储解决方案的设计[J];四川工业学院学报;2004年S1期

中国重要会议论文全文数据库 前2条

1 王海涛;石晶;周立柱;;基于多级存储的海量数据存储系统[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

2 卢朝霞;习捷;王剑;;基于数据库分区的海量数据存储技术的研究[A];2006中国控制与决策学术年会论文集[C];2006年

中国重要报纸全文数据库 前8条

1 本报记者;多方寻求合作 推动云力量聚黑河[N];黑河日报;2014年

2 ;存储软件市场首现国产身影[N];网络世界;2006年

3 本报记者 刘慧;大数据应用市场可达百亿元规模[N];中国经济时报;2014年

4 记者 李杏;甩掉“差不多先生”的文化标签[N];长江日报;2013年

5 曹云萍;众多上市公司欲分羹[N];人民邮电;2014年

6 本报记者 周源;多数企业谨慎对待云存储[N];网络世界;2010年

7 廖军;大数据时代的有色大数据[N];中国有色金属报;2014年

8 本报记者 陈静;大数据“润物无声”大产业[N];经济日报;2013年

中国博士学位论文全文数据库 前2条

1 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

2 刘应波;太阳望远镜海量数据存储关键技术研究[D];中国科学院研究生院（云南天文台）;2014年

中国硕士学位论文全文数据库 前10条

1 张喜;海量数据存储模式的研究[D];广东工业大学;2012年

2 唐亦鹏;海量数据存储系统的设计与实现[D];哈尔滨工业大学;2014年

3 娄希安;海量数据存储与查询策略的优化研究[D];大连海事大学;2012年

4 田爱雪;基于海量数据存储的性能测试与优化研究[D];长春理工大学;2014年

5 胡学庆;集群环境下海量数据存储管理技术的研究[D];东北石油大学;2010年

6 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年

7 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年

8 马文杰;基于CAP理论的海量数据存储研究与应用[D];苏州大学;2013年

9 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年

10 姜治光;基于混合架构的海量数据存储系统的研究与实现[D];北京邮电大学;2014年

，

本文编号：673254