基于HBase GPS数据存储设计及优化

发布时间：2017-09-04 20:48

  本文关键词：基于HBase GPS数据存储设计及优化

  更多相关文章： Hadoop GPS数据 分布式计算 HBase 分布式存储

【摘要】：随着现代数据收集技术的迅速发展使各领域的数据不断增长。传统的计算机在海量的数据面前已经略显吃力。在这样的背景之下云计算悄然而生,而Hadoop为一个开源的分布式处理系统平台,属于Apache研发公司的一个平台。Hadoop以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(goole mapreduce的开源实现)为核心,为用户提供了系统底层细节透明的云计算基础构架。Hadoop平台还包含了集群管理,数据仓库,文件查询等平台。Hadoop已经发展成企业与研究领域对云计算进行研发与应用的一个标准。HBase为Apache Hadoop中的数据仓库,可以实现实时、随机的读/写大规模文件的请求。HBase将数据存储和数据的并行计算完美地结合起来。HBase是开源的,并且可以轻松地在便宜的硬件上部署规模巨大的结构化储存的集群。目前已经有好多国内外的大公司应用HBase作为他们的数据存储仓库。人们的生活水平越来越高,物流车辆变得很多很多,它们产生的GPS数据也越来越多,我们希望存储相应信息的时间也越来越长,人们对信息处理的要求也越来越大,对GPS车辆信息的处理需求也变得越来越大,面对GPS产生的海量数据传统的处理方式、存储方式已经力不从心,云计算、云储存技术的产生给大数据的处理、储存提供了一种很好的解决途径。因此GPS信息基于Hadoop的应用,基于HBase的存储是物流行业未来发展的潮流,是解决物流大数据很有效的途径。本论文首先对hadoop的基础知识进行了介绍,讲解了Hadoop的核心子项目分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce分布式处理编程模型,以及Hadoop的数据仓库HBase。然后对所需要的分布式环境进行了搭建,讲述了Hadoop集群的搭建过程和HBase的搭建过程,及Sqoop的安装。接着通过Hadoop的分布式编程模型对GPS物流车辆信息进行了处理,编写实现了基于Hadoop的四个应用实例,通过应用实例加深对Hadoop编程模型的了解。最后介绍了HBase的基本原理,及GPS数据基于HBase表存储的设计,其中重点对rowkey进行了设计,对HBase的写入性能进行了分析,并对写入性能进行了调优以提高HBase的写入性能,设计实现了GPS数据基于HBase的存储,并通过实验给予了验证。
【关键词】：Hadoop GPS数据 分布式计算 HBase 分布式存储
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：P228.4
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 缩略语对照表10-13
• 第一章 绪论13-19
• 1.1 研究背景及意义13-15
• 1.2 研究现状15-16
• 1.3 论文的研究内容与章节安排16-19
• 第二章 Hadoop基础19-31
• 2.1 Hadoop介绍19-21
• 2.2 MapReduce21-23
• 2.3 HDFS23-26
• 2.4 HBase简介26-28
• 2.5 本章小结28-31
• 第三章 hadoop环境搭建31-45
• 3.1 Hadoop集群部署31-39
• 3.1.1 环境说明与网络配置31-32
• 3.1.2 SSH无密码验证配置32-34
• 3.1.3 Java环境安装34
• 3.1.4 Hadoop集群安装34-38
• 3.1.5 集群安装过程中遇到的问题及解决38-39
• 3.2 HBase安装39-42
• 3.3 Sqoop安装42-45
• 第四章 Hadoop应用实例45-55
• 4.1 用Sqoop将数据从sql server导入到HDFS45-47
• 4.2 某车辆经过某个加油站次数统计47-49
• 4.3 区域中车量数统计49-50
• 4.4 车辆在道路上走过并发生异常检测50-52
• 4.5 本章小结52-55
• 第五章 HBase存储及优化55-67
• 5.1 HBase原理55-60
• 5.1.1 HBase逻辑视图55-57
• 5.1.2 HBase物理存储57-58
• 5.1.3 子表Region服务器58-59
• 5.1.4 HMaster主服务器59-60
• 5.1.5 元数据表60
• 5.2 HBase RowKey设计60-61
• 5.3 HBase写入性能分析及提升61-64
• 5.4 实验64-65
• 5.5 本章小结65-67
• 第六章总结与展望67-69
• 6.1 全文总结67
• 6.2 对未来的展望67-69
• 参考文献69-71
• 致谢71-73
• 作者简介73-74
• 1.基本情况73
• 2.教育背景73-74

【相似文献】

中国硕士学位论文全文数据库 前1条

1 彭瑞华;基于HBase GPS数据存储设计及优化[D];西安电子科技大学;2014年

，

本文编号：793761