云平台下时空数据存储与索引机制的研究

发布时间：2017-05-23 22:11

  本文关键词：云平台下时空数据存储与索引机制的研究，由笔耕文化传播整理发布。

【摘要】：近年来,大量的GPS设备产生了大规模的具有时间和空间位置的数据,我们称之为海量时空数据。目前主流的时空数据存储方法大多基于单机空间数据库,由于单机性能有限,扩展性不高,渐渐不能适用于处理大规模时空数据。随着分布式云计算的高速发展,众多高性能的云平台层出不穷,为处理海量时空数据提供了契机,但是这些云平台在机器成本、能耗、实验场地等方面造价高,对普通用户收取的费用也是昂贵的。当前,时空索引的研究大多是单机下的串行索引,分布式时空索引很少研究。存储在分布式云平台上的海量时空数据,不但数据存放无序,而且需要遍历每条记录,才能检索到用户所需的内容,检索效率低下。所以,时空数据在云平台上的存储策略以及索引构建上面临巨大压力。如何利用云平台的高性能计算能力,有效的存储与检索时空数据,是必须解决的关键技术问题之一。基于以上问题,通过大量的准备工作,本文提出以下解决方案。首先,采用低成本低能耗的Cubieboard2 ARM开发板搭建Hadoop分布式云平台,分析云平台性能与能耗,验证其实用性。然后,在HDFS层次上,设计了两种全局-局部索引,即TGrid索引和QDtree索引。TGrid索引采用改进的网格划分算法将时空数据均匀的划分到HDFS数据块中,每个数据块构造一维时间的局部索引;QDtree索引采用改进的四叉树划分算法划分时空数据,构建多维R-tree的局部索引管理数据块中的数据。最后,设计存储优化策略,采用列存储与数据压缩的方法,减小磁盘存储空间,提高数据检索和网络传输效率。实验表明,该云平台虽然单机性能有限,但能够充分发挥Hadoop可扩展性,发挥并行计算的优势,弥补单节点的不足,而且成本低廉,有很好的借鉴意义。通过本文提出的两种时空索引机制和存储优化策略,不但合理的存储海量时空数据,节省存储的开销,而且索引对时间和空间属性的有效剪枝,大大提高了数据检索效率。
【关键词】：海量时空数据 分布式时空索引 云平台 存储优化
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-5
• Abstract5-10
• 第一章 绪论10-17
• 1.1 课题研究背景及意义10-11
• 1.2 国内外研究现状11-14
• 1.2.1 传统时空数据研究与发展11-13
• 1.2.2 分布式并行索引的发展13-14
• 1.3 本文研究内容及贡献14-16
• 1.3.1 低成本、低能耗、高扩展性的Hadoop云平台14-15
• 1.3.2 两种分布式时空索引机制15-16
• 1.4 本文组织结构16-17
• 第二章 相关知识介绍17-26
• 2.1 云平台的相关知识17-20
• 2.1.1 Hadoop发展17-18
• 2.1.2 HDFS原理研究18-19
• 2.1.3 MapReduce编程模型19-20
• 2.1.4 Yarn模型20
• 2.2 分布式时空索引理论20-25
• 2.2.1 时空对象20-21
• 2.2.2 时空索引21-22
• 2.2.3 传统Hadoop存取时空数据22-23
• 2.2.4 HDFS两层索引23-25
• 2.3 本章小结25-26
• 第三章 基于ARM的云平台搭建以及性能分析26-38
• 3.1 CubieBoard2介绍26-27
• 3.2 云平台搭建27-30
• 3.2.1 云平台硬件设备27-28
• 3.2.2 搭建过程28-30
• 3.3 云平台性能测试方法30-31
• 3.3.1 Cubieboard2性能分析工具30-31
• 3.3.3 云平台性能分析方法31
• 3.4 实验及分析31-37
• 3.4.1 单节点性能测试与集群能耗测试32
• 3.4.2 读写测试32-33
• 3.4.3 TeraSort测试33-36
• 3.4.4 能耗测试36-37
• 3.5 本章小结37-38
• 第四章 分布式时空索引机制38-47
• 4.1 分布式时空索引构建方法38-41
• 4.1.1 时空数据模型38-39
• 4.1.2 两层索引构建一般流程39-41
• 4.2 时空网格索引(TGrid)41-43
• 4.2.1 改进的网格划分算法41-42
• 4.2.2 局部一维时间索引42-43
• 4.3 QDTree索引43-46
• 4.3.1 改进的四叉树划分算法44-45
• 4.3.2 局部 3DR-tree索引45-46
• 4.4 本章小结46-47
• 第五章 存储优化与实验分析47-55
• 5.1 存储优化47-50
• 5.1.1 时空数据的列存储47-49
• 5.1.2 时空数据压缩存储49-50
• 5.2 实验结果与分析50-54
• 5.2.1 实验环境与数据集50
• 5.2.2 时空数据存储性能分析50-51
• 5.2.3 时空数据索引构建时间分析51-52
• 5.2.4 时空数据检索性能52-54
• 5.3 本章小结54-55
• 第六章 总结与展望55-57
• 6.1 论文总结55
• 6.2 工作展望55-57
• 参考文献57-61
• 作者简介及在学期间所取得的科研成果61-62
• 致谢62

【相似文献】

中国期刊全文数据库 前10条

1 尹章才,邓运员;时空数据仓库初探[J];测绘科学;2002年03期

2 尹章才;李霖;;异构时空数据的转换机制研究[J];华中师范大学学报(自然科学版);2007年02期

3 陈荣清,谢刚生,邹时林;时态GIS中时空数据表达综述[J];华东地质学院学报;2001年04期

4 雷起宏;刘耀林;尹章才;何建华;;基于加权图的地籍时空数据描述模型研究[J];武汉大学学报(信息科学版);2006年07期

5 刘春菊;石敦敦;;城市规划信息系统的时空数据组织方案[J];地球信息科学;2006年04期

6 谢炯;刘仁义;刘南;;基于时空分区聚簇的海量时空数据性能优化方法研究[J];中国图象图形学报;2006年09期

7 乔金海;宋勤昌;;海洋地理信息系统时空数据组织模型研究[J];吉林大学学报(地球科学版);2006年S2期

8 赫建忠;张保钢;;地形图时空数据建库的两种方法及其对比[J];测绘科学;2008年03期

9 张宝才;周顺平;汪瑜;杨林;宋宗孝;;基于历史归档的时空数据管理研究[J];工程地球物理学报;2009年01期

10 童小华;;时空数据质量与模型[J];地理信息世界;2009年02期

中国重要会议论文全文数据库 前10条

1 周辉;周晓光;何凭宗;秦佐;;基态修正模型的时空数据组织和快照查询方法研究[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年

2 任家东;彭慧丽;张啸剑;;一种基于时空对象的数据模型不确定性扩展[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

3 刘纪远;;国家资源环境时空数据基础及其在资源环境研究中的应用[A];第十三届全国遥感技术学术交流会论文摘要集[C];2001年

4 龚俊;鲍曙明;殷守敬;赵祥生;;时空数据分析中的多阶模型应用[A];中国地理学会2006年学术年会论文摘要集[C];2006年

5 刘纪远;;资源环境时空数据基础与地理科学方法论的创新(摘要)[A];中国科协2001年学术年会分会场特邀报告汇编[C];2001年

6 杨华先;钱自红;;地球时空数据在资源环境领域的应用[A];湖北省测绘学会2004年度科学技术交流会论文集[C];2005年

7 杨华先;钱自红;;地球时空数据在资源环境领域的应用[A];测绘荆楚——湖北省测绘学会2005年“索佳杯”学术论文集[C];2005年

8 季民;靳奉祥;李婷;艾波;赵相伟;;基于格网的海洋时空数据组织策略研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 刘纪远;;资源环境时空数据基础与地理科学方法论的创新[A];海峡两岸地理学术研讨会暨2001年学术年会论文摘要集[C];2001年

10 王欢;魏海平;;时空数据可视化浅述[A];第四届海峡两岸GIS发展研讨会暨中国GIS协会第十届年会论文集[C];2006年

中国重要报纸全文数据库 前1条

1 本报记者 孙安然;让信息共享“零距离”[N];中国海洋报;2013年

中国博士学位论文全文数据库 前10条

1 柏禄一;基于XML的模糊时空数据建模与查询方法的研究[D];东北大学;2013年

2 秦昆;时空数据建模方法研究[D];中国地质大学(北京);2016年

3 毛华坚;云环境中的移动文件存储和时空数据分析关键技术研究[D];国防科学技术大学;2013年

4 张丰;面向网格的海量时空数据访问、集成与互操作研究[D];浙江大学;2007年

5 汪汇兵;基础地理信息时空一体化建模与管理方法研究[D];武汉大学;2011年

6 滕龙妹;土地资源时空数据网格服务模型及其实现方法[D];浙江大学;2008年

7 季民;海洋渔业GIS时空数据组织与分析[D];山东科技大学;2004年

8 李昭;虚拟海洋环境时空数据建模与可视化服务研究[D];浙江大学;2010年

9 蔡中祥;基于GIS的长江河口空间决策支持研究[D];华东师范大学;2005年

10 尹华罡;基于海量时空数据的路线挖掘与检索[D];中国科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 温波;基于时空数据的多约束地点推荐模型研究[D];华南理工大学;2015年

2 刘权芳;两类时空数据模型及其应用研究[D];长安大学;2015年

3 刘莎;空间数据与时空数据的分析方法及比较[D];长安大学;2015年

4 施志林;时空数据分布式存储研究[D];江西理工大学;2015年

5 李泽城;基于MongoDB的滇池流域非点源污染模拟时空数据库管理系统设计与实现[D];云南师范大学;2015年

6 董禹辛;移动云计算在车辆GPS中的研究与应用[D];华北电力大学;2015年

7 卢艳松;基于SOM的农业时空数据可视化分析模式[D];浙江农林大学;2015年

8 高锐;基于MongoDB的黑河流域时空数据云存储关键技术研究[D];兰州大学;2016年

9 杨学毅;云平台下时空数据存储与索引机制的研究[D];吉林大学;2016年

10 周辉;基于基态修正模型的时空数据增量更新与查询方法研究[D];中南大学;2010年

  本文关键词：云平台下时空数据存储与索引机制的研究，由笔耕文化传播整理发布。

，

本文编号：389217