基于Hadoop的遥感数据存储与管理系统的研究与实现

发布时间：2017-07-18 23:06

  本文关键词：基于Hadoop的遥感数据存储与管理系统的研究与实现

  更多相关文章： Hadoop 遥感数据 GDAL GeoWebCache 存储管理

【摘要】：卫星遥感获取技术的发展,使得遥感数据快速增长,传统的遥感数据存储与管理方式已经难以满足实际使用需求。近年来,云计算技术为遥感数据的处理提供了解决方案。本文将云计算技术应用于GIS领域,研究实现了一个基于Hadoop的遥感数据存储与管理系统。具体而言,论文的主要工作包括以下几个方面：(1)基于Hadoop云计算平台,设计了一个遥感数据存储与管理系统,主要功能包括遥感数据快速入库、遥感影像金字塔并行构建、遥感数据按需发布等。(2)设计和实现了遥感数据快速入库模块。该模块为数据管理员提供遥感数据下载功能,支持HTTP协议和FTP协议的多线程分布式断点续传下载,能够存储大规模的遥感数据,并可根据实际需要扩展存储节点,方便数据管理员对遥感数据的管理。(3)设计和实现了遥感影像金字塔并行构建模块。该模块实现了基于MapReduce的遥感影像金字塔并行构建算法,可对大规模遥感数据进行分层切割、分块存储。该模块采用了适合快速读取栅格数据的(DAL开源类库,为遥感数据并行切割提供数据源。(4)设计和实现了遥感数据按需发布模块。该模块为用户提供遥感数据的访问,采用了GeoWebCache开源瓦片她图服务中间件,引入了HBase作为瓦片的存储支撑.可以处理大量用户的并发访问,包括对地图的加载和拖拽等。(5)开展了系统测试,验证了本文提出的方法的有效性和实用性。测试可以表明,基于Hadoop的遥感数据存储与管理系统可有效处理遥感数据,改善了用户的体验。
【关键词】：Hadoop 遥感数据 GDAL GeoWebCache 存储管理
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52;TP751
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 研究背景与意义8-9
• 1.2 国内外研究现状9-11
• 1.3 论文的研究内容11
• 1.4 论文的组织结构11-13
• 第二章 相关技术概述13-19
• 2.1 云计算平台Hadoop13-16
• 2.1.1 分布式文件系统HDFS13-14
• 2.1.2 分布式计算模型MapReduce14-15
• 2.1.3 分布式数据库HBase15-16
• 2.2 栅格空间数据转换库GDAL16-17
• 2.3 遥感影像金字塔技术17
• 2.4 瓦片缓存中间件GeoWebCache17-18
• 2.5 本章小结18-19
• 第三章 系统分析与设计19-39
• 3.1 需求分析19-21
• 3.1.1 概述19
• 3.1.2 功能需求19-21
• 3.1.3 性能需求21
• 3.2 框架设计21-22
• 3.3 总体设计22-23
• 3.4 模块设计23-35
• 3.4.1 遥感数据快速入库模块设计23-28
• 3.4.2 遥感影像金字塔并行构建模块设计28-33
• 3.4.3 遥感数据按需发布模块设计33-35
• 3.5 数据库设计35-38
• 3.5.1 数据库设计概述35
• 3.5.2 数据表字段设计35-38
• 3.6 本章小结38-39
• 第四章 系统主要功能的实现39-49
• 4.1 系统架构39-40
• 4.2 遥感数据快速入库模块的实现40-41
• 4.2.1 模块实现40
• 4.2.2 FTP远程数据入库40-41
• 4.2.3 HTTP远程数据入库41
• 4.2.4 模块流程41
• 4.3 遥感影像金字塔并行构建模块的实现41-45
• 4.3.1 GDAL读取遥感数据41-42
• 4.3.2 瓦片的行列号编码及目录结构42-43
• 4.3.3 基于MapReduce的遥感影像金字塔并行构建方法43-44
• 4.3.4 模块流程44-45
• 4.4 遥感数据按需发布模块的实现45-48
• 4.4.1 配置文件的生成45-47
• 4.4.2 GeoWebCache与HBase的结合47
• 4.4.3 模块流程47-48
• 4.5 本章小结48-49
• 第五章 系统测试49-59
• 5.1 测试准备49-50
• 5.2 测试方案50
• 5.3 测试结果及分析50-58
• 5.3.1 功能测试50-53
• 5.3.2 性能测试53-57
• 5.3.3 结果分析57-58
• 5.4 本章小结58-59
• 第六章 总结与展望59-61
• 6.1 总结59
• 6.2 展望59-61
• 致谢61-62
• 参考文献62-63

【相似文献】

中国期刊全文数据库 前10条

1 刘晓龙;李英成;;遥感数据订购与管理软件的开发与应用[J];测绘科学;2006年04期

2 董秀珍;刘德长;叶发旺;宣艳秀;;遥感数据及航放、航磁数据处理浅析[J];世界核地质科学;2009年02期

3 李斌斌;冯钟葵;唐梦辉;;遥感数据异地归档方法研究与实现[J];遥感信息;2011年02期

4 严瑾;;遥感数据应急服务机制研究与实现[J];硅谷;2011年11期

5 姜宇鸣;陈道波;;遥感数据记录存档软件的设计与实现[J];郑州轻工业学院学报(自然科学版);2011年03期

6 张文;孟令奎;周扬;赵铭;涂振发;娄书荣;;多源水利遥感数据的一体化管理机制研究[J];水利信息化;2012年04期

7 谢怡;利用遥感数据研究地球变化[J];中国航天;1991年08期

8 李四海;提高遥感数据分类应用性的有效途径[J];国土资源遥感;1995年04期

9 李四海;浅谈提高遥感数据分类精度的方法[J];遥感信息;1995年04期

10 吴美蓉;中巴地球资源卫星应用及其发展[J];测绘科学;2000年02期

中国重要会议论文全文数据库 前10条

1 任娜;朱长青;;一种抗拼接的瓦片遥感数据水印算法[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

2 黄二辉;潘德炉;杨燕明;;海洋遥感数据的时空分布经验正交分析方法研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

3 徐国富;邓正栋;于德浩;;基于遥感数据的民用渡口选址模型及实例分析[A];国家安全地球物理丛书（八）——遥感地球物理与国家安全[C];2012年

4 谭福强;董双发;;遥感数据的尺度效应与遥感应用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

5 翟永;宋雪生;;遥感数据成果的分级存储管理[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

6 李幸丽;杜培军;;面向数字城市的遥感数据挖掘及其应用[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

7 张伟;;高空间分辨率遥感数据的预处理方法——以泉州快鸟数据为例[A];2007年福建省土地学会年会征文集[C];2007年

8 谢锋;潘明忠;亓洪兴;徐卫明;张雷;舒嵘;戴宁;薛永祺;;支持农业遥感数据产品开发与验证的相关技术进展[A];全国农业遥感技术研讨会论文集[C];2009年

9 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

10 潘强;孙建中;倪丽萍;张杰;;上海城市遥感数据平台的构建及其在城市信息化进程中的作用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

中国重要报纸全文数据库 前10条

1 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年

2 本报记者 操秀英 陈磊;应急“蓄水池”：遥感数据在这里汇聚[N];科技日报;2013年

3 王彤琪;黄河凌情遥感数据更丰富 应用更便捷[N];黄河报;2009年

4 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年

5 记者 李安利;测绘系统遥感数据服务体系日臻完善[N];中国测绘报;2003年

6 杨平;遥感数据有了处理新工具[N];科技日报;2003年

7 李红梅;南亚:使用遥感数据监测旱情[N];中国水利报;2012年

8 庞剑波 郑雄伟;三峡库区首获航空遥感数据[N];地质勘查导报;2009年

9 吕世充　蔚晓涵;武汉珈和遥感数据中心平台服务农业[N];中国测绘报;2014年

10 ;拓宽服务领域 提供高质量遥感数据[N];中国测绘报;2002年

中国博士学位论文全文数据库 前6条

1 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年

2 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院（遥感应用研究所）;2002年

3 周松涛;海量遥感数据的高性能处理及可视化应用研究[D];武汉大学;2013年

4 常歌;基于遥感数据的城市景观建模技术研究与实践[D];解放军信息工程大学;2001年

5 哈斯巴干;神经网络及其组合算法的遥感数据分类研究[D];中国科学院研究生院（遥感应用研究所）;2003年

6 穆超;基于多种遥感数据的电力线走廊特征物提取方法研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 熊贤成;基于MODIS遥感数据的特定云属性研究[D];电子科技大学;2015年

2 王玲玲;基于多源遥感数据四川省伏旱监测[D];成都信息工程学院;2015年

3 元沐南;基于开源WebGIS的遥感数据可视化模型研究与实现[D];河南大学;2015年

4 张振鹏;遥感数据分发系统主动队列控制模式的研究与应用[D];河南大学;2015年

5 杜珍星;面向海量遥感数据的数据库同步技术研究[D];河南大学;2015年

6 孔帅可;基于Swift的海量遥感数据云存储技术研究与应用[D];河南大学;2015年

7 冶鑫晨;云环境下基于地理位置活跃度的遥感数据节能处理策略[D];新疆大学;2016年

8 钟金沙;Hadoop在PSInSAR遥感数据并行处理中的研究及应用[D];东南大学;2015年

9 赵静;基于DART模型的遥感数据空间尺度转换分析[D];辽宁工程技术大学;2015年

10 王锐;海洋遥感数据传输系统研究与设计[D];辽宁工程技术大学;2015年

，

本文编号：560157