基于Hadoop的遥感影像数据私有云平台构建及应用

发布时间：2020-03-26 02:32

【摘要】：近年来,数字信息不断的积累,导致了全球的数据爆炸,数据存储和信息挖掘的需求推动了大数据技术的发展。遥感是对地球表面的探测技术,随着遥感影像数据的空间分辨率、时间分辨率、光谱分辨率、辐射分辨率的不断变化,遥感影像数据爆发式增长。遥感影像数据面临数据量大、实时入库压力大、存储成本高;数据共享方面存在瓶颈;数据类型多样,数据管理困难的问题。结合大数据技术解决遥感影像数据面临的问题,非常有研究意义。借鉴国内外的遥感影像数据服务提供商采用的分布式云存储架构,基于Hadoop构建一个适用于遥感影像数据的私有云平台。平台采用ArcGIS Server发布遥感影像元数据的地图服务,采用ArcGIS Web AppBuilder构建在线查询应用;遥感影像数据的存储则采用Hadoop的HDFS。同时,在地图服务图层的属性中添加对应的遥感影像数据在HDFS中的存储路径信息,实现影像元数据和遥感影像数据之间的关联映射。结合Hadoop API进行应用开发,构建遥感影像数据私有云平台,支持遥感影像元数据的在线属性查询、空间查询,获得影像在HDFS中的路径信息和数据编号,下载对应的遥感影像数据。基于CDH集群提出遥感影像数据私有云平台的功能扩展方向,最大限度的利用集群资源,挖掘遥感影像数据信息。基于已有的运行环境和测试结果证实,以CDH集群作为生产化的环境是可靠的,基于GIS技术和Hadoop构建私有云平台的技术方案是可行的,能应用于遥感影像数据的存储、检索和管理。以ZY-02C遥感影像数据为例,构建的遥感影像数据私有云平台能实现遥感影像元数据在线检索和遥感影像数据的快速下载,并在一定程度上解决遥感影像数据在存储、数据共享和管理上存在的问题。
【图文】：

图 2-1 管理员用例图数据管理用例：由管理员负责遥感影像元数据的的服务发布和更新等；例：管理员管理所有用户在 HDFS 分布式文件后，负责删除此用户在 HDFS 中的文件目录。用户的个人文件管理用例，该用例使用文件上传用用例、以及文件查询用例；通过这部分用例，实和管理个人文件。

图 2-1 管理员用例图数据管理用例：由管理员负责遥感影像元数据的服务发布和更新等；例：管理员管理所有用户在 HDFS 分布式文后，负责删除此用户在 HDFS 中的文件目录。用户的个人文件管理用例，该用例使用文件上传用例、以及文件查询用例；通过这部分用例，和管理个人文件。
【学位授予单位】：中国地质大学(北京)
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P208;TP751

【参考文献】

相关期刊论文 前10条

1 巩岩;;利用GDAL实现导航道路的外扩线生成[J];测绘通报;2018年03期

2 严杰;王刚龙;李绍荣;;基于Flex API的南海海洋地质调查数据共享服务平台实现[J];热带海洋学报;2018年02期

3 闫顺玺;王晓雷;甘德清;;基于B/S架构的三维矿井GIS系统[J];金属矿山;2018年02期

4 王永坤;罗萱;金耀辉;;基于私有云和物理机的混合型大数据平台设计及实现[J];计算机工程与科学;2018年02期

5 张振江;刘昆;程军军;刘卿;;基于图形口令的认证方案及其在电子商务中的应用[J];北京理工大学学报;2017年12期

6 成晓强;杨敏;桂志鹏;艾廷华;吴华意;;信息量与相似度约束下的网络地图服务缩略图自动生成算法[J];测绘学报;2017年11期

7 朱建章;石强;陈凤娥;史晓丹;董泽民;秦前清;;遥感大数据研究现状与发展趋势[J];中国图象图形学报;2016年11期

8 胡晓东;张新;屈靖生;;大数据架构的遥感资源存储管理方法[J];地球信息科学学报;2016年05期

9 刘坚;李盛乐;戴苗;陈晓琳;康凯;刘珠妹;郭U_倩;;基于Hbase的地震大数据存储研究[J];大地测量与地球动力学;2015年05期

10 秦强;王晏民;黄明;;基于MongoDB的海量遥感影像大数据存储[J];北京建筑大学学报;2015年01期

相关硕士学位论文 前10条

1 孔维斌;基于深度极限学习机的卫星云图云量计算[D];南京信息工程大学;2017年

2 刘伟;基于抗量子密钥交换协议的SSH协议的研究与实现[D];北京交通大学;2017年

3 张亚奇;可信SSH协议的设计与实现[D];北京交通大学;2017年

4 陆峰;基于FastDFS的企业私有云盘的设计与实现[D];吉林大学;2016年

5 李聪;HDFS元数据管理的高可用性优化技术研究[D];哈尔滨工业大学;2016年

6 王运萍;HBase中Compaction及读缓存机制研究[D];重庆邮电大学;2016年

7 魏莲莲;基于Hadoop带有负载均衡的垂直FP-growth挖掘算法研究[D];辽宁大学;2016年

8 彭磊;遥感影像大数据管理系统关键技术研究与系统实现[D];电子科技大学;2016年

9 郑永坤;基于Hadoop的遥感数据存储与管理系统的研究与实现[D];东南大学;2016年

10 王猛;大数据分析仓库Hive存储结构扩展的设计和实现[D];上海交通大学;2015年

，

本文编号：2600816