基于云服务的海量海岛遥感数据存储管理研究
发布时间：2021-01-08 20:05
随着对地观测技术手段的迅速发展,海洋遥感数据所需存储量也不断增加。与此同时,在海岛监视、海岛调查等领域遥感影像应用不断深入,涌现出各种计算密集型和数据密集型的应用,传统的遥感数据存储管理方法已难以达到预期要求。如何做到高效存储日益增加的海量海岛遥感数据,并提供灵活的、可靠的管理与应用服务,是目前海岛遥感影像数据存储管理领域急需解决的问题。面对动态增长的高分辨率海岛遥感影像数据存储管理和应用难题,廉价的、高可伸缩的云计算是一种极具潜力的解决途径。本文在已有的开源云计算平台Hadoop的基础上,结合高分辨率遥感数据存储和应用特点,研究云计算的两大主要特性（分布式存储和高性能并行计算）在高分辨遥感数据存储管理上的应用。为此,提出了一种面向云服务的高分辨率遥感数据存储管理应用模型Cloud-RDSM,实现云计算环境下海量遥感影像数据的高效存储管理和数据传输,主要包括以下2个方面的研究工作:1)分析了当前云存储的分布式文件系统和遥感数据按空间区域存取的特点,指出当前分布式文件系统在海量遥感数据存储管理领域应用存在的问题,提出了一种遥感影像数据存储模型,它基于分布式海岛影像数据集（DID）,并与开...
【文章来源】：上海海洋大学上海市
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
云计算环境下的虚拟化资源池[31]
图 1.4 云存储的应用架构[44]本文采用的云存储定义是：通过集群应用、分布式文件系统等技术，将网络储设备通过虚拟化软件集合起来协同工作，共同对外提供数据存储和业务访, 44]。如图 1.4 所示，云存储系统的应用架构包括 3 层，即存储层、管理层和访问存储层中包含数量庞大，且厂商、型号和使用技术等都可能存在较大差异的设备，云存储通过存储虚拟化技术为这些存储设备之间的逻辑卷管理、存储理和多链路冗余管理等提供了有效手段。而云存储的虚拟化软件泛指一切能资源虚拟化成一个存储资源池，屏蔽存储实体间的异构特性和物理位置，为统一的存储访问逻辑视图的软件手段。面向云存储的分布式文件系统是云储存的核心，同时也是数据密集型计算的够在通用、廉价的硬件平台（Commodity Hardware）上构建大容量、高吞吐[45]
集群硬件环境CPU：Intel (R) Core (TM) i7 CPU 950 @ 3.60GHz；内存：8GB；网卡：带宽自适应以太网卡；硬盘：2TB，SATAⅢ，7200RPM；网络环境：千兆以太网交换机，超五类网线。 集群软件环境操作系统：Ubuntu Server 14.04；Hadoop 版本：1.0.4；JDK 版本：1.8.0。2.4.1 影像数据写入性能实验中 HDFS 集群采用副本数 3 对影像数据块进行存储，分别由不同数据节点个数来组成集群，以验证分布式海岛影像数据集中影像数据块写入性能和生成的系统元数据大小。当节点数小于 3 时，系统文件数据块副本数与节点数相同。实验网络环境中实测数据传输速率为 11.2 MB/s。
【参考文献】：
期刊论文
[1]遥感云服务平台技术研究与实验[J]. 任伏虎,王晋年. 遥感学报. 2012(06)
[2]森林火灾碳排放计量模型研究进展[J]. 胡海清,魏书精,金森,孙龙. 应用生态学报. 2012(05)
[3]云存储技术发展及应用[J]. 钱宏蕊. 电信工程技术与标准化. 2012(04)
[4]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方. 通信学报. 2011(07)
[5]面向分散式存储的云存储安全架构[J]. 边根庆,高松,邵必林. 西安交通大学学报. 2011(04)
[6]高性能计算存储关键技术研究[J]. 朱平,朱建涛,高剑刚,蒋金虎. 计算机研究与发展. 2011(S1)
[7]山洪灾害雷达遥感灾情评估技术研究与应用[J]. 聂娟,范一大,邓磊,关妍. 自然灾害学报. 2010(03)
[8]网络存储关键技术的研究及进展[J]. 冯丹. 移动通信. 2009(11)
[9]基于多重信息融合的高分辨率遥感影像道路信息提取[J]. 李晓峰,张树清,韩富伟,秦喜文,于欢. 测绘学报. 2008(02)
[10]高分辨率遥感植被分类研究[J]. 陈君颖,田庆久. 遥感学报. 2007(02)
博士论文
[1]云计算环境下高分辨率遥感影像存储与高效管理技术研究[D]. 康俊锋.浙江大学 2011
[2]基于DHT的开放对等云存储服务系统研究[D]. 吴吉义.浙江大学 2011
[3]基于内容的多光谱遥感影像检索若干关键技术研究[D]. 李嘉.华中科技大学 2009
本文编号：2965217
【文章来源】：上海海洋大学上海市
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
云计算环境下的虚拟化资源池[31]
图 1.4 云存储的应用架构[44]本文采用的云存储定义是：通过集群应用、分布式文件系统等技术，将网络储设备通过虚拟化软件集合起来协同工作，共同对外提供数据存储和业务访, 44]。如图 1.4 所示，云存储系统的应用架构包括 3 层，即存储层、管理层和访问存储层中包含数量庞大，且厂商、型号和使用技术等都可能存在较大差异的设备，云存储通过存储虚拟化技术为这些存储设备之间的逻辑卷管理、存储理和多链路冗余管理等提供了有效手段。而云存储的虚拟化软件泛指一切能资源虚拟化成一个存储资源池，屏蔽存储实体间的异构特性和物理位置，为统一的存储访问逻辑视图的软件手段。面向云存储的分布式文件系统是云储存的核心，同时也是数据密集型计算的够在通用、廉价的硬件平台（Commodity Hardware）上构建大容量、高吞吐[45]
集群硬件环境CPU：Intel (R) Core (TM) i7 CPU 950 @ 3.60GHz；内存：8GB；网卡：带宽自适应以太网卡；硬盘：2TB，SATAⅢ，7200RPM；网络环境：千兆以太网交换机，超五类网线。 集群软件环境操作系统：Ubuntu Server 14.04；Hadoop 版本：1.0.4；JDK 版本：1.8.0。2.4.1 影像数据写入性能实验中 HDFS 集群采用副本数 3 对影像数据块进行存储，分别由不同数据节点个数来组成集群，以验证分布式海岛影像数据集中影像数据块写入性能和生成的系统元数据大小。当节点数小于 3 时，系统文件数据块副本数与节点数相同。实验网络环境中实测数据传输速率为 11.2 MB/s。
【参考文献】：
期刊论文
[1]遥感云服务平台技术研究与实验[J]. 任伏虎,王晋年. 遥感学报. 2012(06)
[2]森林火灾碳排放计量模型研究进展[J]. 胡海清,魏书精,金森,孙龙. 应用生态学报. 2012(05)
[3]云存储技术发展及应用[J]. 钱宏蕊. 电信工程技术与标准化. 2012(04)
[4]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方. 通信学报. 2011(07)
[5]面向分散式存储的云存储安全架构[J]. 边根庆,高松,邵必林. 西安交通大学学报. 2011(04)
[6]高性能计算存储关键技术研究[J]. 朱平,朱建涛,高剑刚,蒋金虎. 计算机研究与发展. 2011(S1)
[7]山洪灾害雷达遥感灾情评估技术研究与应用[J]. 聂娟,范一大,邓磊,关妍. 自然灾害学报. 2010(03)
[8]网络存储关键技术的研究及进展[J]. 冯丹. 移动通信. 2009(11)
[9]基于多重信息融合的高分辨率遥感影像道路信息提取[J]. 李晓峰,张树清,韩富伟,秦喜文,于欢. 测绘学报. 2008(02)
[10]高分辨率遥感植被分类研究[J]. 陈君颖,田庆久. 遥感学报. 2007(02)
博士论文
[1]云计算环境下高分辨率遥感影像存储与高效管理技术研究[D]. 康俊锋.浙江大学 2011
[2]基于DHT的开放对等云存储服务系统研究[D]. 吴吉义.浙江大学 2011
[3]基于内容的多光谱遥感影像检索若干关键技术研究[D]. 李嘉.华中科技大学 2009
本文编号：2965217
本文链接：https://www.wllwen.com/kejilunwen/haiyang/2965217.html
