基于Hadoop分布式计算的遥感产品生产系统

发布时间：2017-08-08 06:24

  本文关键词：基于Hadoop分布式计算的遥感产品生产系统

  更多相关文章： Hadoop Map Reduce 分布式计算 遥感专题产品

【摘要】：遥感技术是对地观测的重要手段,种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息,使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对地观测遥感卫星,如美国的Landsat、Terra、Aqua,法国的Spot等等,这些卫星每天将产生海量的对地观测数据,为生产全球范围的生态环境遥感专题产品提供了丰富的数据源。然而,面对海量的遥感数据以及复杂的专题产品生产算法模型,传统的串行生产方式由于较低的运行效率,已逐渐不能满足对大规模遥感数据及时、高效处理的要求。针对此问题,论文利用Hadoop在分布式计算方面的优势,结合生态环境遥感专题产品的生产需求,构建了一套具有较高生产效率的遥感产品生产系统,实现快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括:(1)论文以全球环境监测指数和草原干旱指数产品为例,使用MapReduce编程模型设计并实现了产品并行生产算法。结合MapReduce模型的工作原理和具体生产算法的特点,研究并设计了MapReduce模型的输入键、输入值和分区函数。针对具有多个MapReduce任务的复杂生产作业,使用工作流技术解决各MapReduce模型间的依赖关系,确保专题产品的高效生产。(2)基于构建的生态环境专题产品MapReduce生产模型,使用单节点和Hadoop集群以串行和分布式计算的方式生产了全球范围内的相应产品,对比分析了串并行生产方式之间的效率差异,以及在不同计算节点情况下Hadoop集群的运算性能。(3)基于Hadoop分布式计算平台,结合Java 2 Platform Enterprise Edition(J2EE)、WebGIS等技术,设计并实现了全球生态环境遥感专题产品生产与服务系统。针对用户对于专题产品的生产需求,系统以接受订单的方式,利用Hadoop集群快速生产出符合用户要求的专题产品。系统围绕Hadoop生态环境专题产品生产,实现了从订单管理、系统管理、数据管理到最终专题产品生产的一个较为完整的生产环境。与传统桌面型遥感产品生产系统相比,系统不仅有效提高了遥感专题产品的生产效率,同时也为生态环境领域相关研究人员提供一种方便、高效获取专题产品的方式。
【关键词】：Hadoop Map Reduce 分布式计算 遥感专题产品
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：P237
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-18
• 1.1 研究目的及意义11-12
• 1.2 国内外研究现状12-16
• 1.2.1 遥感产品生产系统研究现状12-13
• 1.2.2 高性能计算在遥感中的研究现状13-16
• 1.3 技术路线16-17
• 1.4 论文组织结构17-18
• 第二章 遥感专题产品生产系统技术基础18-32
• 2.1 Hadoop框架介绍18-26
• 2.1.1 Hadoop框架18-20
• 2.1.2 MapReduce编程模型20-23
• 2.1.3 HDFS并行文件系统23-26
• 2.2 Hadoop工作流介绍26-27
• 2.2.1 Hadoop工作流26
• 2.2.2 Azkaban工作流引擎26-27
• 2.3 J2EE平台介绍27-29
• 2.3.1 J2EE平台简介27-28
• 2.3.2 J2EE标准规范28-29
• 2.4 WebGIS介绍29-31
• 2.4.1 WebGIS特点30
• 2.4.2 WebGIS主要功能30-31
• 2.5 本章小结31-32
• 第三章 生态环境遥感专题产品算法实现及串并行程序性能分析32-48
• 3.1 生态环境专题产品介绍32-37
• 3.1.1 全球环境监测指数32
• 3.1.2 草原干旱指数32-37
• 3.2 MapReduce程序配置37-38
• 3.2.1 MapReduce输入值37
• 3.2.2 MapReduce输入键37-38
• 3.2.3 MapReduce分区函数38
• 3.3 生态环境专题产品生产算法MapReduce实现38-41
• 3.3.1 全球环境监测指数产品生产算法MapReduce实现38-39
• 3.3.2 草原干旱指数产品生产算法MapReduce实现39-41
• 3.4 实验结果分析41-47
• 3.4.1 实验环境41-42
• 3.4.2 分布式程序性能评价42-43
• 3.4.3 全球环境监测指数产品生产串并行程序结果分析43-44
• 3.4.4 草原干旱指数产品生产串并行程序结果分析44-47
• 3.5 本章小结47-48
• 第四章 生态环境遥感专题产品生产系统设计48-60
• 4.1 系统需求分析48-51
• 4.1.1 系统流程分析48-49
• 4.1.2 系统用户分析49
• 4.1.3 系统数据需求分析49-50
• 4.1.4 系统安全分析50
• 4.1.5 功能需求分析50-51
• 4.2 系统设计原则51-52
• 4.2.1 实用性原则51
• 4.2.2 先进性原则51
• 4.2.3 可扩展性原则51
• 4.2.4 系统安全性原则51
• 4.2.5 系统易用性和友好性原则51-52
• 4.3 系统体系结构52-54
• 4.3.1 系统物理架构52-53
• 4.3.2 系统总体架构53-54
• 4.4 系统数据库设计54-58
• 4.4.1 生产数据库设计54-57
• 4.4.2 遥感基础产品数据库设计57-58
• 4.5 系统功能设计58-59
• 4.6 系统运行环境59
• 4.6.1 硬件平台59
• 4.6.2 软件平台59
• 4.6.3 开发环境59
• 4.7 本章小结59-60
• 第五章 生态环境遥感专题产品生产系统功能实现60-73
• 5.1 用户管理模块60-61
• 5.1.1 用户注册60
• 5.1.2 用户登录60-61
• 5.1.3 密码修改61
• 5.2 订单管理模块61-63
• 5.2.1 订单提交61-62
• 5.2.2 历史订单管理62-63
• 5.3 系统管理模块63-65
• 5.3.1 系统操作日志63-64
• 5.3.2 用户访问日志64-65
• 5.3.3 邮件通知65
• 5.4 Hadoop生产管理模块65-66
• 5.4.1 Hadoop生产任务调用65
• 5.4.2 Hadoop生产任务进度监控65-66
• 5.5 基础数据管理模块66-68
• 5.5.1 基础数据上传66-67
• 5.5.2 HDFS文件系统管理67-68
• 5.6 产品管理模块68-70
• 5.6.1 产品检索68
• 5.6.2 产品在线预览及下载68-70
• 5.7 系统功能测试70-72
• 5.8 本章小结72-73
• 第六章 总结与展望73-75
• 6.1 总结73
• 6.2 展望73-75
• 致谢75-76
• 参考文献76-81
• 附录81-86
• 攻读硕士学位期间取得的成果86-87

【参考文献】

中国期刊全文数据库 前10条

1 赫高进;熊伟;陈荦;吴秋云;景宁;;基于MPI的大规模遥感影像金字塔并行构建方法[J];地球信息科学学报;2015年05期

2 胡昌苗;张微;冯峥;唐娉;;Landsat TM/ETM+与HJ-1A/B CCD数据自动相对辐射处理及精度验证[J];遥感学报;2014年02期

3 方留杨;王密;李德仁;;CPU和GPU协同处理的光学卫星遥感影像正射校正方法[J];测绘学报;2013年05期

4 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期

5 杨海平;沈占锋;骆剑承;吴炜;;海量遥感数据的高性能地学计算应用与发展分析[J];地球信息科学学报;2013年01期

6 付天新;刘正军;闫浩文;;基于MapReduce模型的生物量遥感并行反演方法研究[J];干旱区资源与环境;2013年01期

7 许丞;刘洪;谭良;;Hadoop云平台的一种新的任务调度和监控机制[J];计算机科学;2013年01期

8 贺广均;李虎;李家国;于涛;孟庆岩;王蕊;;生态环境遥感产品生产分系统架构设计与实现[J];微计算机信息;2012年09期

9 汪秀兵;张广弟;耿衬;;基于SuperMap iServer的赣州市旅游信息服务发布研究[J];测绘标准化;2012年02期

10 刘双娜;周涛;舒阳;戴铭;魏林艳;张鑫;;基于遥感降尺度估算中国森林生物量的空间分布[J];生态学报;2012年08期

中国博士学位论文全文数据库 前2条

1 修佳鹏;海量卫星遥感数据参量产品自动化生产系统中关键问题的研究[D];北京邮电大学;2014年

2 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年

中国硕士学位论文全文数据库 前1条

1 宋丽君;基于网格的遥感产品生产服务研究与设计[D];河南大学;2013年

，

本文编号：638599