Hadoop在PSInSAR遥感数据并行处理中的研究及应用

发布时间：2017-10-09 01:38

  本文关键词：Hadoop在PSInSAR遥感数据并行处理中的研究及应用

  更多相关文章： Hadoop HDFS MapReduce 海量 遥感数据 PSInSAR

【摘要】：随着各种类型遥感仪器的空间分辨率、频谱分辨率的不断提高,监测地面沉降的遥感影像数据量会随着时间的积累而急剧增长。传统的PSInSAR处理遥感数据系统一般都采用单机式的Shell和Matlab脚本串行处理,面对海量数据处理时由于受到单机CPU运算速度、磁盘容量等资源的限制,存在加载缓慢、处理时间较长,甚至不能处理等严重问题。因此,有必要对PSInSAR系统进行改造,提高其运行速度和存储容量,以满足用户对该系统的性能需求。目前,业界通常采用提高单机硬件性能的方法来改善PSInSAR遥感数据处理的效率,此方法存在低效、成本高、扩展不灵活等问题,只能满足一时之需,无法满足日益增长的海量数据需要。本文工作在对现有PSInSAR遥感影像数据系统进行分析的基础上,采用Hadoop技术对系统架构进行了并行化改造,通过架构的优化提高系统的处理速度；研究了PSInSAR系统中可并行处理的Shell和Matlab脚本,结合MapReduce将其中的串行脚本进行了并行化改造：同时新增了分布式影像数据存储管理模块,提高了系统的读写性能；在对Hadoop源码分析以及在大量作业运行的基础上,分析获取了Hadoop平台运行作业的配置参数,对整个系统改造进行了优化设计。最终,通过单机版和集群版系统的对比试验,验证了本次系统改造的有效性和实用性,能够显著提高系统的性能。
【关键词】：Hadoop HDFS MapReduce 海量 遥感数据 PSInSAR
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP751
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 研究背景及研究意义8-9
• 1.2 国内外研究现状9-11
• 1.2.1 Hadoop简介及国内外研究的现状9-11
• 1.2.2 PSInSAR国内外研究现状11
• 1.2.3 PSInSAR与Hadoop结合的可行性分析11
• 1.3 论文研究内容11-12
• 1.4 论文组织结构12-13
• 第二章 相关技术概述13-24
• 2.1 分布式存储技术——HDFS技术分析13-19
• 2.1.1 HDFS的总体介绍13
• 2.1.2 HDFS的架构13-16
• 2.1.3 HDFS 2.0的工作原理16-17
• 2.1.4 HDFS存储文件方案与单机存储对比分析17-19
• 2.1.5 HDFS分布式文件系统相比单机存储的优点19
• 2.2 分布式计算技术——MapReduce技术分析19-23
• 2.2.1 MapReduce的总体介绍19-20
• 2.2.2 MapReduce的架构20-21
• 2.2.3 MapReduce的编程模型21-23
• 2.2.4 MapReduce的优点23
• 2.3 本章小结23-24
• 第三章 需求分析24-30
• 3.1 PSInSAR已有系统的介绍24-25
• 3.2 系统架构上的缺陷25-26
• 3.2.1 架构改造的需求26
• 3.3 模块内部的缺陷26-29
• 3.3.1 精配准业务流程26-27
• 3.3.2 PS点分析业务流程27-28
• 3.3.3 影像数据存储管理28-29
• 3.4 本章小结29-30
• 第四章 总体设计30-34
• 4.1 PSInSAR系统架构改造方案30-31
• 4.2 模块改造方案31-33
• 4.2.1 精配准并行处理解决方案31-32
• 4.2.2 PS点分析并行处理解决方案32-33
• 4.2.3 影像数据存储管理解决方案33
• 4.3 本章小结33-34
• 第五章 详细设计与实现34-48
• 5.1 系统架构改造详细实现34-35
• 5.2 精配准改造实现35-39
• 5.2.1 辅影像到主影像的配准并行化实现35-38
• 5.2.2 辅影像到辅影像的配准并行化实现38-39
• 5.3 PS点分析改造实现39-41
• 5.3.1 PS点分析流程并行化改造思想39-40
• 5.3.2 PS点分析类图及具体实现40-41
• 5.4 影像数据存储实现41-45
• 5.4.1 传统构建影像金字塔方法及步骤42
• 5.4.2 MapReduce并行构建影像金字塔42-43
• 5.4.3 影像金字塔的MapReduce并行构建描述43
• 5.4.4 瓦片数据存储编码描述43-44
• 5.4.5 瓦片并行化存储方法44-45
• 5.4.6 瓦片存储处理流程45
• 5.5 系统集成的优化设计45-47
• 5.5.1 输入/输出属性类的优化46
• 5.5.2 MapReduce属性类的优化46-47
• 5.6 本章小结47-48
• 第六章 实验设计与结果分析48-56
• 6.1 实验环境的配置48-51
• 6.1.1 Hadoop集群硬件环境配置48
• 6.1.2 Hadoop集群免密码登录配置48-49
• 6.1.3 Hadoop 2.0环境配置49-51
• 6.2 实验设计51
• 6.3 实验结果分析51-55
• 6.3.1 精配准处理时间对比52-53
• 6.3.2 PS点分析处理实验分析53
• 6.3.3 影像数据存储实验分析53-55
• 6.4 本章小结55-56
• 第七章 总结与展望56-58
• 7.1 总结56
• 7.2 展望56-58
• 致谢58-59
• 参考文献59-61
• 缩略词表61

【相似文献】

中国期刊全文数据库 前10条

1 刘晓龙;李英成;;遥感数据订购与管理软件的开发与应用[J];测绘科学;2006年04期

2 董秀珍;刘德长;叶发旺;宣艳秀;;遥感数据及航放、航磁数据处理浅析[J];世界核地质科学;2009年02期

3 李斌斌;冯钟葵;唐梦辉;;遥感数据异地归档方法研究与实现[J];遥感信息;2011年02期

4 严瑾;;遥感数据应急服务机制研究与实现[J];硅谷;2011年11期

5 姜宇鸣;陈道波;;遥感数据记录存档软件的设计与实现[J];郑州轻工业学院学报(自然科学版);2011年03期

6 张文;孟令奎;周扬;赵铭;涂振发;娄书荣;;多源水利遥感数据的一体化管理机制研究[J];水利信息化;2012年04期

7 谢怡;利用遥感数据研究地球变化[J];中国航天;1991年08期

8 李四海;提高遥感数据分类应用性的有效途径[J];国土资源遥感;1995年04期

9 李四海;浅谈提高遥感数据分类精度的方法[J];遥感信息;1995年04期

10 吴美蓉;中巴地球资源卫星应用及其发展[J];测绘科学;2000年02期

中国重要会议论文全文数据库 前10条

1 任娜;朱长青;;一种抗拼接的瓦片遥感数据水印算法[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

2 黄二辉;潘德炉;杨燕明;;海洋遥感数据的时空分布经验正交分析方法研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

3 徐国富;邓正栋;于德浩;;基于遥感数据的民用渡口选址模型及实例分析[A];国家安全地球物理丛书（八）——遥感地球物理与国家安全[C];2012年

4 谭福强;董双发;;遥感数据的尺度效应与遥感应用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

5 翟永;宋雪生;;遥感数据成果的分级存储管理[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

6 李幸丽;杜培军;;面向数字城市的遥感数据挖掘及其应用[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

7 张伟;;高空间分辨率遥感数据的预处理方法——以泉州快鸟数据为例[A];2007年福建省土地学会年会征文集[C];2007年

8 谢锋;潘明忠;亓洪兴;徐卫明;张雷;舒嵘;戴宁;薛永祺;;支持农业遥感数据产品开发与验证的相关技术进展[A];全国农业遥感技术研讨会论文集[C];2009年

9 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

10 潘强;孙建中;倪丽萍;张杰;;上海城市遥感数据平台的构建及其在城市信息化进程中的作用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

中国重要报纸全文数据库 前10条

1 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年

2 本报记者 操秀英 陈磊;应急“蓄水池”：遥感数据在这里汇聚[N];科技日报;2013年

3 王彤琪;黄河凌情遥感数据更丰富 应用更便捷[N];黄河报;2009年

4 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年

5 记者 李安利;测绘系统遥感数据服务体系日臻完善[N];中国测绘报;2003年

6 杨平;遥感数据有了处理新工具[N];科技日报;2003年

7 李红梅;南亚:使用遥感数据监测旱情[N];中国水利报;2012年

8 庞剑波 郑雄伟;三峡库区首获航空遥感数据[N];地质勘查导报;2009年

9 吕世充　蔚晓涵;武汉珈和遥感数据中心平台服务农业[N];中国测绘报;2014年

10 ;拓宽服务领域 提供高质量遥感数据[N];中国测绘报;2002年

中国博士学位论文全文数据库 前6条

1 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年

2 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院（遥感应用研究所）;2002年

3 周松涛;海量遥感数据的高性能处理及可视化应用研究[D];武汉大学;2013年

4 常歌;基于遥感数据的城市景观建模技术研究与实践[D];解放军信息工程大学;2001年

5 哈斯巴干;神经网络及其组合算法的遥感数据分类研究[D];中国科学院研究生院（遥感应用研究所）;2003年

6 穆超;基于多种遥感数据的电力线走廊特征物提取方法研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 熊贤成;基于MODIS遥感数据的特定云属性研究[D];电子科技大学;2015年

2 王玲玲;基于多源遥感数据四川省伏旱监测[D];成都信息工程学院;2015年

3 元沐南;基于开源WebGIS的遥感数据可视化模型研究与实现[D];河南大学;2015年

4 张振鹏;遥感数据分发系统主动队列控制模式的研究与应用[D];河南大学;2015年

5 杜珍星;面向海量遥感数据的数据库同步技术研究[D];河南大学;2015年

6 孔帅可;基于Swift的海量遥感数据云存储技术研究与应用[D];河南大学;2015年

7 冶鑫晨;云环境下基于地理位置活跃度的遥感数据节能处理策略[D];新疆大学;2016年

8 钟金沙;Hadoop在PSInSAR遥感数据并行处理中的研究及应用[D];东南大学;2015年

9 张哲;基于海量遥感数据的集群并行处理技术研究与应用[D];河南大学;2012年

10 方聪;基于对等架构的海量遥感数据分发系统的设计与实现[D];浙江大学;2013年

，

本文编号：997479