基于Hadoop的分布式遥感图像处理研究

发布时间：2017-08-05 19:31

  本文关键词：基于Hadoop的分布式遥感图像处理研究

  更多相关文章： Hadoop集群 MapReduce计算框架 GDAL 遥感图像处理 聚合大影像

【摘要】：随着卫星遥感和航空摄影技术的不断发展,人类获得遥感影像数据的方式越来越多,使得遥感影像数据朝着高分辨率、多时相、多波段的海量数据发展,导致遥感影像数据量呈指数增长。海量遥感影像数据的高效的存储、有效的组织、快速的处理计算已成为当今遥感领域研究的热点,分布式存储与并行计算为上述研究提供了有效的解决方案。近几年,Hadoop已成为最流行最成功的开源分布式系统框架,具有高可靠性、高扩展性、高效性及高容错性等优势,核心内容是HDFS (Hadoop Distributed File System)和MapReduce。越来越多的人使用Hadoop来解决海量数据的存储与计算问题,已在搜索引擎、电子商务、社交网络中取得了巨大成功。GDAL (Geospatial Data Abstraction Library)是一套栅格空间数据开源库,可通过插件对支持格式进行扩展。GDAL支持多数遥感影像格式读写,开发人员不需要考虑不同影像格式之间的差异,实现一套代码处理多种影像格式。结合GDAL强大的栅格支持能力和Hadoop强大的存储与计算能力,开发人员可以通过编写MapReduce程序提高对海量遥感影像的处理效率。本文结合理论研究和实际应用需求,根据GDAL读写图像的方式,对HDFS存储特点和MapReduce框架编程模式进行研究与分析,开发结合GDAL和Hadoop的遥感图像处理程序。本文研究内容和成果主要包括以下几个方面：一、分析MapReduce框架的编程模式,研究MapReduce处理文本数据的流程,结合GDAL实现了处理遥感影像的MapReduce库。二、对比单机、Hadoop集群及Hadoop集群不同情况下处理等量图像的最小距离分类效率。结果表明,计算数据量、计算成本及机器成本对遥感图像处理操作的效率具有较大的影响。因此,在考虑是否使用Hadoop集群以及Hadoop集群规模,需要综合考虑以上三个因素。三、由于Hadoop集群在处理单个大文件的效率优于同时处理等数据量的多个小文件,因此本文自定义聚合大影像文件格式,将多个影像聚合到一个文件中,减少HDFS上文件数量,提高元数据存储内存利用率和检索时间,实现MapReduce的每个任务处理多幅影像,提高每个任务的利用率,并以图像投影转换为例,进行Hadoop对比实验,验证聚合大影像格式的可行性和高效性。
【关键词】：Hadoop集群 MapReduce计算框架 GDAL 遥感图像处理 聚合大影像
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P237
【目录】：

• 摘要6-8
• Abstract8-12
• 第一章 绪论12-19
• 1.1 研究背景及意义12-13
• 1.2 国内外研究现状13-17
• 1.2.1 基于Hadoop的数字图像处理13-16
• 1.2.2 基于Hadoop的空间数据开源库16-17
• 1.3 研究内容17-18
• 1.4 论文结构18-19
• 第二章 Hadoop简介19-37
• 2.1 Hadoop概况19-21
• 2.2 HDFS简介21-27
• 2.2.1 HDFS特点21-22
• 2.2.2 HDFS架构22-27
• 2.3 MapReduce简介27-37
• 2.3.1 MapReduce编程模型27-34
• 2.3.2 MapReduce作业流程34-37
• 第三章 GDAL概述37-47
• 3.1 GDAL介绍37-38
• 3.2 GDAL数据模型38-41
• 3.2.1 数据集(Dataset)38-39
• 3.2.2 坐标系统(Coordinate System)39
• 3.2.3 仿射地理坐标转换(Affine GeoTransform)39-40
• 3.2.4 子数据集域(Subdatasets Domain)40-41
• 3.2.5 栅格波段(Raster Band)41
• 3.3 GDAL类结构41-45
• 3.3.1 gdal42-43
• 3.3.2 Dataset43
• 3.3.3 Band43-45
• 3.4 GDAL编译45-47
• 第四章 Hadoop分布式系统框架搭建及遥感图像处理工具开发47-63
• 4.1 Hadoop完全分布式集群搭建47-51
• 4.1.1 Hadoop集群安装48-49
• 4.1.2 Hadoop集群运行49-51
• 4.2 基于Hadoop的图像处理公共类51-57
• 4.2.1 图像的输入格式设计51-52
• 4.2.2 图像的输出格式设计52-54
• 4.2.3 影像聚合54-57
• 4.3 图像最小距离分类MapReduce程序设计57-59
• 4.4 图像统计MapReduce程序设计59-61
• 4.5 图像投影转换MapReduce程序设计61-63
• 第五章 基于Hadoop框架的遥感图像处理效率分析63-76
• 5.1 图像分类及统计对比实验63-73
• 5.1.1 实验数据63-64
• 5.1.2 实验方法64-66
• 5.1.3 实验结果66-69
• 5.1.4 结果分析69-73
• 5.2 图像投影转换实验73-76
• 5.2.1 实验数据73
• 5.2.2 实验方法73-74
• 5.2.3 实验结果74
• 5.2.4 结果分析74-76
• 第六章 结论与展望76-78
• 6.1 论文研究成果76-77
• 6.2 论文存在的不足及进一步工作77-78
• 参考文献78-83
• 后记8

【相似文献】

中国期刊全文数据库 前10条

1 李熙;;基于应用导向的遥感图像处理实践教学[J];科技资讯;2013年30期

2 单勇兵,赵军;数学形态学在遥感图像处理中的应用[J];三晋测绘;2002年Z1期

3 李玮;袁运能;朱博勤;;自适应方法在遥感图像处理中的应用研究[J];遥感信息;2006年01期

4 闵爱莲;;关于遥感图像处理实验室建设与管理的几点思考[J];实验室科学;2008年05期

5 张旭晴;陈圣波;范继璋;魏晓辉;金晟业;;网格环境下批量遥感图像处理[J];世界地质;2009年03期

6 李军,李德仁;分布式遥感图像处理中的若干关键技术[J];武汉测绘科技大学学报;1999年01期

7 李金海,林晓锋,李国建,糜伟,王家学;利用遥感图像处理的方法进行北京市绿化隔离地区绿地调查[J];国土资源信息化;2002年02期

8 严红萍;俞兵;;主成分分析在遥感图像处理中的应用[J];资源环境与工程;2006年02期

9 郭丁;顾行发;余涛;赵辉;马红涛;;基于分数阶滤波器的遥感图像处理[J];国土资源遥感;2011年01期

10 高峰;;大数据量微机遥感图像处理技巧[J];遥感技术与应用;1993年03期

中国重要会议论文全文数据库 前7条

1 武冰;周石琳;;遥感图像处理中的数学形态学应用[A];2005年中国智能自动化会议论文集[C];2005年

2 李玮;朱博勤;袁运能;;自适应方法在遥感图像处理中的应用研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

3 匡鸿海;况明生;;多媒体数据压缩技术在遥感图像处理中的应用[A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集[C];2001年

4 苑馨方;贾媛媛;李子扬;;芦山地震遥感图像处理与应用[A];中国地震学会空间对地观测专业委员会2013年学术研讨会论文摘要集[C];2013年

5 李树甫;陈亮;;侦察遥感图像处理中的地球物理问题初探[A];国家安全工程地球物理研究——第二届国家安全地球物理学术研讨会论文集[C];2006年

6 马成龙;李文科;;基于“3S”技术的干旱预警监测研究[A];GPS在水利行业应用研讨会论文集[C];2007年

7 王华林;王东雷;王纪强;杜立英;刘霞;;淄博、潍坊地区遥感图像处理与地质构造解译[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年

中国重要报纸全文数据库 前1条

1 本报记者 许泳;PCI Geomatics推出新款遥感图像处理产品[N];计算机世界;2009年

中国博士学位论文全文数据库 前2条

1 董延华;超光谱遥感图像处理关键技术研究[D];哈尔滨理工大学;2006年

2 毛成林;复小波变换在遥感图像处理方面的应用研究[D];中国科学技术大学;2013年

中国硕士学位论文全文数据库 前10条

1 尹波;基于对象的遥感图像处理平台应用研究[D];上海交通大学;2008年

2 刘金亨;基于小波变换的遥感图像处理研究[D];重庆大学;2010年

3 陈烨;随机共振在遥感图像处理中的应用研究[D];天津大学;2009年

4 娄珊珊;基于偏微分方程的遥感图像处理方法[D];大连海事大学;2012年

5 谢永华;基于小波变换的遥感图像处理的应用研究[D];南京气象学院;2002年

6 曹照清;遥感图像处理的若干关键技术研究[D];南京航空航天大学;2013年

7 陶靖琦;基于证据理论的无人机遥感图像处理研究[D];湖北工业大学;2012年

8 张德祥;方向小波变换在遥感图像处理中的应用研究[D];安徽大学;2006年

9 陈超;可扩展遥感图像处理平台的研究与开发[D];中国地质大学（北京）;2014年

10 宋卫艳;RANSAC算法及其在遥感图像处理中的应用[D];华北电力大学（北京）;2011年

，

本文编号：626586