基于Hadoop平台的CCD表观辐亮度定标算法的研究与实现

发布时间：2017-04-08 14:21

  本文关键词：基于Hadoop平台的CCD表观辐亮度定标算法的研究与实现，由笔耕文化传播整理发布。

【摘要】：随着空间遥感技术的快速成长,获取遥感影像数据的方式发生了很大的变革,并且伴随数据精确度的不断提高,数据量也不断巨增。获取的遥感数据需要经过合适的加工处理,才能应用到其他的行业。因此对数据的处理速度和效率有了很高的要求,同时数据也要求高效的组织和管理。云计算技术是时下最流行的技术,能够解决很多复杂的问题,因此云计算能够提供一种处理上述问题的有效解决方案。Hadoop是一款云计算平台,是目前最流行的一种分布式框架,不仅能够解决海量遥感数据分布式存储的问题,也能够提供一种遥感算法分布式处理的方案。GDAL(Geospatial Data Abstraction Library)是一个开源栅格空间数据转换库,能够支持各种格式的遥感影像文件的读写。现有的遥感产品算法主要是根据应用需求对遥感数据进行处理和加工,这些算法一般都是运行在单机或者传统网络环境下,算法运行效率较低。本文主要研究和实现了基于Hadoop平台的CCD表观辐亮度定标算法。以此作为基础对具有高效的云平台下遥感产品算法的设计与实现进行探索。本文根据GDAL强大的栅格处理能力读取图像数据,并依据Hadoop的分布式存储和计算能力,通过编写Map Reduce程序实现遥感基础产品算法—CCD表观辐亮度定标(CCDTOAL)。本文的主要工作和贡献包括以下几个方面:1.给出面向遥感产品处理的Hadoop集群的完整安装过程,以及在安装过程中应注意的关键问题和解决方案,并给出集群运行结果图。2.分析Map Reduce编程模式的处理流程,结合GDAL技术,自定义了读取图像数据的数据类型,实现遥感图像数据的读取操作。3.深入研究CCDTOAL算法,在多机并行处理环境下和Hadoop平台下,分别给出了该算法的设计思想并实现了该算法。4.比较CCDTOAL算法在多机并行处理和Hadoop平台两种环境下的运行效率。实验结果表明,相比多机并行环境,Hadoop平台处理遥感产品算法占有一定的优势。
【关键词】：Hadoop平台 GDAL CCDTOAL 并行处理
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09;TP751
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 1 绪论9-13
• 1.1 研究背景及意义9-10
• 1.2 国内外研究现状10-11
• 1.2.1 遥感数据处理方法的研究10
• 1.2.2 Hadoop的应用10-11
• 1.3 论文主要内容11-12
• 1.4 论文组织结构12
• 1.5 本章小结12-13
• 2 相关技术简介13-23
• 2.1 CCD表观辐亮度定标算法描述13-14
• 2.2 M-CCDTOAL算法概述14-17
• 2.2.1 工作原理14-16
• 2.2.2 算法实现16-17
• 2.3 Hadoop平台概述17-20
• 2.3.1 Hadoop平台的特点与优势17
• 2.3.2 HDFS简介17-18
• 2.3.3 MapReduce简介18-20
• 2.4 Ganglia简介20
• 2.5 GDAL简介20-21
• 2.6 SSH21
• 2.7 本章小结21-23
• 3 H-CCDTOAL运行平台的搭建技术23-33
• 3.1 集群环境搭建23-28
• 3.1.1 环境准备23-24
• 3.1.2 搭建步骤24-26
• 3.1.3 集群运行26-28
• 3.2 图像数据类型设计28-30
• 3.3 数据存储格式设计30-31
• 3.4 本章小结31-33
• 4 H-CCDTOAL算法的设计与实现33-45
• 4.1 开发环境33
• 4.2 工作原理33-35
• 4.3 中间数据类型格式设计35
• 4.4 读取背景参数Map类的设计35-36
• 4.5 读取图像数据的map类设计36-37
• 4.6 Reducer类的设计37-38
• 4.7 算法实现38-39
• 4.8 测试与结果分析39-42
• 4.8.1 测试数据39
• 4.8.2 测试方法39-40
• 4.8.3 测试结果40-42
• 4.8.4 结果分析42
• 4.9 本章小结42-45
• 5 总结及展望45-47
• 参考文献47-49
• 致谢49-51
• 攻读学位期间参加的项目51-52

【相似文献】

中国期刊全文数据库 前10条

1 李书富，孟超;用于CCD信号的高速数据采集系统[J];中国仪器仪表;1994年05期

2 申福成;;让CCD坏点起死回生[J];电脑迷;2009年11期

3 ;电子轰击式 CCD 像管及其技术处理[J];大连理工大学学报;1997年S2期

4 张华，陈强，金建敏，，潘际銮;基于焊缝CCD图象模式特征的焊缝轨迹识别[J];机械工程学报;1996年06期

5 马荣贵,宋宏勋;多路CCD位移传感器用于路面纵断面检测研究[J];光子学报;2001年03期

6 何清芳;王青梅;郭利乐;;基于CCD扫描技术探测降水现象的研究[J];气象水文海洋仪器;2013年02期

7 培初;;CCD摄象器件及其在空间的应用[J];国外空间动态;1981年10期

8 程鹏飞;顾明剑;王模昌;;CCD视频信号处理电路设计[J];科学技术与工程;2006年24期

9 沈会良;牟同升;王明刚;杨冬晓;李志能;;基于CCD的数字光处理光源特性测量[J];浙江大学学报(工学版);2007年08期

10 张卫东,陈国钧,张煜盛;闭式循环柴油机(CCD)监控系统设计[J];华中科技大学学报(自然科学版);2003年04期

中国重要会议论文全文数据库 前10条

1 严博;刘缠牢;;基于CCD的激光粒度仪设计技术研究[A];2011西部光子学学术会议论文摘要集[C];2011年

2 田会;倪晋平;马卫红;;CCD交汇式连发弹丸密集度测试方法研究[A];第十四届全国光学测试学术讨论会论文（摘要集）[C];2012年

3 彭青玉;;云南天文台1米望远镜CCD视场几何扭曲的测定[A];中国天文学会2011年学术年会手册[C];2011年

4 吴国栋;冯f杰;;三线阵测绘相机CCD像面的装调方法[A];2009年全国测绘仪器综合学术年会论文集[C];2009年

5 王宏义;董文娟;黄宗福;陈曾平;;基于DSP的嵌入式CCD天文图像处理系统[A];2007年光电探测与制导技术的发展与应用研讨会论文集[C];2007年

6 张坤;;CCD片上放大器的设计与仿真[A];2004全国图像传感器技术学术交流会议论文集[C];2004年

7 蒋本和;张洪哲;金颖妮;纪淑波;靳文瑞;董楠;陈文毅;翟瑞仁;;CCD用于血沉等参量的自动测量[A];第十届全国红外加热暨红外医学发展研讨会论文及论文摘要集[C];2005年

8 马世帮;杨红;郭羽;姜昌录;康登魁;;平行光管中位置等效的目标靶和CCD的调校方法研究[A];第十四届全国光学测试学术讨论会论文（摘要集）[C];2012年

9 刘庆民;赵玲;戴伟锋;;基于CCD的滚珠螺母几何参数测量[A];2009年先进光学技术及其应用研讨会论文集（上册）[C];2009年

10 刘昌林;李仁豪;唐绍凡;周旭东;龙飞;;512×512元高帧速可见光CCD[A];2004全国图像传感器技术学术交流会议论文集[C];2004年

中国重要报纸全文数据库 前10条

1 参胜利;让CCD坏点起死回生[N];中国电脑教育报;2004年

2 佟洁;CCD如何走出创新路？[N];中国经济导报;2006年

3 李思;CCD能否走出创新路？[N];西部时报;2006年

4 王竹青;如何检测数码相机CCD坏点[N];中国计算机报;2003年

5 杨特;如何测试数码相机CCD坏点[N];中国计算机报;2004年

6 山旭 郭璐;处理CCD事件 索尼被指存在“国家差别”[N];华夏时报;2005年

7 计算机世界实验室 李献;爱普生扫描仪主推超薄CCD[N];计算机世界;2007年

8 福建 柳坚;扫描仪CCD[N];电脑报;2004年

9 马振贵;索尼“CCD问题”悬疑[N];中国电脑教育报;2006年

10 朱磊;火眼金睛辨别数码相机的CCD坏点[N];电脑报;2004年

中国博士学位论文全文数据库 前6条

1 徐_g;机器视觉中CCD自然图像的降噪和分割研究[D];电子科技大学;2003年

2 柯才军;微透镜阵列的设计、制作及与CCD的集成技术[D];华中科技大学;2005年

3 雷剑波;基于CCD的激光再制造熔池温度场检测研究[D];天津工业大学;2007年

4 焦宏伟;基于成像激光雷达与双CCD复合的三维精细成像技术研究[D];国防科学技术大学;2012年

5 李哲林;基于CCD的长轴类高温大锻件三维尺寸测量的研究[D];华南理工大学;2013年

6 杨彦佶;CCD型X射线探测器性能研究[D];吉林大学;2014年

中国硕士学位论文全文数据库 前10条

1 黄超凡;主机和从机模式下的CCD工业相机的设计与研究[D];浙江大学;2015年

2 李俊;基于CCD的焦炉测温技术研究[D];合肥工业大学;2015年

3 邱亚楠;基于CCD线阵导航的缩微车智能驾驶系统设计[D];东北大学;2014年

4 傅鑫;扫描仪CCD模组镜头的设计研究[D];南京理工大学;2016年

5 朱鹏波;基于Camera LINK接口的CCD损伤检测系统的研究[D];长春理工大学;2016年

6 周洪生;CCD-Ⅰ型平面光栅电弧直读发射光谱仪在地矿实验室的应用与优化[D];吉林大学;2016年

7 李敏;用于微光CCD的关联成像软件开发[D];西安电子科技大学;2015年

8 谢倩倩;基于Hadoop平台的CCD表观辐亮度定标算法的研究与实现[D];河南大学;2016年

9 张震;可见光CCD的激光辐照效应实验研究[D];国防科学技术大学;2005年

10 王清泉;基于CCD的浊度检测技术研究与应用[D];长沙理工大学;2012年

  本文关键词：基于Hadoop平台的CCD表观辐亮度定标算法的研究与实现，由笔耕文化传播整理发布。

本文编号：293049