面向桌面系统的高光谱遥感影像线性降维异构并行算法研究与实现

发布时间：2017-08-21 17:03

  本文关键词：面向桌面系统的高光谱遥感影像线性降维异构并行算法研究与实现

  更多相关文章： 高光谱线性降维 桌面超级计算系统 异构模式 CPU/GPU CPU/MIC OpenMP MNF LDA

【摘要】：高光谱遥感影像降维处理是高光谱遥感处理中至关重要的前提步骤。降维处理涉及大量的矩阵(向量)运算、多次迭代和大规模循环,属于典型的计算密集型和访存密集型任务。对遥感处理的实时性要求和高光谱数据的高维特征使降维处理的并行化成为遥感领域的研究热点。随着计算机硬件的发展,近年来崛起的异构高性能计算系统以其强劲性能等特点成为主流计算机体系结构,为众多领域大规模计算的发展提供了良好的加速平台。而CPU/GPU和CPU/MIC异构系统更是以高性价比和低能耗比引领了当今绿色高性能计算时代的潮流。本文结合高光谱遥感影像的处理热点——高光谱遥感影像线性降维,以及异构高性能计算系统的两种主流架构模式——CPU/GPU和CPU/MIC异构模式,研究如何充分发挥异构系统的计算能力从而达到有效的并行降维。本文面向当前高性能领域较普及的共享存储型小型桌面超级计算机,在实现传统的共享存储OpenMP并行程序的基础上,通过实验结果的对比,重点研究、验证和分析了两种异构系统应用与高光谱降维的优势和适用范围,以期为高光谱遥感工程实际应用提供借鉴。本文针对高光谱遥感影像线性降维中经典的MNF和LDA降维算法,在Windows和Linux环境下分别分析了研究两种算法的加速热点及相应的并行优化策略,并实现基于OpenMP、CPU/GPU和CPU/MIC的并行算法。论文的主要工作和创新点如下:(1)全面综述了高光谱遥感影像降维、CPU/GPU和CPU/MIC异构模式及OpenMP的相关内容,包括:相关概念、背景和研究现状等。深入研究了两种异构模式,包括各自的体系结构、工作方式和各种相关模型。研究了本文实验使用的并行编程模型(OpenMP、CUDA)。针对本文实验平台的并行优化策略和技术进行了详细分析。(2)分别在Windows和Linux环境下,基于OpenMP、CPU/GPU和CPU/MIC异构模式研究并提出了一系列高光谱遥感影像MNF并行降维算法。在深入分析高光谱遥感影像线性降维MNF算法的原理和加速热点的基础上,设计了基于滤波、协方差矩阵计算、MNF变换这3个并行热点的并行及优化策略;提出并实现两种环境下的OpenMP、Windows下的CPU/GPU和Linux下的CPU/MIC四组并行降维算法,最后分析对比两种异构系统在MNF算法应用上的特点,总结各自的适用范围。实验结果验证了四组并行降维算法均取得了良好的加速效果,异构模式的性能尤其突出。其中基于CPU/MIC异构模式的并行MNF降维算法获得了最高121倍的计算加速比(不含I/O)和最高48.86倍的总加速比(不含I/O)。(3)分别在Windows和Linux环境下,基于OpenMP、CPU/GPU和CPU/MIC异构模式研究并提出了一系列高光谱遥感影像LDA并行降维算法。在详细研究LDA线性降维算法原理和并行热点的基础上,针对LDA变换这一加速热点,设计了基于OpenMP、CPU/GPU和CPU/MIC的并行及优化策略,提出并实现两种环境下的OpenMP、Windows下的CPU/GPU和Linux下的CPU/MIC四组并行降维算法。通过分析实验结果,对比两类异构模式在LDA算法应用上的特点。实验结果表明,四组并行算法均取得了较好的性能提升,也验证了异构模式具有强大的计算性能。其中Windows环境下的基于CPU/GPU的并行算法获得了最高63.96倍的计算加速比和最高49.77倍的总加速比;Linux环境下的OpenMP并行算法获得了最高62.01倍的计算加速比和最高43.45倍的总加速比;Linux环境下基于CPU/MIC的并行算法获得了最高59.49倍的计算加速比和最高26.56倍的总加速比。最后针对MIC总加速比最低的现象进行了分析,研究问题规模和转置开销对该并行方案的影响,并探讨了两种协处理器的适用范围。
【关键词】：高光谱线性降维 桌面超级计算系统 异构模式 CPU/GPU CPU/MIC OpenMP MNF LDA
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP751
【目录】：

• 摘要10-12
• ABSTRACT12-14
• 第一章 绪论14-26
• 1.1 课题研究背景14-18
• 1.2 课题研究内容18-19
• 1.3 课题相关研究工作19-23
• 1.3.1 高光谱降维处理方法及研究现状19-20
• 1.3.2 OpenMP及研究现状20-21
• 1.3.3 CPU/GPU异构系统及研究现状21-22
• 1.3.4 CPU/MIC异构系统及研究现状22-23
• 1.4 本文实验平台23
• 1.5 本文实验数据23-24
• 1.6 本文结构24-26
• 第二章 异构模式及其优化研究26-38
• 2.1 主流异构模式26-28
• 2.1.1 CPU/GPU异构模式26-27
• 2.1.2 CPU/MIC异构模式27-28
• 2.2 GPU协处理器28-32
• 2.2.1 GPU概述28-29
• 2.2.2 GPU硬件架构29
• 2.2.3 CUDA编程模型29-30
• 2.2.4 GPU存储模型30-31
• 2.2.5 GPU执行模型31-32
• 2.3 MIC协处理器32-36
• 2.3.1 MIC概述32
• 2.3.2 MIC硬件架构32-34
• 2.3.3 MIC软件架构34
• 2.3.4 MIC编程模型34-35
• 2.3.5 OpenMP编程模型35-36
• 2.4 相关并行优化技术研究36-37
• 2.4.1 OpenMP优化技术研究36
• 2.4.2 CPU/GPU异构优化技术研究36
• 2.4.3 CPU/MIC异构优化技术研究36-37
• 2.5 本章小结37-38
• 第三章 MNF降维算法在异构系统上的协同计算38-60
• 3.1 高光谱影像MNF降维算法与加速热点分析38-41
• 3.1.1 MNF降维算法原理38
• 3.1.2 基于高光谱遥感影像降维的MNF算法流程38-39
• 3.1.3 MNF算法加速热点分析39-41
• 3.2 MNF算法并行设计及优化41-49
• 3.2.1 基于OpenMP的MNF并行降维算法41-44
• 3.2.2 基于CPU/GPU的MNF并行降维算法44-47
• 3.2.3 基于CPU/MIC的MNF并行降维算法47-49
• 3.3 实验结果与性能分析49-59
• 3.3.1 MNF串行降维算法49
• 3.3.2 基于OpenMP的MNF并行降维算法49-51
• 3.3.3 基于CPU/GPU的MNF并行降维算法51-54
• 3.3.4 基于CPU/MIC的MNF并行降维算法54-59
• 3.4 本章小结59-60
• 第四章 LDA降维算法的并行计算60-78
• 4.1 高光谱影像LDA降维算法与加速热点分析60-63
• 4.1.1 LDA降维算法60-61
• 4.1.2 基于高光谱遥感影像降维的LDA算法流程61-62
• 4.1.3 LDA算法加速热点分析62-63
• 4.2 LDA降维算法并行设计及优化63-68
• 4.2.1 基于OpenMP的LDA并行降维算法63-64
• 4.2.2 基于CPU/GPU异构系统的LDA并行降维算法64-66
• 4.2.3 基于CPU/MIC异构系统的LDA并行降维算法66-68
• 4.3 LDA算法实验结果及分析68-77
• 4.3.1 LDA串行降维算法68-69
• 4.3.2 基于OpenMP的LDA并行降维算法69-71
• 4.3.3 基于CPU/GPU异构系统的LDA并行降维算法71-73
• 4.3.4 基于CPU/MIC异构系统的LDA并行降维算法73-77
• 4.4 本章小结77-78
• 第五章 结束语与工作展望78-80
• 5.1 工作总结78-79
• 5.2 工作展望79-80
• 致谢80-82
• 参考文献82-86
• 作者在学期间取得的学术成果86

【相似文献】

中国期刊全文数据库 前10条

1 孙钊;高光谱遥感的应用[J];贵州教育学院学报(自然科学);2004年04期

2 杜培军;陈云浩;;高光谱遥感信息智能处理的若干理论与技术问题[J];科技导报;2006年01期

3 孙琦;郑小贤;刘东兰;;高光谱遥感获取伐区调查数据的应用综述[J];林业资源管理;2006年05期

4 潘伟;夏丽丽;;高光谱遥感分类方法研究[J];福建电脑;2007年01期

5 张利;戚浩平;;高光谱遥感及其在青藏高原的应用潜力分析[J];测绘科学;2008年S3期

6 张利;戚浩平;;高光谱遥感及其在青藏高原的应用潜力分析[J];测绘科学;2008年S1期

7 岳跃民;王克林;张兵;陈正超;;高光谱遥感在生态系统研究中的应用进展[J];遥感技术与应用;2008年04期

8 周磊;辛晓平;李刚;杨桂霞;张宏斌;;高光谱遥感在草原监测中的应用[J];草业科学;2009年04期

9 方红亮,田庆久;高光谱遥感在植被监测中的研究综述[J];遥感技术与应用;1998年01期

10 王建宇;高光谱遥感──给人类配上一副神眼[J];世界科学;1999年12期

中国重要会议论文全文数据库 前10条

1 张霞;刘良云;赵春江;张兵;;利用高光谱遥感图像估算小麦氮含量研究[A];成像光谱技术与应用研讨会论文集[C];2002年

2 杜培军;陈云浩;;高光谱遥感信息智能处理的基础研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

3 徐元进;胡光道;;取缔阀值的高光谱遥感光谱匹配分类信息制图[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年

4 张永强;文丽萍;王振营;;高光谱遥感在监测作物受病虫肥胁迫中的应用[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集（下册）[C];2006年

5 王艺婷;黄世奇;王红霞;;从信息的角度看高光谱遥感技术[A];国家安全地球物理丛书（九）——防灾减灾与国家安全[C];2013年

6 李京;蒋卫国;;高光谱遥感在湿地监测与分类中的应用[A];第十届全国光电技术学术交流会论文集[C];2012年

7 房华乐;任润东;苏飞;梁勇;;高光谱遥感在农业中的应用[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

8 黄娟;郭明克;张永梅;闫涛;王宁;;利用高光谱遥感资料提取赤潮信息方法研究[A];成像光谱技术与应用研讨会论文集[C];2002年

9 杜培军;方涛;林卉;;高光谱遥感影像降维方法研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

10 王新鸿;唐伶俐;马灵玲;;高光谱遥感在内陆水质监测中的应用[A];现代测量技术与地理信息系统科技创新及产业发展研讨会论文集[C];2009年

中国重要报纸全文数据库 前4条

1 张学君;高光谱遥感技术助力覆盖区找矿[N];中国国土资源报;2011年

2 记者 金小平;中国地调局举办高光谱遥感找矿培训班[N];中国矿业报;2007年

3 中国科学院院士、国际欧亚科学院院士 童庆禧;我国高光谱遥感的发展[N];中国测绘报;2008年

4 文龙 胡军;张立福：用光谱观测大地的人[N];科技日报;2012年

中国博士学位论文全文数据库 前10条

1 张海涛;基于兴趣体保护的高光谱遥感图像压缩技术研究[D];辽宁工程技术大学;2014年

2 王霄鹏;黄河三角洲湿地典型植被高光谱遥感研究[D];大连海事大学;2014年

3 孙蕾;小波构造理论及其在高光谱遥感图像去噪与压缩中的应用[D];国防科学技术大学;2010年

4 谭炳香;高光谱遥感森林类型识别及其郁闭度定量估测研究[D];中国林业科学研究院;2006年

5 田丰;全波段（0.35～25μm）高光谱遥感矿物识别和定量化反演技术研究[D];中国地质大学（北京）;2010年

6 刘康;基于主动学习的高光谱图像分类技术研究[D];中国矿业大学（北京）;2014年

7 刘伟东;高光谱遥感土壤信息提取与挖掘研究[D];中国科学院研究生院（遥感应用研究所）;2002年

8 沈照庆;基于支持向量机（SVM）的高光谱影像智能化分析关键问题研究[D];武汉大学;2010年

9 冯燕;高光谱图像压缩技术研究[D];西北工业大学;2006年

10 叶成名;基于高光谱遥感的青藏高原岩矿信息提取方法与应用研究[D];成都理工大学;2011年

中国硕士学位论文全文数据库 前10条

1 柳家福;基于GPU的矿产资源高光谱遥感探测数据快速处理[D];南京理工大学;2015年

2 张小东;基于光谱解混的高光谱遥感烃弱信息提取[D];成都理工大学;2015年

3 刘淼;不同营养水平冬小麦长势高光谱遥感监测[D];西北农林科技大学;2016年

4 牛璐璐;航空高光谱遥感影像自动拼接技术研究[D];吉林大学;2016年

5 丁小辉;基于蚁群算法的高光谱遥感影像地物分类研究[D];中国科学院研究生院(东北地理与农业生态研究所);2016年

6 颜丙囤;基于“星—地”遥感数据的植被参数反演模型研究与应用[D];中国矿业大学;2016年

7 汤媛媛;面向桌面系统的高光谱遥感影像线性降维异构并行算法研究与实现[D];国防科学技术大学;2015年

8 陈东来;高光谱遥感场景成像模型研究[D];哈尔滨工业大学;2009年

9 杨文韬;一种结合万有引力的高光谱遥感影像无监督分类算法[D];成都理工大学;2011年

10 顾桂华;高光谱遥感场景模型仿真研究[D];哈尔滨工业大学;2008年

，

本文编号：714055