太阳望远镜海量数据并行处理技术研究

发布时间：2017-06-15 07:08

  本文关键词：太阳望远镜海量数据并行处理技术研究，，由笔耕文化传播整理发布。

【摘要】：一米新真空太阳望远镜(New Vacuum Solar Telescope,NVST)是我国重要的地基大口径太阳望远镜,主要目标是使用多通道高分辨成像系统,对太阳光球与色球进行高分辨成像观测。目前投入使用的高分辨成像系统通道主要有色球Halpha,光球TiO与G-band。3通道以10帧/秒的速度同时获取1024*1024像素或2560*2160像素图像,每个观测日产生至少7TB的海量数据。尽管数据存储设备价格在持续下降,但是如此大的数据量仍然显得难以传输和存储。为提高太阳观测图像的空间分辨率,需要对观测数据进行高分辨重建。NVST高分辨重建主要有2种,分别为选帧位移叠加(Level1)重建和斑点掩模(Level1+)重建,均采用100-200帧原始观测图像统计重建为1帧图像。在单台高端服务器上以串行方式重建1天单通道观测数据,Level1重建大概需要1天时间,Level1+重建大概至少需要3个月时间。处理速度极慢,远跟不上观测的产出,极大地影响了望远镜的运行效率与科学产出。鉴于NVST高分辨重建数据密集和计算密集,迫切需要对其进行并行加速。很明显,实时/准实时处理观测数据可以从以下两方面能够快速提高太阳望远镜的运行效率:(1)观测数据总量将以至少100倍速度快速地精简;(2)快速地缩短太阳观测与数据分析之间的时间。快速的计算机技术的发展,例如分布式并行计算技术,使得实时重建海量太阳观测图像成为可能。本论文研究使用分布式并行计算技术,并行加速NVST高分辨太阳图像重建,具体研究工作如下:(1)研究并行算法设计的方法以及高分辨重建算法,调研并研究目前流行的几种并行计算机以及并行编程模型,挖掘出适用于NVST高分辨图像重建的几种并行机与并行编程模型。(2)基于MPI选帧位移叠加(Level1)重建并行算法。针对NVST观测数据量巨大,以及Level1重建速度较慢两大特点,本文利用高性能集群与MPI技术加速Level1重建,系统地设计与实现了基于MPI的Level1重建并行算法,并成功构建一套Level1并行重建流水线系统,满足了Leve1实时重建迫切需求。Level1并行重建单帧1024*1024像素Halpha图像,整个过程相比于以前IDL实现获得23倍显著加速,并对各处理模块加速结果进行分析,提出进一步优化并行算法的技术与方法。本文还对基于MPI的Level1重建并行算法进行可扩展性测试,实验结果表明,该并行算法具有较好的可扩展性。(3)基于mpi斑点掩模(level1+)重建并行算法。针对nvst观测数据量巨大,以及level1+重建速度极慢两大特点,本文利用研究工作2的研究成果与关键技术,系统地设计与实现了基于mpi的level1+重建并行算法,并成功构建一套level1+并行重建流水线系统,满足了leve1+实时重建迫切需求,目前重建实时性能在国际同行处于领先水平。level1+并行重建单帧2560*2160像素tio图像,整个过程相比于以前idl实现获得约122倍显著加速,并对各处理模块加速结果进行分析,提出进一步优化并行算法的技术与方法。本文还对基于mpi的level1+重建并行算法进行可扩展性测试,实验结果表明,该并行算法具有较好的可扩展性。(4)基于openmp的子块图像重建并行算法。研究工作3基于mpi的level1+并行重建已经获得实时/准实时性能,但在相关硬件计算资源有限情况下,所有子块图像重建模块占据相当大时间比例,本文研究使用openmp多线程并行加速子块图像重建,系统地设计与实现了基于openmp的子块图像重建并行算法。本文使用openmp并行重建单帧tio通道256*256像素子块图像,相比于单线程cpu实现,整个过程获得约2.5倍明显加速,体现了本研究的并行化方法具有良好的加速性能。随着数据规模的增加,该并行算法表现出递增加速比性能,对于大规模数据处理,该并行算法加速更加有效。本文还对基于openmp子块图像重建并行算法进行可扩展性测试,实验结果表明,该并行算法具有较好的可扩展性。(5)基于mpi+openmp斑点掩模(level1+)重建并行算法。结合研究工作3与研究工作4的研究成果,将基于openmp子块图像重建并行算法移植至基于mpi的level1+重建并行算法。使用mpi+openmp混合编程模型,系统地设计与实现基于mpi+openmp的level1+重建并行算法,进一步提升level1+重建并行算法的加速性能。本文对比了基于mpi+openmp与基于mpi的两种不同编程模型的level1+重建时间结果。实验结果表明,在充足硬件计算资源情况下,基于mpi+openmp的level1+重建并行算法要快于基于纯mpi的level1+重建并行算法。(6)基于cuda的子块图像重建并行算法。本文研究使用gpgpu新并行技术加速子块图像重建。本文提出了基于cuda的子块图像重建新的并行算法,并系统地设计与实现该并行算法。本文使用gpgpu并行重建单帧tio通道256*256像素子块图像,相比于单线程cpu实现,整个过程获得约6倍明显加速,体现了本研究的并行化方法具有较好的加速性能。随着数据规模的增加,该并行算法表现出递增加速比性能,对于大规模数据处理,该并行算法加速更加有效。本论文系统地设计与实现了多套NVST高分辨重建并行算法,显著地提升了处理速度,并在此基础上,成功地构建多套高分辨并行重建流水线系统,满足了NVST海量数据实时处理的迫切需求。我国NVST重建实时性能超过了当前国际先进太阳望远镜NST(New Solar Telescope)的重建准实时性能。除此之外,本论文还优化了NVST高分辨重建并行算法,进一步提升了处理速度。本论文的研究成果不仅极大地提高NVST运行效率和科学产出,而且为下一代太阳望远镜(如CGST等)的数据处理系统提供较好的技术借鉴。
【关键词】：太阳望远镜 海量天文数据 高性能计算 高分辨重建
【学位授予单位】：中国科学院研究生院(云南天文台)
【学位级别】：博士
【学位授予年份】：2015
【分类号】：P111.41
【目录】：

• 摘要4-7
• ABSTRACT7-16
• 第1章 绪论16-29
• 1.1 研究背景17-19
• 1.2 NVST数据处理面临的问题19-20
• 1.3 国内外研究现状20-24
• 1.4 研究意义与应用前景24
• 1.5 论文的特色与创新24-25
• 1.6 论文研究计划25-29
• 1.6.1 研究目标25-26
• 1.6.2 研究内容26-27
• 1.6.3 论文组织结构27-29
• 第2章 并行算法与高分辨图像重建29-44
• 2.1 并行算法29-39
• 2.1.1 并行算法概述29-30
• 2.1.2 并行算法性能评估30-33
• 2.1.3 并行编程模型33-39
• 2.2 高分辨图像重建39-44
• 2.2.1 选帧位移叠加重建40-42
• 2.2.2 斑点掩模重建42-44
• 第3章 基于MPI选帧位移叠加重建并行算法44-59
• 3.1 引言44
• 3.2 基于MPI选帧位移叠加重建并行算法设计与实现44-51
• 3.3 算法性能分析51-57
• 3.4 本章小结57-59
• 第4章 基于MPI斑点掩模重建并行算法59-78
• 4.1 引言59
• 4.2 基于MPI斑点掩模重建并行算法设计与实现59-68
• 4.3 算法性能分析68-76
• 4.4 本章小结76-78
• 第5章 基于OPENMP子块图像重建并行算法78-87
• 5.1 引言78
• 5.2 基于OPENMP子块图像重建并行算法设计与实现78-82
• 5.3 算法性能分析82-85
• 5.4 本章小结85-87
• 第6章 基于MPI+OPENMP斑点掩模重建并行算法87-95
• 6.1 引言87
• 6.2 基于MPI+OPENMP斑点掩模重建并行算法设计与实现87-90
• 6.3 算法性能分析90-93
• 6.4 本章小结93-95
• 第7章 基于CUDA子块图像重建并行算法95-103
• 7.1 引言95
• 7.2 基于CUDA子块图像重建并行算法设计与实现95-99
• 7.3 算法性能分析99-101
• 7.4 本章小结101-103
• 第8章 总结与展望103-106
• 8.1 总结103-105
• 8.2 展望105-106
• 参考文献106-113
• 附录1 博士期间第一作者发表的论文113-114
• 致谢114

【参考文献】

中国期刊全文数据库 前10条

1 邱耀辉,刘忠,卢汝为,楼柯;天文斑点成像中的傅里叶模复原和像复原实验[J];光学学报;2000年04期

2 刘忠,邱耀辉,楼柯,卢汝为;斑点掩模法中的相位复原实施方法和像复原实验[J];光学学报;1999年07期

3 吕捷,张天序,张必银;MPI并行计算在图像处理方面的应用[J];红外与激光工程;2004年05期

4 迟利华,刘杰,胡庆丰;数值并行计算可扩展性评价与测试[J];计算机研究与发展;2005年06期

5 姚丽萍,王远飞;基于MPI的大气污染扩散模型的并行计算研究[J];计算机工程;2005年22期

6 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

7 常珊;孔韧;李春华;陈慰祖;王存新;;基于MPI的分子对接并行算法[J];计算物理;2008年02期

8 周海芳;赵进;;基于GPU的遥感图像配准并行程序设计与存储优化[J];计算机研究与发展;2012年S1期

9 郑裕民;高娜;刘梁;;基于GPU超级计算系统的天文科学应用[J];科研信息化技术与应用;2011年06期

10 王茂芝;郭科;徐文皙;;基于集群和GPU的高光谱遥感影像并行处理[J];红外与激光工程;2013年11期

  本文关键词：太阳望远镜海量数据并行处理技术研究，由笔耕文化传播整理发布。

本文编号：451774