基于DALiuGE计算框架的w项改正算法并行优化
发布时间：2020-12-22 12:37
平方公里阵(Square Kilometre Array,SKA)将成为国际上最大的综合孔径射电望远镜,SKA作为下一代的射电望远镜,以大视场、多波束、高动态、高分辨和大数据为核心概念,将颠覆射电天文学的传统研究手段,带来全新和革命性的天文学研究理念。本文分析了SKA的总体结构设计,观测数据的获取以及采样与成像过程,以及SKA海量观测数据实时处理的特点的基础下,对基于目前SKA采用的一个分布式计算框架DALiuGE中w项改正算法的实现进行了研究,为满足SKA后续实验工作的开展。具体内容如下:1.面向SKA科学大数据的分布式处理需求,分析调研了射电干涉阵的数据获取和处理流程,对综合孔径成像原理,大视场成像w项问题进行了细致研究,对当前DALiuGE计算框架的开发方法进行了学习与实验。2.针对SKA大视场、高动态、高分辨率成像的独特要求,重点对大视场射电干涉阵成像关键技术展开了研究,对Faceting算法进行了深入的研究,实现算法并初步完成测试。3.在工作二的基础上,根据SKA科学数据处理器工作包(SDP)的要求,进一步将Faceting算法封装为DROP,在DALiuGE框架下运行实现。...
【文章来源】：昆明理工大学云南省
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
DALiuGE框架和管道生命周期的不同阶段在开发期间，Drops[37]
图 2.2 Drop 的开发所在开发 DALiuGE 中，我们通过数据生命周期管理，图形执行引擎和成本优置整合成 个连贯的数据驱动的框架，来延伸“传统”的数据流模型。我们已的数据流模型做了修改：模型数据作为节点、参与者，可以管理自己的生命周期，触发相应的“用户”状态。在这里的应用和数据节点都称为 DROPs。所有的状态信息被保存在 DROP 包，而 DROPs 的有效负载，即管道组件的算，都是无状态的。DROP 是透明的底层图/数据流的执行引擎，使数据驱动框架有良好的数据流系用程序级和灵活性表现力。最后，区分 2 种数据流图-逻辑图和物理图。前者提供计算抽象在 个资源无关的方式更高的水平。后者表示以满足最低的成本性能的实际执行计划，要求映射到 组给定的硬件
由于观测距离遥远， 1 l2m2~1可以假设视场近(或切平面)，因此式中相位项ω( 1 l2m21)(称之为ω项函数可以简化为2 可以看出，可见度函数和目标源亮度分布成傅里叶变换关系函数，即可获得目标源的亮度分布。可以看出 n = 1 即是二维傅里叶变换成像的条件，因此当采用时，产生的误差ε表示为 w(n 1)，这个误差的相位表示 2 21)，可以进 步近似的表示为： ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【参考文献】：
期刊论文
[1]基于Spark Streaming的明安图射电频谱日像仪实时数据处理[J]. 卫守林,刘鹏翔,王锋,邓辉,梁波,戴伟. 天文研究与技术. 2017(04)
[2]低频射电望远镜阵列宽视场成像技术研究[J]. 劳保强,安涛,陈骁,伍筱聪,陆扬. 天文学报. 2017(05)
[3]上海65米射电望远镜[J]. 沈志强. 科学. 2013(03)
[4]世界最大射电望远镜阵列将揭示众多宇宙谜团[J]. 杨孝文. 太空探索. 2012(02)
[5]干涉成像,显微宇宙[J]. 周建锋,苏彦,曹萌,姚浩田,高强. 自然杂志. 2011(06)
[6]关于太阳厘米—分米波段频谱日像仪研究进展[J]. 颜毅华,张坚,陈志军,姬国枢,王威,刘飞. 天文研究与技术.国家天文台台刊. 2006(02)
本文编号：2931782
【文章来源】：昆明理工大学云南省
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
DALiuGE框架和管道生命周期的不同阶段在开发期间，Drops[37]
图 2.2 Drop 的开发所在开发 DALiuGE 中，我们通过数据生命周期管理，图形执行引擎和成本优置整合成 个连贯的数据驱动的框架，来延伸“传统”的数据流模型。我们已的数据流模型做了修改：模型数据作为节点、参与者，可以管理自己的生命周期，触发相应的“用户”状态。在这里的应用和数据节点都称为 DROPs。所有的状态信息被保存在 DROP 包，而 DROPs 的有效负载，即管道组件的算，都是无状态的。DROP 是透明的底层图/数据流的执行引擎，使数据驱动框架有良好的数据流系用程序级和灵活性表现力。最后，区分 2 种数据流图-逻辑图和物理图。前者提供计算抽象在 个资源无关的方式更高的水平。后者表示以满足最低的成本性能的实际执行计划，要求映射到 组给定的硬件
由于观测距离遥远， 1 l2m2~1可以假设视场近(或切平面)，因此式中相位项ω( 1 l2m21)(称之为ω项函数可以简化为2 可以看出，可见度函数和目标源亮度分布成傅里叶变换关系函数，即可获得目标源的亮度分布。可以看出 n = 1 即是二维傅里叶变换成像的条件，因此当采用时，产生的误差ε表示为 w(n 1)，这个误差的相位表示 2 21)，可以进 步近似的表示为： ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【参考文献】：
期刊论文
[1]基于Spark Streaming的明安图射电频谱日像仪实时数据处理[J]. 卫守林,刘鹏翔,王锋,邓辉,梁波,戴伟. 天文研究与技术. 2017(04)
[2]低频射电望远镜阵列宽视场成像技术研究[J]. 劳保强,安涛,陈骁,伍筱聪,陆扬. 天文学报. 2017(05)
[3]上海65米射电望远镜[J]. 沈志强. 科学. 2013(03)
[4]世界最大射电望远镜阵列将揭示众多宇宙谜团[J]. 杨孝文. 太空探索. 2012(02)
[5]干涉成像,显微宇宙[J]. 周建锋,苏彦,曹萌,姚浩田,高强. 自然杂志. 2011(06)
[6]关于太阳厘米—分米波段频谱日像仪研究进展[J]. 颜毅华,张坚,陈志军,姬国枢,王威,刘飞. 天文研究与技术.国家天文台台刊. 2006(02)
本文编号：2931782
本文链接：https://www.wllwen.com/kejilunwen/tianwen/2931782.html
