基于Docker的射电干涉阵软件系统敏捷封装与部署
发布时间:2021-11-06 17:54
随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。
【文章来源】:天文研究与技术. 2019,16(01)CSCD
【文章页数】:8 页
【部分图文】:
总体框架Fig.1TheOverallFramework3功能与性能测试
升级。利用Docker,可直接在原始版本的镜像启动的容器中进行软件更新和环境升级操作,再将测试好的容器提交为新版本镜像发布,从而实现对软件版本的敏捷化管理。3.2可用性在主机负载不高的情况下,镜像文件可以在数秒内完成启动。主机可以通过容器默认开放TCP的22号端口与容器进行通讯,用户也可根据需求指定为其他的端口。Docker启动时在主机默认生成docker0网卡,所有的容器经docker0网卡发出数据,保证其网络可用性。Docker启动状态、容器状态以及docker0网卡信息如图2。图2Docker容器及网卡的状态Fig.2ThestatusofDockercontainerandnetworkcard3.3性能测试在不同平台下对明安图射电频谱日像仪软件系统分别进行性能测试,并进行比较。软件系统可对观测到的可见度数据进行预处理,导出UVFITS数据文件,并通过洁化算法进行洁化,生成脏图和洁图,其中洁化处理运算量较大,对系统性能的要求较高,因此本实验选择比较洁化处理的时间。考虑到Docker本身是一种虚拟化技术,以及公有云在虚拟机中使用Docker的用法现状,因此除物理主机外,我们将加入虚拟机和基于虚拟机上的Docker容器作为实验平台,分别与物理主机上的Docker容器进行性能对比。基于以上讨论,实验中把软件系统分别搭建于物理机、Docker容器、虚拟机以及虚拟机上的Docker4种平台上,然后分别进行洁化处理并记录各自执行时间,最后进行比较。目前洁化算法已经分别在CUDA和OpenCL环境下实现[9-10],实验在两种计算模式下分别进行。实验中使用KVM虚拟机,它是基于Linux内核(Kernel-based)的虚拟机。KVM支持通过透传(passthrough)方式在虚拟机?
1期余程嵘等:基于Docker的射电干涉阵软件系统敏捷封装与部署为实验平台;(3)在两个平台组中分别进行基于洁化算法生成512×512像素和1024×1024像素的洁图的实验,并分别记录执行10次的时间;(4)相同计算模式下,首先比较各平台组内基于Docker容器和裸机下生成相同像素洁图的平均时间,然后比较物理主机组和虚拟主机组生成相同像素洁图的平均时间。表1实验环境Table1Thelabenvironment硬件环境32G内存,硬盘容量800GBGPU设备NVIDIACorporationGM200[GeForceGTXTITANX]12GBCPU设备Intel(R)Xeon(R)CPUE5-2630v2@2.60GHz软件环境MUSER1.0.0-REL(r1),docker17.03.1-ceCUDA版本NVIDIACUDArelease7.5,V7.5.17OpenCL版本OpenCL1.2LINUXKVM版本qemu-kvm-1.5.3-141.el7_4.2系统版本CentOSLinux7(Core),Kernel3.10.0-327.el7.x86_64实验结果如图3和图4。图3OpenCL+CPU下不同主机的洁化时间对比Fig.3TimeperformancecomparisonbetweendifferenthostsbasedonOpenCL+CPU721
【参考文献】:
期刊论文
[1]MUSER的负数据库接口设计与实现[J]. 石聪明,张晓丽,王锋,戴伟,杨秋萍. 天文研究与技术. 2018(02)
[2]基于OpenCL的MUSER CLEAN算法研究与实现[J]. 冯勇,陈坤,邓辉,王锋,梅盈,卫守林,戴伟,杨秋萍,刘应波,吴静平. 天文学报. 2017(02)
[3]基于MPI的高性能UVFITS数据合成研究与应用[J]. 陈泰燃,王威,王锋,邓辉,刘应波,梅盈. 天文研究与技术. 2016(02)
[4]基于QT的MUSER观测数据多屏图形化实时显示的设计与实现[J]. 周鑫磊,王威,王锋,邓辉,柳翠寅,胡杰,李少良,王璐璐,周士然. 天文研究与技术. 2015(04)
[5]虚拟计算环境中的虚拟网络[J]. 蔡志平,陈彬,肖侬,王志英. 计算机工程与科学. 2008(11)
本文编号:3480266
【文章来源】:天文研究与技术. 2019,16(01)CSCD
【文章页数】:8 页
【部分图文】:
总体框架Fig.1TheOverallFramework3功能与性能测试
升级。利用Docker,可直接在原始版本的镜像启动的容器中进行软件更新和环境升级操作,再将测试好的容器提交为新版本镜像发布,从而实现对软件版本的敏捷化管理。3.2可用性在主机负载不高的情况下,镜像文件可以在数秒内完成启动。主机可以通过容器默认开放TCP的22号端口与容器进行通讯,用户也可根据需求指定为其他的端口。Docker启动时在主机默认生成docker0网卡,所有的容器经docker0网卡发出数据,保证其网络可用性。Docker启动状态、容器状态以及docker0网卡信息如图2。图2Docker容器及网卡的状态Fig.2ThestatusofDockercontainerandnetworkcard3.3性能测试在不同平台下对明安图射电频谱日像仪软件系统分别进行性能测试,并进行比较。软件系统可对观测到的可见度数据进行预处理,导出UVFITS数据文件,并通过洁化算法进行洁化,生成脏图和洁图,其中洁化处理运算量较大,对系统性能的要求较高,因此本实验选择比较洁化处理的时间。考虑到Docker本身是一种虚拟化技术,以及公有云在虚拟机中使用Docker的用法现状,因此除物理主机外,我们将加入虚拟机和基于虚拟机上的Docker容器作为实验平台,分别与物理主机上的Docker容器进行性能对比。基于以上讨论,实验中把软件系统分别搭建于物理机、Docker容器、虚拟机以及虚拟机上的Docker4种平台上,然后分别进行洁化处理并记录各自执行时间,最后进行比较。目前洁化算法已经分别在CUDA和OpenCL环境下实现[9-10],实验在两种计算模式下分别进行。实验中使用KVM虚拟机,它是基于Linux内核(Kernel-based)的虚拟机。KVM支持通过透传(passthrough)方式在虚拟机?
1期余程嵘等:基于Docker的射电干涉阵软件系统敏捷封装与部署为实验平台;(3)在两个平台组中分别进行基于洁化算法生成512×512像素和1024×1024像素的洁图的实验,并分别记录执行10次的时间;(4)相同计算模式下,首先比较各平台组内基于Docker容器和裸机下生成相同像素洁图的平均时间,然后比较物理主机组和虚拟主机组生成相同像素洁图的平均时间。表1实验环境Table1Thelabenvironment硬件环境32G内存,硬盘容量800GBGPU设备NVIDIACorporationGM200[GeForceGTXTITANX]12GBCPU设备Intel(R)Xeon(R)CPUE5-2630v2@2.60GHz软件环境MUSER1.0.0-REL(r1),docker17.03.1-ceCUDA版本NVIDIACUDArelease7.5,V7.5.17OpenCL版本OpenCL1.2LINUXKVM版本qemu-kvm-1.5.3-141.el7_4.2系统版本CentOSLinux7(Core),Kernel3.10.0-327.el7.x86_64实验结果如图3和图4。图3OpenCL+CPU下不同主机的洁化时间对比Fig.3TimeperformancecomparisonbetweendifferenthostsbasedonOpenCL+CPU721
【参考文献】:
期刊论文
[1]MUSER的负数据库接口设计与实现[J]. 石聪明,张晓丽,王锋,戴伟,杨秋萍. 天文研究与技术. 2018(02)
[2]基于OpenCL的MUSER CLEAN算法研究与实现[J]. 冯勇,陈坤,邓辉,王锋,梅盈,卫守林,戴伟,杨秋萍,刘应波,吴静平. 天文学报. 2017(02)
[3]基于MPI的高性能UVFITS数据合成研究与应用[J]. 陈泰燃,王威,王锋,邓辉,刘应波,梅盈. 天文研究与技术. 2016(02)
[4]基于QT的MUSER观测数据多屏图形化实时显示的设计与实现[J]. 周鑫磊,王威,王锋,邓辉,柳翠寅,胡杰,李少良,王璐璐,周士然. 天文研究与技术. 2015(04)
[5]虚拟计算环境中的虚拟网络[J]. 蔡志平,陈彬,肖侬,王志英. 计算机工程与科学. 2008(11)
本文编号:3480266
本文链接:https://www.wllwen.com/kejilunwen/tianwen/3480266.html