气候模式模拟中海量数据的并行抽取与可视化分析诊断

发布时间：2019-07-20 12:05

【摘要】：在地球动力学和气候模拟等领域,数值模拟产生的数据规模达到Tb至Pb量级。实现这些海量数据的实时可视化和实时诊断分析面临很大的困难,时空多尺度数据抽取可以解决这一瓶颈。高精度数据的可视化结果展示需要高分辨率的显示设备,并行的大屏幕显示技术是解决这一问题的有效手段。地球科学数值模拟、并行数据抽取和高分辨率显示都需要搭建高性能计算机集群。本文在基于Lagrange插值的多维度、多尺度、多分辨率并行数据抽取算法的同时,利用并行计算节点及LCD显示器,基于Rocks cluster系统搭建起一个176核,4×10×1024×1280分辨率的高性能计算模拟、数据抽取和并行显示输出的集成平台,并将该平台成功应用到气候模式模拟产生的海量数据的并行抽取和并行显示。
【图文】：

图３并行数据抽取算法对海啸模拟数据的抽取（ａ）为日本地形图；（ｂ）为抽取后的日本地形图；（ｃ）为区域抽取后的日本地形图；（ｄ）为对感兴趣区域抽取的结果２大规模并行显示系统的搭建

所示；也可以把感兴趣的异常区域加密抽取，如图３（ｄ）所示。这样就减少了数据的量级。数据量可以降低到原来的６．５％，这一比例还可以随着单个数据的变量增加而减少。对于时间步比较多的数据，其数据减少的绝对值是非常可观的。数据实现实时可视化的可能性也就大大的提高。图３并行数据抽取算法对海啸模拟数据的抽取（ａ）为日本地形图；（ｂ）为抽取后的日本地形图；（ｃ）为区域抽取后的日本地形图；（ｄ）为对感兴趣区域抽取的结果２大规模并行显示系统的搭建随着计算机计算能力和存储能力以及并行技术的飞速发展，科学计算所处理的数据量越来越大，在生物技术、气象、核技术、流体力学等应用领域，数据存储量已达到Ｔｂ至Ｐｂ级。要精确地显示出这些数据，目前的单台显示设备远远不能满足要求。建立大规模并行显示系统，已成为可视化和虚拟现实技术发展的迫切需求［５］。大屏幕显示墙技术是目前国内外研究的热点之一，本文用１１个集群节点驱动４０个显示器。２．１硬件环境系统硬件选择基于性价比以及可扩展性的考虑，既要考虑计算机的性能，还要便于技术追踪。本文选择普通的Ｉｎｔｅｌ架构并行计算机集群［６］和显示器来构建大规模并行显示系统。这样一来，可大大降低了系统的成本，如图４所示。整个系统由１１台计算机组成，其中１０台计算机作为大屏幕系统的绘制和显示节点（Ｔｉｌｅｎｏｄｅ），１个节点作为控制节点（Ｆｒｏｎｔｅｎｄｎｏｄｅ），主节点控制子节点。１１台机子主板都是超微服务器主板。每台计算机配置两个８核ＣＰＵ，一块ＮＶＩＤＩＡＱｕａｄｒｏＮＶＳ４４０四路输出显卡。主节点的硬盘为３块２Ｔ

通的液晶显示器拼在一起，在选择显示器时选择尽可能边框窄的显示器。系统采用４１个１９寸普通的ＢｅｎＱ显示器，一个作为控制节点的控制端，其余４０个显示器拼接在一起，构成一个４×１０的显示墙。每个显示器的分辨率为１２８０×１０２４，最高分辨率可达４０×１０２４×１２８０即５２４２万像素。图４大规模并行显示系统物理结构２．２软件环境目前用于大规模显示的软件有ＸＤＭＸ［７］、ＳＡＧＥ［８］、ＣＧＬＸ［９］、Ｃｈｒｏｍｉｕｍ［１０］等，这些软件都是基于Ｌｉｎｕｘ系统开发的。ＸＤＭＸ技术是一个代理Ｘ服务器，它提供了对连接在多台不同机器上的多头支持（其中每台机器都运行着一个典型的Ｘ服务器），结合使用Ｘｉｎ－ｅｒａｍａ［１１］，这样多个机器上的多个显示就可以形成一个统一的虚拟桌面。ＸＤＭＸ虽然可以实现大规模高分辨率显示，但并不是并行显示的，实际的渲染和绘制都是在主节点上完成的，这就要求主节点的配置要特别好。据日本同步辐射研究所（ＪＡＳＲＩ）测定［１２］，打开一个１２５６１×３３５０像素１１Ｍ的ＪＰＥＧ格式图片，，使用ＸＤＭＸ＋Ｌｉｎｕｘ系统打开用时２０ｓ，而ＲｏｃｋｓＣｌｕｓｔｅｒ＋ＶｉｚＲｏｌｌ系统只用时２ｓ。因此，ＸＤＭＸ技术对海量数据的实时可视化ＸＤ－ＭＸ技术有心无力。ＳＡＧＥ是由美国芝加哥大学电子可视化实验室（ＥＶＬ）开发，采用图像流架构实现百万级别以上的显示像素能力的协同科研可视化环境，用于高清视频和图像的可视化研究。ＳＡＧＥ的软件相对单一，它所支持的软件均需要在ＳＡＧＥ函数库支持下
【作者单位】：中国科学院计算地球动力学重点实验室;
【基金】：国家高技术研究发展计划重点项目(2010AA012402) SinoProbe-07-01(0841042G02)
【分类号】：P3;TP393.09

【参考文献】