下一代托卡马克实验数据分布式存储技术研究

发布时间：2020-04-26 17:28

【摘要】：托卡马克是研究磁约束聚变的复杂大型实验装置,由众多不同的子系统组成。其实验过程中会产生大量实验数据,研究人员需要对这些数据进行分析,以实现理论验证和进一步的实验改进。随着托卡马克实验向长脉冲发展和数据采集技术日益提高,实验过程中产生的数据增长地越来越快。对于海量的实验数据,不仅要求数据存储与管理系统能够实现快速保存,还要能够给科研人员提供高效的数据查找与访问功能。本研究正是基于此背景,对J-TEXT数据存储与采集系统进行了改进,在MDSplus数据管理、备份、D-TACQ采集等方面进行了新的设计与优化,并研发出了针对未来长脉冲实验海量数据的J-TEXT云存储数据库(J-TEXT Cloud Database,以下简称JCDB)。本研究首先设计并开发了MDSplus数据管理系统,针对MDSPlus管理功能过于简单的问题,实现了数据的批量管理,并提供高效的查询手段。该系统通过MDSplus与SQL Server的结合使用,能够把MDSplus的所有元数据直接导入到SQL Server中。在此基础上,开发了JTEXT-Traverser软件,使数据以图形可视化的方式呈现,便于用户处理,并能将处理结果同步到MDSplus和SQL Server中。除此之外,在网络改造的基础上,利用Rsync开源软件实现了数据的增量备份,克服了原有以磁带机为基础的备份系统容量小,备份、恢复时间长的缺点。同时,实验过程中发现DTACQ采集设备在复杂实验环境中数据容易上传失败。为了改善这一状况开发了DTACQ运行支撑软件,实现了对J-TEXT所有D-TACQ的状态监控、数据检测、发现问题、自动重传的一套功能,提高了采集卡的可用性。对于未来长脉冲聚变实验中存储系统面临的持续海量数据写入的挑战,本研究创新的采用分布式集群数据库技术进行应对。本文深入研究了现代分布式文件系统以及分布式数据库技术,设计了针对大型科学实验装置的数据存储管理系统JCDB。提出了数据分离成元数据和科学数据的思路,并率先给出了基于MongoDB的元数据管理方案,此方案是ITERDB计划采用技术的实际应用实现。通过数据模型、接口、插件等设计,实现了元数据的高效管理、访问,使系统可以灵活、模块化的添加和删除功能。针对科学数据,本研究设计了相应的存储引擎,通过迭代改进的方法,对存储引擎进行不断优化,最终给出了基于索引的CassandraIndex模型。它在4节点集群测试中,读写性能分别达到了337MB/s和280MB/s,并通过与GlusterFS和MDSplus对比,验证了基于NoSQL数据库存储引擎的巨大潜力,和为长脉冲聚变实验提供存储管理服务的可能性,为CFETR的存储管理设计提供参考。最后针对集群部署困难的问题,给出了集群的自动化部署方案,实现了MongoDB集群和Cassandra集群的自动化部署。
【图文】：

托卡马克,结构示意图

对其加热使之达到核聚变产生条件，主要以仿星器装置和托卡马克，其中又以托卡马克的发展最快。托卡马克装置托卡马克（Tokamak）最初是由位于苏联莫斯科的库尔恰托夫研究所的物理尔·塔姆、安德烈·萨哈罗夫和列夫·阿齐莫维齐等人在 20 世纪 50 年代发它由俄语单词转换而来，名字 Tokamak 来源于环形（toroidal）、真空室（kamermagnit）、线圈（kotushka），总结起来就是一个用强磁场来约束热等离子体聚变的环形容器装置。托卡马克的中央是一个环形的真空室，外面缠绕着多态的线圈，真空室内充入一定气体，通过微波、中性束注入等方式，激发并维强大的环形等离子体电流。等离子体电流与外面的线圈电流一起，产生磁场子体约束住，通过电子回旋共振等方式加热到上亿度的高温，从而实现核聚的托卡马克结构如图 1-1 所示。

树形结构

图 1-2 MDSplus 树形结构名和炮号来指定一次实验。每一棵树的数.tree， xx.characteristics 和 xx.datafile。以排序过的 tag 名索引、tag 定义和子树索引节点的元数据，其中就有每个节点在 dat文件包含节点中的实际数据。这三个文件MDSplus 提供了模板树如图 1-3 所示。模置模板树的结构，，其它大于-1 的炮号树都，校准数据等，但是不包含“.datafile”中
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TL631.24;TP311.13

【参考文献】