实时天文元数据归档系统的设计与实现

发布时间：2020-05-05 17:22

【摘要】：随着各种大型高精度观测设备和先进探测仪器的建成和使用,天文观测数据出现了爆发性增长。天文元数据归档系统通过管理元数据的方式来实现对天文观测数据进行归档,使得上层用户可以通过检索特定元数据信息来快速定位所需天文观测数据集。但是当前天文元数据归档系统所采用的离线或周期性归档方式存在实时性不足的问题,同时数据查询响应较慢,难以满足实时数据查询的应用需求。针对上述问题,文中采用分布式流式数据处理架构和图数据库等技术设计和实现了一个实时天文元数据归档系统。针对元数据归档实时性不足的问题,通过元数据采集模块和元数据处理模块的设计来达到元数据实时处理的目的,同时设计了元数据存储模块来改进数据检索响应时间较长的问题。本文首先分析了天文元数据的数据特征,设计了基于实时监控数据源方式来获取数据源数据动态信息的方法,并结合Apache Flume等技术实现了元数据采集模块的实时元数据采集功能。而后针对天文元数据实时处理的需求,采用基于分布式流式数据处理架构来进行元数据处理模块的开发,设计了Storm Topology数据处理拓扑,将天文元数据以流的形式进行运算,实现了天文元数据的实时处理。最后针对实时数据查询的需求,结合天文元数据的数据特征,分析了现有天文元数据存储方案的局限性。同时结合了Neo4j图数据库点边存储技术,设计基于时空维度的天文元数据存储模型,实现了对多源、异构、海量天文元数据的存储。系统功能和性能测试实验结果表明,论文设计的实时天文元数据归档系统能够实现实时数据处理,并能存储多源、异构、海量的天文元数据实现实时数据查询,同时系统的稳定性、并发性均达到设计目标,对上层进一步的天文学研究有重大的意义。
【图文】：

数据缓存,信息,元数据,数据

图 4. 7 实际环境中 Kafka 数据缓存信息Broker 集群写入数据方案：Producer 负责为 Broker 集群推送数据，在本系roducer 由元数据采集模块担任。Producer 和 Broker 集群之间需要建立数据保证天文元数据的实时写入，具体流程如下：

信息,节点

实际环境中Zookeeper节点信息
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P111

【参考文献】