海量监视数据云存储服务模型的设计与实现

发布时间：2021-02-23 18:35

　　集约化监控有助于全面把控业务信息系统运行情况与提升运维效率,已成为大型企事业部门业务监控的发展方向,但集约化监控带来海量监视数据的存储与服务挑战。以气象部门业务监视数据为例,在分析监视数据的特点及对比海量数据存储服务技术的基础上,设计和实现了海量监视数据云存储服务模型,主要通过时序数据存储技术和索引存储技术分别存储指标类和日志事件类监视数据,并实现存储优化。对该模型的应用效果测试分析表明,所提海量监视数据云存储服务模型具有高效存储服务性能以及可扩展性稳定的特点。 

【文章来源】：武汉大学学报(信息科学版). 2020,45(07)北大核心

【文章页数】：8 页

【部分图文】：

存储框架

Elasticsearch中文档是一个基本的数据存储单元，一个文档类似关系数据中一行记录，同一类文档可以有不同的字段组合，可以支持更为灵活的数据存储结构。文档的元数据主要有索引（index）、类型（type）和文档ID，每个文档都属于一个索引，并通过索引来进行索引存储和查询定位。为便于管理和提升性能效率，一个索引内根据文档类型，设置不同的逻辑分区，其中具有一组共同字段的文档可定义同一个类型；同时一个索引会切分成不同分片，分布到不同的集群节点，实现分布式存储，每一个分片是一个实例，每一个分片有主分片和零个或多个副本分片，用于对分片进行冗余存储，以增加高可用性和提高性能。图2给出了Elasticsearch中索引存储的分片及副本的组织情况。2)Elasticsearch索引存储流程

当向Elasticsearch集群提交文档，处理节点会根据路由规则确定需要写入的分片，并把文档发给分片所在的节点，由所在节点完成入库后返回。对于分片同步，系统提供了同步和异步两种策略。异步有更好的写入性能，而同步则更注重一致性。Elasticsearch索引一个文档的过程如图3所示。3)Elasticsearch查询流程

【参考文献】：
期刊论文
[1]智慧城市云存储系统中的副本量控制策略研究[J]. 刘小俊,胡志华,潘少明.  武汉大学学报(信息科学版). 2016(09)
[2]一种环境因素敏感的Web Service QoS监控方法[J]. 庄媛,张鹏程,李雯睿,冯钧,朱跃龙.  软件学报. 2016(08)
[3]基于内存数据库Redis的轻量级矢量地理数据组织[J]. 朱进,胡斌,邵华,罗青,江南,张景云.  地球信息科学学报. 2014(02)
[4]HBase数据库迁移工具的设计与实现[J]. 杨寒冰,赵龙,贾金原.  计算机科学与探索. 2013(03)

硕士论文
[1]基于MongoDB的应用平台的研究与实现[D]. 吕林.北京邮电大学 2015



本文编号：3048043