基于Elasticsearch的气象数据检索技术研究

发布时间：2025-01-06 04:13

　　 气象行业的数据量非常大,系统需要每天处理约有800 G的增量数据,总容量超过1 P的历史数据文件。为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫。基于Elasticsearch技术,采用元数据的管理方法,设计了一套数据管理系统。按照业务类型和数据名称特点,把所有数据分成了13个大类和260多个元数据类型,设计了相同的元数据模板,便于统一管理。同时对13个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求。该设计方法实现了1～2秒钟内可以从5亿个文件库中搜索出某一大类的文件,在2～3秒钟可以更加精确地搜索出某一元数据类型的数据。基于以上设计方案,基本满足了当前的数据服务需要。

【文章页数】：5 页

【部分图文】：

图3数据入ES数据池的流程

描述数据的数据(dataaboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。为了便于管理，采用了统一的元数据模板，针对不同类型的数据，通过不同的关键字进行区别。元数据模板是一个开放式管理机制，可以根据业务....

本文编号：4023774