基于元数据的作战大数据资源目录服务技术

发布时间：2021-06-16 13:46

　　本文立足于大数据技术、信息化技术发展实际情况以及作战数据处理具体要求,首先阐述了元数据相关基础理论,然后根据元数据资源目录构建原理,介绍了以元数据为基础的作战大数据资源目录服务系统基本架构,最后系统梳理了元数据作战大数据资源目录在实际应用中所能表现出的价值以及优势。 

【文章来源】：网络安全技术与应用. 2020,(11)

【文章页数】：3 页

【部分图文】：

作战大数据资源目录服务系统架构图

在数据部署方面，元数据目录部署分为两个方面：一是集中式管理，将元数据、目录信息储存在节点内，该储存方式可为后期的更新、维护工作创造良好条件，从而解决数据不对称的问题，但是相对而言，系统可靠性较差，伴随作战大数据资源目录服务系统运行时间延长，数据量达到一定水准，数据获取效率就会因此降低；另一个方面为分布式管理，分布式管理将元数据目录信息分布在多个服务器上，这些信息在读取逻辑上仍旧统一，但是分布式储存能够规避跨节点的数据交互，且有利于作战大数据资源目录服务系统接入大数据分析。根据一般作战数据管理系统的业务特征，结合区域划分机制以及目录复制机制，文章提出集中分布、分布复制的元数据目录部署结构，目录定义统一存储，能够支持各种存储库，非结构化、结构化、半结构化。需要采用动态可配置方式去定义存储信息，以及能够自动适配各种存储接口。采用动态可配置字典方式去定义不同的存储类型，首先定义好各个存储组件的字典模板，例如kafka包含broker Server、topic、group Id信息，然后根据模板去配置各自组件的具体信息。采用策略自动适配法去自动适配存储组件，避免了传统臃肿编码（策略自动适配法，需要定义存储接口inteface，各个组件具体的各自实现类impl，以及参数构造反射器invoke。首先通过目录关联的存组件字典中的类型反射得到具体的参数构造器，然后根据构造器构造所需要的参数对象。通过不同的存储策略，自动适配具体的实现类）。3 作战数据资源目录服务系统的实现

目录结构通过多元化模式确定，比如可根据元数据的隶属部门、组织机构或者地理信息等进行分类、确定，元数据目录结构建议采用扁平化结构，该中结构层级较少，且数据目录的路径相对较短。图三为一般作战装备保障目录，目录的根节点设置为作战装备保障一级目录（o=yjdw,c=cn），其中含有三个不同二级单位的完整装备信息（A、B、C），以分布式储存的方式储存在服务器内，二级单位则以各个基地为保存节点，部门直接作为管理对接层，管理装备等等目录项目。(2）目录Schema设计

【参考文献】：
期刊论文
[1]元数据驱动的分布式数据资源管理技术[J]. 焦利,孙松周,刘天须,张雪扬,王振基,王亚军.  计算机与现代化. 2019(03)
[2]大数据环境下基于元模型控制的数据质量保障技术研究[J]. 杨冬菊,徐晨阳.  计算机工程与科学. 2019(02)
[3]基于REST和OData的海洋地质数据资源目录服务[J]. 苏国辉,戴勤奋,魏合龙,孙记红.  海洋地质前沿. 2018(03)



本文编号：3233183