一种非结构化的数据统一存储平台

发布时间：2019-09-29 09:32

【摘要】：研究并实现电力业务非结构化数据统一存储平台。详细描述非结构化数据存储平台的主要实现技术和方案。搭建满足测试需要的评测环境,测试结果表明存储平台架构方案的有效性和可行性。该平台满足了上层各业务系统在非结构化数据领域的使用需求,可全面服务电力公司提出的"三集五大"战略,为后续非结构化平台支持分布式存储及架构适应性优化全面改造提供依据。
【图文】：

部署图,非结构化数据,架构,逻辑

到?主流分布式存储技术的能力特征及适用性。1非结构化数据存储平台架构电网实时数据种类多、数量大，且数据格式不统一，为典型的非结构化数据，其操作方式多为一次写入、多次读取，以便满足电力设备故障分析、电力自动化设备优化调整等方面的需要。为适应实时电力数据处理的要求，支持多种存储架构思路和分布式存储技术，提升数据查询优化性能，该存储系统所配置的基础软硬件设施包括MongoDB数据库、Oracle数据库、SAN存储、NAS存储以及廉价PCServer存储服务器等［8］，所设计的非结构化数据云存储平台架构如图1所示。图1非结构化数据存储平台架构逻辑部署图图1中，数据存储层是存储平台的基础，可实现电力数据的高速、并行、实时处理，其包括元数据处理单元、文件路径及权限元数据处理单元、分布式存储计算单元、集中式存储计算单元等［9］。该层对外提供不同的存储服务，每种服务的数据被统一存储在平台中，构成一个数据池［10］。传统的单服务器的数据组织方式难以满足多用户环境下的存储容量和吞吐性能需求;基于P2P架构的数据组织，节点数庞大，并且需要复杂的编码算法保证数据的可靠性;当用户数量非常大时，基于多存储节点的数据组织方式能更好地满足在线存储服务的需求。搭建分布式数据中心，能够为不同区域的用户提供更好的服务。在该层中，采用2种存储模式，即集中式存储与分布式存储。集中式存储(如SAN、NAS)主要考虑了早期的存储方式，为了与其进行合理、良好的兼容，故对于某些电力核心数据采用集中式存储方式。利用Ｒiak-CS存储来采集终端、电力设备等多方面的大量小文件，实现多个服务器分布式存储;而各文件的文件路径等管理信息则用内存KV数据库Ｒiak存储，在进行读娶改写等操作时，先从Ｒiak?

工作流程图,工作流程,组件,元数据

有效传输，其最长路径上主要包括2个步骤:文件流的传输，文件路径的获取(存储)及文件相关权限的校验。NameServer组件是实现快速(毫秒级别)文件路径存储及权限校验的关键。该组件基于内存KV数据库，存储了所有的文件目录信息，，权限验证等信息，可提供高并发、低延迟的数据访问能力，是实现高吞吐传输服务的关键之一［14］。组件内采用Ｒiak作为KV数据库，负责以KV的形式保存文件路径及权限验证相关信息;在Ｒiak上部署计算单元，为上层提供远程对象调用服务。以下载文件为例，其文件路径获取与存储流程如图2所示。图2NameServer组件工作流程认证与授权功能为文件及元数据服务提供基本的认证授权支持，是元数据管理组件提供的基本辅助功能。基于权限体系结构，其细化文件上传、下载过程中的认证与授权过程如图3、图4所示。图3文件上传过程的认证与授权流程图4文件下载过程的认证与授权流程如图5所示，元数据包括公共元数据和业务元数据2类，在总体架构设计中，由MetaDataServer提供元数据管理，以实现非结构化数据基本特征、上下文信息等不需要在NameServer中保存的信息，包括业务系统上传的元数据、公共元数据、文件MD5等［15］。MetaDataServer组件由3部分组成，即基于高性能远程对象传输技术提供对象ＲPC调用接口的MetaServer、文档数据库适配器MongoAdapter和实现元数据的存储与管理的MongoDB数据库。图5MetaDataServer组件设计框图2．2异构存储支持方案设计为实现平台对分布式存储的支持，同时保持对SAN/NAS等现有主流的存储基础设施的管理，异构存储支持方案的设计内容主要包括2部分:支持分布式存储技术及集中式的SAN/NAS存储技术。该平台采用开源的对象存储技术产品Ｒiak-CS作为分布式PCServer集群的管理组?
【作者单位】：福建亿榕信息技术有限公司;国网浙江省电力公司;
【分类号】：TP333

【相似文献】