DOA下分布式DRC的元数据分级存储模型研究

发布时间：2017-04-15 21:17

  本文关键词：DOA下分布式DRC的元数据分级存储模型研究，由笔耕文化传播整理发布。

【摘要】：随着云计算的发展和大数据的积累,互联网系统面临高并发的数据访问,连接各系统的通信网络也面临高流量的数据传输,为满足“互联网+”时代灵活多变的应用需求,数据技术(Data Technology,DT)的发展和数据科学(Data Science, DS)的研究变得日益迫切。数据本身已经逐渐成为一种财富资本,面向数据、数据即服务、以数据为核心的思想逐渐形成。然而,如何有效的组织和管理急剧膨胀的海量异构数据,是现代数据科学家和数据从业者面临的一个重大挑战。在此背景下,以分析和管理海量异构数据为目标的面向数据的软件体系结构(Data Oriented Architecture, DOA)应运而生。DOA采用“以数据为核心,以数据标识为主线”的系统设计思路,管理着大量的数据资源池,描述这些数据资源池中各种属性的数据称为元数据,因此作为DOA核心组成部分的数据注册中心(Data Register Center, DRC)管理着海量的元数据,随着DOA管理的数据资源池的扩大,通过DRC注册的元数据规模也会急剧增长,因此传统的DRC性能瓶颈和访问效率问题日益凸显。本文在课题组已有的关于“面向数据的软件体系结构”研究成果的基础上,针对管理海量数据的特点,同时结合DOA体系结构中分布式管理和元数据存储存在的相关问题,首先设计一种DRC分布式概要模型；其次利用灵活可扩展的Hbase来定义和存储元数据,并设计了一种可扩展的元数据规范；再次将优先级元数据存储在分布式缓存Memcached中提高访问时效；然后设计出一种基于热点访问和数据价值的元数据分级策略；最后利用加权虚拟节点的一致性hash环算法实现分布式DRC的负载均衡。本文取得的主要成果如下：(1)使用灵活易扩展的Hbase数据库实现了元数据的分布式存储,实现了数据注册中心的功能可扩展性,建立了可扩展的分布式数据注册中心模型。(2)在Memcached分布式缓存技术基础上,采用基于热点访问和数据价值的分级策略,建立了分布式数据注册中心的元数据分级存储机制,提高了数据请求的及时性。(3)采用加权虚拟节点的一致性hash环算法,实现了分布式数据注册中心的缓存服务器的负载均衡性。本文取得的主要创新点包括：(1)提出了一种集群式管理海量元数据的分布式数据注册中心的实现方法。该方法采用可扩展的Hbase数据库对元数据进行分布式存储,克服了原来单点数据注册中心的性能瓶颈；也克服了原有的采用关系型数据库存储元数据的数据注册中心的扩展性瓶颈；同时该方法采用了加权虚拟节点的一致性hash环算法,也提高了分布式数据注册中心的负载均衡性。(2)提出了一种对元数据进行分布式分级存储策略。该策略采用热点访问分级和数据价值分级策略来筛选优先级元数据,并使用Memcached分布式缓存服务器来缓存优先级元数据,实现了对优先级元数据的快速高效查询。
【关键词】：分布式数据注册中心 Hbase 一致性hash环 分布式缓存 分级存储 DOA
【学位授予单位】：成都理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-6
• Abstract6-11
• 第1章 绪论11-19
• 1.1 引言11-12
• 1.2 研究背景与意义12-13
• 1.3 国内外研究现状分析13-15
• 1.3.1 DOA架构13-14
• 1.3.2 Hbase分布式数据库14
• 1.3.3 Memcached分布式缓存14-15
• 1.4 课题来源15
• 1.5 研究思路和内容15-16
• 1.5.1 研究思路15-16
• 1.5.2 研究内容16
• 1.6 研究成果与创新点16-17
• 1.7 论文的组织结构17-19
• 第2章 相关背景技术研究19-30
• 2.1 面向数据的体系架构19-21
• 2.1.1 DOA软件体系结构19-20
• 2.1.2 数据注册中心20-21
• 2.2 DOA“一切皆数据”的观点21-22
• 2.2.1 “广义数据”的概念21
• 2.2.2 “一切皆数据”大数据观点的意义21-22
• 2.3 非关系型数据库22-27
• 2.3.1 传统关系型数据库的局限22-23
• 2.3.2 分析型数据仓库的特点和局限23-25
• 2.3.3 新型非关系型数据库的特点25-27
• 2.4 负载均衡技术27
• 2.5 分布式缓存27-29
• 2.5.1 分布式缓存的特点27-28
• 2.5.2 应用场景28
• 2.5.3 分布式缓存的发展28-29
• 2.6 本章总结29-30
• 第3章 分布式数据注册中心架构模型30-39
• 3.1 传统DRC面临的瓶颈和解决思路30-31
• 3.2 分布式DRC的架构模型31-33
• 3.2.1 分布式DRC架构概述31-32
• 3.2.2 分布式DRC架构分析32-33
• 3.3 Hbase实现功能可扩展的DRC33-38
• 3.3.1 Hbase分布式数据库33-35
• 3.3.1.1 Hbase基本概念33-34
• 3.3.1.2 Hbase表结构34-35
• 3.3.1.3 Hbase数据操作35
• 3.3.2 分布式DRC中的元数据规范35-38
• 3.3.2.1 元数据各列族定义35-36
• 3.3.2.2 元数据各列族结构36-38
• 3.4 本章总结38-39
• 第4章 分布式DRC的元数据分级存储策略39-55
• 4.1 优先级元数据的分布式缓存39-41
• 4.1.1 采用Memcached的原因和意义39-40
• 4.1.2 Memcached缓存热点元数据40-41
• 4.2 基于热点和价值的元数据分级策略41-46
• 4.2.1 分级策略思想41-42
• 4.2.2 分级存储模型42-44
• 4.2.3 分级策略规则44-46
• 4.3 分布式DRC的负载均衡46-54
• 4.3.1 一致性hash环算法47-50
• 4.3.1.1 一致性hash环算法原则47
• 4.3.1.2 一致性hash环原理47-50
• 4.3.2 虚拟节点一致性hash环算法50-52
• 4.3.3 加权虚拟节点一致性hash环算法52-54
• 4.4 本章总结54-55
• 第5章 实验与测试55-60
• 5.1 环境配置55-56
• 5.2 实验一分级策略实验56-57
• 5.2.1 实验结果56-57
• 5.2.2 分析结论57
• 5.3 实验二负载均衡实验57-59
• 5.3.1 实验结果57-58
• 5.3.2 分析结论58-59
• 5.4 本章总结59-60
• 结论与展望60-63
• 致谢63-64
• 参考文献64-66
• 攻读硕士学位期间参与的科研项目66

【参考文献】

中国博士学位论文全文数据库 前1条

1 郭曦榕;基于G/S模式的数字旅游工程及其评估技术研究[D];成都理工大学;2010年

  本文关键词：DOA下分布式DRC的元数据分级存储模型研究，由笔耕文化传播整理发布。

，

本文编号：309280