分布式结构化存储系统元数据管理模块设计与实现

发布时间：2017-09-17 07:09

  本文关键词：分布式结构化存储系统元数据管理模块设计与实现

  更多相关文章： Paxos算法 副本 结构化存储 R-tree

【摘要】：在大数据时代,数据存储提出了许多新的需求,传统的基于关系的数据库存储系统已经不能满足这些需求。本文在研究和分析了现有的典型结构化存储系统的基础上,设计并实现了一个面向POI的,具有高可靠性的分布式结构化存储系统CBase。在CBase存储系统中,POI信息被分布式存储在不同的存储节点上,元数据信息指的是POI信息到存储节点的映射关系。元数据管理模块是CBase存储系统中的一个模块,主要功能是管理CBase存储系统的元数据信息,是本人在项目中的主要负责的模块。元数据管理模块的主要工作和特色如下:1.元数据管理的优化。设计并实现了一个基于R-tree的元数据管理模块,采用写入操作日志的方式,把对元数据操作时可能产生的大量随机I/O转化为顺序I/O,提高系统的吞吐率;2.元数据的容错性设计。为了保证元数据的可靠性,实现了一个基于Paxos算法的一致性协议,对元数据副本进行同步,并针对基本Paxos算法的缺点,设计了Leader租约机制,大量减少了数据同步过程中产生的网络通信。3.快速的故障恢复。系统通过将元数据的操作写入日志文件中,并周期性对元数据进行快照的机制,在系统宕机后,能够使用快照和操作日志快速地恢复系统的元数据。4.海量并发的支持。利用Linux下提供的epoll机制,设计并实现一个高性能的网络编程框架,该框架可以支持海量的并发访问,为IS的各个业务流程提供编程支持。
【关键词】：Paxos算法 副本 结构化存储 R-tree
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• abstract6-9
• 第一章 引言9-12
• 1.1 研究背景9-10
• 1.2 主要工作10-11
• 1.3 论文内容组织11
• 1.4 本章小结11-12
• 第二章 研究现状与相关工作12-30
• 2.1 POI概述12
• 2.2 结构化存储系统简介12-22
• 2.2.1 Bigtable12-15
• 2.2.2 Dynamo15-18
• 2.2.3 Spanner18-22
• 2.3 元数据组织方式22-25
• 2.3.1 Bigtable22-23
• 2.3.2 Dynamo23-25
• 2.4 容错机制25-29
• 2.4.1 master/slave25-26
• 2.4.2 Multi-master26-29
• 2.5 本章小结29-30
• 第三章 系统分析与总体设计30-54
• 3.1 系统需求分析30-33
• 3.1.1 CBase存储系统总体需求30-31
• 3.1.2 元数据管理模块功能性需求31-32
• 3.1.3 元数据管理模块非功能性需求32-33
• 3.2 元数据管理模块技术要点33-41
• 3.2.1 基于R-树的元数据管理策略33-35
• 3.2.2 基于Paxos算法的数据同步机制35-38
• 3.2.3 Leader租约机制38-39
• 3.2.4 基于快照的故障恢复策略39-41
• 3.3 元数据管理模块架构设计41-45
• 3.3.1 元数据管理模块总体架构41-43
• 3.3.2 元数据管理模块子模块设计43
• 3.3.3 元数据管理模块进程设计43-45
• 3.4 元数据管理模块基本流程设计45-53
• 3.4.1 插入元数据46-47
• 3.4.2 更新元数据47-49
• 3.4.3 删除元数据49-50
• 3.4.4 查询元数据50-51
• 3.4.5 创建快照51-52
• 3.4.6 故障恢复过程52-53
• 3.5 本章小结53-54
• 第四章 系统详细设计与实现54-69
• 4.1 网络通信子模块设计与实现54-58
• 4.2 业务无关线程池子模块设计与实现58-62
• 4.3 通用定时器子模块设计与实现62-63
• 4.4 日志管理子模块设计与实现63-64
• 4.5 元数据核心管理子模块设计与实现64-68
• 4.5.1 核心任务类64-65
• 4.5.2 任务管理类65-66
• 4.5.3 R-tree算法类66-68
• 4.6 本章小结68-69
• 第五章 系统测试69-76
• 5.1 测试环境与方法69
• 5.2 系统功能测试69-73
• 5.3 系统性能测试73-75
• 5.3.1 插入测试73-74
• 5.3.2 更新测试74
• 5.3.3 查询测试74-75
• 5.4 本章小结75-76
• 第六章 总结与展望76-77
• 致谢77-78
• 参考文献78-80
• 硕士期间科研成果80-81

【相似文献】

中国期刊全文数据库 前4条

1 张权范;;UML在中小型企业产品技术数据管理模块开发中的应用——以株洲电力机车厂电器有限公司为例[J];中国管理信息化;2008年15期

2 钱忆平,卢达,陈金星;基于VB和ACESS的提花机用电磁阀电磁参数测试系统数据管理模块的设计[J];常熟高专学报;2003年06期

3 田杰;胡秋霞;杨龙;;基于DRIS的养分诊断程序的实现[J];电脑知识与技术(学术交流);2007年20期

4 ;[J];;年期

中国重要会议论文全文数据库 前1条

1 洪明;张亚君;;便携式心电检测仪的设计与开发[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

中国重要报纸全文数据库 前1条

1 刘书香;首都师范大学 以评促建 以建助学[N];中国计算机报;2004年

中国硕士学位论文全文数据库 前6条

1 苏东;分布式结构化存储系统元数据管理模块设计与实现[D];电子科技大学;2014年

2 陈[，

本文编号：867967