Paxos算法在海量太阳观测数据存储中的应用研究

发布时间：2017-05-17 04:07

  本文关键词：Paxos算法在海量太阳观测数据存储中的应用研究，由笔耕文化传播整理发布。

【摘要】：太阳观测数据信息量庞大,在存储和使用过程中对存储系统的一致性限制严格,可用性要求苛刻。现有的分布式存储系统在数据模型、构架、扩展性、读写算法或容错机制设计等方面无法优雅应对上述三个方面的要求,缺少具有具有针对性设计的存储系统。 本文首先研究分布式系统中常见的数据模型及其对应泛型存储系统,综合考虑太阳观测数据在计算处理过程中常见的操作,历史数据格式等多种因素,揭示采用文件模型组织太阳观测数据的优势。其次从观测数据的科研需求出发,利用Paxos算法的容错特性,改进和定制适用于存储和处理海量太阳观测数据的元数据存储服务,块复制服务,并发控制机制以及原子提交机制。随后提出GlobalAstroTable的设计构想,并对设计实现细节及创新点进行讨论。最后通过理论分析及实验验证GlobalAstroTable的有效性。 本文的具体工作包括： 1、对分布式存储系统中的三种模型(KV模型、文件模型及Scheme-Free模型)进行了研究和比较,提出文件模型具有符合天文科研人员的使用习惯,并发控制的粒度适中、扩展性强、研究基础好等优势,适合作为太阳观测数据的存储模型。 2、针对现有分布式文件系统在存储海量太阳观测数据时遇到的问题开展工作,着重研究元数据的容错及扩展机制、块数据复制机制、并发控制机制、原子性写入机制四大方面。提出利用状态机复制方法解决元数据的容错问题,利用Vertical Paxos算法处理块复制过程中的重配置问题,利用Paxos Lease锁处理并发控制中的死锁隐患,利用Paxos Commit算法实现豁免阻塞的原子提交机制等方法。 3、设计并实现了GlobalAstroTable的存储系统,并说明系统实现中的细节与创新点,如采用分布式LSM-tree结构存储元数据,基于Paxos Commit的分布式COW事务等。 4、通过理论分析及实验验证GlobalAstroTable在可用性、一致性、并发能力、读写能力、读写语义、扩展能力等方面能较好符合当前海量太阳观测数据存储的需求。
【关键词】：天文图像 分布式文件系统 Paxos算法
【学位授予单位】：昆明理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-18
• 1.1 研究背景10-13
• 1.2 问题的提出13-15
• 1.3 本文的主要内容15-16
• 1.4 本文的章节安排16-18
• 第二章 数据模型与系统范型研究18-24
• 2.1 存储系统泛型18-21
• 2.2 天文观测数据的特性21-22
• 2.3 本章小节22-24
• 第三章 Paxos算法在分布式文件系统中的应用研究24-46
• 3.1 元数据的复制容错及分布式处理24-33
• 3.2 块数据复制机制研究及其改进方法33-35
• 3.3 并发控制研究35-39
• 3.4 原子性写入机制的实现方法39-43
• 3.5 本章小结43-46
• 第四章 基于Paxos算法的分布式文件系统46-58
• 4.1 基于Classic Paxos算法的分布式目录服务46-48
• 4.2 基于Vertical Paxos算法的分布式块存储服务48-52
• 4.3 基于分布式锁定的文件事务52-56
• 4.4 本章小结56-58
• 第五章 GlobalAstroTable的构架与实现58-62
• 5.1 体系结构58-59
• 5.2 存储引擎的实现59-60
• 5.3 本章小结60-62
• 第六章 理论论证与对比分析62-68
• 6.1 读写操作语义对比62-63
• 6.2 可用性对比63-64
• 6.3 IO延迟分析64-66
• 6.4 块数据复制粒度估计66
• 6.5 本章小结66-68
• 第七章 结论68-70
• 致谢70-72
• 参考文献72-76
• 附录A (攻读学位其间发表论文目录)76-78
• 附录B (攻读学位期间参与的研究成果)78

【参考文献】

中国期刊全文数据库 前2条

1 桑玉真;陈军华;南理勇;;一种基于非阻塞的分布式数据库原子提交协议[J];计算机工程与应用;2012年04期

2 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期

中国博士学位论文全文数据库 前1条

1 张家琳;分布式计算中的共识问题研究[D];清华大学;2010年

  本文关键词：Paxos算法在海量太阳观测数据存储中的应用研究，，由笔耕文化传播整理发布。

本文编号：372495