分布式存储系统中海量文件随机存取技术研究

发布时间：2017-10-08 13:20

  本文关键词：分布式存储系统中海量文件随机存取技术研究

  更多相关文章： 分布式存储 元数据扩展 元数据缓存 副本技术 存取性能

【摘要】：随着网络和信息技术的飞速发展,各种互联网应用、电子商务平台、穿戴设备乃至各领域的科学研究监测设备都产生了海量的数据信息,我们已进入大数据时代。面对海量数据存储和处理的需求,分布式存储技术被提出并得到广泛的应用。分布式文件系统是分布式存储系统的一个重要分支,主要用于处理海量文件的随机存取问题。 本文首先调研了分布式存储系统的研究背景和发展现状,回顾了几种典型的分布式文件系统。 其次,本文分析了单节点元数据服务器架构的分布式文件系统的特点。为解决存储海量文件的问题,提出了一种基于微子树的元数据管理方法。该方法把一棵完整的目录树拆分成多棵微子树,并把微子树分布到元数据服务器集群中,从而实现了一台元数据服务器到元数据服务器集群管理元数据的扩展,另外新增了微子树管理服务器管理微子树。本方法有效提高了元数据的存储量和分布式文件系统的并发访问性能。 再次,基于微子树分割的分布式文件系统与基于子树分割策略的分布式文件系统有相同的缺陷,即查询文件元数据需要按全路径逐级查找。本文针对此问题,提出了微子树元数据分类缓存机制。实验结果表明,此元数据缓存机制能在一定程度上提高元数据操作速率。 最后,针对链式副本同步的特点,详细分析了文件写操作的每个步骤,力争在写文件的每个步骤都充分优化,以加快写小文件的响应速度。实验证明：链式副本同步下的小文件写加速方法优化了写操作的流程,减少了系统响应时间、提高了系统的吞吐量。
【关键词】：分布式存储 元数据扩展 元数据缓存 副本技术 存取性能
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-12
• 1.1 研究背景及意义8-9
• 1.2 研究内容9
• 1.3 论文结构9-12
• 第二章 国内外研究现状12-20
• 2.1 NFS12-13
• 2.2 GPFS13-14
• 2.3 Lustre14-16
• 2.4 HDFS16-18
• 2.5 MooseFS18
• 2.6 本章小结18-20
• 第三章 基于微子树分割的元数据管理系统20-36
• 3.1 元数据管理系统的设计目标20-21
• 3.2 元数据管理策略简介21-22
• 3.3 基于微子树分割的元数据管理系统22-29
• 3.3.1 微子树分割法22-24
• 3.3.2 基于微子树分割的元数据管理系统设计24-27
• 3.3.3 执行流程27-29
• 3.4 系统测试29-34
• 3.5 本章小结34-36
• 第四章 微子树元数据分类缓存机制36-46
• 4.1 缓存关键技术介绍36-37
• 4.2 微子树元数据分类缓存机制37-42
• 4.3 实验结果与分析42-45
• 4.4 本章小结45-46
• 第五章 链式副本同步下的小文件写加速方法46-56
• 5.1 分布式副本技术46-47
• 5.2 数据一致性47-48
• 5.3 链式副本同步下的小文件写加速方法48-51
• 5.4 实验结果与分析51-55
• 5.5 本章小结55-56
• 第六章 总结与展望56-58
• 6.1 全文总结56-57
• 6.2 展望57-58
• 参考文献58-62
• 致谢62-64
• 攻读学位期间发表的学术论文目录64

【参考文献】

中国期刊全文数据库 前1条

1 苏杭;王劲林;;VoD系统的数据缓存策略研究[J];微计算机应用;2009年11期

，

本文编号：994247