基于编码的分布式存储系统性能优化研究

发布时间：2017-03-24 09:14

  本文关键词：基于编码的分布式存储系统性能优化研究，由笔耕文化传播整理发布。

【摘要】：随着云计算和大数据技术的兴起,对海量数据的可靠存储成为研究热点。在为海量数据的存储选择基础设施时,廉价商用机器搭建基于网络的分布式存储系统比传统的由昂贵高可靠硬件组成的存储阵列更具成本与性能上的优势。分布式存储系统为了保证可靠性会采用一定存储冗余策略如多副本策略、编码策略。在编码策略中,针对节点修复时网络流量与磁盘I/O的优化促使了再生码与局部可修复码的产生。存储系统中的编码冗余策略可以显著提高系统存储效率、降低节点修复的流量开销。但是同时,由编码方法所引入的其他开销,如编解码过程的计算开销、编码元数据的存储开销,会给系统带来新的性能瓶颈。在基于编码的分布式存储系统中,利用系统实际的资源与特点,可以降低编码方法带来的性能瓶颈、优化系统性能。例如,在节点修复过程中充分利用实际网络拓扑信息,可以进一步减少系统的修复开销；利用系统中数据文件的访问特点,根据数据生命周期自适应地为数据调整系统资源,如编码方式、内存资源等,能有效提高存储系统中的资源利用效率。论文以建立高性能云存储系统为目标,对基于编码的分布式存储系统中利用网络拓扑的节点修复机制及面向编码矩阵的缓存机制开展研究。论文的主要工作包括以下几个方面：1)以提高自研的Cumulus系统名字节点的内存资源使用效率,降低内存负载为目标,设计并实现了针对文件元数据中编码矩阵的缓存模块。结合系统中数据文件的访问频率差异性,在保证文件访问效率的基础上,有效地缓解了随着系统中文件数量增多,元数据的编码矩阵信息对名字节点内存带来的额外负载。通过实验证明,在数据访问具有局部性的情况下,缓存模块的命中率要明显高于随机访问模式的命中率；相同的局部访问模式下,加入缓存模块的系统与未加入缓存模块的系统相比,名字节点的内存开销要小。2)以提升简单再生码节点修复效率为目的,对简单再生码的节点修复过程进行抽象建模,建立了节点修复时延评估模型,并基于贪心思想设计了利用网络带宽信息优化简单再生码节点修复过程的并行修复树构建算法。通过实验证明,在保证修复过程成功率的基础上,利用并行修复树算法的修复过程与直接修复过程相比,有着更小的节点修复时延。并且随着网络带宽的变化,前者的时延性能更加稳定。
【关键词】：分布式存储 网络编码 网络拓扑 节点修复 缓存
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要3-5
• Abstract5-10
• 第一章 绪论10-16
• 1.1 分布式存储技术背景10-11
• 1.2 分布式存储系统容错策略设计11-13
• 1.3 分布式存储系统网络编码技术挑战13-14
• 1.3.1 实际系统开销13-14
• 1.3.2 实际节点修复14
• 1.4 本文贡献与组织结构14-16
• 第二章 相关工作16-28
• 2.1 存储系统编码方法介绍16-23
• 2.1.1 局部可修复码16-18
• 2.1.2 分布式存储系统中的编码特性18-20
• 2.1.3 基于网络拓扑的节点修复优化20-23
• 2.2 Cumulus系统介绍23-26
• 2.2.1 设计目标24
• 2.2.2 系统架构24-25
• 2.2.3 多编码框架25-26
• 2.3 本章小结26-28
• 第三章 面向编码矩阵的缓存模块设计28-42
• 3.1 缓存模块结构28-29
• 3.2 缓存模块对元数据影响29-33
• 3.2.1 INodeFile对象创建29-32
• 3.2.2 INodeFile对象序列化32-33
• 3.3 缓存详细设计33-39
• 3.4 实验评估39-41
• 3.5 本章小结41-42
• 第四章 带宽感知的简单再生码节点修复性能优化42-65
• 4.1 修复过程42-45
• 4.1.1 节点修复机制介绍43-44
• 4.1.2 修复效率44-45
• 4.2 研究动机45-48
• 4.3 问题建模48-51
• 4.4 算法设计51-60
• 4.4.1 最优修复树51-58
• 4.4.2 并行修复树构造算法58-60
• 4.5 实验评估60-64
• 4.6 本章小结64-65
• 第五章 总结与展望65-67
• 5.1 总结65-66
• 5.2 未来展望66-67
• 致谢67-68
• 参考文献68-70
• 简历与科研成果70-71

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t，

本文编号：265397