分布式存储系统优化技术研究

发布时间：2017-09-03 21:16

  本文关键词：分布式存储系统优化技术研究

  更多相关文章： 分布式存储 数据存储安全 存储效率优化

【摘要】：近年来,由于信息技术的发展,科学技术和商业计算等众多应用领域产生了规模巨大的数据,并且数据量仍在快速增加。为了提高存储效率,通常将一个大的文件分散存储为多个小的数据块,因此必须采用高可靠的数据放置和副本冗余策略保证每个小数据块的存储安全,以免因小数据块丢失发生用户文件失效的灾难性后果。目前主流的大规模分布式存储系统通常利用多个数据存储节点分担存储处理的负荷,具有成本低、数据安全、可用性高、易扩展和易管理等优势,已经成为未来存储发展的一种趋势。本文针对大规模分布式存储系统I/O路径复杂和存储节点故障常态等问题,在开源的Ceph系统基础上提出了基于层级映射方式的数据存储节点组织和选择过程算法优化模型,通过重新定义不同的层级容器数据结构和选择算法处理存储节点增加或移除导致的数据迁移问题,降低总体计算复杂度。根据现代数据中心常用的数据存储安全策略,本文还研究了分布式存储系统中数据放置和副本冗余策略对数据安全性的影响,提出3种能够兼顾存储效率和数据安全的存储模型,在保证数据可靠的前提下提供高效的数据读写速度。利用IOZONE仿真实验软件对提出的存储模型进行数据存储读写速率测试评估,并与Ceph系统默认的算法性能进行对比。实验结果表明,当冗余副本为3份时,本文提出的第3种算法结构优化组合模型(即root、rack、host存储节点的算法结构分别为staw、tree、uniform)数据读写性能表现最好。本文在考虑数据分布算法、数理副本放置策略和存储效率优化前提下构建了具体的测试环境,并对其性能进行了详细的评估。最后,总结了全文的主要工作,并对下一步研究工作进行了展望。
【关键词】：分布式存储 数据存储安全 存储效率优化
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-11
• 第1章 绪论11-16
• 1.1 研究背景及意义11-12
• 1.2 国内外研究现状12-13
• 1.3 主要研究内容13-14
• 1.4 本文结构与组织14-16
• 第2章 分布式存储相关研究16-24
• 2.1 数据存储可靠性原则16-17
• 2.2 典型的分布式存储系统17-21
• 2.2.1 Google File System17-18
• 2.2.2 Hadoop Disturbed File System18-19
• 2.2.3 Ceph File System19-20
• 2.2.4 Amazon S320-21
• 2.3 主要存在的问题21-23
• 2.4 小结23-24
• 第3章 数据分布算法优化24-32
• 3.1 Ceph的分布式存储算法模型及问题24-25
• 3.2 数据分布算法优化25-28
• 3.2.1 层级映射组织及算法优化25-26
• 3.2.2 Bucket容器数据结构改进26-27
• 3.2.3 副本分布操作模型27-28
• 3.2.4 处理存储冲突、故障、超载28
• 3.3 算法流程28-30
• 3.4 小结30-32
• 第4章 数据副本放置策略及存储效率优化32-43
• 4.1 数据存储的安全性32-34
• 4.2 数据组织结构及放置策略34-35
• 4.3 存储算法分析及优化35-39
• 4.4 性能测试分析39-42
• 4.5 小结42-43
• 第5章 基于Ceph的分布式存储系统方案及性能测试43-50
• 5.1 系统总体架构43-44
• 5.2 系统功能结构44-45
• 5.3 分布式存储系统方案测试环境45-46
• 5.4 性能测试46-49
• 5.5 小结49-50
• 结论50-52
• 参考文献52-56
• 致谢56

【参考文献】

中国期刊全文数据库 前8条

1 刘正伟;文中领;张海涛;;云计算和云数据管理技术[J];计算机研究与发展;2012年S1期

2 张维琪;闫瑾;边根庆;;基于权值跳表的分布式数据定位策略与实现[J];西安邮电学院学报;2012年01期

3 刘少伟;孔令梅;任开军;宋君强;邓科峰;冷洪泽;;云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略[J];计算机学报;2011年11期

4 杨振贤;;基于云计算的安全数据存储研究与设计[J];信息安全与技术;2011年10期

5 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期

6 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

7 苏勇;周敬利;余胜生;姜明华;刘钢;;基于共享存储池的元数据服务器机群的设计研究[J];小型微型计算机系统;2007年04期

8 张薇;马建峰;;LPCA——分布式存储中的数据分离算法[J];系统工程与电子技术;2007年03期

中国硕士学位论文全文数据库 前1条

1 梁兴辉;云存储环境下数据副本技术研究[D];南京邮电大学;2013年

，

本文编号：787374