P2P分布式存储系统效率优化研究

发布时间：2017-03-22 14:18

  本文关键词：P2P分布式存储系统效率优化研究，，由笔耕文化传播整理发布。

【摘要】：随着互联网存储技术的快速发展,P2P分布式存储系统因其高可扩展性和稳定性而逐渐成为研究重点。虽然现在市场上已有的P2P系统很多,但是还存在一些问题,主要表现在以下几个方面:(1)很多存储系统都只采用副本冗余技术或者纠删码冗余技术,但这两种冗余技术各有优缺点;(2)大多数存储系统对系统中的所有文件都使用相同的冗余量,没有区别对待热点文件与普通文件,造成大量存储空间浪费;(3)没有考虑文件的创建时间对文件未来会收到访问情况的影响;(4)使用纠删码冗余机制对数据存储时没有考虑将数据块不均匀分布到存储节点上的情况。针对以上几个问题,本文围绕P2P存储系统的存储效率展开研究,主要包括两个方面,一是提出了一种新的动态混合冗余管理机制;二是分析了基于纠删码P2P存储系统中文件冗余对文件获取时间的影响,然后提出一个预测文件获取时间的数学模型。本文的具体工作如下:(1)首先介绍了P2P分布式存储系统存储效率优化的研究背景与意义并介绍了目前关于P2P存储系统的国内外研究现状。(2)分别深入研究了副本冗余技术和纠删码技术,并在冗余度、容错能力等多个方面进行了对比分析。(3)基于文件的访问量和创建时间,提出了一种新的动态混合冗余管理机制。该机制基于副本冗余技术和纠删码冗余技术,同时考虑了文件创建时间和访问频繁程度,把文件分成热文件和冷文件,分别采用不同的存储机制;同时机制还考虑了网络中负载均衡问题。然后通过多组模拟实验对本机制的优越性进行了验证。(4)分析了基于纠删码的P2P存储系统中两种不同的数据块分布策略,即数据块均匀分布策略和非均匀分布策略,提出了两种策略的目标文件最短获得时间估计值计算模型,得到了均匀分布策略下的目标文件获得时间估计值分布函数。由于非均匀策略的计算复杂性,只得到了其分布函数框架。实验表明,在稍微延长获得时间的情况下,数据冗余可有显著减少,并且对数据可用性的影响很小。
【关键词】：P2P存储系统 文件热度 混合冗余 文件获得时间 可用性
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 中文摘要3-4
• 英文摘要4-8
• 1 绪论8-13
• 1.1 研究背景与意义8-9
• 1.2 国内外研究现状9-11
• 1.3 本文的主要工作11-12
• 1.4 本文组织结构12-13
• 2 相关知识13-28
• 2.1 P2P相关知识13-16
• 2.1.1 P2P的概念13
• 2.1.2 P2P的特点13-14
• 2.1.3 P2P的应用14-15
• 2.1.4 P2P的分类15-16
• 2.2 副本技术16-18
• 2.2.1 副本管理策略16-17
• 2.2.2 副本技术的其他研究问题17-18
• 2.3 纠删码技术18-27
• 2.3.1 阵列纠删码19-22
• 2.3.2 RS纠删码22-25
• 2.3.3 低密度纠删码25-26
• 2.3.4 几种编码的对比分析26-27
• 2.4 本章小结27-28
• 3 基于文件热度的动态混合冗余管理机制28-43
• 3.1 引言28-29
• 3.2 冗余策略及比较29-30
• 3.2.1 完全副本复制29
• 3.2.2 纠删码冗余29
• 3.2.3 冗余度比较29-30
• 3.2.4 数据可用性及容错能力30
• 3.3 相关研究30-31
• 3.3.1 动态副本管理策略30-31
• 3.3.2 混合冗余策略31
• 3.4 混合冗余存储模型31-34
• 3.4.1 P2P存储系统模型32
• 3.4.2 一种新的冷热文件判定机制32-34
• 3.5 动态冗余操作34-38
• 3.5.1 副本操作34-37
• 3.5.2 纠删码数据块操作37-38
• 3.5.3 副本数量范围38
• 3.6 模型仿真与性能分析38-42
• 3.6.1 响应时间38-39
• 3.6.2 副本位置39-40
• 3.6.3 存储效率40-41
• 3.6.4 负载均衡41-42
• 3.7 本章小结42-43
• 4 基于获取时间的文件冗余度优化43-55
• 4.1 引言43-45
• 4.2 相关工作45-48
• 4.2.1 相关研究45-46
• 4.2.2 P2P存储模型46-48
• 4.3 均匀分布数据块48-50
• 4.4 非均匀分布数据块50-53
• 4.5 应用实例53-54
• 4.6 本章小结54-55
• 5 总结与展望55-57
• 5.1 研究工作总结55
• 5.2 研究展望55-57
• 致谢57-58
• 参考文献58-62
• 附录62
• A. 作者在攻读硕士学位期间发表的论文62

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t

本文编号：261696