基于BT协议和Swift特性的分布式文件存储系统的设计与实现

发布时间：2017-06-26 07:20

  本文关键词：基于BT协议和Swift特性的分布式文件存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：分布式文件存储系统是通过网络技术,将分散的、性能不强的、单个存储空间有限的存储服务器集合起来,经过合理的资源调度管理和存储策略应用后,对外提供统一存储功能的服务。虽然单个机器的处理能力喝存储能力并不强,但是如果经过合理的任务分配和空间调度,每台存储服务器都可以得到高效的利用。由于如今信息的增长速度已经日新月异,分布式存储系统所要承载的数据量也呈指数趋势增长,海量的数据对实现数据在存储节点中的负载均衡分配,避免出现严重的数据倾斜等解决方案提出了新的挑战。同时,随着用户对分布式存储系统要求越来越高,系统是否可以提供高速的文件存入和读取服务,以及是否可以维持数据的高可用性,也成为了对分布式文件存储系统性能衡量的重要标准。 BitTorrent协议是传统的P2P文件分发协议,它是将一个文件通过分片策略,分布到各个节点中去,然后再通过节点之间的协同作用共同提供文件传输服务。而Swift是OpenStack中的存储模块,主要由代理服务器和存储服务器组成,整体上提供了分布式文件存储的服务。 目前的分布式文件存储系统或通过BT协议可以实现较高速的文件存入/读取速度,但是当一个文件需要存储时,缺少有效的机制在海量的存储服务器中选择最合适的存储节点,导致负载均衡方面没有很好的解决办法；或通过类似与Swift存储系统架构的模式,对存储节点整体有了更合理的负载分配,但没有利用文件在分布式存储系统中多副本存储的特性,只是从一个存储节点传输文件,对带宽的利用并不充分,面临着传输速度瓶颈的问题。因此,需要将二者的特性结合起来,在类似Swift分布式存储服务的架构上,加入BT协议的特性,充分发挥两者互补的特性,构建出一套具有高可用性和高传输速度特性的存储服务。 本文提出了一套结合BT协议和具有Swift特性的分布式存储系统的设计架构,其中主要包括一是对Swift存储中的一致性哈希算法,在虚节点的生成策略和分配策略,以及对系统负载的动态反馈方面做出了改进；二是改造存储节点,通过BT协议来传输文件,改善文件的传输速度。最后实现了系统的原型。最后通过实验数据来测试系统的性能表现。
【关键词】：BT协议 Swift 分布式存储 一致性哈希
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-11
• 第一章 绪论11-16
• 1.1 研究背景及意义11-12
• 1.2 课题研究目标12-14
• 1.2.1 BitTorrent协议研究12
• 1.2.2 Swift研究12-14
• 1.2.3 分布式文件系统的设计14
• 1.3 课题研究创新点14-15
• 1.4 论文的组织结构15-16
• 第二章 相关背景及算法16-26
• 2.1 BT协议16-18
• 2.1.1 BT协议的网路结构16-17
• 2.1.2 BT协议的节点通信17-18
• 2.2 Swift架构18-22
• 2.2.1 系统架构19-20
• 2.2.2 命令调用流程20-21
• 2.2.3 系统特性21-22
• 2.3 一致性哈希算法22-24
• 2.4 Web Service概念24
• 2.5 本章小结24-26
• 第三章 系统设计目标26-29
• 3.1 功能目标26-27
• 3.1.1 用户管理26
• 3.1.2 存储服务器管理26
• 3.1.3 文件管理26-27
• 3.2 性能目标27
• 3.3 本章小结27-29
• 第四章 分布式存储系统的模块设计29-39
• 4.1 系统架构29-32
• 4.1.1 用户管理模块29-30
• 4.1.2 代理服务器30
• 4.1.3 一致性哈希算法模块30-31
• 4.1.4 BT协议模块31
• 4.1.5 存储节点模块31-32
• 4.1.6 底层硬件模块32
• 4.2 系统模块通信流程32-37
• 4.2.1 用户账户行为流程32-33
• 4.2.2 文件行为流程33-35
• 4.2.3 BT协议流程35-36
• 4.2.4 存储节点状态维护流程36
• 4.2.5 副本策略流程36-37
• 4.3 本章小结37-39
• 第五章 分布式存储系统的模块实现39-60
• 5.1 请求URL构建39-41
• 5.2 存储节点的数据管理实现41-43
• 5.3 文件对象的写入实现43-47
• 5.3.1 代理服务器43-44
• 5.3.2 BT协议模块44-47
• 5.3.3 用户端方法47
• 5.4 文件对象的读取实现47-52
• 5.4.1 代理服务器48
• 5.4.2 用户端方法48
• 5.4.3 P2P下载实现48-52
• 5.5 一致性哈希算法模块的实现52-56
• 5.5.1 基于虚节点的一致性哈希算法52-53
• 5.5.2 虚节点的自我调整机制53-56
• 5.6 文件副本策略的实现56-58
• 5.7 文件一致性检测实现58-59
• 5.8 本章小结59-60
• 第六章 系统性能测试与分析60-67
• 6.1 文件上传功能测试60-62
• 6.2 文件下载速度测试62-63
• 6.3 文件负载反馈测试63-64
• 6.4 本章小结64-67
• 第七章 结论67-69
• 7.1 总结67-68
• 7.2 展望68-69
• 参考文献69-71
• 致谢71-72
• 攻读学位期间发表的学术论文目录72

【参考文献】

中国期刊全文数据库 前5条

1 聂荣;聂林;刘超慧;雷振明;兰巨龙;;BitTorrent网络特性的测量与研究[J];北京邮电大学学报;2012年03期

2 姚墨涵;谢红薇;;一致性哈希算法在分布式系统中的应用[J];电脑开发与应用;2012年07期

3 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

4 李振宇;谢高岗;;基于DHT的P2P系统的负载均衡算法[J];计算机研究与发展;2006年09期

5 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

  本文关键词：基于BT协议和Swift特性的分布式文件存储系统的设计与实现，，由笔耕文化传播整理发布。

本文编号：485316