分布式数据共享存储系统的研究与实现

发布时间：2019-07-26 16:10

【摘要】：随着大数据时代的到来,信息的产生量越来越多,储存数据共享变得越来越迫切。传统的数据中心也逐渐向着云存储中心的角色转变。许多学者开始对储存数据共享进行了深入的研究。随着云存储的规模扩大,维护和能耗等多方面的问题也随之而来,使存储这项基础服务更加廉价高效成为研究的热点问题。而现有的数据存储无论是集中式还是分布式都存在着可扩展性差,数据冗余较多等问题,随着云存储的进一步发展这些问题将会日益凸显。本文对目前常用的存储模式进行了深入研究,包括传统的磁盘文件系统、带有中心节点的分布式存储系统以及定制的带有删除功能的存储系统等。这些系统对数据共享服务的支持缺乏或者不够完善,重复数据依然占用了大量的存储空间。针对以上问题本文设计了一个数据共享存储系统,力求解决云存储中数据共享以及文件和块管理等问题。本系统能够在分布式的环境下进行重复数据消除,以构建无中心节点的全分布式系统,使其具有较好的负载均衡和较高的去重效率。为了更加高效地共享重复数据,本文设计了双向滑动窗口分块算法,该算法具有拉宾指纹的高效性和并行计算的优势将数据快速划分成合适的块,文件之间以数据块为单位进行数据共享。而在对文件及数据块的管理时采用了内存哈希映射跟布隆过滤器的方式,以此减小由于数据分块而造成的性能损失。实验结果表明本系统在不影响太多存储系统性能的情况下大大减少了数据存储使用的物理空间,在大约降低了数据存储速度10%的情况下降低了40%的物理存储空间,因此本系统已经具备一定的实用价值。
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】