大规模分布式存储系统副本管理研究与实现

发布时间：2020-06-24 18:11

【摘要】：随着互联网迅速的发展,数据量呈指数增长,用户对海量数据的存储和处理需求加大,传统的数据库集中存储已经不能满足需求,利用网络进行分布式存储成为趋势。如何在复杂的网络环境中搭建可用和可靠的分布式存储系统,已经成为热点问题。P2P技术的出现和发展推动了网络存储技术的发展。如今,国际互联网公司又提出“云存储”的概念,向用户提供可靠方便的服务。 现有的许多分布式存储系统,采用集中式管理,没有充分考虑和利用客户端之间的通信带宽提供更高效的服务。本文首先对分布式存储和P2P技术进行分析,结合当前国内外研究现状和发展态势,设计出高效的基于P2P的分布式海量数据存储系统,由端系统以及服务器系统构成覆盖网络,并且向终端存储演进。 本文的主要工作有以下几点: 第一,通过对现有P2P技术和分布式存储技术的研究与分析,设计了出了一个基于P2P的分布式存储系统,不再由中心节点对元数据进行集中管理,而是将元数据的存储和管理分散到系统的各个节点上。实现存储系统的基本功能,包括文件的发布、更新、删除和下载。 第二,副本管理模块的设计和实现。在复杂的网络环境中,节点间存在传输速率和带宽的区别,也有节点失效的风险,副本管理模块依据客户端所发送二次请求频率对副本的冗余度进行管理,在保证数据的可靠性的前提下又不占用过多存储空间。副本管理模块还对副本的一致性进行管理,保证用户的下载和更新等操作都对统一的版本进行,但是多个副本的一致性更新操作将占用较大网络带宽,本模块实行可延后机制,在网络空闲或用户需要对文件进行操作时才进行数据一致性同步。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP393.09;TP333
【图文】：

大规模存储应用的需要。分布式存储系统采用可扩展的系统结构，利用多服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统性、可用性、和存储效率，还易于扩展。分布式存储系统在快速的发展中，出现了多种模型的应用实例，其中比的系统有谷歌的 GFS[3]、Berkeley 的 OceanStore、MIT[4]的 PAST 和微tValut[5]等。2.1 GFSGFS(Google File System，谷歌文件系统)是一个可扩展的分布式文件系统大型的、分布式的、对海量数据进行处理的应用。它运行于廉价的普通硬件供容错功能。它可以给大量用户提供总体性能较高的服务。GFS 架构如图示。

HDFS简要结构

【引证文献】

相关硕士学位论文 前1条

1 陈玲玲;基于副本管理的P2P存储系统模型建立与性能分析[D];燕山大学;2012年

本文编号：2728193