基于P2P的分布式存储系统的研究与实现

发布时间：2020-12-11 04:37

　　随着互联网服务爆发式增长,用户对海量数据的需求加大,如何在动态网络环境中设计具有高可用性和高可靠性的分布式存储系统,已经成为热点问题。P2P技术的成熟推动了网络存储技术的发展。如今,国际互联网公司又提出“云存储”的概念,整合系统资源,用户付出较少费用,就可以得到稳定可靠的存储服务。现有的分布式系统,没有充分考虑利用服务器和端系统相结合的机制,提供高效的存储服务。本文首先对分布式存储和P2P技术进行分析,结合当前国内外研究现状和发展态势,再根据项目的实际需求,设计出高效的分布式海量存储系统PPDSS(P2P Distributed Storage System),即基于P2P的分布式存储系统,由端系统以及服务器系统构成覆盖网络,并且向终端存储演进。本文的主要工作有以下几点:第一,PPDSS系统设计,引入了分布式架构,去掉中心节点,将元数据索引和数据存储的负载分发到每一台服务器上。实现存储系统的基本功能,包括发布、下载、更新和删除文件。设计多种定时器,处理系统各种超时事件。第二,负载均衡模块的设计与实现,在副本变化的过程中,充分利用服务器的空闲资源,使得系统的服务性能得到最大的发挥,避免系... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：95 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 引言
    1.1 研究动机
    1.2 国内外研究现状
    1.3 本文工作
    1.4 论文组织
    1.5 本章小结
第二章 基础理论与相关技术
    2.1 传统存储模型
    2.2 分布式存储模型
        2.2.1 GFS
        2.2.2 Dynamo
        2.2.3 Pnuts
    2.3 P2P 技术
        2.3.1 非结构化系统
        2.3.2 结构化系统
    2.4 负载均衡技术
        2.4.1 负载均衡技术简介
        2.4.2 负载均衡技术分类
        2.4.3 现有技术的分析
    2.5 本章小结
第三章 系统设计
    3.1 系统需求分析
    3.2 系统总体设计
    3.3 系统模块设计
        3.3.1 Iroot 控制模块
        3.3.2 DHT 模块
        3.3.3 存储模块
        3.3.4 网络通信模块
    3.4 系统基本功能
        3.4.1 文件发布
        3.4.2 文件下载
        3.4.3 文件更新
        3.4.4 文件删除
    3.5 本章小结
第四章 负载均衡模块的设计与实现
    4.1 负载均衡的设计目标
    4.2 基于多副本的分块存储模块
        4.2.1 多副本文件块的设计
        4.2.2 功能实现
    4.3 副本的扩散和迁移模块
        4.3.1 设计思想
        4.3.2 服务器的选择策略
        4.3.3 副本扩散和迁移策略
    4.4 新节点上线的负载均衡模块
        4.4.1 设计思想
        4.4.2 数据类型的划分策略
        4.4.3 新节点的负载均衡策略
    4.5 本章小结
第五章 P2P 内容分发模块的设计与实现
    5.1 P2P 内容分发的设计目标
    5.2 单线程I/O 框架
    5.3 底层P2P 实现
        5.3.1 内存池
        5.3.2 P2P 内容发布
        5.3.3 客户端P2P 会话
    5.4 超级节点选择算法
        5.4.1 设计思想
        5.4.2 超级节点选择算法
        5.4.3 Tracker 淘汰流程
    5.5 P2P 数据一致性
        5.5.1 一致性问题
        5.5.2 Lazy 机制
    5.6 本章小结
第六章 系统测试
    6.1 测试环境
    6.2 功能测试
        6.2.1 基本功能
        6.2.2 副本扩散
        6.2.3 新节点上线的数据迁移
    6.3 性能对比测试
        6.3.1 单台服务器性能对比
        6.3.2 超级节点与普通选择策略对比
    6.4 本章小结
第七章 结论与展望
致谢
参考文献
攻硕期间取得的研究成果



本文编号：2909917