分布式结构化存储系统设计与实现

发布时间：2024-01-14 10:12

　　在Internet高速发展的今天,各种新型的应用层出不穷。这给基于Client/Server的传统数据存储模式带来了很大的挑战。存储内容和访问需求同时急剧增长,使得资源集中存储的单节点服务器已无法满足互联网用户对服务质量所提出的要求。如何在覆盖网络中提供具有高可靠性和高性能的分布式存储服务,是当前讨论的热点话题。由于P2P(Peer-to-Peer)组织方式能够为应用带来更高的扩展性和可用性,此模式逐渐成为Internet应用的一种重要组织方式。 P2P分布式存储是指存储节点按功能对等方式组织成分布式存储网络,用户访问系统仍采用Client/Server模式。通过对目前分布式存储技术的研究,我们开发了基于专有存储与计算服务器的、面向结构化数据的分布式存储系统。通过存储服务器形成可靠的结构化覆盖网络,可扩展的计算服务器维护结构化数据,为用户提供可靠的数据存储服务。存储服务器负责提供键值存储服务,并通过数据冗余来保证数据存储的可靠性;计算服务器负责对键值数据的组织,并执行更新和查询等操作。计算服务器之间采用了多级的自适应负载均衡机制,通过动态的调整各计算服务器负载压力,极大提高了系统的整体...

【文章页数】：92 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 引言
    1.1 研究背景
    1.2 本文工作
    1.3 本文结构
    1.4 本章小结
第二章 立论基础和研究现状
    2.1 分布式存储技术
        2.1.1 结构化数据的存储
        2.1.2 非结构化数据的存储
        2.1.3 半结构化数据的存储
    2.2 分布式存储模型
        2.2.1 BigTable
        2.2.2 Memcached
        2.2.3 Dynamo
    2.3 本章小结
第三章 DS-Store 系统概述与分析
    3.1 总体概述
        3.1.1 Master(Standby)
        3.1.2 数据节点DN
        3.1.3 Lockserver(Standby)
        3.1.4 分布式键值存储系统（DKVS）
        3.1.5 客户端（Client）
    3.2 功能需求
        3.2.1 主要功能分析
        3.2.2 异常处理分析
    3.3 通信协议与应用层消息分析
        3.3.1 通信协议选择
        3.3.2 应用层消息分析
    3.4 I/O 模型分析
        3.4.1 网络I/O 模型
        3.4.2 磁盘I/O 模型
    3.5 本章小结
第四章 DS-STtore 系统设计
    4.1 系统框架设计
        4.1.1 Master 模块设计
        4.1.2 Lockserver 模块设计
        4.1.3 DN 模块设计
        4.1.4 DKVS 模块设计
        4.1.5 Client 模块设计
    4.2 存储模型设计
        4.2.1 用户表存储机制
        4.2.2 用户表分配机制
    4.3 分布式B+树存储算法
        4.3.1 算法目的
        4.3.2 算法原理
        4.3.3 算法实现
        4.3.4 实验验证
    4.4 主要功能流程
        4.4.1 建表流程
        4.4.2 添加数据流程
        4.4.5 查询数据流程
        4.4.6 负载均衡流程
        4.4.7 DN 计划切换流程
    4.5 本章小结
第五章 DS-Store 系统实现
    5.1 基于Epoll 的事件驱动框架实现
    5.2 DKVS 子系统实现
        5.2.1 Chord 路由实现
    5.3 结构化存储实现
        5.3.1 Master 模块实现
        5.3.2 DN 模块实现
    5.4 本章小结
第六章 系统测试
    6.1 测试环境
    6.2 测试内容
        6.2.1 容错功能测试
        6.2.2 负载压力测试
    6.3 总结
第七章 结论与展望
致谢
参考文献



本文编号：3878035