面向多用户去重的备份服务质量研究

发布时间：2023-03-23 22:28

　　根据IDC预测,2020年全球数据存储需求将会达到44ZB的规模。如今,每一天的每一分钟,会有2.04亿封邮件发布,Google会产生400万条搜索,Facebook会有246万Bit的内容信息分享。对这些数据的存储,企业需要不断购置大量的存储设备来应对不断增长的存储需求。但因为设备的采购预算、数据的管理成本、能耗、占用空间等一系列问题的存在,企业不能单纯的从提高存储容量上解决问题。业界由此提出重复数据删除技术,该技术被广泛运用于备份系统中。在多用户备份系统中,由于用户的偏好和需求不同,不同偏好和需求的用户享受不同的系统服务,用户也因此被划分为不同的等级,即等级化服务。但不同用户间存在共享数据块,而多个用户间的共享数据块只需要一个用户读取或者写入。如何将共享数据块的读取和写入开销均摊到各个用户来保障系统的等级化服务是本文需要解决的问题。在多用户去重下的备份服务质量研究中,现有的高性能等级化服务质量研究方案主要从数据备份保障等级化服务。具体包含两个方面:系统资源调整和共享数据处理。但该方案不能实时调整系统资源,同时也不能将用户间共享数据块的处理开销均摊到各个用户,即该方案不能有效地保障系...

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
中文摘要
英文摘要
1 绪论
    1.1 研究背景
    1.2 数据去重流程
        1.2.1 数据分块
        1.2.2 指纹计算
        1.2.3 指纹查找
        1.2.4 数据存储
    1.3 存储服务质量研究
        1.3.1 服务质量研究现状
        1.3.2 基于多用户去重的服务质量研究
    1.4 研究内容和组织
2 多用户去重下的服务质量问题分析
    2.1 存储服务质量描述
    2.2 多用户去重下的服务质量问题
        2.2.1 共享数据块分类
        2.2.2 共享数据块带来的服务质量问题
    2.3 现有多用户去重下的服务质量保障方案
    2.4 本章小结
3 多用户去重下的服务质量保障方案
    3.1 系统架构图
    3.2 多用户备份下的服务质量保障
        3.2.1 数据分类处理
        3.2.2 布隆过滤器误判率分析
        3.2.3 共享数据块处理
        3.2.4 等级内资源调整
    3.3 多用户数据恢复下的服务质量保障
        3.3.1 多用户数据恢复的服务质量问题分析
        3.3.2 数据拦截器设计
        3.3.3 基于滑动窗口的碎片数据块处理
    3.4 本章小结
4 设计与实现
    4.1 主要数据结构
        4.1.1 索引缓冲区
        4.1.2 不同等级间新数据块缓冲区
        4.1.3 元数据缓冲区
        4.1.4 数据块缓冲区
        4.1.5 容器引用计数器缓冲区
    4.2 多用户数据备份流程
        4.2.1 数据分类设计
        4.2.2 不同等级用户间共享数据块处理
    4.3 多用户数据恢复流程
    4.4 本章小结
5 系统测试与结果分析
    5.1 测试环境
        5.1.1 服务器配置
        5.1.2 数据集来源
        5.1.3 性能评估
    5.2 多用户数据备份
        5.2.1 方案DCSDP和 HPLQoS下的等级化服务分析
        5.2.2 方案DCSDP和 HPLQoS下的等级内误差分析
    5.3 多用户数据恢复
        5.3.1 不同方案下的用户恢复带宽
        5.3.2 数据恢复下的等级内误差分析
    5.4 敏感参数分析
        5.4.1 共享因子
        5.4.2 稀疏因子
    5.5 本章小结
6 总结与展望
参考文献
附录
    A 作者在攻读学位期间取得的科研成果目录
    B 作者在攻读学位期间申请的专利
    C 学位论文数据集
致谢



本文编号：3768875