基于近数据计算的LSM-tree键值存储系统Compaction优化方法

发布时间：2023-06-02 18:28

　　大数据环境下,传统关系型数据库难以满足应用对高性能、低带宽等存储系统的需求,而基于LSM-tree的键值存储系统具有高吞吐量、高扩展性等优点,逐渐替代传统关系型数据库而被广泛部署到大规模数据中心。然而,在随机写密集型负载下,LSM-tree键值存储系统会频繁执行compaction操作,引起数据写放大,降低系统的吞吐量。现有compaction的优化方法大多采用以主机端CPU为中心的方案来降低写放大,提高系统性能,但该类方法较依赖主机端CPU和I/O资源,数据传输量较大且系统资源利用率较低。本文利用存储系统中近数据计算模型(Near-Data Processing,NDP),提出了两种compaction操作优化方案(Co-KV和DStore),实现主机端与设备端并行执行compaction任务,降低主机端CPU负担,减少I/O数据传输量,以提高LSM-tree存储系统的性能。首先,本文提出面向compaction任务的静态优化策略Co-KV。Co-KV是一种基于近数据计算架构的compaction任务静态卸载策略和主机端-设备端协同执行compaction任务的方案。当compact...

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 LSM-tree存储系统的研究现状
        1.2.2 近数据计算模型的研究现状
    1.3 研究动机与研究内容
        1.3.1 研究动机
        1.3.2 研究内容
    1.4 论文组织结构
第二章 键值存储和近数据计算相关工作
    2.1 LSM-tree键值存储系统
        2.1.1 概念介绍
        2.1.2 相关工作
    2.2 近数据计算相关工作
    2.3 本章小结
第三章 Co-KV:面向Compaction任务的静态优化方法
    3.1 引言
    3.2 Co-KV系统架构
    3.3 静态卸载策略和算法
        3.3.1 Co-KV静态卸载策略
        3.3.2 Co-KV静态卸载理论分析
        3.3.3 Co-KV静态卸载算法
    3.4 实验环境与验证
        3.4.1 NDP模拟环境
        3.4.2 真实硬件环境
        3.4.3 测试负载
        3.4.4 基于db_bench负载的测试
        3.4.5 基于YCSB负载的测试
    3.5 本章小结
第四章 DStore:基于按需调度的Compaction任务动态优化方法
    4.1 引言
    4.2 DStore设计和实现
        4.2.1 主机端系统
        4.2.2 设备端系统
        4.2.3 运行时系统
    4.3 DStore按需调度双端队列
    4.4 DStore按需调度策略和算法实现
        4.4.1 按需调度的动态卸载策略
        4.4.2 DStore核心算法
    4.5 实验环境与验证
        4.5.1 实验配置
        4.5.2 基于db_bench负载的测试
        4.5.3 基于YCSB负载的测试
        4.5.4 可扩展性验证实验
    4.6 本章小结
第五章 总结与展望
    5.1 本文总结
    5.2 工作展望
参考文献
图表目录
List of Figures and Tables
致谢
在读期间发表的学术论文
在读期间参加的科研项目



本文编号：3827804