基于日志结构合并树的大规模键值存储系统优化方法研究

发布时间：2023-03-11 03:08

　　大数据技术的蓬勃发展,需要对海量数据进行高效保存和处理,从而对存储系统提出更高性能需求。基于日志结构合并树(Log-Structured Merge-Tree)实现的键值存储系统,在处理写请求时能够将小颗粒的随机写聚集成大颗粒的连续写从而充分利用外存设备带宽,因此具有高吞吐能力并被广泛应用在大规模存储环境中。近年来,计算机硬件技术也在快速发展。在计算方面,多核处理器和高并行专用处理器已经普及;在存储方面,新型非易失性存储器与DRAM内存的性能鸿沟不断缩减,以及支持并发IO的闪存固态盘已得到广泛部署并逐渐取代机械硬盘。面对日益庞大的海量数据和新型硬件的特性,基于传统硬件资源设计的日志结构合并树键值存储系统在新应用环境中面临巨大挑战。针对上述形势,需要对日志结构合并树键值存储系统从处理逻辑、存储过程、和存储介质等方面重新审视并综合优化以适应大规模数据对高性能存储的迫切需求。国内外学术界和工业界也在这方面进行多维度研究,包括定制化日志结构合并树以优化特定负载下的性能、更改日志结构合并树合并策略以减少写放大、设计面向闪存固态盘或者其他非易失存储器的日志结构合并树等。本文研究工作着重从日志结构合...

【文章页数】：126 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 大数据时代的写优化结构
    1.2 日志结构合并树的历史与现状
    1.3 日志结构合并树面临的挑战
    1.4 本文研究内容
    1.5 课题来源
2 面向日志结构合并树的高性能跳表
    2.1 跳表在日志结构合并树中的角色
    2.2 高性能跳表的设计与实现
    2.3 复杂度分析
    2.4 性能评估
    2.5 本章小结
3 日志结构合并树直接存储技术研究
    3.1 直接存储的必要性
    3.2 直接存储系统原型设计与实现
    3.3 性能评估
    3.4 持久性与并发性讨论
    3.5 本章小结
4 构建基于森林模型的高性能键值存储系统
    4.1 背景介绍
    4.2 “树/森林”分类模型
    4.3 “树/森林”模型特征分析
    4.4 基于分割森林键值存储系统的设计与实现
    4.5 性能评估
    4.6 相关问题讨论
    4.7 本章小结
5 全文总结与展望
    5.1 研究成果总结
    5.2 工作展望
致谢
参考文献
附录1 攻读博士学位期间发表的论文目录
附录2 攻读博士学位期间申请的发明专利
附录3 攻读博士学位期间参与的科研项目



本文编号：3759079