一种轻量级键值存储系统的研究与实现

发布时间：2021-11-23 04:53

　　瓦记录技术能够提升磁盘的存储密度,被广泛应用于海量数据存储系统中。以键值（Key-Value,K-V）系统为代表的非关系型数据库,能够为大数据应用提供高性能,高扩展性,高灵活性的数据处理服务。日志结构合并树（Log-Structure merge tree,LSM树）是K-V系统的主流索引结构之一,能够提供较高的写入性能。然而,LSM树的内部合并会带来很高的读写放大,而在瓦记录磁盘随机写性能缺陷的影响下,读写放大会进一步增加,使现有的LSM树系统不能很好地应用于瓦记录磁盘之上。因此,研究基于瓦记录磁盘的键值系统具有重要的现实意义。基于LSM树结构,提出轻量级合并（Light-Weight Compaction,LWC）算法。轻量级合并过程中采用元数据合并与数据追加的策略,在保证元数据查找效率的基础上,能够减少合并时的磁盘开销,提高合并效率;轻量级合并完成后采用元数据聚集策略,减少下一次合并时的读开销。基于轻量级合并算法设计并实现LWC树存储引擎。结合瓦记录磁盘物理结构,使用自定义的磁盘空间管理策略,设计并实现LWC树存储系统,将LWC树存储引擎运行于瓦记录磁盘之上,规避随机写的性能缺陷... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：81 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 课题背景
    1.2 国内外研究现状
    1.3 主要研究工作
2 相关技术分析
    2.1 瓦记录技术
    2.2 LSM树结构
    2.3 LEVELDB中的LSM树结构
    2.4 本章小结
3 轻量级键值存储系统LWC方案设计
    3.1 问题分析
    3.2 轻量级合并LWC算法思想
    3.3 LWC存储系统整体结构设计
    3.4 LWC树引擎模块设计
    3.5 瓦记录磁盘空间管理模块设计
    3.6 本章小结
4 轻量级键值存储系统LWC方案实现
    4.1 LWC树存储引擎模块实现
    4.2 瓦记录磁盘空间管理模块实现
    4.3 本章小结
5 测试与分析
    5.1 测试环境
    5.2 对比测试与结果分析
    5.3 参数敏感性测试
    5.4 本章小结
6 总结与展望
    6.1 全文总结
    6.2 研究展望
致谢
参考文献
附录1 攻读硕士学位期间发表的论文
附录2 攻读硕士学位期间发表的专利



本文编号：3513170