基于DRAM-NVM混合内存的持久化键值存储系统研究

发布时间：2020-11-17 15:22

　　 持久化键值存储系统广泛部署在数据中心为数据密集型应用提供服务,且应用对系统访问性能和存储容量的要求越来越高。新型非易失内存(NVM,Non-Volaitle Memory)具有可字节寻址、掉电数据不丢失、大容量、低功耗等特性,与DRAM构成的混合内存系统可支持大规模数据的快速访存和持久化。与DRAM相比,NVM具有较高的读写延迟和有限的写入寿命,现有工作通过构建混合索引支持高效的键值操作,然而对NVM上索引的读写暴露在键值操作的关键路径上,导致键值操作的延迟较高,并限制了对减少NVM写次数的优化,影响系统性能和寿命。针对以上问题,设计实现了基于DRAM-NVM内存的混合索引持久化键值存储系统DuetKV。基于NVM中键值操作的延迟分析,后台执行NVM中索引的读写,减少NVM读写延迟对键值操作性能的影响;基于负载中请求的时间局部性,设计命令缓存队列减少NVM中索引的请求处理次数。充分利用有限的低延迟DRAM资源,在DRAM中实现哈希表索引支持最优性能的点操作。构建后台持久化的B+Tree索引,在DRAM中创建内部节点和叶子缓存节点,加速键的对比并实现范围查询操作;在NVM中创建叶子节点,提供持久化保证。叶子节点内部键值对无序存放,由位图和原子写保证一致性;实现了根据持久化的叶子节点重新构建混合索引的方法,完成系统快速恢复;创建多棵B+Tree进一步减小后台索引操作的耗时。通过无锁命令队列保证哈希表和B+Tree索引的状态一致,此外,实现了两种命令缓存队列方案FIFO-Lock和WriteBatch,缓存合并对相同键的写请求以减少对NVM的写入次数。测试结果表明,键值操作的性能测试中,DuetKV比FPTree提高79%~5.6x;比HiKV写操作性能提高9.1%~46.8%,但范围查询性能下降5%~10%。使用YCSB测试负载的执行性能,DuetKV性能高于FPTree约65%~3.8x,比HiKV提高9.0%~14.6%;NVM读延迟测试中,DuetKV键值操作延迟比HiKV降低13.7%~36.1%。使用YCSB_A测试两种命令缓存队列对减少NVM写次数的效果和性能开销,在不同队列深度下,FIFO-Lock可以减少写次数13.6%到22%但性能下降12%,WriteBatch避免了性能损失同时减少11.4%到20%对NVM的写次数。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP333
【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究概况
    1.3 本文研究内容
    1.4 论文结构
2 相关技术及问题分析
    2.1 非易失内存介质
    2.2 内存索引数据结构
    2.3 问题分析和总结
    2.4 本章小结
3 DuetKV系统设计
    3.1 总体设计
    3.2 混合索引设计
    3.3 命令缓存队列的设计
    3.4 一致性和持久化设计
    3.5 基本操作流程
    3.6 本章小结
4 DuetKV系统实现
    4.1 混合索引实现
    4.2 命令缓存队列
    4.3 命令处理流程
    4.4 持久化与恢复
    4.5 测试模块实现
    4.6 本章小结
5 性能测试与结果分析
    5.1 测试环境与测试负载
    5.2 测试对照方案
    5.3 测试结果分析
    5.4 本章小结
6 总结与展望
致谢
参考文献
附录 攻读硕士学位期间发表的论文和专利

【相似文献】

相关期刊论文 前10条

1 徐逸文;方钰;陈闳中;;一种处理B~+树重复键值的方法[J];计算机工程;2009年05期

2 杨小小;;在重启中被替换的键值[J];办公自动化;2007年01期

3 杨小小;;在重启中被替换的键值[J];电脑知识与技术(经验技巧);2007年01期

4 杨小小;;重启中被替换的键值[J];办公自动化;2007年08期

5 卢侨生;;一个键值让文件在重启过程中替换[J];电脑爱好者;2006年21期

6 史军绒;Windows2000注册表键值类型的探索[J];现代情报;2005年06期

7 王禄;;多键值字符串键树的原理及实现[J];电脑知识与技术(学术交流);2007年02期

8 刘晓;;大数据环境下分布式键值系统的架构研究[J];中国金融电脑;2015年06期

9 孙洪秋;删除相关键值巧装超级解霸[J];电脑爱好者;2001年24期

10 蒋天发;蒋巍;王维虎;熊祥光;;基于转换键值的非对称数字水印算法[J];信息安全与技术;2010年08期

相关博士学位论文 前4条

1 徐辰;键值存储系统中的质量感知调度[D];华东师范大学;2014年

2 张凯;基于多核/众核体系结构构建高性能网络系统的研究[D];中国科学技术大学;2016年

3 黄玉龙;基于GPU的查询技术并行化研究[D];华南理工大学;2013年

4 赵楠楠;分布式键值存储系统高效能数据布局技术研究[D];华中科技大学;2016年

相关硕士学位论文 前10条

1 杨李杨;基于分布式流处理系统的分组策略研究[D];哈尔滨工业大学;2019年

2 李娟;基于Key-Value的大容量SSD闪存转换层的研究与实现[D];国防科技大学;2017年

3 冯小川;云存储中键值型数据库访问模式保护的研究与实现[D];西安电子科技大学;2019年

4 冯淇;基于LSM-Tree的键值存储引擎的优化研究与实现[D];华中科技大学;2019年

5 张大年;面向内存分区的自适应键值数据库[D];华中科技大学;2019年

6 吴海源;基于DRAM-NVM混合内存的持久化键值存储系统研究[D];华中科技大学;2019年

7 林立亚;无垃圾回收的键值分离存储系统优化设计与实现[D];华中科技大学;2019年

8 胡泽鑫;基于非易失内存的混合键值存储系统的研究与实现[D];华中科技大学;2019年

9 孟嘉豪;一种面向键值对存储系统的高效数据迁移机制的设计与实现[D];华中科技大学;2019年

10 王成;基于RDMA的键值存储系统性能优化[D];南京大学;2019年

本文编号：2887658