基于SCM的Key-Value存储系统

发布时间：2020-11-16 19:54

　　 非易失性内存是一种非常具有应用前景的计算机内存技术,将会对计算机存储层次结构产生很大影响。非易失性内存具有可字节寻址、访问延迟低、能持久存储数据等特点,是DRAM或磁盘潜在的替代品。其中一些因其可字节寻址特性并能代替磁盘存储数据,又被称为存储类内存(SCM)。这类内存可以和DRAM一样通过内存总线连接到计算机,并通过CPU的load/store指令对它们进行访问。这使得在非易失性内存中设计快速的持久存储系统成为可能。现在针对外存进行优化的键值存储系统,非常依赖文件系统进行数据持久存储。它们不能利用非易失性内存可直接进行数据访问的特性。一些针对非易失性内存设计的键值存储系统认为在系统掉电时计算机硬件应该把高速缓存中的数据保存到非易失性内存中。当计算机不具备这种能力时,数据的持久化将无法得到保证。本文提出一种轻量级日志结构以SCM为存储介质的键值存储系统SCMKV。SCMKV根据键值数据负载的特性提出了用数组链解决哈希冲突的哈希表实现方案,采用日志结构技术进行内存管理,在此之上实现了一个多层的内存分配器以提高内存分配效率,为了提高系统的并发能力,每个工作线程都有自己的数据日志。具体地说,在系统初始化时,SCMKV根据SCM空间大小估算哈希表的初始大小,通过比较大的桶数减少哈希冲突的概率和哈希表的扩容次数。数组链是一种物理地址连续的数据结构,通过高效利用硬件缓存加快系统查询速度。日志结构技术能够提高内存的利用率,并提供数据一致性保证,SCMKV在此之上实现了一种多层的内存分配器。不同层次的分配器完成的功能不同,可实现相应的优化。日志分配器可以提供多线程的资源隔离,对象分配器只需访问DRAM。SCM的读写速度不均衡、写延迟比DRAM高,SCMKV把对象分配器的数据结构存储到DRAM中,并通过读页状态表计算垃圾回收算法的需要的数据,从而减少对SCM的写访问。在使用均匀分布的小对象数据集进行多线程写性能测试时,SCMKV单线程的吞吐量是2.1 Mops,四线程的吞吐量5.4 Mops,具有良好的吞吐性能和扩展能力。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP333
【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 引言
    1.2 国内外研究现状
        1.2.1 内存计算技术
        1.2.2 非易失性内存技术
        1.2.3 非易失性内存系统应用
    1.3 主要研究内容
    1.4 论文组织结构
第二章 相关技术研究
    2.1 键值存储系统
    2.2 内存管理技术
        2.2.1 伙伴系统
        2.2.2 SLAB分配器
    2.3 数据一致性
    2.4 本章总结
第三章 SCMKV设计与实现
    3.1 设备抽象
    3.2 总体架构
    3.3 存储区功能布局
    3.4 哈希表实现
        3.4.1 哈希表初始化
        3.4.2 哈希表结构
    3.5 内存分配器
    3.6 本章总结
第四章 多线程与垃圾回收算法
    4.1 多线程并发
        4.1.1 多线程的应用
        4.1.2 哈希表扩容
    4.2 数据持久化
    4.3 垃圾回收算法
    4.4 本章总结
第五章 性能评估
    5.1 实验环境
    5.2 读写性能
    5.3 并发性能
    5.4 本章小节
第六章 总结与展望
参考文献
致谢
攻读学位期间发表的学术论文
攻读学位期间参与的项目

【参考文献】

相关期刊论文 前3条

1 王源;贾嵩;甘学温;;新一代存储技术:阻变存储器[J];北京大学学报(自然科学版);2011年03期

2 左青云;刘明;龙世兵;王琴;胡媛;刘琦;张森;王艳;李颖弢;;阻变存储器及其集成技术研究进展[J];微电子学;2009年04期

3 刘波;宋志棠;封松林;;我国相变存储器的研究现状与发展前景[J];微纳电子技术;2007年02期

本文编号：2886593