基于日志结构合并树的混合合并机制研究与实现

发布时间：2020-06-28 14:51

【摘要】：近年来,基于日志结构合并树的键值对存储系统因为结构简单、写吞吐量高等优点被应用到各个领域。日志结构合并树常用的两种合并策略是TCS(Tiered Compaction Strategy)和LCS(Leveled Compaction Strategy)。TCS允许同层的键范围重叠,减少了维持键有序而进行的数据重写,但是指数增长的SSTables(Sorted String Tables)大小会占用大量临时存储空间,并潜在地降低查询性能;LCS采用固定大小SSTables,但为了维持每层键有序排列,频繁地对数据集进行重写。首先,为了融合上述两种合并策略的优势,提出一种混合合并机制HCM(Hybrid Compaction Mechanism),允许同层键范围重叠并且采用固定大小的SSTables。具体而言,HCM仅将当前层SSTables归并排序到下一层,同层内SSTables键范围允许重叠,减少了维持键有序产生的数据重写;同时采用固定大小的SSTables,待合并SSTable与参与合并的其他SSTables有重叠键范围,则进行物理合并。如果没有重叠键范围,则直接移到下一层,并不产生物理合并操作,从而减少写放大;另外监控合并过程,及时删除已合并物理表,减少合并过程中的空间占用。其次,为了提高查询性能,提出两种查询优化方法:文件级布隆过滤器和并行查询机制。通过文件级布隆过滤器准确地筛选出可能存在目标键的物理表,减少不必要的物理表查询操作。并行查询机制能实施多个物理表并发查询,充分利用固态盘内在的高并行性。最后,在LevelDB基础上实现HCM合并机制。通过重放db_bench和YCSB生对的负载对HCM进行实验评估。实验结果表明,HCM的写放大分别比TCS、LCS减少3.0%和96.4%,平均查询延迟时间分别比TCS和LCS减少80.4%和65%。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333;TP311.13
【图文】：

随机负载下，不同T时HCS、TCS、LCS的写放大

SSTables 拷贝到下层。TCS 写放大高于前两者，并且数据量越大，写放大越高。因为 TCS 需要进行合并，将小的 SSTables 合并成更大的 SSTables。（5）在顺序负载下，HCS 和 LCS 的写放大与 T 无关。TCS 在顺序负载和随机负载下写放大接近。图 6-1 随机负载下，不同 T 时 HCS、TCS、LCS 的写放大

【相似文献】

相关期刊论文 前10条

1 小名;;美国式的抱团过冬:资源集中的混合合并[J];名人传记(财富人物);2009年02期

2 许光耀;;互补性产品间混合集中行为的反垄断法分析方法[J];竞争政策研究;2017年06期

3 曾晶;;美国混合合并反垄断法规制研究[J];财经理论与实践;2013年01期

4 郭冬梅;张曙;;切换驻留合并与选择合并相结合的混合合并技术[J];吉林大学学报(工学版);2010年04期

5 郑艳馨;;论美国潜在竞争理论——兼论构筑我国混合合并控制的理论基准[J];河北法学;2006年09期

6 殷醒民;;企业购并的混合合并方式[J];上海经济;1997年04期

7 孙晋;;企业混合合并的竞争法分析[J];时代法学;2009年05期

8 郑艳馨;论我国企业混合合并的反垄断法规制[J];河北法学;2005年10期

9 孙晋;冯艳楠;;金融集团及其经济力集中的法律形式分析[J];安徽大学法律评论;2010年01期

10 贝楠;论垄断企业和中小企业的关系[J];世界经济;1986年09期

相关博士学位论文 前1条

1 宋新海;无线分集系统中的协作分集与混合合并技术研究[D];西安电子科技大学;2015年

相关硕士学位论文 前2条

1 李景军;基于日志结构合并树的混合合并机制研究与实现[D];华中科技大学;2019年

2 张娜;混合合并反垄断控制标准研究[D];华东政法大学;2011年

本文编号：2733146