RH-LSM：一种读敏感的异构LSM-tree

发布时间：2020-04-02 09:35

【摘要】：Log Structured Merge Trees(LSM-tree)作为一种写优化的存储结构被广泛地应用于现代存储引擎的设计中。LSM-tree为了提高写性能,将写操作以日志的形式缓存于内存,延迟写入磁盘并分层存储。LSM-tree在后台维护了一个数据合并的任务(compaction)来合并多版本数据,以缩短读路径和减少存储成本。LSM-tree的分层存储设计没有考虑负载的读特性,对于读访问频繁但非经常更新的数据,会由于compaction操作而下沉到底层,访问时会带来较多的磁盘IO,影响读性能。另外,compaction的过程涉及到数据的解码、编码、比较、合并,是一个计算密集型的操作,在compaction任务被调度时,会竞争CPU的计算资源,造成系统的性能抖动。本篇论文对LSM-tree的研究现状进行了综述,并针对上述LSM-tree读延迟高和性能抖动两个问题,提出了一种增强型的基于LSM-tree的存储结构RH-LSM。首先通过捕捉数据的历史访问特征,同时根据模型计算的访问频率来决定哪些冷数据会被compaction,以确保频繁访问的数据具有较短的读路径。其次引入了 FPGA,将compaction动作卸载到FPGA上执行,包括高效的FPGA compaction流水线设计、异步compaction调度机制的设计,考虑到FPGA本身的缺陷,还设计了容错机制来保证compaction任务执行的正确性。RH-LSM是一个综合考虑访问特征并且性能平稳的存储结构。实验表明,基于RH-LSM的存储引擎的性能在公开基准上均取得了优于当前先进的基于LSM-tree的存储引擎。
【图文】：

—般随机选取。热点数据（访问频繁的数据）由于ｃｏｍｐａｃｔｉｏｎ操作下沉到底层，逡逑造成热点读操作路径增长，是造成ＬＳＭ－ｔｒｅｅ读性能表现不佳的主要原因。逡逑图１．１给出了在ＲＨ－ＬＳＭ在读敏感特性关闭时读性能随着线程数增加而变化逡逑的曲线Ｓ可以看到，由于１０资源成为瓶颈，ＬＳＭ－ｔｒｅｅ的读性能无法做到线性扩逡逑展。逡逑—ＲＨ－ＬＳＭ－ＲＳ－ｏｆｆ逡逑＾邋１６０００邋＇＊＊＊逡逑之逦＾逦一逡逑５邋１４０００邋■逦．逡逑￡邋＾逡逑云１２０００丨逦＾丨逡逑＝逡逑芝邋１００００邋－逡逑ｒ邋／逡逑１邋／逡逑Ｑ）邋６０００逦ｆ逡逑ｉ逦／逡逑＾邋／逡逑２０００逦＊逦，逦：逦｜＾逦Ｉ逦Ｉ逦逡逑０逦１０逦２０逦３０逦４０逦５０逦６Ｑ逡逑Ｔｈｒｅａｄｓ逡逑图１．１读敏感特性关闭的ＬＳＭ－ｔｒｅｅ的吞吐随线程数变化的曲线（穴ｅａ0Ｔ？＜７／Ｗｏｗ）逡逑图１．２给出了在单线程情况下ＬＳＭ－ｔｒｅｅ引擎的资源利用率曲线，可以明显看逡逑到由于１０带宽利用率较高，ＣＰＵ利用率水位较低，，表明了邋ＬＳＭ－ｔｒｅｅ读路径较长，逡逑读性能还有较大的优化空间。逡逑１实验环境为２个丨ｎｔｅｌ处理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２个物理核心，６４个超线程，内存容最７６８ＧＢ。ｋｅｙ逡逑长度为丨６字节，ｖａｌｕｅ长度为８卞

除了读性能不理想，ＬＳＭ－ｔｒｅｅ结构的另一个痛点是ｃｏｍｐａｃｔｉｏｎ造成的性能抖逡逑动，ｃｏｍｐａｃｔｉｏｎ执行过程中会占用较多的ＣＰＵ和丨０资源，影响前台线程的正常逡逑事务处理。图１．３给出了两种ＬＳＭ－ｔｒｅｅ存储引擎（ＲＨ－ＬＳＭ－ＣＰＵ，ＲｏｃｋｓＤＢ）的逡逑在ＤｂＢｅｎｃｈ基准的纯写入场景下的性能曲线２，对于ＲｏｃｋｓＤＢ，绘制了邋ｃｏｍｐａｃｔｉｏｎ逡逑关闭情况的性能曲线作为对照。另外，我们给出了两种存储引擎在执行过程中逡逑２实验环境为２个Ｉｎｔｅｌ处理器（Ｅ５－２６８３，邋２．１ＧＨｚ）邋，邋３２个物理核心，６４个超线程，内存容最７６８ＧＢ。ｋｅｙ逡逑长度为１６字节，ｖａｌｕｅ长度为８邋ｔ节，ｋｅｙPu在丨亿的范Ｉｔｌ内随机生成。磁盘使用ＳＳＤ。逡逑５逡逑
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333;TP311.13

【相似文献】

相关期刊论文 前10条

1 Kai-qi Zhang;Hai-qing Yin;Xue Jiang;Xiu-qin Liu;Fei He;Zheng-hua Deng;Dil Faraz Khan;Qing-jun Zheng;Xuan-hui Qu;;A novel approach to predict green density by high-velocity compaction based on the materials informatics method[J];International Journal of Minerals Metallurgy and Materials;2019年02期

2 Meghdad Jourgholami;;Effects of soil compaction on growth variables in Cappadocian maple(Acer cappadocicum) seedlings[J];Journal of Forestry Research;2018年03期

3 Zhong Hong;Ming-Jun Su;Hua-Qing Liu;Gai Gao;;Clastic compaction unit classification based on clay content and integrated compaction recovery using well and seismic data[J];Petroleum Science;2016年04期

4 Alexander Krok;Mari饩n Peciar;Roman Fekete;;Numerical investigation into the influence of the punch shape on the mechanical behavior of pharmaceutical powders during compaction[J];Particuology;2014年05期

5 Elham Ghanbari;Amir Hamidi;;Improvement parameters in dynamic compaction adjacent to the slopes[J];Journal of Rock Mechanics and Geotechnical Engineering;2015年02期

6 JIANG Lu;FAN Jianhua;WANG Zhengjin;HUO Zhensheng;;Mechanical property of calcareous sand under action of compaction[J];Global Geology;2015年03期

7 阿罕默德·沙拉;周胜华;Azza ELERAQY;唐亮;;A rare case of isolated right ventricular non-compaction Cardiomyopathy[J];South China Journal of Cardiology;2013年02期

8 ;Real-time compaction quality monitoring of high core rockfill dam[J];Science China(Technological Sciences);2011年07期

9 ;Research of warm compaction technology on nylon bonded Nd-Fe-B magnets[J];Acta Metallurgica Sinica(English Letters);2009年03期

10 刘建华;袁剑波;熊虎;陈伟;;Dynamic compaction treatment technology research of red clay soil embankment in southern mountains[J];Journal of Central South University of Technology;2008年S2期

相关会议论文 前10条

1 Maria da Graca Miguel;;DNA Compaction and Decompaction:Bulk and Interfaces[A];中国化学会第十届胶体与界面化学会议论文摘要集[C];2004年

2 R.Kato;D.Matsumoto;K.Kamiya;S.Shimeno;;Innovative Impermeable Mixes on Bridge Deck[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

3 Takashi Kano;Takashi Mino;Seiichiro Nagayama;Jun Makabe;Tomokazu Takahashi;KeiichiUchiyama;Haruki Goto;Yuki Tsukimoto;;Effective Compaction Methods for Thin-Lift WMA Pavement[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

4 ;STUDY ON HIGH PERFORMANCE DRIVING P/M GEAR FOR ENGINE[A];2006年中国机械工程学会年会暨中国工程院机械与运载工程学部首届年会论文集[C];2006年

5 Yanliang Qiao;Jiangtao Zhang;Mei Zhang;Lisheng Liu;Pengcheng Zhai;Qingjie Zhang;;Simulation on the Flow-Compaction Behavior of Thick Composite Laminate and the Effect of Interlaminar Permeability[A];第十一届南方计算力学学术会议（SCCM-11）摘要集[C];2017年

6 HU Chichun;WANG Duanyi;ZHANG Xiaoning;THYAGARAJAN Senthilmurugan;;Characterization of Asphalt Mixture Homogeneity Based on X-ray Computed Tomography[A];Abstracts of ISAP 2012 International Symposium on Heavy Duty Asphalt Pavements and Bridge Deck Pavements[C];2012年

7 ;Identification of Longest-Testable Paths and Generation of Compact Test Sets for Small-Delay Defects[A];第六届中国测试学术会议论文集[C];2010年

8 Yan Zhang;Li-Yun Fu;Fuqiong Huang;Xuezhong Chen;;Coseismic water-level changes in a well induced by teleseismic waves from three large earthquakes[A];中国科学院地质与地球物理研究所2015年度（第15届）学术论文汇编——地球深部结构与过程研究室[C];2016年

9 ;Overpressuring mechanisms in the Yinggehai Basin,South China Sea[A];中国科学院地质与地球物理研究所二○○三学术论文汇编·第五卷(矿产资源与水资源)[C];2003年

10 LIU WeiMing;SUN JiMin;;High-resolution anisotropy of magnetic susceptibility record in the central Chinese Loess Plateau and its paleoenvironment implications[A];中国科学院地质与地球物理研究所2012年度（第12届）学术论文汇编——新生代地质与环境研究室[C];2013年

相关硕士学位论文 前7条

1 张腾;RH-LSM：一种读敏感的异构LSM-tree[D];浙江大学;2019年

2 靳东兆;基于多尺度仿真与试验的沥青路面钻孔填补成型与变形特性研究[D];长安大学;2018年

3 Muhammad Mohsin Nawaz;机械耕作引起土壤紧实对土壤特性与玉米生长发育的影响[D];中国农业科学院;2018年

4 代薇娜（Devina Ghoorah）;[D];华中科技大学;2012年

5 艾瑞克;以空隙率为依据确定温拌沥青的压实温度[D];大连理工大学;2016年

6 Nameeta Shrestha;[D];重庆医科大学;2010年

7 王德玉;土壤紧实胁迫对黄瓜碳氮代谢的影响[D];西北农林科技大学;2013年

本文编号：2611776