Key-Value Store读写性能研究与优化

发布时间：2017-06-13 08:06

  本文关键词：Key-Value Store读写性能研究与优化，由笔耕文化传播整理发布。

【摘要】：存储引擎是存储系统的核心,存储系统的读写性能取决于存储引擎的性能。本文的研究以当前Key-Value Store的两大主流存储引擎LSM-Tree存储引擎和哈希存储引擎为主,详细分析了传统LSM-Tree结构以及哈希存储结构代表性系统的读写特性。LSM-Tree的特点是顺序写入而哈希存储引擎则侧重内存索引的效率。经过对比分析之后,借鉴两大存储引擎在索引和硬盘存储上的思想特点,本文以LevelDB的结构为原型,提出sLSM-Tree结构(Segmented-Index based LSMTree,基于分段式索引的LSM-Tree结构)。1)在该存储结构的内存索引部分引入分段式索引结构解决为LSM-Tree加入哈希存储内存索引结构所带来的冲突,即通过分段式引入前缀树索引和哈希映射索引的方式提高索引速度,在避免数据读取时逐层索引的同时,降低了因写入时压缩合并操作带来的物理地址变更频繁造成的性能压力。2)在内存中为了进一步提高对Key的查询效率,本文在传统布鲁姆过滤器算法的基础上结合内存索引结构,提出了动态阵列式布鲁姆过滤器的优化,即通过动态设置布鲁姆过滤器阵列的分组因子降低整个阵列的读写时间。持久化结构依然采用Append-Only的日志结构以维持LSM-Tree原有的高速顺序写的优势。基于Flash的固态硬盘(Solid State Drive,SSD)能够提供很高的读写性能。但是,传统LSM-Tree的压缩合并操作是针对机械硬盘的,本文针对SSD的结构和特性对SSD的压缩合并操作进行了相应的优化。针对本文提出的分段式索引新方法和动态阵列式布鲁姆过滤器优化分别进行了对比实验,从实验结果分析,与采用传统LSM-Tree存储引擎的Level DB相比,s LSM-Tree提高了内存索引和硬盘读写性能。最后,通过对实验数据进一步的整理和分析,讨论了sLSM-Tree进一步提升的空间。
【关键词】：Key-Value LSM-Tree 哈希存储 Bloom Filter
【学位授予单位】：中国矿业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 致谢4-5
• 摘要5-6
• Abstract6-14
• 1 绪论14-22
• 1.1 研究背景14-16
• 1.2 国内外研究现状16-20
• 1.3 研究内容20
• 1.4 论文结构20-21
• 1.5 小结21-22
• 2 相关技术简介22-28
• 2.1 LSM-Tree引擎22-24
• 2.2 哈希存储引擎24-25
• 2.3 布鲁姆过虑器25-27
• 2.4 小结27-28
• 3 典型Key-Value Store读写性能研究28-40
• 3.1 SkimpyStash存储结构28-31
• 3.2 LSM-Trie存储结构31-36
• 3.3 对比分析与解决方案36-39
• 3.4 小结39-40
• 4 基于sLSM-Tree的Key-Value Store优化设计方案40-64
• 4.1 sLSM-Tree结构41-44
• 4.2 缓存和Skiplist索引结构44-47
• 4.3 分段式索引优化方法47-52
• 4.4 动态阵列式布鲁姆过滤器优化52-56
• 4.5 硬盘存储结构和读写操作56-63
• 4.6 小结63-64
• 5 实验及性能分析64-70
• 5.1 实验环境64-65
• 5.2 分段式索引读写对比实验65-68
• 5.3 动态阵列式布鲁姆过滤器优化对比实验68-69
• 5.4 小结69-70
• 6 总结与展望70-72
• 6.1 总结70-71
• 6.2 展望71-72
• 参考文献72-76
• 作者简历76-78
• 学位论文数据集78

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

5 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

6 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

7 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

8 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

9 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

10 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 俞新杰;跨数据中心容错的云存储系统[D];浙江大学;2016年

3 王振升;可重构堆叠存储系统的设计及实现研究[D];太原理工大学;2016年

4 王海群;面向数字社区的云存储系统的研究与实现[D];中国海洋大学;2015年

5 范海震;基于Linux的MPEG-4图像压缩存储系统[D];西安电子科技大学;2008年

6 陈运海;编码容错的云存储系统与性能优化[D];南京大学;2013年

7 卢义婉;基于网络编码的云存储系统中负载均衡技术研究[D];南京大学;2013年

8 王谦;云存储系统基于属性的数据访问控制研究[D];江苏大学;2016年

9 蔡京津;基于Orleans的块存储系统的设计与实现[D];吉林大学;2016年

10 王丹丹;数字射频存储系统中高速DAC电路的设计与实现[D];燕山大学;2016年

  本文关键词：Key-Value Store读写性能研究与优化，，由笔耕文化传播整理发布。

本文编号：446062