一种面向键值对存储系统的高效数据迁移机制的设计与实现

发布时间：2020-06-12 02:53

【摘要】：近年来随着移动互联网的发展,键值对存储系统被广泛使用,它适用于大规模的小尺寸对象存储,并能支持高性能高并发的数据密集型应用。集群中每台机器通常存有百亿数量级别的键值对,大部分数据的访问频率随着时间推移由高变低,甚至不再会被访问。因此为了降低存储成本,需要将大量长期未被访问的键值对迁移到采用更低廉存储介质、高压缩率的下级存储集群。针对以上需求,提出面向键值对存储系统的高效数据迁移机制。先对采样周期内所有访问过的键值对进行全量采样,识别出访问过与未被访问过的键值对,再对未被访问过的键值对进行迁移。数据采样过程在系统存取的关键路径上,使用高并发的分块式布隆过滤器(Bloom Filter),通过原子操作与CPU高速缓存预取,保证多线程采样到全局布隆过滤器的高性能;设计周期性变换布隆过滤器哈希函数的算法,在保证时空复杂度不变的情况下降低布隆过滤器误判率的影响;同时使用用户态的读拷贝更新(Read-Copy Update)机制代替全局锁机制来保护全局布隆过滤器,使得多线程采样到布隆过滤器与后台线程持久化及更新布隆过滤器的操作可以完全并发进行。数据迁移过程先利用LevelDB的版本机制实现多进程间的数据库快照备份,再使用多线程来并行遍历数据库快照数据、识别并批量迁移键值对,保证整个流程对用户访问数据的透明;标识被迁移后的键值对,通过版本号机制处理标识键值对操作与用户更新键值对操作的写冲突。使用存储端的异步访问机制代理访问被迁移到下级存储集群的键值对。经过实验测试,设计的迁移机制能正常运行。测试结果表明,在高并发环境下使用分块式布隆过滤器仅增加0.2微秒的延迟,且用户态读拷贝更新机制的读端性能相比全局锁机制能提高两个数量级,表明数据采样不影响系统性能。数据迁移过程中仅增加7.5%的用户访问延时,且批量迁移键值对相比于每次迁移单个键值对至少能提高一倍的吞吐量。
【图文】：

读线程数量增加的读端开吞吐量的影响，然后测试 4 部分测试访问本地集的读取响应时间对比。rver 的配置文件中，这里配，，采样周期设置为 3 个备行一次临时采样数据快照快照。群的 DataServer 写入 5 个如图 5-1。

第2个采样备份周期内测试的访问操作
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333;TP311.13

【相似文献】

相关期刊论文 前10条

1 徐逸文;方钰;陈闳中;;一种处理B~+树重复键值的方法[J];计算机工程;2009年05期

2 杨小小;;在重启中被替换的键值[J];办公自动化;2007年01期

3 杨小小;;在重启中被替换的键值[J];电脑知识与技术(经验技巧);2007年01期

4 杨小小;;重启中被替换的键值[J];办公自动化;2007年08期

5 卢侨生;;一个键值让文件在重启过程中替换[J];电脑爱好者;2006年21期

6 史军绒;Windows2000注册表键值类型的探索[J];现代情报;2005年06期

7 王禄;;多键值字符串键树的原理及实现[J];电脑知识与技术(学术交流);2007年02期

8 刘晓;;大数据环境下分布式键值系统的架构研究[J];中国金融电脑;2015年06期

9 孙洪秋;删除相关键值巧装超级解霸[J];电脑爱好者;2001年24期

10 蒋天发;蒋巍;王维虎;熊祥光;;基于转换键值的非对称数字水印算法[J];信息安全与技术;2010年08期

相关会议论文 前3条

1 翁晓毅;刘晓平;程磊;;三维曲面的键值函数定义及计算研究[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

2 袁锦绣;钱雪忠;汪锦岭;;一种基于位置和DHT的移动ad hoc网络服务发现方案[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

3 张智江;王志军;张尼;;一种可应用于大流量环境下的双层散列算法研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年

相关重要报纸文章 前10条

1 王林颖 陈佳佳;一键值守48小时[N];中国航天报;2019年

2 编译 沈建苗;键值数据存储未来会流行吗?[N];计算机世界;2015年

3 山东 郭忠勇;注册表禁用30项[N];电脑报;2001年

4 上海 SNSN;自由操控MSN Messanger的启动[N];电脑报;2002年

5 章海峰;排名新方法：无比排序[N];电脑报;2001年

6 江苏 飞浪;Windows NT 4.0操作技巧16则[N];电脑报;2001年

7 江苏 周勇生;Windows NT 4.0应用精粹（一）[N];中国计算机报;2001年

8 福建 柳坚;让“我的电脑”不再受“压迫”[N];电脑报;2002年

9 陈彪;设置自动刷新窗口[N];中国电脑教育报;2000年

10 山西 闫锦锋;找回失去的登录窗口[N];电脑报;2002年

相关博士学位论文 前4条

1 徐辰;键值存储系统中的质量感知调度[D];华东师范大学;2014年

2 张凯;基于多核/众核体系结构构建高性能网络系统的研究[D];中国科学技术大学;2016年

3 黄玉龙;基于GPU的查询技术并行化研究[D];华南理工大学;2013年

4 赵楠楠;分布式键值存储系统高效能数据布局技术研究[D];华中科技大学;2016年

相关硕士学位论文 前10条

1 孟嘉豪;一种面向键值对存储系统的高效数据迁移机制的设计与实现[D];华中科技大学;2019年

2 王成;基于RDMA的键值存储系统性能优化[D];南京大学;2019年

3 张月明;基于LSM-tree键值系统读性能优化[D];中国科学技术大学;2018年

4 匡雯;在等概率和不等概率条件下多级索引模型的键值选择策略研究[D];江苏大学;2018年

5 桂清鑫;一种轻量级键值存储系统的研究与实现[D];华中科技大学;2018年

6 高阳;基于Open-Channel SSD特性的LSM-tree键值存储研究[D];华中科技大学;2018年

7 赵鑫;键值数据库在云计算中的应用与实现[D];电子科技大学;2015年

8 吴玉;面向OLAP的分布式键值存储引擎[D];电子科技大学;2016年

9 陈陆;分布式键值存储引擎的研究与实现[D];江苏科技大学;2017年

10 罗青;面向多源键值数据库的矢量地理数据引擎关键技术研究[D];南京师范大学;2014年

本文编号：2708900