分布式存储系统中改进的一致性哈希算法

发布时间：2017-06-05 00:16

  本文关键词：分布式存储系统中改进的一致性哈希算法，，由笔耕文化传播整理发布。

【摘要】：随着网络存储系统的发展,分布式存储中的数据均匀分布和高效定位的问题越来越备受关注。现存的关于分布式系统的数据分布的可靠性和可用性等方面并不能得到有效的保证。文中提出了一种改进的一致性哈希算法,通过对Redis存储节点进行逻辑划分成一个组,组内采用主从的模式提高了分布式存储的一致性和可靠性,并分析了同一个组内不同读写策略的数据一致性。经过实验比较,该算法能有效地降低系统平均响应时间,提高系统吞吐量,使分布式存储系统负载更为均衡。当组内主节点宕机时,利用从节点的备份数据以及主从切换可以及时对外提供集群服务,这一点有助于实际的研发分布式存储。
【作者单位】： 上海师范大学信息与机电工程学院;南京航空航天大学计算机科学与技术学院;
【关键词】： 分布式存储 数据读写策略 Redis 一致性哈希
【基金】：国家自然科学基金青年基金(41301407) 上海市教育创新项目(09YZ154;09YZ247) 上海师范大学基金项目(A-3101-12-004005) 南京航空航天大学研究生创新基地开放基金(kfjj20151607)
【分类号】：TP333
【正文快照】： 0引言所谓分布式存储系统[1],就是将数据分散存储在多台独立的设备上。随着网络信息技术的快速发展,个人用户、互联网应用等产生了海量的数据。爆炸式增长的数据已经从PB级向EB级迈进,这些数据的存储和高速访问对分布式存储系统在可用性、可扩展性以及IO访问性能上提出了新的

【参考文献】

中国期刊全文数据库 前5条

1 赵飞;苏忠;;一致性哈希算法在数据库集群上的拓展应用[J];成都信息工程学院学报;2015年01期

2 郭宁;张新;;一致性哈希算法在多处理机进程分配的应用[J];计算机与现代化;2013年09期

3 余秦勇;陈林;童斌;;一种无中心的云存储架构分析[J];通信技术;2012年08期

4 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

5 姜大光;奚加鹏;;分布式存储系统(OceanStore)的复制策略[J];计算机工程与科学;2008年08期

中国博士学位论文全文数据库 前1条

1 张绍兰;几类密码Hash函数的设计和安全性分析[D];北京邮电大学;2011年

中国硕士学位论文全文数据库 前1条

1 李正;杂凑函数结构研究现状及新的结构设计[D];山东大学;2010年

【共引文献】

中国期刊全文数据库 前10条

1 许国艳;罗章璇;宋健;吕鑫;;基于双层索引结构的起源图查询方法[J];计算机应用;2017年01期

2 王霓虹;张露露;;分布式爬虫任务调度策略的优化[J];黑龙江大学自然科学学报;2016年05期

3 李岩;李东明;苑超;;基于私有云的种子追溯管理平台的研究[J];中国农机化学报;2016年09期

4 谢超群;;基于Swift云存储技术在高校数据中心的应用[J];信息技术;2016年07期

5 吕冬雪;;基于大数据环境的NoSQL技术分析[J];电子设计工程;2016年14期

6 许丁友;孔云波;李志刚;寇程;;地理空间数据存储与管理技术综述[J];测绘技术装备;2016年02期

7 王康;李东静;陈海光;;分布式存储系统中改进的一致性哈希算法[J];计算机技术与发展;2016年07期

8 王小戏;吴刚;王灏;;高并发高可用零售O2O交易系统的架构设计与业务实现[J];计算机与现代化;2016年04期

9 李宁;;基于一致性Hash算法的分布式缓存数据冗余[J];软件导刊;2016年01期

10 刘春颖;张晓芬;张悦;;数据库集群研究中的一致性哈希算法分析[J];科技传播;2015年23期

中国博士学位论文全文数据库 前1条

1 杨懿竣;指纹安全认证的不可逆变换技术研究[D];深圳大学;2015年

中国硕士学位论文全文数据库 前2条

1 王德鹏;HMAC-SHA256算法的VLSI结构设计[D];哈尔滨工业大学;2015年

2 翁新钎;安全哈希算法的并行化实现研究[D];复旦大学;2013年

【二级参考文献】

中国期刊全文数据库 前10条

1 赵彦荣;王伟平;孟丹;张书彬;李均;;基于Hadoop的高效连接查询处理算法CHMJ[J];软件学报;2012年08期

2 姚林;张永库;;NoSQL的分布式存储与扩展解决方法[J];计算机工程;2012年06期

3 魏嘉银;秦永彬;许道云;;一种求解多处理机调度问题的α-平坦化调度算法[J];计算机科学;2012年01期

4 胡丽聪;徐雅静;徐惠民;;基于动态反馈的一致性哈希负载均衡算法[J];微电子学与计算机;2012年01期

5 张秋江;王澎;;云计算的安全问题探讨[J];信息安全与通信保密;2011年05期

6 侯建;帅仁俊;侯文;;基于云计算的海量数据存储模型[J];通信技术;2011年05期

7 王会波;;安全存储与云存储安全[J];信息安全与通信保密;2010年12期

8 殷进勇;顾国昌;;允许多处理机故障的实时任务容错调度算法[J];电子与信息学报;2010年02期

9 李凯;左春荣;;基于模拟退火的多处理机调度优化算法研究[J];系统工程与电子技术;2009年12期

10 王健;孙建伶;王新宇;杨小虎;王申康;陈俊波;;容错多处理机中一种高效的实时调度算法(英文)[J];软件学报;2009年10期

【相似文献】

中国期刊全文数据库 前10条

1 王征;刘心松;李美安;;企业信息分布式存储的热点处理策略[J];计算机集成制造系统;2006年09期

2 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

3 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

4 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

5 崔忠强;左德承;张展;;在云间可重构的分布式存储[J];系统工程理论与实践;2011年S2期

6 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

7 唐京伟;;基于云计算的分布式存储技术[J];中国传媒科技;2013年15期

8 郭栋;王伟;曾国荪;;基于一致性树分布的数据分布式存储方法[J];计算机应用;2013年12期

9 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[J];电信科学;2013年12期

10 谢然;;敢问存储之路在何方?见分布式存储摇曳在数据枝头[J];互联网周刊;2014年02期

中国重要会议论文全文数据库 前7条

1 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

2 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

3 郑文武;李先绪;黄植勤;邱红飞;;云存储关键技术[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

4 蒋轶林;郭淑琴;;分布式存储在数字集群移动通信系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

5 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

6 付伟;肖侬;卢锡城;;QoS感知的副本放置问题研究综述[A];第15届全国信息存储技术学术会议论文集[C];2008年

7 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

中国重要报纸全文数据库 前8条

1 京东架构委员会主任 云平台首席架构师 系统技术部负责人 刘海锋;京东:分布式存储体系成为业务基石[N];中国信息化周报;2014年

2 《网络世界》记者 于翔;京东分布式存储体系研发历程[N];网络世界;2014年

3 《网络世界》记者 于翔;融合一体机投入大规模商用[N];网络世界;2013年

4 记者 余荣华;大数据，催生大变革[N];人民日报;2014年

5 本报记者 张佳星;新生产业布局如何“云”中索骥[N];科技日报;2014年

6 本报记者 甘露;物联网让管理更美妙[N];计算机世界;2013年

7 本报记者 郭涛;华为帮用户定制HANA一体机[N];中国计算机报;2013年

8 临江;手机浏览器,3G时代的采矿机？[N];人民邮电;2009年

中国博士学位论文全文数据库 前9条

1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

2 胡q

本文编号：422502