一致性哈希的数据集群存储优化策略研究

发布时间：2017-09-04 12:29

  本文关键词：一致性哈希的数据集群存储优化策略研究

  更多相关文章： 集群存储 Hadoop分布式文件系统 一致性哈希 存储副本优化

【摘要】：结合虚拟节点技术和均分存储区域技术,提出了嵌套循环式数据一致性哈希优化分布式集群存储的多副本放置策略.按照此优化策略,能够有序选择数据副本机架,确定数据节点存储位置,保证数据存储的均衡性分布,可以针对集群的实际要求开展扩展,并按照扩展情况制定使数据存储完成自适应优化调整,加快数据处理的速度.有效实验表明存储优化后算例的执行速度得到很大提升,能够保证解决负载均衡问题;而针对实际情况中可能出现的扩展与删减问题进行测试后表明,使用优化存储策略处理此类问题时,振荡对整体负载均衡影响不大,且执行时间与负载占比变化趋势一致.
【作者单位】： 长春理工大学计算机科学技术学院;吉林大学计算机科学与技术学院;
【关键词】： 集群存储 Hadoop分布式文件系统 一致性哈希 存储副本优化
【基金】：国家自然科学基金资助项目(61100090) 吉林省科技发展计划重点科技攻关项目(20150204036GX);吉林省科技发展计划资助项目(20150101054JC)
【分类号】：TP333
【正文快照】： 1引言 分布式集群存储是一种大数据存储管理的关键技术,其中HDFS(Hadoop distributed file system)因其高传输率和高容错性成为解决大数据高效存储应用的有效方法[1-2].考虑到HDFS数据放置策略的随机性方式容易造成数据分布不均衡,进而会影响系统整体性能的问题,目前已经从多

【相似文献】

中国期刊全文数据库 前10条

1 刘仲,章文嵩,王召福,周兴铭;基于对象存储的集群存储系统设计[J];计算机工程与科学;2005年02期

2 张建勋;蔡红云;田俊峰;马胜甫;;集群存储系统数据容错研究[J];河北大学学报(自然科学版);2006年05期

3 卢敏;;集群存储应势所趋[J];软件世界;2007年22期

4 刘仲;李宗伯;阳柳;;基于对象分组的集群存储系统可靠性分析模型[J];计算机应用;2008年01期

5 章宏灿;薛巍;;双均衡的集群存储资源映射方法[J];清华大学学报(自然科学版);2009年10期

6 范中磊;;非对称集群存储系统的块虚拟化方法[J];微电子学与计算机;2011年06期

7 张振庆;;集群存储技术的分析与研究[J];中国传媒科技;2011年07期

8 李焕芝;冯震宇;何波;;集群存储技术及其在石油勘探行业的应用[J];中国西部科技;2012年01期

9 金弟;庄锡进;曹晓初;王启迪;王宗仁;;基于多路径地震资料处理集群存储系统[J];计算机研究与发展;2012年S1期

10 黄昆;;用集群去存储百川[J];中国计算机用户;2007年10期

中国重要会议论文全文数据库 前1条

1 胡渊汶;;BIM信息基础架构——EMC ISILON横向扩展集群存储在BIM上的应用[A];BIM与工程建设信息化——第三届工程建设计算机应用创新论坛报告集[C];2011年

中国重要报纸全文数据库 前10条

1 佟乐;带着集群存储来中国[N];网络世界;2007年

2 ;寻访首批集群存储用户[N];中国计算机报;2008年

3 本报特约撰稿 杨峰;解密集群存储[N];计算机世界;2009年

4 本报记者 郭涛;集群存储不再曲高和寡[N];中国计算机报;2008年

5 郭涛;集群存储拿非结构化数据开刀[N];中国计算机报;2007年

6 本报记者 郭平;集群存储优势正在显现[N];计算机世界;2008年

7 宋家雨;不要让集群存储成为被忽视的角落[N];网络世界;2008年

8 本报记者 郭涛;从集群存储走向云端[N];中国计算机报;2011年

9 郭平;并行集群存储改变存储模式[N];计算机世界;2007年

10 ;美国赛龙集群存储方案[N];计算机世界;2008年

中国博士学位论文全文数据库 前2条

1 霍道安;集群存储网络吞吐量塌陷行为研究[D];华中科技大学;2012年

2 刘仲;基于对象存储结构的可伸缩集群存储系统研究[D];国防科学技术大学;2005年

中国硕士学位论文全文数据库 前8条

1 张峰豪;纠删码集群存储的数据访问优化技术研究[D];华中科技大学;2013年

2 吴迎晖;面向对象的集群存储体系结构与广域网协议模拟技术研究[D];清华大学;2004年

3 刘阳;针对集群存储系统的多目标跟踪器设计与实现[D];哈尔滨工业大学;2014年

4 张建勋;高可靠可扩展PC集群存储系统研究[D];河北大学;2005年

5 陈益强;开放源码支持下的微机集群存储技术研究[D];北京邮电大学;2006年

6 唐文龙;IND集群存储系统的文件路由表技术研究[D];华南理工大学;2014年

7 焦芳;基于Lustre的集群存储系统的安全性研究[D];中国石油大学（华东）;2013年

8 林雪峰;基于嵌入式IP存储技术的分布式集群存储系统[D];南京航空航天大学;2007年

，

本文编号：791573