一种基于纠删码的数据放置容错算法

发布时间：2019-12-03 14:11

【摘要】：在基于纠删码技术的云存储系统中,如何选择合适的存储节点来放置经编码生成的多个冗余数据块、有效保证数据的容错性是云存储系统面临的一大挑战。提出的CHGDPS(consistent hash and greedy data placement algorithm based on sets)算法在基于划分集合的思想上,将一致性hash方法与贪婪算法相结合,极大地减少了数据传输时间。实验结果表明,该算法具有更短的总体平均访问时间和更长的平均无故障时间,提高了数据的容错性。

【参考文献】

相关期刊论文 前2条

1 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

2 陈涛;肖侬;刘芳;付长胜;;基于聚类和一致Hash的数据布局算法[J];软件学报;2010年12期

【共引文献】

相关期刊论文 前10条

1 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

2 陈涛;肖侬;刘芳;;对象存储系统中一种高效的分层对象布局算法[J];计算机研究与发展;2012年04期

3 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

4 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

5 董微;闻育;;基于数据关联性聚类的数据布局算法[J];计算机工程与应用;2014年03期

6 张桂刚;;一种大数据放置方法[J];计算机科学;2014年06期

7 诸振家;陆云帆;;大规模PC集群语义系统纠删码Hash容错算法[J];科技通报;2014年08期

8 赵彦荣;王伟平;孟丹;张书彬;李均;;基于Hadoop的高效连接查询处理算法CHMJ[J];软件学报;2012年08期

9 陈涛;肖侬;刘芳;;对象存储系统中自适应的元数据负载均衡机制[J];软件学报;2013年02期

10 罗鹏;龚勋;;HDFS数据存放策略的研究与改进[J];计算机工程与设计;2014年04期

相关博士学位论文 前1条

1 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

相关硕士学位论文 前10条

1 梁莹;基于海量数据的数据库模型优化研究[D];内蒙古科技大学;2011年

2 梁莹;基于海量数据的数据库模型优化研究[D];内蒙古科技大学;2011年

3 亢洁;云环境下面向数据密集型应用的数据布局策略研究[D];南京邮电大学;2013年

4 王培;智能电网监测数据的云存储研究[D];华北电力大学;2012年

5 董其文;基于HDFS的小文件存储方法的研究[D];大连海事大学;2013年

6 杨甫恒;基于Hadoop的大数据动态资源调节服务研究[D];成都理工大学;2013年

7 张兰英;基于云存储的教育管理系统研究与设计[D];北京邮电大学;2013年

8 罗雄威;SDFS分布式文件系统的研究与设计[D];华南理工大学;2013年

9 潘运军;基于Hadoop的建筑信息检索平台架构的设计与实现[D];华南理工大学;2013年

10 杨昊溟;云存储系统的数据副本放置算法研究[D];电子科技大学;2013年

【二级参考文献】

相关期刊论文 前6条

1 林伟伟;齐德昱;刘波;;基于资源融合的网格任务调度模型与算法[J];华南理工大学学报(自然科学版);2008年01期

2 王芳;张顺达;冯丹;曾令仿;;对象存储系统中的柔性对象分布策略[J];华中科技大学学报(自然科学版);2007年03期

3 谈华芳;孙丽丽;侯紫峰;;大规模存储中的一个有效的数据放置算法[J];计算机工程;2006年10期

4 栾亚建;黄烂，

本文编号：2569221