一种面向云存储数据容错的ARC缓存淘汰机制

发布时间：2018-05-08 06:25

  本文选题：云存储 + 数据容错　； 参考：《计算机科学》2015年S1期

【摘要】：Hadoop默认采用副本冗余方式实现数据容错,但这种容错方式存在着空间占用过大、存储效率低等问题。为此,在分析了ARC缓存淘汰算法的基础上,提出了一种面向云存储数据容错的ARC缓存淘汰机制ARCMFF。在文件的访问过程中,ARCMFF通过维护一个LRU队列和一个LFU队列统计出访问频率高的文件并将其加入缓存系统中,以提高访问性能;在ARCMFF中,大部分文件采用的是纠删码方式容错存储,只有缓存中的文件才用副本冗余方式存储。纠删码的编码效率很高,因此系统能够节省大量的存储空间。实验结果表明,在分布式文件系统中,ARCMFF能够节省文件存储空间,大大地提高Hadoop的存储效率,且能够在一定程度上提高文件的写入性能。
[Abstract]:By default, Hadoop adopts replica redundancy to implement data fault-tolerance, but this fault tolerance has many problems, such as excessive space occupation and low storage efficiency. Based on the analysis of the ARC cache elimination algorithm, an ARCMFF-based ARC cache elimination mechanism for cloud storage data fault tolerance is proposed. ARCMFF improves access performance by maintaining a LRU queue and a LFU queue to count files with high access frequency and add them to the cache system; in ARCMFF, Most files are stored fault-tolerant by erasure code, only files in the cache are stored in duplicate redundancy. The coding efficiency of erasure code is very high, so the system can save a lot of storage space. The experimental results show that ARCMFF can save the file storage space, greatly improve the storage efficiency of Hadoop, and improve the file writing performance to a certain extent.
【作者单位】： 华南师范大学计算机学院;华南理工大学计算机科学与工程学院;
【基金】：国家自然基金项目(61402183) 广东省科技计划项目(2013B010401005,2013B010401024) 广州市科技计划项目(2013Y200077) 中央高校基本科研业务费重点项目(2013ZZ0044) 华南师范大学研究生科研创新基金资助项目(C1074522)资助
【分类号】：TP333

【参考文献】

相关期刊论文 前6条

1 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

2 康殿统;王文娟;杨雯;;关于Pareto分布的一个综合研究[J];河西学院学报;2008年02期

3 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

4 利业鞑;林伟伟;;一种Hadoop数据复制优化方法[J];计算机工程与应用;2012年21期

5 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

6 林伟伟;贺品嘉;刘波;;云存储系统的能耗优化节点管理方法[J];华南理工大学学报(自然科学版);2014年01期

【共引文献】

相关期刊论文 前10条

1 杨进;王亮明;唐德玉;;RS纠删码在电子健康档案云存储中的应用[J];广东药学院学报;2012年04期

2 宋秀丽;陈龙;肖敏;;云存储中支持XOR旋转编码的可恢复性验证方案[J];重庆邮电大学学报(自然科学版);2012年06期

3 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

4 万武南;王拓;索望;;一种三容错数据布局[J];电子与信息学报;2013年10期

5 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

6 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

7 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

8 马飞;;多云工作流优化传输费用的数据布局策略[J];电脑知识与技术;2014年10期

9 刘鹏曦;许王燕;;一种冗余地理数据存储系统[J];大众科技;2014年01期

10 杨关建;华泽玺;杨彬;;Hadoop平台在智能变电站中的应用研究[J];电源技术应用;2014年03期

相关会议论文 前5条

1 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

2 田原;王营康;肖达;杨榆;;云存储系统中的存储与数据拆分方案[A];第十九届全国青年通信学术年会论文集[C];2014年

3 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

4 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

5 龚琪慧;刘伟;李坤;游攀利;;基于大数据的水利数据中心建设[A];大数据时代的信息化建设——2015（第三届）中国水利信息化与数字水利技术论坛论文集[C];2015年

相关博士学位论文 前10条

1 庞丽莉;无线网络仪器的时钟同步、定位及数据安全存储算法研究[D];吉林大学;2013年

2 肖宜龙;随机化数据冗余方法及其在存储系统中的应用[D];电子科技大学;2013年

3 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

4 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

5 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

6 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

7 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

8 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

9 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

10 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

相关硕士学位论文 前10条

1 王晓园;贝叶斯方法在保险精算中的应用研究[D];重庆理工大学;2011年

2 张凯;分布式存储系统中节点修复问题研究[D];西南交通大学;2012年

3 董祥桥;GARCH族模型研究及农业板块实证分析[D];西北农林科技大学;2012年

4 董其文;基于HDFS的小文件存储方法的研究[D];大连海事大学;2013年

5 杨甫恒;基于Hadoop的大数据动态资源调节服务研究[D];成都理工大学;2013年

6 潘运军;基于Hadoop的建筑信息检索平台架构的设计与实现[D];华南理工大学;2013年

7 杨昊溟;云存储系统的数据副本放置算法研究[D];电子科技大学;2013年

8 张兴;基于Hadoop的云存储平台的研究与实现[D];电子科技大学;2013年

9 李东升;基于Chord环的MongoDB数据均衡系统设计与实现[D];重庆大学;2013年

10 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

2 林伟伟;齐德昱;刘波;;基于资源融合的网格任务调度模型与算法[J];华南理工大学学报(自然科学版);2008年01期

3 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

4 赵全忠;王晓敏;康殿统;;有关函数凸性的几个新概念及其性质[J];河西学院学报;2006年05期

5 栾亚建;黄烂，

本文编号：1860312