基于MooseFS的纠错码存储方法设计和实现

发布时间：2018-04-02 09:03

  本文选题：分布式文件系统　切入点：数据容错　出处：《计算机工程与应用》2017年06期

【摘要】：在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的"热数据"按照多副本存储,不常用的"冷数据"按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。
[Abstract]:In cloud storage technology, the data tolerance of cloud storage system is very important, which is directly related to the availability of the whole system.At present, most distributed storage systems guarantee the availability of data through multi-replicas. However, multi-replica storage also doubles the data storage space, in order to reduce the storage space and improve the availability of data.Some distributed storage systems begin to use error-correcting code technology to improve data availability and reduce data storage space.Based on the analysis of MooseFS distributed file system, an error correcting code implementation method based on MooseFS is proposed.By testing the efficiency of data storage, the method can ensure that the commonly used "hot data" is stored according to multiple replicas, and the "cold data" that is not commonly used is stored in error correction code mode.At the same time, the reliability is guaranteed and the space consumption of multi-replica mode is greatly reduced.
【作者单位】： 河南理工大学电气工程与自动化学院;河南理工大学万方科技学院;
【基金】：河南省科技攻关重点资助项目(No.142102210435)
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 陈剑;龚发根;;一种优化分布式文件系统的文件合并策略[J];计算机应用;2011年S2期

2 郎为民;杨德鹏;;云计算中的分布式文件系统[J];电信快报;2012年02期

3 陈文捷;蔡立志;楼志斌;王洁萍;李海波;;应用级分布式文件系统接口标准化探索[J];信息技术与标准化;2012年10期

4 应朝晖，高洪奎，，黄若衡;分布式文件系统[J];计算机工程与科学;1995年03期

5 卢军;卢显良;韩宏;许腾;;基于移动Agent的新型分布式文件系统研究[J];计算机科学;2002年10期

6 寒江约叟;N个资源一次看——分布式文件系统妙用[J];电脑应用文萃;2004年07期

7 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期

8 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期

9 黄华;张敬亮;张建刚;许鲁;;蓝鲸分布式文件系统的物理资源管理模型[J];计算机工程;2006年06期

10 阴四海;王文杰;李秀斌;范军涛;;并行分布式文件系统的改进[J];计算机应用;2007年S2期

相关会议论文 前4条

1 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

3 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

4 徐文斌;;大数据时代的交管综合应用云平台[A];第八届中国智能交通年会论文集[C];2013年

相关重要报纸文章 前10条

1 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统的历史与现状[N];中国计算机报;2005年

2 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统趋向成熟[N];中国计算机报;2005年

3 国防科学技术大学计算机学院软件所 董勇 周恩强;构建分布式文件系统[N];中国计算机报;2005年

4 ;分布式文件系统一瞥[N];网络世界;2002年

5 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

6 ;Hadoop：为构建海量数据架构而生[N];人民邮电;2012年

7 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年

8 IBM大数据专家 James Kobielus　范范 编译;YARN动摇了MapReduce对Hadoop的掌控[N];网络世界;2013年

9 张力平;云计算和物联网的美妙融合[N];学习时报;2014年

10 《网络世界》记者 于翔;大数据治理多管齐下[N];网络世界;2012年

相关博士学位论文 前4条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

4 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院（计算技术研究所）;2008年

相关硕士学位论文 前10条

1 冷志强;基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现[D];复旦大学;2014年

2 黎斌;基于HDFS的分布式文件系统存储研究与优化[D];电子科技大学;2015年

3 何雄;大小文件跨网络集群快速迁移协议[D];电子科技大学;2015年

4 焦晨宇;可伸缩分布式文件系统及其应用[D];北京理工大学;2015年

5 谯林飞;云计算环境中分布式文件系统数据一致性问题研究[D];电子科技大学;2014年

6 秦小寒;优化性能的分布式存储子系统的设计与实现[D];电子科技大学;2014年

7 牛升;分布式文件系统的负载均衡策略研究[D];电子科技大学;2014年

8 郭建国;基于分布式文件系统FastDFS的图片服务器件设计与应用[D];中国科学院大学(工程管理与信息技术学院);2015年

9 白铖;一种分布式文件系统的设计与实现[D];电子科技大学;2015年

10 吴霖;分布式微信公众平台爬虫系统的研究与应用[D];南华大学;2015年

本文编号：1699682