一种副本复制和纠错码融合的云存储文件系统容错机制

发布时间：2018-07-15 16:13

【摘要】：在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。
[Abstract]:In cloud storage technology, the data tolerance of cloud storage file system is very important, which is directly related to the availability of the whole system. Based on the analysis of distributed file system with center, this paper proposes a dual-computer hot-standby metadata management node fault tolerance technology and a storage node fault tolerance technology based on block replica and erasure codec algorithm. A fault tolerant mechanism of double insurance for cloud storage file system is designed. The experimental results show that the mechanism greatly improves the reliability of cloud storage system and the utilization of disk space.
【作者单位】： 中国科学院大学工程管理与信息技术学院;中国人民解放军理工大学;
【分类号】：TP333

【共引文献】

相关期刊论文 前10条

1 田浪军;陈卫卫;陈卫东;李涛;;云存储系统中动态负载均衡算法研究[J];计算机工程;2013年10期

2 段虎一;李刚;鲁汉榕;陈新;;虚拟化环境下的NoSQL数据库评测[J];空军预警学院学报;2013年06期

3 庄雪吟;张力;翁晓奇;李虎斌;刘英博;;复杂装备状态监测实时流数据处理框架[J];计算机集成制造系统;2013年12期

4 钟雨;黄向东;刘丹;黄宇霞;田炜;王建民;;大规模装备监测数据的NoSQL存储方案[J];计算机集成制造系统;2013年12期

5 徐昊;杨义繁;张力;刘英博;王建民;;支持大规模监测数据分析的LaUD-KV聚集操作扩展[J];计算机集成制造系统;2013年12期

6 白皓;张延园;张向彬;;基于键值存储的事务控制策略[J];计算机与现代化;2014年02期

7 孙勇;;面向读密集型应用的事务内存云研究[J];计算机时代;2014年02期

8 范立衡;任祖杰;;基于键值存储的元数据集群副本一致性研究[J];杭州电子科技大学学报;2014年02期

9 吕品;邓倩妮;;有限存储分布式社交网络中数据的动态划分和复制[J];微型电脑应用;2013年12期

10 张建华;吴恒;张文博;;云计算核心技术研究综述[J];小型微型计算机系统;2013年11期

相关博士学位论文 前2条

1 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年

2 谭鹏许;云计算环境下安全分布式存储架构与容错技术研究[D];解放军信息工程大学;2013年

相关硕士学位论文 前3条

1 沙学府;云存储中基于索引的结构化查询的研究与实现[D];哈尔滨工业大学;2012年

2 黄伟钗;MongoDB的形式化模型和研究[D];中山大学;2013年

3 石彦博;网络硬盘系统中的数据私密性与一致性技术研究[D];辽宁师范大学;2013年

【相似文献】

相关期刊论文 前10条

1 周游;刘鹏;杨盛祥;薛志强;文艾;;基于私有云的数据冗余技术研究[J];电脑知识与技术;2011年01期

2 侯清铧;武永卫;郑纬民;杨广文;;一种保护云存储平台上用户数据私密性的方法[J];计算机研究与发展;2011年07期

3 姜泽雄;谢军;孙程;;基于XOR纠删码的性能分析[J];中国集成电路;2009年09期

4 张宁,宋晓虹,路红英;微型计算机环境下双机系统的研究[J];测控技术;1999年08期

5 谢峰;刘妹娟;;浅析云存储信息服务的发展现状及隐忧[J];科技信息;2011年10期

6 张迪;朱立谷;侯振宇;张福;曾赛峰;;基于WEB的移动端云存储技术研究[J];计算机工程与应用;2010年36期

7 周江;熊劲;马灿;;面向机群文件系统的高可靠消息传输机制[J];华中科技大学学报(自然科学版);2011年S1期

8 曾赛峰;朱立谷;李强;张福;;企业级私有云中的虚拟化实现[J];计算机工程与应用;2010年36期

9 甘勇;韩姗姗;何振;;基于云存储的在线存储与在线备份系统的设计与实现[J];郑州轻工业学院学报(自然科学版);2011年02期

10 余林琛;章巍;林强;许杰星;钟贝;;RS纠删码在云存储中的应用[J];微电子学与计算机;2011年08期

相关会议论文 前10条

1 郭建立;刘宏伟;董剑;杨孝宗;;双机容错服务器中的浮动IP技术研究[A];第十届全国容错计算学术会议论文集[C];2003年

2 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

3 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

4 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

5 陈海坚;张拥军;;实时嵌入式系统容错与低功耗结合的调度技术[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

6 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

7 徐家雷;;磁盘冗余阵列技术在SⅡX服务器中的实现[A];全国炼钢连铸过程自动化技术交流会论文集[C];2006年

8 隋翠翠;晏海华;;一种基于高性能集群计算系统的检查点策略[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

9 张学红;刘志芳;;云存储技术研究与探讨[A];全国数字媒体技术专业建设与人才培养研讨会论文集[C];2011年

10 曾文英;赵跃龙;尚敏;;云计算及云存储生态系统研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 宋家雨;容错之错[N];网络世界;2007年

2 尚星;“风云”背后的双机热备[N];计算机世界;2002年

3 ;IBM双机热备高可用性方案[N];中国计算机报;2002年

4 高岚;可靠性第一 稳定性第一[N];中国计算机报;2002年

5 四川 万琳;提高24C04数据存储可靠性的方法[N];电子报;2002年

6 魏;国内PC可靠性记录大幅刷新[N];国际商报;2007年

7 ;双机热备 不间断运作[N];计算机世界;2003年

8 ;Windows Server 2003可靠性增强[N];计算机世界;2003年

9 ;让我们荡起“双桨”[N];网络世界;2004年

10 富士通(中国)信息系统有限公司;FUJITSU ETERNUS2000磁盘阵列问世[N];通信产业报;2007年

相关博士学位论文 前10条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 万胜刚;磁盘阵列高容错模式及重构技术研究[D];华中科技大学;2010年

3 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

4 李明强;磁盘阵列的纠删码技术研究[D];清华大学;2011年

5 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年

6 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年

7 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

8 彭和平;基于航天及空间应用的单片多处理体系结构研究[D];西北工业大学;2006年

9 刘云新;面向新一代移动计算平台的系统虚拟化研究与应用[D];上海交通大学;2011年

10 黄震;大规模分布式存储系统中数据冗余技术研究[D];国防科学技术大学;2012年

相关硕士学位论文 前10条

1 杨照宏;分布式海量存储系统的可靠性和容错性研究[D];大连海事大学;2007年

2 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年

3 徐文强;基于HDFS的云存储系统研究[D];上海交通大学;2011年

4 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年

5 李书鹏;分布式文件系统在云存储环境下的若干问题研究[D];中国科学技术大学;2011年

6 王雪娇;分布式文件系统容错能力测试平台的设计与实现[D];哈尔滨工业大学;2011年

7 张大洋;基于云存储的分布式文件系统研究与优化[D];西安电子科技大学;2013年

8 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

9 舒星;磁盘阵列在线重建与RAID5扩容的设计与实现[D];华中科技大学;2007年

10 王克朝;基于冗余机制的网络存储系统可靠性研究[D];华中科技大学;2006年

，

本文编号：2124648