分布式存储系统中容错子系统的设计与实现

发布时间：2020-09-10 12:15

　　 摘要 分布式存储系统的应用已经越来越广泛。在存储系统中,可靠性是关键问题之一,保障数据的可用性必须要求存储系统提供多种方式来实现高可靠性。 中文农业搜索引擎CFSEA是东北大学信息检索实验室开发的主题搜索引擎。它能够实现数据的分布式抓取和分布式存储。分布式存储系统是实现上述功能的基础。 容错机制是分布式存储系统的一个重要组成部分,也是CFSEA中分布式存储系统的重要组成部分。当CFSEA运行时,容错机制负责对故障进行检测,容错以及故障后的系统恢复处理。因此,容错机制是CFSEA稳定性和可靠性的基础和保证。 本文在深入研究的基础上,阐述了CFSEA分布式存储系统的体系结构,重点讨论了CFSEA容错部分的设计与实现。该容错系统设计过程时,在考虑到系统整体性能和容错机制的应用背景前提下,分析与对比几种常用的分布式容错机制,采取了几种更适合CFSEA的容错技术。 该容错系统主要包括操作故障检测、操作集的自我恢复、副本机制、日志和检查点容错四个部分。故障检测用于检测数据块内容的正确性和服务器节点是否崩溃；操作集的自我恢复提供了对故障进行简单及时容错的能力；副本机制采用复制技术利用远程节点来对本地文件进行及时容错；日志和检查点机制通过日志记录和设置检查点来对主服务器崩溃故障进行恢复。 最后的实验结果表明,添加了容错系统后,CFSEA系统的可靠性和可用性都大大提高。
【学位单位】：东北大学
【学位级别】：硕士
【学位年份】：2008
【中图分类】：TP302.8
【部分图文】：

5.2.3测试结果分析在进行了上述数据流正确性检查后，记录的测试结果如下。 (1)SubN0del节点数据块内容修改前，~.txt文件的内容如图5.1所示。

修改后wWll.械的内容Fig.5.2Theeonteniofmodifiedwwn.tXt客户端读取该文件生成的校验码为:3a965eO0849c274份69b966c，跟未修改前的校验码不一致

SubNodel崩溃前的测试结果图

【参考文献】

相关期刊论文 前6条

1 庞丽萍,陈宝利;基于相互独立检查点的MPI消息日志系统[J];华中科技大学学报(自然科学版);2004年08期

2 张悠慧,汪东升,郑纬民;Windows NT环境下的进程检查点设置与回卷恢复[J];计算机研究与发展;2001年01期

3 周恩强,卢宇彤,沈志宇;一个适合大规模集群并行计算的检查点系统[J];计算机研究与发展;2005年06期

4 王迪;薛巍;舒继武;沈美明;;海量存储网络中的虚拟盘副本容错技术[J];计算机研究与发展;2006年10期

5 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

6 薛瑞尼;张悠慧;陈文光;郑纬民;;面向集群的消息传递并行程序容错系统[J];清华大学学报(自然科学版);2006年01期

相关博士学位论文 前3条

1 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年

相关硕士学位论文 前6条

1 张智强;交易系统高可用性研究[D];太原理工大学;2004年

2 罗庆超;分布式数据存储与备份的研究与实现[D];电子科技大学;2004年

3 周国峰;高可用性系统中检查点技术的研究与实现[D];华中科技大学;2004年

4 郭威;分布式文件系统ZD-DFS的设计与实现[D];浙江大学;2006年

5 杨照宏;分布式海量存储系统的可靠性和容错性研究[D];大连海事大学;2007年

6 刘吉哲;Web服务可靠消息传递和容错机制的研究[D];大连海事大学;2008年

本文编号：2815809