Lustre文件系统元数据服务恢复机制的改进

发布时间：2018-07-01 13:21

  本文选题：Lustre + 高性能计算　； 参考：《计算机科学》2015年09期

【摘要】：Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢复和共享时提交算法,它们分别对Lustre现有的元数据更新和恢复机制进行了改进和扩展,根据事务之间的依赖关系,允许客户端在更为宽松的条件下进行恢复并加入到集群而不被驱逐,提高了Lustre文件系统的可用性和可恢复性。最后通过一系列实验对改进后的算法的性能进行了评估。
[Abstract]:Lustre's restart recovery algorithm requires all clients in the cluster to re-establish connections with the server within a specified recovery time window. The client retransmits uncommitted transaction requests, and the server replays all uncommitted transactions strictly according to the transaction sequence number. The requirements are too strict. Aiming at the weakness of Lustre's recoverability, a version-based recovery and shared-time commit algorithm is proposed, which improves and extends Lustre's existing metadata update and recovery mechanism, according to the dependency relationship between transactions. Allowing clients to recover and join the cluster without being evicted under looser conditions improves the availability and recoverability of the Lustre file system. Finally, the performance of the improved algorithm is evaluated through a series of experiments.
【作者单位】： 中国卫星海上测控部技术部;
【基金】：国家973计划资助项目(2009CB723803) 国家自然科学基金资助项目(60873120)资助
【分类号】：TP333;TP309

【参考文献】

相关期刊论文 前2条

1 钱迎进;金士尧;肖侬;;Lustre文件系统I/O锁的应用与优化[J];计算机工程与应用;2011年03期

2 钱迎进;肖侬;金士尧;;Lustre分布式锁管理器的分析与改进[J];计算机工程与科学;2009年S1期

相关博士学位论文 前1条

1 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年

【共引文献】

相关期刊论文 前10条

1 熊安萍;葛军;邹洋;;Lustre文件系统中范围锁机制的应用研究[J];重庆邮电大学学报(自然科学版);2011年02期

2 王巍;李旺;;基于Lustre文件系统的MPI-IO编程接口改进[J];电子技术应用;2012年05期

3 宋龙;李延杰;韩锦宁;;基于Lustre文件系统的分布式地理环境构建[J];地理空间信息;2015年02期

4 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期

5 李林林;吴万国;孙良旭;;并行文件系统Lustre细粒度I/O性能优化[J];计算机工程与应用;2012年17期

6 金红琳;刘波;;分布式锁的Petri网建模及死锁检测[J];计算机科学;2011年08期

7 朱小谦;孙超;孟祥飞;张保;冯景华;;NEMO模式系统基于“天河一号”的存储性能分析与优化[J];计算机应用;2012年05期

8 马艳军;吕爽;刘一谦;;集群文件系统lustre的介绍及应用[J];科技信息;2012年05期

9 刘恋;郑彪;龚奕利;;分布式文件系统中元数据操作的优化[J];计算机应用;2012年12期

10 闫鹏飞;吴雪丽;蔡杰明;马留英;刘振军;;基于广域存储系统的副本技术研究[J];网络新媒体技术;2015年03期

相关博士学位论文 前4条

1 伍江江;面向服务应急响应的数据保护关键技术研究[D];国防科学技术大学;2012年

2 杨磊;基于P2P结构的广域分布式存储相关技术研究[D];湖南大学;2013年

3 毛华坚;云环境中的移动文件存储和时空数据分析关键技术研究[D];国防科学技术大学;2013年

4 万勇;集群系统中的网络性能优化方法研究[D];华中科技大学;2013年

相关硕士学位论文 前10条

1 彭龙;分布式文件系统CeipFS的设计与实现[D];国防科学技术大学;2011年

2 许敏;分布式文件系统容错机制的研究与实现[D];电子科技大学;2012年

3 景蕊;分布式文件系统下数据校验策略的研究与改进[D];吉林大学;2013年

4 史晓婵;基于eyeOS的网络浏览器的设计与实现[D];哈尔滨工业大学;2012年

5 张强;基于模块化的集群NAS存储系统的研究与实现[D];山东大学;2013年

6 石彦博;网络硬盘系统中的数据私密性与一致性技术研究[D];辽宁师范大学;2013年

7 詹海鲸;群智感知环境下的分布式文件系统的设计与实现[D];华南理工大学;2013年

8 王建光;大规模时间序列数据存储系统的研究与实现[D];华中科技大学;2013年

9 储兵;基于粗糙集的神经网络在数据挖掘中的应用研究[D];江苏科技大学;2013年

10 申彤;云存储网关的分布式缓存系统的研究与实现[D];国防科学技术大学;2012年

【二级参考文献】

相关期刊论文 前2条

1 姚念民,舒继武,郑纬民;SAN中的分布式锁机制[J];计算机研究与发展;2005年02期

2 赵旺;曹强;;分布式并行文件系统中锁管理的研究[J];计算机应用研究;2007年09期

相关博士学位论文 前2条

1 吴思宁;机群文件系统服务器关键技术研究[D];中国科学院研究生院（计算技术研究所）;2004年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

相关硕士学位论文 前2条

1 范勇;蓝鲸分布式文件系统数据一致性语义研究[D];中国科学院研究生院（计算技术研究所）;2006年

2 李晖;基于日志的机群文件系统高可用关键技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

【相似文献】

相关期刊论文 前10条

1 ;文件、文件系统、文件库[J];电子科技文摘;2001年01期

2 钟忻,慕春棣;基于闪存的文件系统的实现[J];计算机工程与应用;2003年24期

3 刘欣;浅谈HP小型机文件维护经验[J];天津通信技术;2004年02期

4 景志洁,朱建涛;基于直接数据访问的并行文件系统[J];计算机工程;2004年S1期

5 曾碧卿,陈敏,邓会敏,曾志文;一种基于集群的新型并行文件系统研究[J];信息技术;2005年08期

6 曾碧卿,陈志刚,吕西红,曾志文;集群计算中并行文件系统的设计研究[J];微电子学与计算机;2005年03期

7 胥怡心;张其善;;智能IC卡文件系统的设计与实现[J];微计算机应用;2007年01期

8 吴俊军;朱建新;白U，

本文编号：2087919