Redbud并行文件系统的可扩展存储管理机制

发布时间：2018-04-26 08:12

  本文选题：Redbud并行文件系统 + 高性能计算　； 参考：《计算机学报》2015年05期

【摘要】：数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长.
[Abstract]:The demand of data scale and concurrent access is increasing day by day, and extensibility becomes one of the important requirements of parallel file system. In this paper, a high extensible resource management mechanism based on asymmetric parallel file system (Redbud) is proposed. According to the characteristics of data access, the management mechanism uses different tree structures to manage different types of data, which satisfies the concurrent retrieval requirements of file data and metadata, and also uses file level data distribution mechanism. It allows users to use various strategies to manage directories and files, which can meet the requirements of file level data access performance, directory level data reliability and other practical applications. The test results of several benchmark programs and practical applications show that the exclusive access to files can achieve the performance of 95% of disk, and the concurrent access performance of data and metadata increases linearly with the increase of devices and application nodes.
【作者单位】： 清华大学计算机科学与技术系;
【基金】：国家自然科学基金(60873066) 国家“八六三”高技术研究发展计划(2009AA01403) 高等学校博士学科点专项科研基金(20070003092)资助~~
【分类号】：TP333

【共引文献】

相关期刊论文 前3条

1 柴梦竹;;基于分布式虚拟磁盘的可扩展分布式文件系统设计[J];电子技术与软件工程;2014年22期

2 王振;王雷;王宇;;基于虚拟磁盘块存储的分布式文件系统研究[J];华中科技大学学报(自然科学版);2013年S2期

3 顾纯祥;王焕孝;郑永辉;辛丹;刘楠;;基于SAT的安全协议惰性形式化分析方法[J];通信学报;2014年11期

相关博士学位论文 前1条

1 万勇;集群系统中的网络性能优化方法研究[D];华中科技大学;2013年

相关硕士学位论文 前9条

1 张永胜;面向代理服务的分布式文件系统设计与实现[D];哈尔滨工业大学;2012年

2 袁佳;基于MAPI协议的邮件预取平台的研究与实现[D];中南大学;2013年

3 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

4 刘磊;分布式块存储系统节能技术研究[D];华中科技大学;2013年

5 陈亮亮;具有远程模型误差诊断的MPC系统设计与实现[D];厦门大学;2014年

6 陆梦寒;针对地震大数据的分布式文件系统的研究与设计[D];中国科学技术大学;2014年

7 冯睿;基于位图索引的FITS文件分布式存储与索引技术研究[D];昆明理工大学;2014年

8 于悦;基于相似性的分布式重复数据删除技术研究[D];辽宁大学;2014年

9 崔磊;基于MapReduce的并行关联规则算法在社区分析中的应用研究[D];河北工程大学;2015年

【相似文献】

相关期刊论文 前10条

1 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期

2 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期

3 周恩强;董勇;张伟;卢宇彤;;对象存储并行文件系统小文件性能优化研究[J];计算机工程与科学;2013年12期

4 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期

5 萌萌;;老命令新用 让闪存支持单个大容量文件[J];电脑迷;2010年03期

6 蒋玲;林海幂;;基于C++的精简式文件系统在嵌入式系统中的应用[J];西华大学学报(自然科学版);2010年05期

7 ;施乐生产中心 8233/8234——工程文件系统简介[J];导弹与航天运载技术;1998年01期

8 ;施乐8855数码工程文件系统[J];计算机辅助设计与制造;2000年01期

9 全小宁;AIX系统的故障解决方法[J];铁路计算机应用;2004年08期

10 孙凝晖;并行文件系统的设计[J];计算机学报;1994年12期

相关会议论文 前3条

1 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年

3 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 李柠 许冰;Linux的“心”事[N];中国计算机报;2000年

2 河北 廉育功;Linux技巧[N];中国电脑教育报;2001年

3 阳光;一台PC机上安装Win98、NT、Linux[N];中国矿业报;2000年

4 小雨;FAT享年25岁——触摸未来文件系统[N];电脑报;2003年

5 北京捷华润公司 郝常杰;对象存储：块和文件之外的存储形式[N];中国计算机报;2006年

6 门宣;走进Linux2.4的精彩世界[N];中国计算机报;2001年

7 ;驱动器与DOS兼容文件系统[N];电脑报;2002年

8 任勇;在Linux中访问DOS的方法[N];大众科技报;2000年

9 ;Veritas展示用于Oracle9i RAC的群集系统[N];计算机世界;2003年

10 赵宇明;建设完美的存储世界[N];网络世界;2008年

相关博士学位论文 前3条

1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年

2 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院（计算技术研究所）;1999年

3 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年

相关硕士学位论文 前10条

1 顾喜梅;文件系统及磁盘管理实现机制深入研究[D];南京航空航天大学;2002年

2 刘洋;闪存文件系统的底层结构与性能研究[D];复旦大学;2009年

3 苏鹏;基于智能卡的闪存文件系统的研究[D];武汉科技大学;2010年

4 杜聪;机群文件系统的实现、评测与分析[D];中国科学院研究生院（计算技术研究所）;2000年

5 胡永奎;对象存储设备中文件系统的设计与实现[D];解放军信息工程大学;2010年

6 叶宇鹏;安全私有云存储的文件系统数据组织设计[D];华南理工大学;2013年

7 刘晓东;并行文件系统缓存技术的研究[D];北京交通大学;2013年

8 武宁远;基于蓝光技术的UDF文件系统的开发与研究[D];西安电子科技大学;2009年

9 刘媛;个人云存储技术研究[D];电子科技大学;2010年

10 慎涵;一种基于PCM的文件系统设计与实现[D];华中科技大学;2013年

，

本文编号：1805191