面向对象存储的文件系统Lustre

发布时间：2018-01-19 23:13

  本文关键词： Lustre 面向对象 TCP/IP 性能优化 测试　出处：《计算机工程与设计》2015年06期 　论文类型：期刊论文

【摘要】：针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和TCP/IP网络构建的集群系统上。实验结果表明,在TCP/IP协议和千兆交换机下,Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统,Lustre系统仍有较大的性能提高和实用价值。
[Abstract]:Aiming at the situation that Lustre file system is mainly used in high performance computing cluster system, the system structure of Lustre file system and its internal implementation mechanism are analyzed. Testing the performance of the system under the influence of different parameters, it is considered that Lustre can be used in high performance cluster system. The experimental results show that the concurrency of TCP/IP protocol and gigabit switch is difficult to play. However, the performance can be optimized by setting the appropriate number of clients and system parameters, which is still of great performance improvement and practical value compared with the local disk system Lustre system.
【作者单位】： 华南师范大学网络中心;华南师范大学计算机学院;
【基金】：国家自然科学基金项目(61370718) 教育部-中移动基金项目(MCM20130651) 广州市科技和信息化局基金项目(2014Y2-00006) 华南师范大学青年教师科研培育基金项目(2012KJ006)
【分类号】：TP333
【正文快照】： 0引言相比于传统的文件系统及存储系统存在主机带宽、内存容量以及主机可用性等性能方面的限制,分布式文件系统不仅能为用户提供海量的存储空间和高聚合的I/O带宽,并且支持众多的客户端同时并发访问,具有良好的可扩展性。在分布式文件系统[1-3]中,面向对象存储的文件系统成为

【参考文献】

相关期刊论文 前3条

1 周江;王伟平;孟丹;马灿;古晓艳;蒋杰;;面向大数据分析的分布式文件系统关键技术[J];计算机研究与发展;2014年02期

2 战科宇;李小勇;刘海涛;;分布式文件系统元数据服务器高可用性设计[J];小型微型计算机系统;2013年04期

3 程煜;李小勇;董晓明;焦圣品;;分布式存储系统中高并发客户端的设计与实现[J];小型微型计算机系统;2014年01期

【共引文献】

相关期刊论文 前10条

1 赵铁柱;袁华强;;分布式文件系统性能研究[J];东莞理工学院学报;2014年01期

2 李媛媛;赵慧敏;肖鹏;王海文;尹艳辉;;基于KFS分布式文件系统元数据模型的改进[J];大连交通大学学报;2014年04期

3 苏洋;刘晓军;唐勇;黄洋;;游戏大数据平台研究与实践[J];电信科学;2014年10期

4 尤海浪;钱锋;黄祥为;胡亮亮;;基于大数据挖掘构建游戏平台个性化推荐系统的研究与实践[J];电信科学;2014年10期

5 张浩然;李中良;邹腾飞;魏旭阳;杨国才;;农业大数据综述[J];计算机科学;2014年S2期

6 刘国良;马留英;闫鹏飞;张帅;刘浏;;GeoFS:一个广域文件系统的设计与实现[J];计算机研究与发展;2014年S1期

7 马留英;蔡杰明;刘浏;刘振军;;一种加速广域文件系统读写访问的缓存策略[J];计算机研究与发展;2014年S1期

8 刘健;张军伟;张浩;邵冰清;杨洪章;刘振军;;蓝鲸元数据服务器集群的细粒度负载迁移[J];计算机研究与发展;2014年S1期

9 丁洁;王磊;沈荻帆;周又玲;;一种大数据异常检测系统的研究与实现[J];海南大学学报(自然科学版);2015年01期

10 李学龙;龚海刚;;大数据系统综述[J];中国科学:信息科学;2015年01期

相关博士学位论文 前1条

1 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

相关硕士学位论文 前4条

1 董晓明;分布式存储系统的管理系统的设计与实现[D];上海交通大学;2013年

2 宁波;交互式互动电视系统的设计与实现[D];燕山大学;2014年

3 黄靖博;分布式自动化测试平台的研究与设计[D];复旦大学;2013年

4 韩诗楠;HDFS分布式元数据管理框架的研究与实现[D];东北大学;2011年

【二级参考文献】

相关期刊论文 前5条

1 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期

2 熊劲,范志华,马捷,唐荣锋,李晖,孟丹;DCFS2的元数据一致性策略[J];计算机研究与发展;2005年06期

3 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期

4 杨德志;许鲁;张建刚;;蓝鲸分布式文件系统元数据服务[J];计算机工程;2008年07期

5 王皓;李小勇;;分布式存储系统中客户端的设计与实现[J];微型电脑应用;2012年02期

【相似文献】

相关期刊论文 前10条

1 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期

2 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期

3 周恩强;董勇;张伟;卢宇彤;;对象存储并行文件系统小文件性能优化研究[J];计算机工程与科学;2013年12期

4 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期

5 萌萌;;老命令新用 让闪存支持单个大容量文件[J];电脑迷;2010年03期

6 蒋玲;林海幂;;基于C++的精简式文件系统在嵌入式系统中的应用[J];西华大学学报(自然科学版);2010年05期

7 ;施乐生产中心 8233/8234——工程文件系统简介[J];导弹与航天运载技术;1998年01期

8 ;施乐8855数码工程文件系统[J];计算机辅助设计与制造;2000年01期

9 全小宁;AIX系统的故障解决方法[J];铁路计算机应用;2004年08期

10 孙凝晖;并行文件系统的设计[J];计算机学报;1994年12期

相关会议论文 前3条

1 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年

3 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 李柠 许冰;Linux的“心”事[N];中国计算机报;2000年

2 河北 廉育功;Linux技巧[N];中国电脑教育报;2001年

3 阳光;一台PC机上安装Win98、NT、Linux[N];中国矿业报;2000年

4 小雨;FAT享年25岁——触摸未来文件系统[N];电脑报;2003年

5 北京捷华润公司 郝常杰;对象存储：块和文件之外的存储形式[N];中国计算机报;2006年

6 门宣;走进Linux2.4的精彩世界[N];中国计算机报;2001年

7 ;驱动器与DOS兼容文件系统[N];电脑报;2002年

8 任勇;在Linux中访问DOS的方法[N];大众科技报;2000年

9 ;Veritas展示用于Oracle9i RAC的群集系统[N];计算机世界;2003年

10 方粮;与NAS面对面[N];计算机世界;2002年

相关博士学位论文 前3条

1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年

2 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院（计算技术研究所）;1999年

3 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年

相关硕士学位论文 前10条

1 顾喜梅;文件系统及磁盘管理实现机制深入研究[D];南京航空航天大学;2002年

2 刘洋;闪存文件系统的底层结构与性能研究[D];复旦大学;2009年

3 苏鹏;基于智能卡的闪存文件系统的研究[D];武汉科技大学;2010年

4 杜聪;机群文件系统的实现、评测与分析[D];中国科学院研究生院（计算技术研究所）;2000年

5 胡永奎;对象存储设备中文件系统的设计与实现[D];解放军信息工程大学;2010年

6 叶宇鹏;安全私有云存储的文件系统数据组织设计[D];华南理工大学;2013年

7 刘晓东;并行文件系统缓存技术的研究[D];北京交通大学;2013年

8 武宁远;基于蓝光技术的UDF文件系统的开发与研究[D];西安电子科技大学;2009年

9 刘媛;个人云存储技术研究[D];电子科技大学;2010年

10 慎涵;一种基于PCM的文件系统设计与实现[D];华中科技大学;2013年

，

本文编号：1445886