SMDFS分布式海量小文件系统的大空间聚合存储技术

发布时间：2020-01-24 08:38

【摘要】：海量小文件聚合存储技术大多以目录或逻辑目录为单位,将小文件聚合为实际存储的大文件并建立小文件的元数据信息,实现小文件的快速访问.传统小文件聚合存储技术读写操作性能受目录结构的影响差别较大.在现有研究成果的基础上,分析不同目录结构聚合空间的特征,提出大空间聚合存储技术和元数据分裂技术,为不同目录结构的海量小文件存储提供通用的解决方法,并基于开源分布式文件系统HDFS实现了一个分布式海量小文件系统SMDFS.测试表明,大空间聚合技术能有效支持不同目录结构的海量小文件数据,相较于SMDFS早期版本,小文件数据装载和访问性能均有很大程度的提高.

【相似文献】

相关期刊论文 前10条

1 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期

2 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期

3 周恩强;董勇;张伟;卢宇彤;;对象存储并行文件系统小文件性能优化研究[J];计算机工程与科学;2013年12期

4 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期

5 萌萌;;老命令新用 让闪存支持单个大容量文件[J];电脑迷;2010年03期

6 蒋玲;林海幂;;基于C++的精简式文件系统在嵌入式系统中的应用[J];西华大学学报(自然科学版);2010年05期

7 ;施乐生产中心 8233/8234——工程文件系统简介[J];导弹与航天运载技术;1998年01期

8 ;施乐8855数码工程文件系统[J];计算机辅助设计与制造;2000年01期

9 全小宁;AIX系统的故障解决方法[J];铁路计算机应用;2004年08期

10 孙凝晖;并行文件系统的设计[J];计算机学报;1994年12期

相关会议论文 前3条

1 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年

3 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 李柠 许冰;Linux的“心”事[N];中国计算机报;2000年

2 河北 廉育功;Linux技巧[N];中国电脑教育报;2001年

3 阳光;一台PC机上安装Win98、NT、Linux[N];中国矿业报;2000年

4 小雨;FAT享年25岁——触摸未来文件系统[N];电脑报;2003年

5 北京捷华润公司 郝常杰;对象存储：块和文件之外的存储形式[N];中国计算机报;2006年

6 门宣;走进Linux2.4的精彩世界[N];中国计算机报;2001年

7 ;驱动器与DOS兼容文件系统[N];电脑报;2002年

8 任勇;在Linux中访问DOS的方法[N];大众科技报;2000年

9 ;Veritas展示用于Oracle9i RAC的群集系统[N];计算机世界;2003年

10 赵宇明;建设完美的存储世界[N];网络世界;2008年

相关博士学位论文 前3条

1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年

2 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院（计算技术研究所）;1999年

3 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年

相关硕士学位论文 前10条

1 顾喜梅;文件系统及磁盘管理实现机制深入研究[D];南京航空航天大学;2002年

2 刘洋;闪存文件系统的底层结构与性能研究[D];复旦大学;2009年

3 苏鹏;基于智能卡的闪存文件系统的研究[D];武汉科技大学;2010年

4 杜聪;机群文件系统的实现、评测与分析[D];中国科学院研究生院（计算技术研究所）;2000年

5 胡永奎;对象存储设备中文件系统的设计与实现[D];解放军信息工程大学;2010年

6 叶宇鹏;安全私有云存储的文件系统数据组织设计[D];华南理工大学;2013年

7 刘晓东;并行文件系统缓存技术的研究[D];北京交通大学;2013年

8 武宁远;基于蓝光技术的UDF文件系统的开发与研究[D];西安电子科技大学;2009年

9 刘媛;个人云存储技术研究[D];电子科技大学;2010年

10 慎涵;一种基于PCM的文件系统设计与实现[D];华中科技大学;2013年

，

本文编号：2572612