面向大容量SCM的融合式文件系统

发布时间：2017-05-15 21:19

  本文关键词：面向大容量SCM的融合式文件系统，，由笔耕文化传播整理发布。

【摘要】：随着新型非易失性存储器(Non-Volatile Memory,NVM)技术的飞快发展,这类存储器件在访问性能、写寿命等方面越来越接近内存。存储级内存技术(Storage Class Memory,SCM)是针对采用NVM后大大缩小了内外存之间性能差距的特性,在计算机系统中构建高速的统一存储系统。由于NVM器件集成度和DIMM接口数量的限制,使用DIMM和PCIe接口NVM存储设备是当前构建大容量SCM的有效选择。两类NVM存储设备在物理接口、访问性能和容量上存在差异,同时文件的数据与元数据、文件与文件之间也具有不同的访问特性。现有内外存管理算法均只是针对单一存储设备,无法同时有效管理两类NVM存储设备。本文针对由两类NVM存储设备构建的混合大容量SCM,研究和设计了一种新型的文件系统SCMCFS。首先分析两类NVM存储设备特性和传统文件系统应用到NVM存储设备时存在的问题,在此基础上针对统一管理两类NVM存储设备的要求,设计了面向SCMCFS的结构。接着给出SCMCFS的组织和管理方法,设计头尾式的文件系统空间布局和基于两层radix-tree的存储空间组织方式,构建包含两类NVM存储设备的统一逻辑地址空间和组织管理,避免了存储空间不足的问题;设计融合式文件组织结构、动态存储策略和非对称文件缓冲区调入策略,通过构建文件内缓存,提高了访问响应速度和I/O性能。并且基于Fuse实现了原型系统,使用Postmark进行测试与分析,验证了针对两类NVM存储设备构建文件内缓存,相比使用单一数据组织结构的Ext3能提高30%-63%的I/O性能,同时还避免了DIMM接口NVM存储设备容量的限制。其次设计SCMCFS的一致性机制,保障文件系统提供持续可靠的存储服务;使用DIMM接口NVM存储设备作为日志设备,提高SCMCFS一致性机制的执行效率和灵活性;针对SCM的访问特性,设计混合式一致性策略,根据更新数据量的大小动态调整一致性保障方法,从而实现文件系统的强一致性保证,同时大大减少了保障一致性的时间开销。并且基于PMFS分别实现了三种一致性策略的原型系统,实验结果表明在修改数据量较小的场合,clflush/sfence策略和tornbit RAWL策略相比两次fence策略减少了10%的时间开销,在修改数据量相对较大的场合,两次fence策略则相比另外两个策略分别减少了8%~170%的时间开销,验证了混合式一致性策略的有效性。最后,本文在Linux下实现了SCMCFS的原型,使用Fio、Postmark和Filebench等测试工具,以及多个数据集进行了测试,并与现有文件系统PMFS、PMBD上的Ext2和Ext4进行了对比与分析;实验结果表明SCMCFS性能接近于PMFS;相比PMBD上的Ext2和Ext4,读性能提高了4.4倍和5倍、写性能提高了2.8和1.9倍、IOPS提高了45%和62%;SCMCFS相比Ext4修改每个B的平均一致性额外时间开销减少了60%-90%、总额外时间开销减少了50%-92%。
【关键词】：存储级内存 文件系统 非易失性存储器 混合存储系统
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 绪论10-20
• 1.1 研究的内容和意义10-12
• 1.2 构建SCM的存储设备12-15
• 1.3 大容量SCM的结构15-17
• 1.4 国内外研究现状17-18
• 1.5 本文的主要工作和组织结构18-20
• 1.5.1 本文的主要工作18-19
• 1.5.2 本文的组织结构19-20
• 第二章 面向大容量SCM融合式文件系统的结构20-29
• 2.1 SCM访问接口及文件系统优化技术20-23
• 2.1.1 SCM访问接口设计与优化20-22
• 2.1.2 SCM文件系统设计与优化22-23
• 2.2 面向大容量SCM融合式文件系统的分析23-25
• 2.3 面向大容量SCM融合式文件系统的结构25-28
• 2.4 本章小结28-29
• 第三章 SCMCFS的组织与管理29-41
• 3.1 头尾式空间布局29-31
• 3.2 基于双层radix-tree的元数据组织31-32
• 3.3 存储空间的分配32-33
• 3.4 融合式文件组织与管理33-38
• 3.4.1 大容量SCM中文件管理的问题33-34
• 3.4.2 融合式文件组织结构34-35
• 3.4.3 动态存储策略35-36
• 3.4.4 非对称文件缓冲区调入策略36-38
• 3.5 原型系统的测试与分析38-40
• 3.5.1 测试环境38-39
• 3.5.2 I/O性能的测试与分析39
• 3.5.3 改变字节分区大小的测试与分析39-40
• 3.6 本章小结40-41
• 第四章 SCMCFS的一致性机制41-47
• 4.1 文件系统一致性问题的产生41-42
• 4.2 现有面向SCM的一致性策略42-44
• 4.3 混合式一致性策略44-45
• 4.4 原型系统的测试与分析45-46
• 4.4.1 测试环境45
• 4.4.2 三种一致性策略的测试与分析45-46
• 4.5 本章小结46-47
• 第五章 SCMCFS的测试与分析47-58
• 5.1 SCMCFS的实现及测试环境47-50
• 5.1.1 SCMCFS的实现47-49
• 5.1.2 测试环境49-50
• 5.2 SCMCFS的I/O性能50-52
• 5.3 文件缓冲区大小的影响52-53
• 5.4 SCMCFS的一致性开销53-55
• 5.5 综合负载环境下的测试55-57
• 5.6 本章小结57-58
• 第六章 总结与展望58-60
• 6.1 工作总结58-59
• 6.2 工作展望59-60
• 参考文献60-63
• 致谢63-64
• 在学期间发表的学术论文及其他科研成果64

【相似文献】

中国期刊全文数据库 前10条

1 徐莺,李永宁,曾曦;网络视频监控系统中文件系统的设计与实现[J];现代计算机(专业版);2002年12期

2 刘可嘉;梁阿磊;;实现实时FAT文件系统的一种简单方法[J];计算机工程与应用;2008年16期

3 卢萍;陈进才;;一种基于对象存储的文件系统的设计[J];计算机科学;2008年10期

4 李涛;梁洪亮;;具有事件恢复功能的文件系统的研究与实现[J];计算机科学;2009年03期

5 冯新国，徐秋元;基于文件系统的封锁机制[J];计算机工程与应用;1995年05期

6 高天真,卞立平;三种文件系统之剖析[J];市场与电脑;1998年12期

7 符碧丹,倪晓明;群集环境下的直接文件系统访问[J];四川通信技术;2001年02期

8 刺猬;文件系统全面介绍[J];电脑爱好者;2001年09期

9 ;文件、文件系统、文件库[J];电子科技文摘;2001年09期

10 曲东才;光盘文件系统标准[J];电脑技术;2002年09期

中国重要会议论文全文数据库 前10条

1 谢菲;钱曙霞;;并行文件系统技术在新华社奥运报道系统中的实现及应用[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

2 冯新国;陶志成;;基于文件系统的封锁机制[A];第十一届全国数据库学术会议论文集[C];1993年

3 仇建伟;郑红;;适用于视频文件系统的有效调度方法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

4 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

5 高杰;陆应华;陈世文;;基于文件过滤驱动的信息保护研究[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集（下册）[C];2010年

6 卢雪山;戴华东;颜跃进;;Ext文件系统检测和修复工具的研究与改进[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

7 郑思;杨尹;;Checksum技术在文件系统中应用的研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集（下册）[C];2009年

8 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

9 魏环宇;阳国贵;;一个基于数据库的文件系统(XFS)的设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

10 沈志荣;薛矛;薛巍;舒继武;;Corslet安全文件系统的分析和优化[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 谷治平;文件系统———结合实际重在内容[N];中国医药报;2003年

2 江苏 王志军;磁盘的文件系统[N];电脑报;2001年

3 张群英;超级文件系统规模再突破[N];网络世界;2006年

4 ;施乐公司推出顶级数码工程文件系统[N];网络世界;2000年

5 凡妮;IBM TotalStorage SAN文件系统实现数据共享[N];电脑商报;2004年

6 ;共享单一文件系统[N];网络世界;2005年

7 黑龙江 马宪廷;玩转文件系统格式转换[N];电脑报;2003年

8 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年

9 乐天邋编译;近距离观看Snow Leopard Server[N];计算机世界;2008年

10 ;集群储存技术解决“大”问题[N];计算机世界;2004年

中国博士学位论文全文数据库 前10条

1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年

2 谈华芳;基于共享对象存储设备的并行文件系统研究[D];中国科学院研究生院（计算技术研究所）;2005年

3 夏鹏;文件系统语义分析技术研究[D];华中科技大学;2011年

4 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院（计算技术研究所）;2006年

5 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年

6 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年

7 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院（计算技术研究所）;1999年

8 徐虎;基于SAN的安全单映像Cluster文件系统关键技术的研究[D];国防科学技术大学;2003年

9 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年

10 李庆虎;基于P2P架构的网格文件系统研究[D];清华大学;2004年

中国硕士学位论文全文数据库 前10条

1 刘佩;基于纠删码技术的HD_EC文件系统的设计与实现[D];曲阜师范大学;2015年

2 罗思斌;嵌入式Linux支持exFAT文件系统研究及移植[D];电子科技大学;2014年

3 陶涛;隐私信息保护系统的设计与实现[D];电子科技大学;2014年

4 毕宇;注册表文件系统的设计与实现[D];电子科技大学;2014年

5 丘文未;基于软硬件协同设计的闪存存储系统关键技术研究与实现[D];国防科学技术大学;2013年

6 赖尚校;基于ARM的嵌入式闪存驱动与UBIFS文件系统的分析与实现[D];浙江工业大学;2014年

7 王维;基于Linux的手持式UHF RFID读写器设计[D];济南大学;2015年

8 宋亚利;Btrfs文件系统自动化测试工具的设计与实现[D];吉林大学;2015年

9 梁钟丽;基于嵌入式平台的文件系统研究[D];大连海事大学;2016年

10 李吉乐;Linux文件系统性能优化技术的研究[D];中国石油大学(华东);2014年

  本文关键词：面向大容量SCM的融合式文件系统，由笔耕文化传播整理发布。

本文编号：368909