基于SMDFS实现POSIX兼容的云存储网盘系统
发布时间：2021-02-03 15:04
开源分布式文件系统HDFS为支持流式读写、提供高吞吐量访问而放宽了一部分POSIX约束,而基于HDFS研发的海量小文件系统SMDFS遗留了HDFS不兼容POSIX约束的这一问题,导致系统在实际生产应用环境中无法直接兼容传统的上层应用。现有的很多POSIX兼容的分布式文件系统大多源于文件系统服务端对文件随机访问等操作的支持,或者仅针对其自研文件系统的业务场景提供了类POISX支持,不能作为SMDFS或HDFS等其他POSIX不兼容的文件系统的参考方案。论文在现有的研究成果之上,分析了现有的分布式文件系统兼容现状以及主流的POSIX约束实现方式,并结合SMDFS暂不支持POSIX标准的原因,基于用户空间文件系统FUSE提出了基于数据暂存区的文件流重定向模型,通过将需要进行POSIX相关操作的对象转移到数据暂存区作为镜像文件,利用本地文件系统的POSIX兼容属性完成客户端的POSIX操作需求,再借助异步线程池完成镜像文件的同步以保持文件系统数据的完整性,同时采用覆写中断并发控制方案解决镜像文件同步期间的同一个文件读写冲突问题,保证系统的高并发性能。基于数据暂存区的文件流重定向模型为分布式文件...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
元数据缓存目录List性能对比实验
总结比较元数据缓存对比实验的结果可以发现，不设置元数据缓存的情况下续两次目录 List 操作的响应时间几乎一致；而设置元数据缓存时，第二次调个目录的 List 操作会比第一次执行目录 List 操作的响应时间短，但第一次目ist 操作的响应时间比没有缓存的情况要短。这是因为操作系统在执行 List 目录作前会先执行 readdir 的操作，基于目录的元数据缓存设置会在系统执行 read操作时会先装载该目录下元数据，再由本地元数据缓存处理后续目录的 List ，而第二次调用 List 时无需再进行元数据装载操作，所以效率会更高。元数存的设置减少了 RPC 调用，有效的提升了客户端目录 List 操作的性能，性能幅度取决于目录下文件的数量级，单目录下文件量为 50000 时，List 性能可以约 10 倍。6.2.2 SMDFS3.0 随机写功能测试由于 SMDFS2.0 与 HDFS 均不支持文件的随机写，因此测试使用支持随机读试的工具 iozone 对 SMDFS3.0 进行功能测试，同时与本地文件系统对比性能数为 10 线程，文件大小为 1GB，记录大小为 4KB。测试结果如图 6.3 所示。
性能以及 SMDFS3.0 Linux 客户端相对于 SMDFS2.0 Java 接口的性能损耗。分布式集群初始装载 1000 万个文件，五个客户端同时进行以下测试: 每个客户端单线程，每个线程从集群 1000 万文件中随机下载 1 万个文件，五个客户端累计下载 5 万个文件，记录单个文件平均读延时。 每个客户端 10 个线程，每个线程从集群 1000 万文件中随机下载 5000 个文件，五个客户端累计下载 25 万个文件，记录单个文件平均读延时。 每个客户端单线程，每个线程从集群某个目录下顺序下载 1 万个文件，五个客户端累计下载 5 万个文件，记录单个文件平均读延时。 每个客户端 10 个线程，每个线程从集群某个目录下顺序下载 1 万个文件，五个客户端累计下载 50 万个文件，记录单个文件平均读延时。 每个客户端单线程，每个线程向集群写入 2 万个文件，五个客户端累计上传 10 万个文件，记录单个文件平均写延时。 每个客户端 10 个线程，每个线程向集群写入 1 万个文件，五个客户端累计上传 50 万个文件，记录单个文件平均写延时。实验结果如图 6.4 所示。
【参考文献】：
期刊论文
[1]SMDFS分布式海量小文件系统的大空间聚合存储技术[J]. 严巍巍,何连跃,李三霞,成颖佼. 计算机研究与发展. 2015(S2)
[2]面向对象存储的文件系统Lustre[J]. 梁军,聂瑞华. 计算机工程与设计. 2015(06)
[3]一种Hadoop小文件存储和读取的方法[J]. 张春明,芮建武,何婷婷. 计算机应用与软件. 2012(11)
[4]基于Fuse的用户态文件系统的设计[J]. 吴一民,刘伟安. 微计算机信息. 2010(06)
[5]线程池的多线程并发控制技术研究[J]. 杨开杰,刘秋菊,徐汀荣. 计算机应用与软件. 2010(01)
博士论文
[1]海量数据存储系统的高可靠性关键技术研究与应用[D]. 蒋海波.电子科技大学 2013
硕士论文
[1]兼容POSIX接口的云存储文件系统的设计与实现[D]. 蒋忠娟.电子科技大学 2014
[2]基于MooseFS的云存储系统的研究与实现[D]. 魏雪波.电子科技大学 2013
[3]基于POSIX语义的分布式文件系统客户端设计与实现[D]. 王勇涛.电子科技大学 2013
[4]基于FUSE的用户态文件系统的设计与实现[D]. 黄永胜.东北大学 2012
[5]基于HDFS的分布式Namenode节点模型的研究[D]. 李宽.华南理工大学 2011
[6]NAS网络存储技术研究[D]. 刘金柱.华中科技大学 2009
本文编号：3016712
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
元数据缓存目录List性能对比实验
总结比较元数据缓存对比实验的结果可以发现，不设置元数据缓存的情况下续两次目录 List 操作的响应时间几乎一致；而设置元数据缓存时，第二次调个目录的 List 操作会比第一次执行目录 List 操作的响应时间短，但第一次目ist 操作的响应时间比没有缓存的情况要短。这是因为操作系统在执行 List 目录作前会先执行 readdir 的操作，基于目录的元数据缓存设置会在系统执行 read操作时会先装载该目录下元数据，再由本地元数据缓存处理后续目录的 List ，而第二次调用 List 时无需再进行元数据装载操作，所以效率会更高。元数存的设置减少了 RPC 调用，有效的提升了客户端目录 List 操作的性能，性能幅度取决于目录下文件的数量级，单目录下文件量为 50000 时，List 性能可以约 10 倍。6.2.2 SMDFS3.0 随机写功能测试由于 SMDFS2.0 与 HDFS 均不支持文件的随机写，因此测试使用支持随机读试的工具 iozone 对 SMDFS3.0 进行功能测试，同时与本地文件系统对比性能数为 10 线程，文件大小为 1GB，记录大小为 4KB。测试结果如图 6.3 所示。
性能以及 SMDFS3.0 Linux 客户端相对于 SMDFS2.0 Java 接口的性能损耗。分布式集群初始装载 1000 万个文件，五个客户端同时进行以下测试: 每个客户端单线程，每个线程从集群 1000 万文件中随机下载 1 万个文件，五个客户端累计下载 5 万个文件，记录单个文件平均读延时。 每个客户端 10 个线程，每个线程从集群 1000 万文件中随机下载 5000 个文件，五个客户端累计下载 25 万个文件，记录单个文件平均读延时。 每个客户端单线程，每个线程从集群某个目录下顺序下载 1 万个文件，五个客户端累计下载 5 万个文件，记录单个文件平均读延时。 每个客户端 10 个线程，每个线程从集群某个目录下顺序下载 1 万个文件，五个客户端累计下载 50 万个文件，记录单个文件平均读延时。 每个客户端单线程，每个线程向集群写入 2 万个文件，五个客户端累计上传 10 万个文件，记录单个文件平均写延时。 每个客户端 10 个线程，每个线程向集群写入 1 万个文件，五个客户端累计上传 50 万个文件，记录单个文件平均写延时。实验结果如图 6.4 所示。
【参考文献】：
期刊论文
[1]SMDFS分布式海量小文件系统的大空间聚合存储技术[J]. 严巍巍,何连跃,李三霞,成颖佼. 计算机研究与发展. 2015(S2)
[2]面向对象存储的文件系统Lustre[J]. 梁军,聂瑞华. 计算机工程与设计. 2015(06)
[3]一种Hadoop小文件存储和读取的方法[J]. 张春明,芮建武,何婷婷. 计算机应用与软件. 2012(11)
[4]基于Fuse的用户态文件系统的设计[J]. 吴一民,刘伟安. 微计算机信息. 2010(06)
[5]线程池的多线程并发控制技术研究[J]. 杨开杰,刘秋菊,徐汀荣. 计算机应用与软件. 2010(01)
博士论文
[1]海量数据存储系统的高可靠性关键技术研究与应用[D]. 蒋海波.电子科技大学 2013
硕士论文
[1]兼容POSIX接口的云存储文件系统的设计与实现[D]. 蒋忠娟.电子科技大学 2014
[2]基于MooseFS的云存储系统的研究与实现[D]. 魏雪波.电子科技大学 2013
[3]基于POSIX语义的分布式文件系统客户端设计与实现[D]. 王勇涛.电子科技大学 2013
[4]基于FUSE的用户态文件系统的设计与实现[D]. 黄永胜.东北大学 2012
[5]基于HDFS的分布式Namenode节点模型的研究[D]. 李宽.华南理工大学 2011
[6]NAS网络存储技术研究[D]. 刘金柱.华中科技大学 2009
本文编号：3016712
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3016712.html
