海量文件分布式存取技术研究

发布时间：2017-12-01 16:33

  本文关键词：海量文件分布式存取技术研究

  更多相关文章： 分布式存取 元数据扩展 数据缓存 数据预取 存取性能

【摘要】：随着云时代的到来,大数据吸引了越来越多的关注,每天互联网上新产生的数据以数以亿计的速度激增。这种数量级的数据量已经远远超出了一台计算机的处理能力,如何存储和管理这些数据成为人们关注的焦点。基于此,分布式文件系统被提出并得到广泛的应用。而分布式文件系统中所涉及到的各种分布式存取技术也成为人们研究的热点。 本文首先广泛调研了分布式文件系统的发展和现状,并基于MooseFS (MFS)分布式文件系统对海量文件的分布式存取技术进行了详细的研究和介绍。 其次,本文针对MFS使用一台元数据服务器存储整个文件系统的元数据从而限制整个文件系统的存储容量和存取效率的问题,提出了一种基于静态哈希的元数据扩展管理方法。该方法将一台元数据服务器扩展为元数据服务器集群,同时有效解决了静态哈希方法目录重命名时数据迁移量较大和权限认证网络时延较长的问题。 再次,本文针对MFS系统缺乏小文件缓存机制从而降低了小文件重复读取的读取速率的问题,提出了MFS数据缓存优化机制。该缓存机制将最近访问的文件保存在MFS客户端的内存缓存区,当客户端需要读取同一文件时,便直接从内存中读取数据。.实验结果表明,改进后的机制大大提高了小文件的重复读取速率。 ‘最后,本文针对MFS系统对大文件的读取缺乏预取机制导致读取速率变慢的缺点,提出了MFS数据预取机制。当文件大小超过1MB,并且客户端以连续读取操作触发预取机制时,系统将数据提前传送至客户端内存。实验结果表明,当对大文件进行读取操作时,改进后的机制不仅缩短了系统读取文件的操作完成时间和响应时间,还提高了系统的吞吐量。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】

中国期刊全文数据库 前4条

1 应骏;江峰;李莉;;嵌入式设备上的文件系统优化设计[J];电子技术应用;2007年12期

2 谢胜彬,陶洋,王国梁;DAS、NAS与SAN的研究与应用[J];计算机与现代化;2003年07期

3 罗家融,徐浩,朱琳,季振山,田一海,江海燕;Socket通信编程在分布式控制系统中的应用[J];微型机与应用;2001年01期

4 徐学雷;;网络存储技术及其新进展[J];北京电子科技学院学报;2005年04期

，

本文编号：1241759