面向海量小文件的分布式存储系统设计与实现

发布时间：2017-08-21 18:28

  本文关键词：面向海量小文件的分布式存储系统设计与实现

  更多相关文章： 分布式存储 小文件 海量数据 Protobuf 并发性

【摘要】：针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案。采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化。实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统。
【作者单位】： 中国石油大学地球物理与信息工程学院;中国石油大学油气数据挖掘北京市重点实验室;
【关键词】： 分布式存储 小文件 海量数据 Protobuf 并发性
【分类号】：TP333
【正文快照】： 0引言主流存储系统大都面向于TB级别的大型数据,小文件的存储效率不高[1-3]。根据HDFS设计,文件采用元数据作为记录的最小单位,当大量的小文件存储到HDFS中时,NameNode会耗尽大部分内存,造成存储效率低下,限制了文件的访问速度[4]。Dong Bo等在BlueSky中使用文件合并和预读机

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t，

本文编号：714438