基于Hadoop的海量小文件合并的研究与设计

发布时间：2017-11-06 18:11

  本文关键词：基于Hadoop的海量小文件合并的研究与设计

  更多相关文章： Hadoop HDFS 小文件 元数据 Har HBase Sequence File

【摘要】：基于Hadoop海量小文件合并的策略研究,一方面为了减轻Name Node的元数据量,利用Eclipse开发工具实现了Har、HBase、Sequence File三种主流合并方案对海量小文件的合并;另一方面分析这三种主流合并方案在不同场景下性能以及应用方面的优劣,进而为海量小文件在Hadoop上的存储提供一些有价值的参考.
【作者单位】： 广东技术师范学院电子与信息学院;
【基金】：广东省公益研究与能力建设专项资金(2014A010103032) 广东省科技型中小企业技术创新专项资金项目(2016A010120010;2014A010101109;2014A010101092)资助
【分类号】：TP333;TP311.13
【正文快照】： 1引言Hadoop分布式数据存储和处理框架凭借其高效、可靠、高容错等优点,渐渐成为了炙手可热的大数据存储和处理工具.Hadoop分布式文件系统(HDFS)是Hadoop的核心部分,它所具有的两类节点以管理者-工作者的模式运行,即单一Name Node(管理者)和若干个Data Node(工作者).Name Node

【相似文献】

中国期刊全文数据库 前3条

1 李宁;;浅析使用电子文件的新问题及对策[J];石油化工应用;2006年06期

2 袁敏;;电子文件在归档工作中几点问题的思考[J];办公自动化;2007年18期

3 ;[J];;年期

中国硕士学位论文全文数据库 前1条

1 左大鹏;Hadoop小文件存储管理的研究与实现[D];北京交通大学;2015年

，

本文编号：1148793