一种面向HDFS中海量小文件的存取优化方法

发布时间：2018-11-19 11:31

【摘要】：为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优化方案。首先通过分析大量小文件历史访问日志,得到小文件之间的关联关系,然后根据文件相关性将相关联的小文件合并成大文件后再存储到HDFS。从HDFS中读取数据时,根据文件之间的相关性,对接下来用户最有可能访问的文件进行预取,减少了客户端对NameNode节点的访问次数,提高了文件命中率和处理速度。实验结果证明,该方法有效提升了Hadoop对小文件的存取效率,降低了NameNode节点的内存占用率。
[Abstract]:In order to solve the problem of NameNode memory bottleneck encountered by HDFS (Hadoop distributed file system) in storing large small files and improve the efficiency of HDFS in processing large amount of small files, an access optimization scheme based on small file merging and prefetching is proposed. First, by analyzing a large number of small files history access log, get the correlation between small files, then according to the file correlation associated small files are merged into large files, then stored in HDFS. When reading data from HDFS, according to the correlation between files, prefetching the files that the next user is most likely to access reduces the number of visits to NameNode nodes by the client, and improves the hit rate and processing speed of the files. Experimental results show that the proposed method can effectively improve the efficiency of Hadoop access to small files and reduce the memory occupancy of NameNode nodes.
【作者单位】： 常州大学信息科学与工程学院;
【基金】：国家自然科学基金资助项目(11271057,61640211) 江苏省普通高校研究生科研创新计划项目(SCZ1412800004)
【分类号】：TP333

【相似文献】

相关期刊论文 前8条

1 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

2 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

5 彭仁通;;Hadoop的核心技术研究或概述[J];科技广场;2012年05期

6 蒋苏蓉;蓝江桥;杨玉海;;Hadoop框架下的情报分析大数据调度超时预测方法[J];计算机科学;2014年S1期

7 陈薇;杨昕;;基于HDFS的云存储安全技术分析[J];计算机光盘软件与应用;2014年08期

8 ;[J];;年期

相关硕士学位论文 前9条

1 霍振奇;基于HDFS的创新知识存储及分发架构的研究与设计[D];河北工业大学;2015年

2 袁国伟;HDFS高可用性方案的研究与设计[D];杭州电子科技大学;2015年

3 黄健;基于HDFS安全云存储模型的研究[D];广东工业大学;2016年

4 魏南琛;面向光盘库的HDFS文件系统应用研究与实现[D];华中科技大学;2014年

5 孙成煊;基于用户行为分析的HDFS小文件问题优化及相关I/O设计[D];华南理工大学;2016年

6 张荣;基于HDFS的海量小文件处理性能的研究与优化[D];电子科技大学;2016年

7 李梦楠;基于HDFS的名字节点的性能优化技术研究[D];沈阳工业大学;2015年

8 储雅;基于HDFS的气象云存储的副本管理策略研究[D];南京信息工程大学;2014年

9 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

，

本文编号：2342179