HDFS中海量小文件合并与预取优化方法的研究

发布时间：2018-03-16 06:29

  本文选题：HDFS　切入点：海量文件　出处：《计算机科学》2017年S2期 　论文类型：期刊论文

【摘要】：HDFS在存储海量文件时具有明显的优势,但在存储小文件占绝大多数的海量文件时,HDFS单个NameNode的存储架构会导致其性能严重降低。为此,提出一种基于合并思想的方案,即将小文件合并为大文件,同时建立小文件到合并文件的映射关系,并将其存于HBase中。为了提高读取速度,建立了基于LRU的预取机制。实验表明,该方法能明显提高HDFS在处理海量文件时的整体性能。
[Abstract]:HDFS has obvious advantages in storing large files, but the storage architecture of single NameNode will cause serious degradation when storing large files with small files. Therefore, a scheme based on merging idea is proposed. In order to improve the speed of reading, the prefetching mechanism based on LRU is established, and the mapping relationship between small file and merged file is established, and the mapping relationship between small file and merged file is established. The experimental results show that, in order to improve the speed of reading, a prefetching mechanism based on LRU is established. This method can obviously improve the overall performance of HDFS in processing massive files.
【作者单位】： 华东理工大学信息科学与工程学院;
【基金】：国家自然科学基金资助项目(61672227)资助
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 建华;怎样看懂DVD光盘的文件[J];电子世界;2003年01期

2 亓兰武,周晓;OBJ文件和HEX文件相互转换原理与实现[J];电子技术应用;1996年07期

3 周力强，，许斌;CD-ROM文件和卷结构标准的分析与研究[J];激光与红外;1998年06期

4 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

5 张明敏,潘志庚;CD—ROM光盘的卷和文件结构(1)[J];光盘技术;1995年03期

6 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

7 朴顺姬,曲秀敏,崔立缘;程序光盘目录结构剖析[J];佳木斯大学学报(自然科学版);2002年03期

8 杨培勇;赵志强;孙鹏;;一种智能终端数据共享中的预取缓存技术[J];网络新媒体技术;2012年04期

9 王涛;姚世红;徐正全;熊炼;;云存储中面向访问任务的小文件合并与预取策略[J];武汉大学学报(信息科学版);2013年12期

10 唐丽梅;邢素霞;陈天华;;多用户存储中自适应动态预取策略[J];电子技术应用;2013年01期

相关重要报纸文章 前1条

1 春天;免费升级DC变DV[N];中国计算机报;2004年

相关硕士学位论文 前10条

1 高泽栋;一种优化HDFS小写文件存储策略研究与实现[D];华中科技大学;2013年

2 霍振奇;基于HDFS的创新知识存储及分发架构的研究与设计[D];河北工业大学;2015年

3 黄健;基于HDFS安全云存储模型的研究[D];广东工业大学;2016年

4 魏南琛;面向光盘库的HDFS文件系统应用研究与实现[D];华中科技大学;2014年

5 张荣;基于HDFS的海量小文件处理性能的研究与优化[D];电子科技大学;2016年

6 王纪良;基于移动通信开放业务能力平台的云存储系统设计与实现[D];吉林大学;2013年

7 李梦楠;基于HDFS的名字节点的性能优化技术研究[D];沈阳工业大学;2015年

8 储雅;基于HDFS的气象云存储的副本管理策略研究[D];南京信息工程大学;2014年

9 肖畅;安全云存储的应用研究[D];上海交通大学;2014年

10 王洪翰;X处理器中高速寄存器文件全定制设计与实现[D];国防科学技术大学;2009年

本文编号：1618715