一种Hadoop小文件存储优化方案

发布时间：2017-06-10 12:17

  本文关键词：一种Hadoop小文件存储优化方案，，由笔耕文化传播整理发布。

【摘要】：Hadoop分布式文件系统(HDFS)适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,过多的小文件将会导致整个集群的负载过高。为了提高HDFS处理小文件的性能,提出了双重合并算法-即基于文件之间的关联关系和基于数据块平衡的小文件合并算法,能够将小文件的文件体积大小进行均匀分布。通过该算法能够进一步提升小文件的合并效果,减少HDFS集群主节点内存消耗,降低负载,有效降低合并所需的数据块数量,最终能够提高HDFS处理海量小文件的性能。
【作者单位】： 北京工业大学计算机学院;
【关键词】： Hadoop分布式文件系统 小文件 合并算法 文件关联
【基金】：国家自然科学基金资助项目(61272500)
【分类号】：TP333
【正文快照】： 0引言随着互联网的高速发展,当今社会所产生的数据量在急速增长,据统计目前人类一年产生的数据量的规模就相当于人类进入现代化以前所有历史的总和。2014年国内数据总量约为1.4 ZB,是2012年的3.5倍,预计2020年国内产生的数据总量将超过8.6ZB[1]。Hadoop是一个能够对大数据进行

【相似文献】

中国期刊全文数据库 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

中国重要会议论文全文数据库 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

中国重要报纸全文数据库 前9条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

中国硕士学位论文全文数据库 前10条

1 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

2 李长平;基于FastDFS架构的小文件存储系统的设计与实现[D];哈尔滨工业大学;2015年

3 叶道平;基于HADOOP的海量录音文件存储系统的设计与实现[D];电子科技大学;2014年

4 张振猛;基于Hadoop的海量文件存储系统的分析与设计[D];北京工业大学;2015年

5 何高峰;基于HDFS的多租户小文件存储系统的研究与设计[D];浙江大学;2016年

6 武奇;云存储中数据的分发与迁移机制的研究[D];长春工业大学;2016年

7 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

8 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

9 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

10 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

  本文关键词：一种Hadoop小文件存储优化方案，由笔耕文化传播整理发布。

本文编号：438516