HDFS中高效存储小文件的方法

发布时间：2018-11-17 19:11

【摘要】：为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。
[Abstract]:In order to improve the inefficiency of using Hadoop distributed file system to store a large number of small files, the NameNode is separated from its responsibilities, and the metadata information is stored synchronously by using a separate NFS server, so as to reduce the pressure of Client data request. Provide large throughput data access and improve access latency; The design of the corresponding pattern of files and data blocks allows multiple small files to be stored in the same block and implements the system, which provides an effective solution for the storage of large amounts of small files. Experimental results show that this mechanism can efficiently access large amount of small files under the background of rapid growth of data.
【作者单位】： 江苏大学计算机科学与通信工程学院;南京理工大学计算机系;江苏实达迪美数据处理有限公司;
【分类号】：TP333

【参考文献】

相关期刊论文 前4条

1 邓鹏;李枚毅;何诚;;Namenode单点故障解决方案研究[J];计算机工程;2012年21期

2 王铃惠;李小勇;张轶彬;;海量小文件存储文件系统研究综述[J];计算机应用与软件;2012年08期

3 余思;桂小林;黄汝维;庄威;;一种提高云存储中小文件存储效率的方案[J];西安交通大学学报;2011年06期

4 陈旭文;黄英铭;;海量视频点播系统的云计算技术与建模实现[J];现代电子技术;2013年14期

【共引文献】

相关期刊论文 前10条

1 董屹;王昆鹏;;云存储在数字图书馆中的应用[J];电脑知识与技术;2013年09期

2 吴晨;朱庆;张叶廷;许伟平;;基于混合瓦片的海量DEM/DOM数据高效存储管理方法——以应急救灾数据库为例[J];地理信息世界;2014年03期

3 熊安萍;黄容;邹洋;;一种基于混合索引的HDFS小文件存储策略[J];重庆邮电大学学报(自然科学版);2015年01期

4 陈桦;李艳明;朱美正;;一种支持大量并发用户的瓦片缓存方案研究[J];计算机工程与科学;2012年12期

5 朱媛媛;王晓京;;基于GE码的HDFS优化方案[J];计算机应用;2013年03期

6 刘高军;王帝澳;;基于Redis的海量小文件分布式存储方法研究[J];计算机工程与科学;2013年10期

7 夏敏纳;龚德良;肖娟;;一种面向可靠云计算的自适应故障检测方法[J];计算机应用研究;2014年02期

8 陈旭文;吴永娜;;基于云存储的精品资源共享模式研究[J];江西科学;2014年02期

9 罗学礼;徐树振;王森;杨莉;段嘉杰;;电力企业的非结构化数据检索研究[J];计算机与数字工程;2014年04期

10 徐树振;罗学礼;王森;杨莉;段嘉杰;张德刚;;企业非结构化数据检索研究[J];信息技术;2014年04期

相关硕士学位论文 前10条

1 林旭;云存储中的数据删除技术研究[D];上海交通大学;2011年

2 张喜;海量数据存储模式的研究[D];广东工业大学;2012年

3 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年

4 贾少攀;基于Hadoop的XBRL数据分析系统设计与实现[D];大连理工大学;2013年

5 吕培培;云计算环境的数据存储管控技术研究[D];北方工业大学;2013年

6 钱进进;私有云安全存储技术的研究与实现[D];广东工业大学;2013年

7 张钌;在线科技论文编辑和自动排版平台研究[D];兰州大学;2013年

8 赵少锋;云存储系统关键技术研究[D];郑州大学;2013年

9 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

10 吴舰;基于云存储的数据流处理技术的研究[D];武汉理工大学;2013年

【二级参考文献】

相关期刊论文 前6条

1 马立平;统计数据标准化──无量纲化方法──现代统计分析方法的学与用(三)[J];北京统计;2000年03期

2 李玲;付园;麻晓珍;张海蓉;;云存储系统中数据冗余策略优化问题[J];吉林大学学报(信息科学版);2013年01期

3 陈旭文;林若波;;基于P2P的多源VOD系统的设计[J];测控技术;2012年08期

4 许丞;刘洪;谭良;;Hadoop云平台的一种新的任务调度和监控机制[J];计算机科学;2013年01期

5 刘立坤;武永卫;徐鹏志;杨广文;;CorsairFS:一种面向校园网的分布式文件系统[J];西安交通大学学报;2009年08期

6 武滢;谢里阳;李进冬;;应用Petri网的关联矩阵求最小割集的新方法[J];中国机械工程;2008年09期

【相似文献】

相关期刊论文 前10条

1 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

2 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

5 彭仁通;;Hadoop的核心技术研究或概述[J];科技广场;2012年05期

6 蒋苏蓉;蓝江桥;杨玉海;;Hadoop框架下的情报分析大数据调度超时预测方法[J];计算机科学;2014年S1期

7 陈薇;杨昕;;基于HDFS的云存储安全技术分析[J];计算机光盘软件与应用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相关硕士学位论文 前1条

1 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

，

本文编号：2338785