基于关联规则挖掘的分布式小文件存储方法

发布时间：2017-09-05 01:14

  本文关键词：基于关联规则挖掘的分布式小文件存储方法

  更多相关文章： HDFS 关联规则挖掘 小文件关联性 预取

【摘要】：Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法——ARMFS。ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率。实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的改善十分有效。
【作者单位】： 华东理工大学信息科学与工程学院;
【关键词】： HDFS 关联规则挖掘 小文件关联性 预取
【基金】：国家自然科学基金(61300041,61272198)
【分类号】：TP311.13;TP333
【正文快照】： Hadoop分布式文件系统(HDFS)是一种 Master/Slave主从式结构,一个HDFS系统由一个NameNode节点和若干个DataNode节点组成。其中文件的元数据(MeteData)信息存放在系统NameNode节点的内存中,这样就导致了文件的存 储规模受到内存大小的限制。例如,对于每1个文件HDFS存储的Mete

【相似文献】

中国期刊全文数据库 前10条

1 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

2 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

3 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

4 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

5 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

6 ;1UNAS放上LCD面板[J];每周电脑报;2003年26期

7 刘友安;罗明超;;云计算环境下网格文件存储应用研究[J];制造业自动化;2013年04期

8 蔡斌;谢长生;朱光喜;;基于分散式体系结构的高可靠文件存储系统的研究[J];计算机科学;2008年09期

9 张驰;乔亚琼;;一种基于随机线性网络编码的分布式文件存储系统研究[J];科技信息;2010年03期

10 岳斌,代亚非,韩华;分布式文件存储系统性能测试问题研究[J];计算机工程与应用;2003年22期

中国重要会议论文全文数据库 前1条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

中国重要报纸全文数据库 前2条

1 张峰;统一存储 业务连续[N];网络世界;2006年

2 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

中国硕士学位论文全文数据库 前10条

1 何高峰;基于HDFS的多租户小文件存储系统的研究与设计[D];浙江大学;2016年

2 武奇;云存储中数据的分发与迁移机制的研究[D];长春工业大学;2016年

3 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

4 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

5 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

6 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

7 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年

8 郑钊;专控计算机分离式文件存储的研究[D];西安电子科技大学;2014年

9 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

10 何娟;基于分布式文件存储的个人信息融合系统的研究与实践[D];北京邮电大学;2010年

，

本文编号：794940