海量教育资源中小文件的存储研究

发布时间：2018-06-20 01:12

  本文选题：Hadoop + 海量小文件　； 参考：《计算机科学》2015年10期

【摘要】：Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。
[Abstract]:Hadoop, as a mature distributed cloud platform, can provide reliable and efficient storage services. Hadoop is often used to solve the storage problem of large files, but the efficiency of processing large and small files is significantly reduced. Based on Hadoop, a storage optimization scheme for large and small files of educational resources is proposed. That is to say, the small files are merged into large files to reduce the number of files by using the relationship between the small files of educational resources. Using index mechanism to access small files, metadata cache and associated small file prefetching mechanism to improve the efficiency of file reading. Experiments show that the proposed method improves the efficiency of Hadoop file system access to small files.
【作者单位】： 电子科技大学计算机科学与工程学院;
【基金】：教育部——中国移动科研基金项目:海量教育资源去存储与获取关键技术研究与实现(MCM 20121041)资助
【分类号】：TP311.13;TP333

【参考文献】

相关期刊论文 前2条

1 赵晓永;杨扬;孙莉莉;陈宇;;基于Hadoop的海量MP3文件存储架构[J];计算机应用;2012年06期

2 王涛;姚世红;徐正全;熊炼;;云存储中面向访问任务的小文件合并与预取策略[J];武汉大学学报(信息科学版);2013年12期

【共引文献】

相关期刊论文 前10条

1 王剑;黄朝光;;海量农业科学数据存储体系架构与方法研究[J];广东农业科学;2015年02期

2 肖体伟;;基于Hadoop的云端异常流量检测与分析平台[J];电子技术应用;2015年05期

3 杨芙容;王永丽;王文明;;基于Hadoop的海量气象雷达小文件存储研究[J];成都信息工程学院学报;2015年03期

4 赵晓永;杨扬;孙莉莉;;一种采用声学指纹去重的海量MP3文件存储架构[J];计算机应用研究;2013年02期

5 赵晓永;杨扬;王宁;;基于声学指纹的海量MP3文件近似去重方法[J];计算机工程;2013年07期

6 刘高军;王帝澳;;基于Redis的海量小文件分布式存储方法研究[J];计算机工程与科学;2013年10期

7 周国安;李强;陈新;胡旭;;海量小文件元数据的分布式存储与检索[J];空军预警学院学报;2014年06期

8 杨洪章;张军伟;许鲁;刘振军;;基于pNFS的小文件间数据预读机制研究[J];计算机研究与发展;2014年S1期

9 魏强;孔广黔;吴云;;基于Hadoop的海量医疗小文件处理系统[J];计算机与数字工程;2015年04期

10 王博;陈莉君;;Hadoop远程过程调用机制的分析和应用[J];西安邮电学院学报;2012年06期

【二级参考文献】

相关期刊论文 前10条

1 苏勇;周敬利;姜明华;刘钢;;分布式存储系统中元数据系统的研究与设计[J];计算机工程与应用;2006年20期

2 谈华芳;侯紫峰;;大规模并行文件系统中的数据可靠性机制[J];计算机工程;2006年09期

3 杜聪,徐志伟;COSMOS文件系统的性能分析[J];计算机学报;2001年07期

4 乔鑫;;MooseFS分布式文件系统及应用[J];科技浪潮;2009年05期

5 王福林;;新技术对音乐产业的冲击[J];辽宁行政学院学报;2008年01期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 苏勇;;存储系统中元数据管理方式和可靠性研究[J];武汉科技学院学报;2007年07期

8 李德仁;黄俊华;邵振峰;;面向服务的数字城市共享平台框架的设计与实现[J];武汉大学学报(信息科学版);2008年09期

9 余思;桂小林;黄汝维;庄威;;一种提高云存储中小文件存储效率的方案[J];西安交通大学学报;2011年06期

10 马灿;孟丹;熊劲;;曙光星云分布式文件系统:海量小文件存取[J];小型微型计算机系统;2012年07期

【相似文献】

相关期刊论文 前10条

1 邓晶京;;基于电子文件的文档服务新发展[J];兰台世界;2012年S3期

2 况昶;转移Windows NT Server的快速方法[J];微计算机应用;1999年01期

3 陈冀康;服务器,向中央集中[J];软件世界;2005年11期

4 曼努埃尔·巴斯克斯,何嘉荪;文件生命周期的精确期限[J];北京档案;1997年03期

5 刘庆泰,王京太;天气预报文件服务系统[J];气象科技;1997年03期

6 ;东芝整合文件服务打造行业先驱[J];创业邦;2010年09期

7 韦勇桃;;东方通文件服务平台 助推保险业数据整合[J];金融电子化;2013年09期

8 尹卫国;;开放文件彰显政府自信[J];世纪行;2003年08期

9 冰原;;上下扩展——博科发布两个解决方案[J];每周电脑报;2005年25期

10 冰海;;NDS-Ⅱ/VAX LINK软件浅介[J];微计算机信息;1985年02期

相关重要报纸文章 前10条

1 杨镇全;利川市文件服务中心向市民开放[N];中国档案报;2003年

2 孙红英;解惑FAN[N];网络世界;2007年

3 ;WAFS应用渐成气候[N];计算机世界;2005年

4 本报记者 张峰;广域文件 高速连接[N];网络世界;2005年

5 陈志鹏;衡阳档案馆集体中开放中央八个“一号文件”[N];中国档案报;2006年

6 郭涛;子公司如何远程共享文件[N];中国计算机报;2005年

7 张峰;博科长出了翅膀[N];网络世界;2007年

8 郭涛;文件访问速度从40秒降到2秒[N];中国计算机报;2005年

9 《网络世界》评测实验室 何进伟;畅通高速文件应用[N];网络世界;2002年

10 本报记者 张楠;清华学子的文件服务外包管理之路[N];中国计算机报;2009年

相关硕士学位论文 前5条

1 肖文;基于Web Service的分布式文件服务系统[D];浙江大学;2004年

2 居姗;电子文件分类与解密关键技术研究[D];上海交通大学;2007年

3 王婧;改进型RBAC模型在网络文件服务系统研究与应用[D];北京邮电大学;2010年

4 汪野;基于规则的广域网文件服务[D];华中科技大学;2008年

5 黄维丰;DWG文件离线浏览ActiveX控件研究[D];南京航空航天大学;2003年

，

本文编号：2042213