基于Hadoop的云存储系统文件处理与安全研究

发布时间：2017-12-20 02:06

  本文关键词：基于Hadoop的云存储系统文件处理与安全研究　出处：《现代电子技术》2016年21期 　论文类型：期刊论文

  更多相关文章： Hadoop HDFS 私有云存储 小文件优化

【摘要】：由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择。针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元数据放置索引表,通过索引表中的偏移量寻找块中小文件数据的方式,提高HDFS写入大量小文件的系统性能,经过测试验证了优化方案的有效性。
【作者单位】： 北华大学师范分院;
【分类号】：TP333;TP309
【正文快照】： 0引言在HDFS中,所有文件的写入和读取都需要通过Name Node控制,接收用户对文件操作的请求,定位文件位置和分配文件存储的Data Node节点,并且所有文件的信息都存储在Name Node中的元数据里。在文件处理中,HDFS在Name Node中为每一个文件都建立了元数据,用来存储该文件信息,这样

【相似文献】

中国期刊全文数据库 前8条

1 ;数字时代的办公文件处理中心 松下多功能数码机(续)[J];信息系统工程;2001年11期

2 刘浩;施乐一打印新理念[J];国外科技动态;1998年05期

3 ;打造办公革命的先驱[J];计算机与网络;2002年05期

4 罗国昭;Sharp CEC SL-7500C掌上电脑[J];新电脑;2003年12期

5 樊超;凌捷;;改善Hadoop文件处理效率的技术研究[J];微电子学与计算机;2014年07期

6 ;三星升级版SCX-4521HS[J];办公自动化;2013年09期

7 ;IT采购引擎[J];每周电脑报;2003年23期

8 ;[J];;年期

中国重要报纸全文数据库 前2条

1 本报记者　梁图强;文件处理变“聪明”了[N];经济日报;2002年

2 小彭;办公文档批量替换好轻松[N];电脑报;2004年

中国硕士学位论文全文数据库 前2条

1 蔡睿诚;基于HDFS的小文件处理与相关MapReduce计算模型性能的优化与改进[D];吉林大学;2012年

2 陈光景;Hadoop小文件处理技术的研究和实现[D];南京邮电大学;2013年

，

本文编号：1310319