HDFS小文件读写优化策略

发布时间：2017-10-27 12:30

  本文关键词：HDFS小文件读写优化策略

  更多相关文章： HDFS 小文件存取 文件类型 用户文件 元数据信息

【摘要】：HDFS是一种高容错性的分布式系统。它支持的数据集在GB到TB级别,然而对大量小文件存取支持不足。由于在处理大数量级的小文件时,会使得Name Node内存消耗过度,造成文件的存取性能降低。因此提出了一种根据文件类型分类小文件的合并策略。通过建立索引信息服务器来存储存放在用户文件中的小文件的元数据信息,可以达到高效读取小文件的目的。实验结果表明,该优化策略能有效降低Name Node内存消耗,提高HDFS文件系统对大量小文件读取效率。
【作者单位】： 河南大学计算机与信息工程学院;中国科学院遥感与数字地球研究所;
【关键词】： HDFS 小文件存取 文件类型 用户文件 元数据信息
【基金】：高分重大专项“地球表层系统科学研究应用示范系统”(Y4D00100GF);高分重大专项“GF4共性产品真实性检验”(Y6D0080038) 中科院战略先导专项课题“气溶胶关联的云参数卫星遥感”(Y1Y02230XD)
【分类号】：TP333
【正文快照】： 0引言随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长,大约每两年翻一番,根据监测,这个速度在2020年之前会继续保持下去,这意味着人类在最近两年产生的数据量相当于之前产生的数据量总和。资料显示,2011年,全球数据规模为1.8ZB,可以填满575亿个32GB的i Pad,

【相似文献】

中国期刊全文数据库 前10条

1 马丹妮;论电子文件的管理[J];秘书之友;2005年07期

2 于瑛甫;电子文件的收集与整理[J];陕西档案;2005年03期

3 李兆明;;文件归档话“万一”[J];档案时空(业务版);2005年12期

4 徐健;;电子文件的保存与整理[J];兰台世界;2006年12期

5 李婧;杜龙彩;杨溢;饶仕吉;;浅谈气象部门电子文件的档案化管理[J];贵州气象;2006年04期

6 高贵平;;论电子文件的管理与归档[J];山东档案;2006年04期

7 李建国;;试论电子文件的归档[J];档案;2006年06期

8 李婷;;析电子文件的流转及控制[J];山西档案;2007年S1期

9 丁梅;;略谈电子文件的几个问题[J];继续教育研究;2007年04期

10 徐辛酉;麻新纯;;论电子文件收集社会化[J];湖北档案;2007年11期

中国重要会议论文全文数据库 前10条

1 姜萍;;试论高校办公自动化条件下电子文件与纸质文件的相互关系[A];贵州省档案学会2004年档案学术研讨会论文集[C];2004年

2 韩艳平;;电子文件对档案工作的影响及对策[A];齐鲁档案论坛——山东省档案学会2008年学术年会会刊[C];2008年

3 罗廷定;刘亚文;;浅淡电子文件与电子档案的法律证据作用[A];贵州省2007年档案学术交流论文集[C];2007年

4 于丽华;;电子文件的归档与管理[A];齐鲁档案论坛——山东省档案学会2008年学术年会会刊[C];2008年

5 李锐英;;浅议电子文件的归档[A];齐鲁档案论坛——山东省档案学会2008年学术年会会刊[C];2008年

6 罗廷定;刘亚文;;浅淡电子文件与电子档案的法律证据作用[A];纪念《中华人民共和国档案法》颁布20周年档案学术研讨会论文集[C];2007年

7 李慎民;;文件归档与虚拟分类[A];机关档案工作学术研讨会交流论文集[C];2004年

8 夏江宁;;办公自动化的实现与文件归档工作[A];中国当代秘书群星文选[C];1999年

9 袁发立;;浅析电子文件的归档[A];贵州省2007年档案学术交流论文集[C];2007年

10 袁发立;;浅析电子文件的归档[A];纪念《中华人民共和国档案法》颁布20周年档案学术研讨会论文集[C];2007年

中国重要报纸全文数据库 前10条

1 潘胜中;南宁制定机关文件归档年检办法[N];中国档案报;2005年

2 小周;理财文件归档事半功倍[N];湖北日报;2001年

3 万丽;电子文件的档案属性和归档制度[N];黄河报;2007年

4 张岳;建立符合科学发展观的文件归档新机制[N];中国档案报;2007年

5 特约记者 阚景奎;潍坊市财政局文件归档实现规范化[N];中国档案报;2005年

6 特约记者 李冰冰;内蒙古巴彦淖尔市 认真做好党委换届文件归档[N];中国档案报;2011年

7 特约记者邹伟农;上海深化文件归档鉴定改革[N];中国档案报;2003年

8 一冰;安腾普新版ADA3.0 进一步增强文件归档能力[N];电脑商报;2009年

9 中远（集团）总公司档案室负责人 毛永芳;收好管好用好档案 发挥档案资源优势[N];中国远洋报;2007年

10 刘顺平;档案部门应最大限度地杜绝重份文件归档进馆[N];中国档案报;2013年

中国硕士学位论文全文数据库 前10条

1 石峻峰;云计算环境下高校电子文件一体化管理研究[D];南京航空航天大学;2015年

2 杨爽;电子文件利用效益研究[D];吉林大学;2007年

3 冯洁;电子文件迁移研究[D];苏州大学;2012年

4 张莉;电子商务文件归档管理研究[D];吉林大学;2007年

5 孙刚;电子文件真实性保障模型研究[D];天津师范大学;2007年

6 赵玉龙;基于Hadoop的海量小文件处理性能研究与优化[D];内蒙古科技大学;2014年

7 左大鹏;Hadoop小文件存储管理的研究与实现[D];北京交通大学;2015年

8 曹浩;基于文件重构和质量调整的冗余数据删除技术[D];上海交通大学;2013年

9 梁远亮;论电子商务交易文件的凭证性及其保障[D];广西民族大学;2012年

10 刘登峰;维、汉文件档案信息管理系统的设计与实现[D];新疆大学;2008年

，

本文编号：1103516