基于HDFS的海量小文件读写策略研究

发布时间：2017-11-15 10:20

  本文关键词：基于HDFS的海量小文件读写策略研究

  更多相关文章： 云存储 HDFS Redis集群 小文件问题

【摘要】：当前网络信息技术与云计算技术迅猛发展,互联网内容由网站管理人员主导逐渐过渡为用户主导,这种变化使得人们可以随时随地通过互联网服务获取或者生成海量的数据,如何有效地管理这些个人或公共数据已成为当务之急。传统的存储架构在当前互联网数据存储场景中表现较差,且其扩展性差、数据安全性低、维护与管理成本高、灾备能力差等缺陷日益明显。将个人数据集中存储至云服务中统一管理的分布式云存储系统受到IT界的广泛关注,用户无需在本地持有大量的存储空间,只需要通过智能设备就能够便捷地获取到云端数据。这种分布式的云存取结构可以很好地解决上述问题,并且满足大规模用户并发访问的需求。Hadoop是一个可部署在廉价设备上的分布式开源平台,其核心之一的HDFS作为一种新型的云存储平台,能够很好地解决爆炸性数据的存储与管理难题。本文主要针对海量小文件读写这一场景,对分布式文件系统HDFS进行了详细分析,并关于HDFS存在的小文件问题、节点选择问题和读取缓存问题,提出了基于Redis集群的HDFS改进方案RCHDFS。首先,从基本系统组成与工作原理方面对GFS、MooseFS、HDFS等典型的分布式存储系统进行研究,分析HDFS系统的主要组件与依赖关系,深入研究了NameNode、DataNode、DFSClient的工作原理及对应源码实现。然后,通过对大量中外文献的分析与相关技术的研究,针对HDFS的固有问题,分析了已有的解决方案,随后提出了改进方案,分为3个部分。一是提出了在DataNode节点中部署Redis集群服务的方法,使得Redis服务可以承担大部分NameNode的管理任务,集群的内存使用可以均匀地分布在不同的DataNode节点上,缓解NameNode的内存消耗和NameNode并发压力；二是提出了基于节点处理能力和数据块在节点中分布均衡性的最优读写节点选择方法,优化了HDFS机架感知策略,既保证了数据块的均衡,又降低了文件读写时延；三是提出了基于混合缓存的中小文件读取方法,在Redis中缓存热点小文件,在Client端缓存中等文件元信息,进一步提升了海量文件的访问速度。最后,针对提出的RCHDFS与HDFS方案进行了测试对比。测试结果表明,本文提出的方案可以明显地降低海量小文件元数据信息的内存消耗,在并发性大量文件读写操作时可以有效地降低时间消耗,并且保证了所有块和文件元信息在节点中分布均衡。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333

【相似文献】

中国期刊全文数据库 前10条

1 曲秀华;刘晓波;;区分文件保存价值的主客观因素[J];黑龙江档案;2002年01期

2 朱丽霞;电子文件必须立卷[J];沧桑;2004年03期

3 李婉秋;张利萍;;电子文件长期保存的问题与对策[J];中国信息界;2004年13期

4 ella;;轻松将文件保存为指定格式[J];电脑迷;2006年24期

5 甘晓;;浅谈电子文件的管理[J];科学大众(科学教育);2012年08期

6 王金凤;;小议建设电子文件的收集与积累[J];民营科技;2012年11期

7 章波;;国务院机关是怎样整理会媝文件的[J];档案工作;1957年01期

8 沈丽华;文件与文件生命周期——莫斯在华讲学部分内容综述之二[J];档案学通讯;1993年06期

9 王珠珠;吴凯媛;;新形势下电子文件长期保存问题研究[J];黑龙江档案;2014年01期

10 韩海龙;给文件“动手术”——破损文件巧复制[J];电脑校园;2004年04期

中国重要会议论文全文数据库 前10条

1 于星海;张海霞;毛建斌;;浅析电子文件的销毁[A];齐鲁档案论坛——山东省档案学会2008年学术年会会刊[C];2008年

2 纪发文;李媛媛;温春燕;;论电子文件的收集和归档[A];齐鲁档案论坛——山东省档案学会2009年学术年会会刊[C];2009年

3 胡魁海;;电子文件的收集、整理与归档[A];高教科研2006（下册：专题研究）[C];2006年

4 顾玉芳;;浅谈电子文件的鉴定[A];江苏省档案现代化管理与档案信息化建设学术研讨会交流材料[C];2002年

5 徐昱;;电子文件——档案工作的新课题[A];贵州省档案学会2004年档案学术研讨会论文集[C];2004年

6 杨茹;;文件连续体理论视角下的核电文件管理模式研究[A];档案与文化建设：2012年全国档案工作者年会论文集（中）[C];2012年

7 陶毓;;《浅议电子文件的管理》[A];档案工作应对入世挑战学术研讨会文集[C];2002年

8 蒋建梅;;浅谈电子文件的归档与管理[A];创新与发展——山东省档案学会第六次会员代表大会暨山东省档案学会第六次档案学术讨论会论文集[C];2006年

9 段玮瑶;;电子文件与档案管理[A];源于实践 服务全局——兰台工作纵横[C];2008年

10 王泰山;;关于社会保障业务电子文件的管理[A];江苏省档案现代化管理与档案信息化建设学术研讨会交流材料[C];2002年

中国重要报纸全文数据库 前10条

1 江苏 王志军;找回误删出的文件[N];电脑报;2003年

2 袁恩泉;浅谈企业电子文件的鉴定与归档[N];中国档案报;2002年

3 LZY;WPS Office技巧三则[N];电脑报;2002年

4 鸣涧;文件是这样搜出来的[N];中国电脑教育报;2003年

5 湖南 何晓;给你的文件增加记忆[N];电脑报;2004年

6 江苏 顾祥华;巧将视频文件转为可执行文件[N];电脑报;2003年

7 天津 寒燕天;多个VCD文件巧压缩[N];电脑报;2004年

8 江苏 王东;Excel 2000同时打开多个文件的方法[N];中国电脑教育报;2001年

9 俞木发;用OE“保管”重要文件[N];中国电脑教育报;2004年

10 王兰婷;用Word打印文件[N];中国电脑教育报;2005年

中国硕士学位论文全文数据库 前10条

1 游小容;基于Hadoop的海量教育资源小文件的存储研究与实现[D];电子科技大学;2015年

2 宋凯;电子文件真实性研究[D];南京大学;2014年

3 金裔云;文件隐藏方法的研究[D];吉林大学;2015年

4 王彦彬;加拿大电子文件真实性永久保障研究[D];天津师范大学;2016年

5 高宗宝;基于HDFS的海量小文件读写策略研究[D];山东大学;2016年

6 郑姗姗;电子文件销毁研究[D];苏州大学;2012年

7 章丹;论电子文件的鉴定[D];苏州大学;2002年

8 张先锋;电子文件的法律证据地位研究[D];安徽大学;2007年

9 颜晓栋;电子文件的长期保存研究[D];武汉大学;2004年

10 林明东;各级国家综合档案馆电子文件接收策略研究[D];福建师范大学;2012年

，

本文编号：1189393