面向光盘库的HDFS文件系统应用研究与实现

发布时间：2017-10-22 09:20

  本文关键词：面向光盘库的HDFS文件系统应用研究与实现

  更多相关文章： 光盘库 分布式文件系统 小文件 缓存替换策略 I/O调度

【摘要】：随着互联网时代的到来，各种用于提供大数据存储服务的分布式文件系统应运而生，HDFS就是其中一个应用非常广泛的开源分布式文件系统。然而，在分布式文件系统中真正有用的热数据只占很少的一部分，其中大部分的冷数据在短期内都不会被使用。因此对这些冷数据进行归档和备份变得非常重要。另一方面，由于光盘库具有数据保存时间长、成本低、存取速度相对较好的特点，使得光盘库非常适合作为数据的长期保存介质。因此，将光盘库作为第三级存储介质可以用于解决分布式文件系统冷数据的归档和备份的问题。 为了将光盘库应用在HDFS上，首先研究了现有光盘库系统的结构特点，以及光盘库系统中优化文件读写性能的策略，包括缓存替换策略和I/O调度策略等；也分析了运用于数据归档和备份的磁带库系统的优化策略；然后研究了HDFS的具体架构，通信方式以及读写文件的具体过程；最后在HDFS上实现了一种光盘库文件管理系统，其中主要包括小文件合并策略、块文件缓存策略和光盘库I/O调度策略等三种优化策略。 最终通过设计测试方案，在HDFS集群进行了模拟实验，对该系统进行了功能的测试和内存占用、小文件读写和大文件读写等方面的性能测试，可以发现该系统基本实现了数据备份和归档的功能，，并且通过优化策略使系统的性能有了一定程度的提升。
【关键词】：光盘库 分布式文件系统 小文件 缓存替换策略 I/O调度
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333.4
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-14
• 1.1 课题背景与研究意义8-9
• 1.2 国内外研究现状9-13
• 1.3 本文主要思路和内容组织13-14
• 2 相关理论与技术14-22
• 2.1 光盘库技术概述14-17
• 2.2 HDFS 文件系统概述17-21
• 2.3 本章小结21-22
• 3 光盘库文件管理系统的设计22-36
• 3.1 系统需求分析22-24
• 3.2 系统总体结构24-26
• 3.3 小文件处理模块的设计26-29
• 3.4 块文件管理模块的设计29-34
• 3.5 光盘库 I/O 调度模块的设计34-35
• 3.6 本章小结35-36
• 4 光盘库文件管理系统关键模块的实现36-51
• 4.1 小文件处理模块的实现36-44
• 4.2 块文件管理模块的实现44-48
• 4.3 光盘库 I/O 调度模块的实现48-50
• 4.4 本章小结50-51
• 5 系统测试与分析51-59
• 5.1 测试环境51-52
• 5.2 测试方案52-53
• 5.3 测试及结果分析53-58
• 5.4 本章小结58-59
• 6 总结和展望59-61
• 6.1 全文总结59
• 6.2 不足与展望59-61
• 致谢61-62
• 参考文献62-65

【相似文献】

中国期刊全文数据库 前8条

1 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

2 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

5 彭仁通;;Hadoop的核心技术研究或概述[J];科技广场;2012年05期

6 蒋苏蓉;蓝江桥;杨玉海;;Hadoop框架下的情报分析大数据调度超时预测方法[J];计算机科学;2014年S1期

7 陈薇;杨昕;;基于HDFS的云存储安全技术分析[J];计算机光盘软件与应用;2014年08期

8 ;[J];;年期

中国硕士学位论文全文数据库 前7条

1 霍振奇;基于HDFS的创新知识存储及分发架构的研究与设计[D];河北工业大学;2015年

2 袁国伟;HDFS高可用性方案的研究与设计[D];杭州电子科技大学;2015年

3 黄健;基于HDFS安全云存储模型的研究[D];广东工业大学;2016年

4 魏南琛;面向光盘库的HDFS文件系统应用研究与实现[D];华中科技大学;2014年

5 李梦楠;基于HDFS的名字节点的性能优化技术研究[D];沈阳工业大学;2015年

6 储雅;基于HDFS的气象云存储的副本管理策略研究[D];南京信息工程大学;2014年

7 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

本文编号：1077747