海量数据存储系统的设计与实现

发布时间：2017-10-05 03:01

  本文关键词：海量数据存储系统的设计与实现

  更多相关文章： GFS 海量数据 存储 节点选择 负载计算

【摘要】：互联网技术日益发达，网络上的数据量呈爆炸式增长，海量数据的管理和维护，对企业和个人来说，都面临着巨大的困难，不仅成本高昂，而且在海量数据存取的可靠性和可用性方面也都存在着巨大的问题。Google公司提出的GFS文件系统，最早给出了完整有效的海量数据存储理论框架，并面向大型分布式数据密集型应用，建立以大量异构的存储机器为基础的集群，实现海量数据的存储和读取的高性能服务，并提供良好的系统容错性。 本文是以Google的GFS文件系统理论为基础，结合海量数据存储的特点以及存储的高可靠性，并针对数据存储节点的异构性，提出基于机器存储性能和数据块访问次数等因素的负载计算模型，，并给出了数据存储节点选择优化策略、数据读取节点选择优化策略以及负载均衡节点选择优化策略，同时将优化策略和默认策略进行性能上的对比。 论文在详细分析海量数据存储理论、方法、技术的基础上，对系统的整体结构进行设计，细分系统各个部分的功能，给出存储系统的功能设计，并实现了包括数据存储功能、集群节点管理功能以及节点优化选择功能在内的海量数据存储系统软件，最后进行了系统测试。 论文实现的系统能够有效完成海量数据的基本存储功能，并提供了一定的容错性，系统的读写性能表现良好，基于基本存储服务所提出的节点优化选择策略，在系统负载均衡性方面比默认策略更均衡，并且能够在一定程度上提升海量数据的读写速度。
【关键词】：GFS 海量数据 存储 节点选择 负载计算
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-14
• 1.1 课题来源及研究的目的和意义8
• 1.1.1 课题来源8
• 1.1.2 课题的研究目的及意义8
• 1.2 与课题相关的国内外研究现状8-12
• 1.2.1 分布式存储研究现状9-10
• 1.2.2 海量数据存储的研究现状10-12
• 1.3 本文研究内容及章节安排12-14
• 第2章 海量数据存储系统需求分析14-24
• 2.1 总体需求14-15
• 2.2 用例分析15-20
• 2.2.1 用户侧用例分析15-17
• 2.2.2 管理员侧用例分析17-20
• 2.3 功能性需求20-22
• 2.3.1 文件组织管理20-21
• 2.3.2 数据块存储管理21
• 2.3.3 数据节点选择策略21-22
• 2.4 非功能性需求22-23
• 2.4.1 性能需求22
• 2.4.2 可扩展性22-23
• 2.4.3 数据完整性23
• 2.5 本章小结23-24
• 第3章 海量数据存储系统的设计24-55
• 3.1 系统结构24-25
• 3.2 系统功能25-47
• 3.2.1 客户端功能模块25-29
• 3.2.2 主节点功能模块29-38
• 3.2.3 数据节点功能模块38-47
• 3.3 节点选择策略47-54
• 3.3.1 节点存储性能计算47-50
• 3.3.2 节点存储负载计算50-52
• 3.3.3 数据节点选择策略设计52-54
• 3.4 本章小结54-55
• 第4章 海量数据存储系统的实现55-77
• 4.1 数据读取55-60
• 4.1.1 操作接口55-57
• 4.1.2 读取功能内部实现57-59
• 4.1.3 数据读取节点选择策略59-60
• 4.2 数据写入60-68
• 4.2.1 操作接口61-62
• 4.2.2 数据写入功能内部实现62-66
• 4.2.3 数据写入节点选择策略66-68
• 4.3 节点管理68-75
• 4.3.1 负载均衡功能68-71
• 4.3.2 指令执行功能71-73
• 4.3.3 数据块扫描功能73-74
• 4.3.4 数据节点信息处理功能74-75
• 4.4 本章小结75-77
• 第5章 海量数据存储系统的测试77-86
• 5.1 测试环境说明77
• 5.2 功能性测试77-81
• 5.3 非功能性测试81-85
• 5.3.1 性能测试81-85
• 5.5 本章小结85-86
• 结论86-87
• 参考文献87-92
• 致谢92

【参考文献】

中国期刊全文数据库 前1条

1 魏青松;卢显良;周旭;;FastQueue:一种高性能的磁盘队列存储管理机制[J];计算机科学;2003年10期

本文编号：974351