面向大数据的异构集群存储系统副本放置与选择策略研究

发布时间：2017-06-03 07:17

  本文关键词：面向大数据的异构集群存储系统副本放置与选择策略研究，由笔耕文化传播整理发布。

【摘要】：集群存储系统作为新一代企业级存储架构,是云计算和大数据时代应对存储容量压力、I/O性能瓶颈、存储成本危机等诸多挑战的重要解决方案。现有集群存储系统一般由大量廉价商用存储设备构成,节点失效和硬件故障被认为是一种常态。为此,副本技术被广泛运用于该存储架构中以保证系统的高可靠性和高可用性。随着云计算技术和大数据应用模式的不断发展,如何针对个体服务质量敏感的大数据应用、多样化的I/O负载及集群存储系统的新特性,高效地实现多个副本的“存”和“取”,即副本的放置和选择,是当前集群存储系统副本管理研究中需要解决的关键问题。现有工作在分布式存储系统的副本放置和选择方面取得了一定进展,但仍存在诸多不足。在静态副本放置方面,已有策略的负载均衡能力尚缺乏有效的理论证明,适用范围不清晰,且未考虑存储节点的异构性,应用具有局限性；在动态副本放置方面,现有算法虽然具有更加灵活的I/O负载均衡能力,但会增加系统的复杂性并导致副本放置呈现无序化,且同样未考虑存储节点的异构性,严重影响系统能效和应用性能；而在副本选择方面,已有策略选择标准单一、可扩展性差,没有从大数据应用角度出发考虑按需服务的数据请求,无法满足越来越多的个体服务质量敏感的大数据应用。本文针对异构集群存储系统副本管理中放置和选择两个关键技术,研究相关机制和算法,为构建大容量、高性能、低成本和强扩展性的集群存储系统提供合理、高效的副本策略,以满足当前大数据应用对存储系统提出的迫切需求,具体的研究内容主要包括以下四个方面：第一,结合排队论对异构集群存储系统的静态副本放置策略展开递进式研究,以期解决现有工作所存在的问题,为集群存储系统的整体设计和规划提供理论依据；第二,以目前主流的Hadoop作为研究对象,提出一种面向大规模异构Hadoop集群存储系统的动态副本放置策略,能够充分利用集群中高性能节点提升大数据应用任务的执行性能,同时提高集群系统能效并节省一定的存储开销；第三,提出一个QoS偏好感知算法获取个体服务质量敏感的大数据应用的非定量QoS偏好,结合系统当前副本放置方案,在多维QoS约束下解决最佳副本的选择问题：第四,基于东南大学云计算平台,设计并开发面向AMS大数据应用的分级存储数据管理系统,为AMS大数据处理的高效快速执行提供合理的副本策略并验证本文的理论研究工作。本论文对面向大数据应用的异构集群存储系统的副本放置和选择策略进行了深入探索,通过一系列仿真实验和AMS大数据处理的实验结果表明,本文所提的相关机制和算法能够对异构集群存储系统中的数据及其副本进行合理、高效的管理和优化,可为实际应用中异构集群存储系统的副本管理服务提供行之有效的解决方案,为大数据存储管理的发展做出有益贡献。
【关键词】：集群存储 大数据 异构性 云计算 副本放置 副本选择
【学位授予单位】：东南大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-13
• 缩略词表13-14
• 第1章 引言14-26
• 1.1 研究背景14-17
• 1.2 选题来源17-19
• 1.3 研究动机和解决思路19-21
• 1.3.1 研究动机19-21
• 1.3.2 解决思路21
• 1.4 研究目标与内容21-23
• 1.4.1 研究目标21-22
• 1.4.2 研究内容22-23
• 1.5 论文组织23-26
• 第2章 研究现状26-36
• 2.1 引言26
• 2.2 集群存储系统发展现状26-28
• 2.3 副本放置算法研究现状28-31
• 2.4 副本选择策略研究现状31-33
• 2.5 研究现状总结33-36
• 第3章 基于排队论的大规模集群存储系统静态副本放置36-64
• 3.1 引言36-38
• 3.2 集群存储系统副本访问请求流量建模38-41
• 3.2.1 理论分析38-39
• 3.2.2 统计检验39-41
• 3.3 同构集群存储环境下多副本访问排队模型41-52
• 3.3.1 多副本访问的基本排队模型M/M/r41-46
• 3.3.2 基于SLA的非抢占多优先级多副本访问排队模型46-48
• 3.3.3 实验分析48-52
• 3.4 异构集群存储环境下多副本访问排队模型52-63
• 3.4.1 节点处理能力不等的3-副本访问排队模型52-57
• 3.4.2 异构环境下多副本访问的一般排队模型57-61
• 3.4.3 实验分析61-63
• 3.5 本章小结63-64
• 第4章 基于异构感知的大规模集群存储系统动态副本放置64-86
• 4.1 引言64-67
• 4.2 系统模型67
• 4.3 集群节点异构性感知算法67-70
• 4.4 基于热度感知的复制机制70-72
• 4.5 Snake-Like数据副本放置算法72-76
• 4.6 基于SLRP的Hadoop集群节能策略76-78
• 4.6.1 PCS数学模型76
• 4.6.2 基于二分图匹配的节能策略求解76-78
• 4.7 实验验证与分析78-84
• 4.7.1 Hadoop集群的性能测试80-82
• 4.7.2 Hadoop集群的能耗测试82-83
• 4.7.3 Hadoop集群存储空间效率分析83-84
• 4.8 本章小结84-86
• 第5章 基于QoS偏好感知的副本选择策略86-116
• 5.1 引言86-88
• 5.2 三维QoS模型88-90
• 5.3 QoS偏好感知算法QoPA90-93
• 5.4 QoS偏好感知副本选择策略93-115
• 5.4.1 基于模糊综合评判的副本选择策略93-101
• 5.4.2 基于改进并行遗传算法的副本选择策略101-115
• 5.5 本章小结115-116
• 第6章 面向AMS大数据的分级存储数据管理系统116-138
• 6.1 AMS-02 SOC简介116-119
• 6.2 SEU-Storm设计与实现119-128
• 6.2.1 SEU-Storm总体设计119-121
• 6.2.2 SEU-Storm具体实现121-128
• 6.3 SEU-Storm部署与测试128-137
• 6.3.1 SEU-Storm实际部署128-129
• 6.3.2 SEU-Storm功能和性能测试129-137
• 6.4 本章小结137-138
• 第7章 总结和展望138-142
• 7.1 论文总结138-139
• 7.2 下一步研究的方向139-142
• 参考文献142-154
• 致谢154-156
• 攻读博士期间论文发表情况156-158
• 攻读博士期间参与的科研项目158-160
• 作者简历160

  本文关键词：面向大数据的异构集群存储系统副本放置与选择策略研究，由笔耕文化传播整理发布。

，

本文编号：417548