基于云架构的存储资源管控技术研究

发布时间：2017-04-10 12:15

  本文关键词：基于云架构的存储资源管控技术研究，由笔耕文化传播整理发布。

【摘要】：随着云计算的大力发展,云存储作为其基础设施层面,起着至关重要的作用。在对云存储的研究过程中,Hadoop作为一个数据存储与分析框架,其稳定性和高效性,广泛地吸引着工业界和学术界的关注。它为企业应用提供了更强的计算力、更广泛的数据分布、更高的稳定性以及更灵活的可靠性,在搜索引擎、广告优化、机器学习等方面被越来越多的个人和企业运用。 作为一个开源的分布式存储与计算框架,Hadoop以其强大的功能,无需付费使用,吸引了大批的人员来进行研究。目前针对Hadoop的操作,主要是在Linux上通过终端命令行来进行管理和维护,缺少相应的工具,在操作过程中稍有差池,就会导致集群运行出错,而原生的Hadoop提供了基本的分布式存储方式,对于当前千差万别的硬件存储设备,它无法达到最优的性能。目前有很多组织根据自己的集群状况进行优化,如Cloudera的CHP,hortonworks的HDP等。 本文则是针对上述问题,设计并实现了基于云架构的存储资源管控系统。系统采用了Puppet作为配置同步的底层架构,Hadoop作为分布式数据存储和处理的云架构,通过SpringMvC框架开发了一套针对该架构的集群部署、监控、管理和优化系统,提供了一键式集群搭建,集群节点动态增加与移除和集群副本调度优化。本文的主要贡献如下： 1.提出了基于云架构的一键式部署框架 针对Hadoop搭建过程中的特点,本文提出了一键式部署框架,该框架是主从模式,通过对其整体架构设计以及服务端和及客户端的设计进行描述,从技术层面证明了集群的一键式部署的可行性。 2.提出了节点动态管理模型 集群节点理论上是可以无限增加的,如何对这些节点进行统一管理是一个难点。本文提出了一种节点动态管理模型,该模型底层采用了观察者模式,对节点的行为进行监听,在节点发生变化时,能够进行自动更新,减少了运维人员的操作。 3.集群优化调度方法 分布式存储的研究中,如何高效地利用存储空间是个热点问题。存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠。本文提出一种集群优化调度模型：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间；第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用。 存储资源管控系统应用于科技部视频评审项目,简化了用户手动搭建Hadoop集群的步骤,摒弃了复杂的命令行管理集群的方式,借助于本系统,能够极大地提高用户搭建集群的可操作性与可用性。简洁的操作界面,便捷的操作方式,在集群的初期搭建与后期管理过程都能够起到至关重要的作用。
【关键词】：Hadoop Puppet 自动化运维 资源管控
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要3-5
• Abstract5-7
• 目录7-9
• 1 绪论9-14
• 1.1 课题研究背景及意义9-10
• 1.2 国内外研究现状10-12
• 1.2.1 Hadoop国内外研究现状10-11
• 1.2.2 自动化运维国内外研究11
• 1.2.3 对比分析11-12
• 1.3 研究目标和研究内容12-13
• 1.3.1 研究目标12
• 1.3.2 研究内容12-13
• 1.4 论文组织结构13
• 1.5 本章小结13-14
• 2 课题相关技术概述14-23
• 2.1 计算的基础概念14
• 2.2 Hadoop的基础概念14-17
• 2.2.1 Hadoop版本介绍14-16
• 2.2.2 Hadoop分布式文件系统介绍16-17
• 2.3 运维相关技术研究17-22
• 2.3.1 Puppet介绍18-20
• 2.3.2 Ambari介绍20-22
• 2.4 本章小结22-23
• 3 存储资源管控技术原理23-32
• 3.1 一键式部署框架23-26
• 3.1.1 一键式部署框架架构设计23-24
• 3.1.2 一键式部署框架行为模式24-25
• 3.1.3 一键式部署框架执行流程25-26
• 3.2 节点动态管理模型26-29
• 3.2.1 节点动态管理模型设计26-27
• 3.2.2 节点动态管理模型执行流程27-29
• 3.3 集群优化调度方法29-31
• 3.3.1. 集群优化调度方法架构设计29-30
• 3.3.2 集群优化调度模型算法30-31
• 3.4 本章小结31-32
• 4 存储资源管控系统的设计与实现32-46
• 4.1 存储资源管控系统分析与设计32-34
• 4.1.1 系统总体功能分析32
• 4.1.2 系统总体设计方案32-34
• 4.2 存储资源管控系统的实现34-45
• 4.2.1 集群部署模块实现34-36
• 4.2.2 集群监控模块实现36-39
• 4.2.3 集群管理模块实现39-41
• 4.2.4 集群优化模块实现41-45
• 4.3 本章小结45-46
• 5 系统测试与评价46-53
• 5.1 系统测试概述46
• 5.2 测试范围46
• 5.3 测试流程46-47
• 5.4 测试环境47-48
• 5.5 测试计划48-52
• 5.5.1 测试目的48
• 5.5.2 系统测试48-52
• 5.6 本章小结52-53
• 6 总结与展望53-54
• 参考文献54-57
• 申请学位期间的研究成果及发表的学术论文57-58
• 致谢58

【参考文献】

中国期刊全文数据库 前1条

1 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

  本文关键词：基于云架构的存储资源管控技术研究，，由笔耕文化传播整理发布。

本文编号：296694