小规模高性能虚拟集群关键技术研究

发布时间：2017-09-26 19:25

  本文关键词：小规模高性能虚拟集群关键技术研究

  更多相关文章： 虚拟化 高性能计算(HPC) 集群 Kernel-based Virtual Machine(KVM) Xen 云计算 高性能计算云(HPC in the Cloud)

【摘要】：将虚拟化技术应用在高性能计算领域是当前高性能计算研究的一个热点,但对于小规模高性能计算来说,由于自身硬件资源异构、追求峰值计算速度等特点,因此对虚拟化技术有着自己的特定需求,并不是所有的虚拟化技术都适合。目前国内外都是围绕着虚拟化对高性能计算整体解决方案的研究,然而,基于小规模高性能计算,当前缺乏对虚拟化核心技术的研究。 针对以上问题,本文深入研究了虚拟化技术,通过基准测试对Xen和KVM进行针对高性能计算的性能评估,实验显示KVM比Xen更适合构建小规模高性能虚拟集群；接着通过对KVM调度策略进行改进优化以获得性能上的提升；最后提出一种针对小规模高性能虚拟集群的解决方案。如下是本文主要研究的内容： ·首先深入研究了虚拟化技术的原理,包括完全虚拟化和类虚拟化等,并对当前流行的开源虚拟化技术KVM和Xen进行性能评估(包括整体系统性能评估和针对HPC的系统扩展性评估两部分),选出最适合高性能计算的虚拟化技术； ·深入分析了KVM的调度策略,为了减少虚拟化所带来的性能开销,对优化后的KVM调度机制进行评估,通过HPC Challenge Benchmark Suite基准测试显示优化后的KVM调度机制可表现出较好的性能； ·由集群和虚拟集群的概念,说明虚拟集群的优势,同时介绍了Rocks集群系统的PXE网络启动协议、Kickstart自动安装工具、Ganglia监控系统和Sun Grid Engine(SGE)集群管理系统。 ·最后介绍了基于所研究的两项关键技术构建Rocks高性能计算集群的设计与部署过程。对所构建的Rocks高性能虚拟集群从Linpack微观基准测试和NPB宏观基准测试两方面进行了评估(包括KVM调度策略改进前和改进后),结果显示改进的KVM调度策略表现出接近物理集群的性能,对实施高性能服务是一个可行的解决方案。 本文的主要研究特色如下： ·研究了虚拟化技术的本质,针对HPC负载,对Xen和KVM虚拟化进行评估,得出KVM是较适合高性能计算的虚拟化技术； ·研究了KVM虚拟机管理器调度策略,通过基准测试显示优化后的KVM调度策略表现较好的性能； ·基于以上关键技术描述了Rocks虚拟集群的设计与构建过程； ·通过基准测试指出Rocks Clusters是一个有效的实施高性能计算负载的虚拟集群； ·指出针对KVM的CPU调度策略的优化,通过基准测试显示出Rocks虚拟集群与高性能物理集群相当的性能,把虚拟化性能损失控制到最小。
【关键词】：虚拟化 高性能计算(HPC) 集群 Kernel-based Virtual Machine(KVM) Xen 云计算 高性能计算云(HPC in the Cloud)
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP38
【目录】：

• 摘要3-5
• Abstract5-9
• 第一章 引言9-15
• 1.1 研究背景及意义9-11
• 1.2 研究现状11-13
• 1.3 论文主要内容及工作13-15
• 第二章 虚拟化技术研究15-29
• 2.1 系统虚拟化15-21
• 2.1.1 概述15-20
• 2.1.2 虚拟化应用模式和益处20-21
• 2.2 KVM与XEN性能评估21-28
• 2.2.1 LMbench测试22-24
• 2.2.2 扩展性测试24-27
• 2.2.3 小规模定义27-28
• 2.3 本章小结28-29
• 第三章 KVM虚拟机管理器调度策略研究29-38
• 3.1 概述29-31
• 3.1.1 Linux调度策略29-30
• 3.1.2 KVM虚拟化30-31
• 3.2 KVM调度优化31-37
• 3.2.1 优化策略31-35
• 3.2.2 测试环境及结果35-37
• 3.3 本章小结37-38
• 第四章 基于ROCKS虚拟集群设计与实现38-60
• 4.1 集群和虚拟集群38-40
• 4.1.1 集群概念38-39
• 4.1.2 虚拟集群定义和优势39-40
• 4.2 ROCKS CLUSTER介绍40-46
• 4.2.1 PXE41-42
• 4.2.2 Kickstart42-43
• 4.2.3 Ganglia43-44
• 4.2.4 SGE44-46
• 4.3 ROCKS虚拟集群设计与安装46-53
• 4.3.1 Rocks的硬件需求和网络架构47-49
• 4.3.2 前端配置与安装49-52
• 4.3.3 节点机的配置与安装52-53
• 4.4 ROCKS虚拟集群性能评估53-58
• 4.4.1 性能评估方法54-56
• 4.4.2 微观基准测试评估56-57
• 4.4.3 宏观基准测试评估57-58
• 4.5 本章小结58-60
• 第五章 总结与展望60-62
• 5.1 结论60-61
• 5.2 研究展望61-62
• 参考文献62-65
• 致谢65-66
• 附录66
• A1. 攻读硕士学位期间主持的科研项目66
• A2. 攻读硕士学位期间发表的论文66
• A3. 攻读硕士学位期间获准的软件著作权登记66

【参考文献】

中国期刊全文数据库 前4条

1 陈文波;李婵娟;周庆国;李廉;;高性能计算平台基于HPCC的性能分析[J];计算机工程与应用;2008年10期

2 李春艳;张学杰;;基于高性能计算的开源云平台性能评估[J];计算机应用;2013年12期

3 李春艳;张学杰;;基于基准测试的高性能计算云研究[J];计算机科学;2013年12期

4 李媛;张建林;张锐;宋凤珍;;集群作业管理系统SGE及其应用[J];计算机工程与设计;2009年12期

，

本文编号：925298