高性能云计算平台存储系统配置关键技术研究

发布时间：2020-11-06 14:16

　　 结合云计算优点、专门针对高性能应用而设计的云平台近几年来受到广泛关注。相比于传统云计算平台，高性能云平台独占式分配虚拟机从而避免性能干扰，采用万兆以太网而非千兆以太网互联，集成高性能服务器专用处理器、更大的内存、容量更大的本地块存储设备。研究表明，对大量计算密集型和内存密集型高性能计算程序，高性能云平台的计算资源及服务能提供可比本地集群的性能。但是，高性能云平台往往没有直接提供支持并行读写的服务，用户通常需要在虚拟集群上自行搭建存储系统。普通用户根据应用程序的特点配置存储系统变成可能，但是如何选取优化配置十分具有挑战性。本文的主要研究工作从定义高性能云平台存储系统的可配置性出发，建立自动化选取优化配置的预测模型，最后提出并实现一个快速、有效的评测方法。 本文的主要工作包括： （1）系统地定义了高性能云平台存储系统的可配置性，并首次提出利用该可配置性优化性能或降低成本。本文以亚马逊高性能云平台为例，量化分析了存储系统的可配置空间，发现不同存储系统配置对不同应用程序具有显著的性能和成本差异，因此用户在高性能云平台上进行配置时需要分析并结合目标应用程序的行为特征实现优化配置。 （2）基于部分代表性数据，建立了输入输出负载特征到存储系统优化配置的映射模型，可根据用户输入的负载特征预测优化配置。为建立预测模型，本文提出基于众包方式渐进式探索可配置空间，并给出一种从可配置探索空间中收集代表性数据的方法。在该方法指导下，本文从真实云平台上收集了初始可用数据集，建立了面向特定应用程序负载特征的优化配置预测模型，集成并评估了两种成熟的机器学习算法。 （3）首次设计并实现自动生成精简程序的原型系统。本文利用程序切片方法自动从原始程序中抽取输入输出操作的相关语句，生成和原始应用输入输出负载特征一致的精简程序，用于对高性能云平台存储系统配置的快速、有效评测。
【学位单位】：清华大学
【学位级别】：博士
【学位年份】：2014
【中图分类】：TP333
【文章目录】：
摘要
Abstract
主要符号对照表
第1章 引言
    1.1 论文背景及意义
        1.1.1 高性能云计算平台的发展
        1.1.2 高性能云计算平台存储系统的配置
        1.1.3 高性能云计算平台存储系统的性能评测
    1.2 高性能云计算平台存储系统配置面临的关键问题
    1.3 本文研究的主要内容和贡献
        1.3.1 本文的研究内容
        1.3.2 本文的主要贡献
第2章 相关工作
    2.1 高性能云平台相关研究
    2.2 存储系统管理相关研究
    2.3 高性能存储系统性能评测相关研究
    2.4 存储系统基准测试程序生成方法相关研究
第3章 高性能云计算平台存储系统的可配置性
    3.1 高性能云计算平台：以亚马逊为例
    3.2 高性能云计算平台的存储系统配置的探索空间
        3.2.1 高性能云平台存储系统可配置栈
        3.2.2 高性能程序存储行为分析
        3.2.3 总探索空间的定义
    3.3 探索可配置空间的必要性
    3.4 探索空间参数重要性分析
    3.5 小结
第4章 高性能云计算平台存储系统优化配置预测方法
    4.1 系统框架
    4.2 训练数据采集方法
    4.3 优化配置预测模型
        4.3.1 分类和回归的决策树模型
        4.3.2 基于排名算法的预测模型
    4.4 实验结果
        4.4.1 应用程序
        4.4.2 事实最优配置分析
        4.4.3 预测结果评价
        4.4.4 参数敏感性分析
        4.4.5 成本分析
    4.5 案例分析：与手动配置比较
    4.6 小结
第5章 高性能云计算平台存储系统快速评测技术
    5.1 高性能云平台存储系统评测方法
    5.2 基于程序切片的测试程序自动生成方法
        5.2.1 方法介绍
        5.2.2 举例介绍
        5.2.3 设计和实现
        5.2.4 评测程序源代码生成
    5.3 切片效果分析
        5.3.1 实验环境
        5.3.2 初步实验结果
    5.4 小结
第6章 总结与展望
    6.1 本文解决的问题和解决方法
    6.2 进一步工作：挑战和机遇并存
参考文献
致谢
附录A 性能预测模型采用的决策树
个人简历、在学期间发表的学术论文与研究成果

【参考文献】

相关期刊论文 前1条

1 ;New generation of multi-scale NWP system (GRAPES):general scientific design[J];Chinese Science Bulletin;2008年22期

本文编号：2873249