数据中心混部负载资源调度关键技术研究
发布时间：2022-12-09 06:05
在线负载和离线负载混合部署（即混部负载）是解决大数据中心资源利用率低下问题的重要手段。在线负载资源需求预测和离线负载作业调度是混部负载资源调度的两个核心技术。目前,在线负载资源需求预测方法缺乏对资源使用特征的深入挖掘,因此存在预测准确度不足和时间开销较大的问题。此外,当前混部负载资源调度中对于离线负载作业调度策略采用随机的方式,并未考虑在线负载弹性资源需求对离线负载执行效率的影响,导致数据中心资源的无效利用和作业吞吐率低下。针对以上问题,本文提出了结合资源使用周期性特征的在线负载资源预测方法,并在此基础上提出基于运行时间预测的启发式离线负载作业调度方法,进一步提升数据中心的资源利用率。本文的主要贡献总结如下:（1）提出基于资源使用周期性特征的在线负载资源预测方法。本文在分析提取在线负载资源使用周期性特征的基础上,采用自相关函数方法量化计算在线负载资源使用周期,根据周期计算结果将资源使用样本序列划分成多个子序列;然后应用K-means算法对子序列分为常规子序列和异常子序列两类;最后加权综合常规子序列和异常子序列中资源使用变化率,计算在线负载资源使用的预测值。（2）提出基于运行时间预测的启...
【文章页数】：75 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题背景和研究意义
1.1.1 数据中心混部负载概述
1.1.2 混部负载资源调度的研究意义
1.2 国内外研究现状
1.2.1 数据中心在线负载资源需求预测研究现状
1.2.2 数据中心混部负载中离线负载作业调度研究现状
1.3 本文主要贡献
1.4 本文组织结构
1.5 本章小结
第2章 相关工作
2.1 数据中心混部负载资源调度相关工作
2.2 在线负载资源预测方法相关工作
2.3 作业调度相关工作
2.4 本章小结
第3章 基于周期性特征的在线负载资源预测方法
3.1 在线负载资源使用的周期性特征
3.2 方法概述
3.3 在线负载资源使用量周期识别
3.3.1 自相关函数
3.3.2 周期判别方法建模
3.4 资源序列分类
3.5 具有周期性特征的在线负载资源预测方法
3.6 实验设计
3.6.1 实验环境配置
3.6.2 实验负载的选取以及实验方法
3.6.3 性能评价指标
3.6.4 实验结果与分析
3.7 本章小结
第4章 离线负载作业调度策略的设计
4.1 问题描述
4.2 基于机器学习的离线批处理作业运行时间预测方法
4.2.1 关键因素选取
4.2.2 问题定义
4.2.3 理论工具选取
4.2.4 应用建模
4.3 作业调度策略
4.3.1 问题定义
4.3.2 模拟退火算法介绍
4.3.3 基于模拟退火算法的资源分配策略建模
4.3.4 数据中心离线作业调度策略
4.4 实验设计
4.4.1 实验环境及性能指标
4.4.2 负载选取与实验方法
4.4.3 实验结果展示与分析
4.5 本章小结
结论
参考文献
攻读硕士学位期间所发表的学术论文
致谢
【参考文献】：
期刊论文
[1]时间序列预测技术综述[J]. 何亚磊,许乾坤. 信息通信. 2018(11)
[2]浅析大数据的发展[J]. 王晨晨,孙睿. 中国市场. 2018(27)
[3]面向混合任务的自适应调度策略研究[J]. 郭锐锋,彭阿珍,邓昌义,华维,尹震宇,孙明辉. 小型微型计算机系统. 2016(01)
[4]面向混合负载的集群资源弹性调度[J]. 李勇,张章,孟丹,韩冀中,李青,王旻. 高技术通讯. 2014 (08)
[5]基于资源预测的智能终端资源缓存算法[J]. 徐超,曾学文,郭志川. 计算机工程. 2015(03)
[6]时间序列周期模式挖掘的周期检测方法[J]. 王阅,高学东,武森,陈敏. 计算机工程. 2009(22)
[7]TPC-W基准测试中客户端设计的关键技术[J]. 李胜利,罗贞,谢夏,金海. 小型微型计算机系统. 2005(01)
[8]基于集群服务器性能的TPC-W基准测试[J]. 谢夏,李胜利,金海. 华中科技大学学报(自然科学版). 2003(02)
[9]多目标优化的一类模拟退火算法[J]. 王凌,郑大钟. 计算机工程与应用. 2002(08)
硕士论文
[1]基于改进遗传算法作业调度问题的优化及应用[D]. 杜明芳.西安理工大学 2018
[2]云计算环境中价值导向的启发式并行作业调度算法[D]. 邵清世.山东大学 2018
[3]最小化总惩罚代价的批量MapReduce作业调度[D]. 王祥.东南大学 2016
[4]基于分布式的决策树方法研究[D]. 廖玉兰.电子科技大学 2011
[5]基于模拟退火算法和支持向量回归的网格资源预测[D]. 李鹏超.吉林大学 2010
[6]基于蚁群优化算法和支持向量回归的网格资源预测[D]. 宋璟.吉林大学 2010
[7]基于资源容器技术的虚拟机技术研究与实现[D]. 张巍.国防科学技术大学 2006
本文编号：3714981
【文章页数】：75 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题背景和研究意义
1.1.1 数据中心混部负载概述
1.1.2 混部负载资源调度的研究意义
1.2 国内外研究现状
1.2.1 数据中心在线负载资源需求预测研究现状
1.2.2 数据中心混部负载中离线负载作业调度研究现状
1.3 本文主要贡献
1.4 本文组织结构
1.5 本章小结
第2章 相关工作
2.1 数据中心混部负载资源调度相关工作
2.2 在线负载资源预测方法相关工作
2.3 作业调度相关工作
2.4 本章小结
第3章 基于周期性特征的在线负载资源预测方法
3.1 在线负载资源使用的周期性特征
3.2 方法概述
3.3 在线负载资源使用量周期识别
3.3.1 自相关函数
3.3.2 周期判别方法建模
3.4 资源序列分类
3.5 具有周期性特征的在线负载资源预测方法
3.6 实验设计
3.6.1 实验环境配置
3.6.2 实验负载的选取以及实验方法
3.6.3 性能评价指标
3.6.4 实验结果与分析
3.7 本章小结
第4章 离线负载作业调度策略的设计
4.1 问题描述
4.2 基于机器学习的离线批处理作业运行时间预测方法
4.2.1 关键因素选取
4.2.2 问题定义
4.2.3 理论工具选取
4.2.4 应用建模
4.3 作业调度策略
4.3.1 问题定义
4.3.2 模拟退火算法介绍
4.3.3 基于模拟退火算法的资源分配策略建模
4.3.4 数据中心离线作业调度策略
4.4 实验设计
4.4.1 实验环境及性能指标
4.4.2 负载选取与实验方法
4.4.3 实验结果展示与分析
4.5 本章小结
结论
参考文献
攻读硕士学位期间所发表的学术论文
致谢
【参考文献】：
期刊论文
[1]时间序列预测技术综述[J]. 何亚磊,许乾坤. 信息通信. 2018(11)
[2]浅析大数据的发展[J]. 王晨晨,孙睿. 中国市场. 2018(27)
[3]面向混合任务的自适应调度策略研究[J]. 郭锐锋,彭阿珍,邓昌义,华维,尹震宇,孙明辉. 小型微型计算机系统. 2016(01)
[4]面向混合负载的集群资源弹性调度[J]. 李勇,张章,孟丹,韩冀中,李青,王旻. 高技术通讯. 2014 (08)
[5]基于资源预测的智能终端资源缓存算法[J]. 徐超,曾学文,郭志川. 计算机工程. 2015(03)
[6]时间序列周期模式挖掘的周期检测方法[J]. 王阅,高学东,武森,陈敏. 计算机工程. 2009(22)
[7]TPC-W基准测试中客户端设计的关键技术[J]. 李胜利,罗贞,谢夏,金海. 小型微型计算机系统. 2005(01)
[8]基于集群服务器性能的TPC-W基准测试[J]. 谢夏,李胜利,金海. 华中科技大学学报(自然科学版). 2003(02)
[9]多目标优化的一类模拟退火算法[J]. 王凌,郑大钟. 计算机工程与应用. 2002(08)
硕士论文
[1]基于改进遗传算法作业调度问题的优化及应用[D]. 杜明芳.西安理工大学 2018
[2]云计算环境中价值导向的启发式并行作业调度算法[D]. 邵清世.山东大学 2018
[3]最小化总惩罚代价的批量MapReduce作业调度[D]. 王祥.东南大学 2016
[4]基于分布式的决策树方法研究[D]. 廖玉兰.电子科技大学 2011
[5]基于模拟退火算法和支持向量回归的网格资源预测[D]. 李鹏超.吉林大学 2010
[6]基于蚁群优化算法和支持向量回归的网格资源预测[D]. 宋璟.吉林大学 2010
[7]基于资源容器技术的虚拟机技术研究与实现[D]. 张巍.国防科学技术大学 2006
本文编号：3714981
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3714981.html
