公有云环境下基于多模态神经网络的弹性资源管理系统

发布时间：2020-04-15 12:15

【摘要】：云计算市场主要采用按需付费模式,这种模式需要云租户在提交计算任务(例如MapReduce)之前,根据该任务的服务需求(例如完成任务的截止时间)来估算所需要租用的计算资源(例如用于执行计算任务的虚拟机)的数量。在虚拟机性能会发生波动的公有云环境中,为了保障计算任务的按时完成以及减少租用计算资源的费用,租户需要自动化的资源管理系统,来根据计算任务的具体运行情况实时调整租用资源的数量。基于多模态神经网络的弹性资源管理系统可用于解决上述问题。该系统包含初始资源推荐模块以及弹性资源管理模块。初始资源推荐模块会根据租户计算任务的截止时间和工作量,为租户推荐能按时完成任务且租用费用最少的计算资源配置。在任务的计算过程中,弹性资源管理模块的多模态神经网络能够提取计算资源数量、计算资源利用率和任务计算速度等三个模态的特征,实时对任务完成时间进行更加准确的预测。这种预测模型能够在虚拟机性能出现下降时,及时捕捉到任务计算速度上的变化,调整预测结果。当预测到计算任务的完成时间超过截止时间时,该系统会增加计算资源的数量,提升任务的计算速度,最终保障任务按时完成。在阿里云中基于Hadoop计算框架开发实现了该系统。通过对该系统的实际测试表明:1)在确定初始计算资源数量时,该系统的预测模型对于任务完成时间的预测准确率为98.4%;2)与领域内现有的其它资源管理系统相比,该系统可在保证任务按时完成的同时,最多节省云租户30.8%的计算资源租用成本。
【图文】：

.1 用 20 个虚拟机运行 200GB WordCount 任务的处理的弊端用量付费的收费政策，如果一开始就为计算任务分配在很短的时间内完成。这样，租户租用计算资源的成源但运行时间更长，这种策略下的租借成本要少。如要进行实时弹性资源控制了。本文首先会证明，尽管更快，一开始分配过多的计算资源会导致租用成本ordCount 任务，当虚拟机单机的配置相同时，，仅改变运行该任务的成本会随着虚拟机数量的增加而增加。务会导致租用成本上升。对于租户来说，一开始只租数量的资源，然后在必要的时候增加额外计算资源是这也是本文中弹性资源管理系统所采用的资源分配

.1 用 20 个虚拟机运行 200GB WordCount 任务的处理的弊端用量付费的收费政策，如果一开始就为计算任务分配在很短的时间内完成。这样，租户租用计算资源的成源但运行时间更长，这种策略下的租借成本要少。如要进行实时弹性资源控制了。本文首先会证明，尽管更快，一开始分配过多的计算资源会导致租用成本ordCount 任务，当虚拟机单机的配置相同时，仅改变运行该任务的成本会随着虚拟机数量的增加而增加务会导致租用成本上升。对于租户来说，一开始只租数量的资源，然后在必要的时候增加额外计算资源是这也是本文中弹性资源管理系统所采用的资源分配
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.07;TP183

【相似文献】

相关期刊论文 前10条

1 杨海啸;;光缆等哑资源管理系统提升研究[J];通讯世界;2019年12期

2 孙磊;白龙飞;薛其林;宋珍珍;;光纤资源管理系统构想[J];山东通信技术;2019年04期

3 吴健;;光缆传输资源管理系统分析[J];数字通信世界;2017年07期

4 陈大庆;;电子资源管理系统的发展及未来思考[J];大学图书馆学报;2014年03期

5 陈雪斐;;国内主流教育资源管理系统的比较研究[J];中国教育技术装备;2014年18期

6 曹玉娜;濮荣强;;教育资源管理系统共建共享问题研究[J];长春大学学报;2013年10期

7 张永琳;;电力通信资源管理系统的开发应用[J];黑龙江科技信息;2013年20期

8 赵s

本文编号：2628541