基于负载特征的云集群作业终止状态预测方法的研究

发布时间：2020-07-11 15:58

【摘要】：近年来,互联网发展迅速,我们已然进入大数据时代,随之云计算技术也得到了大力研究和关注,云平台成为了一个基础性平台,对云平台资源管理的研究也就成为了热点。如何利用云平台负载数据的特征,提高云平台的资源利用率,为用户提供更优质的服务,成为了云平台资源管理的重要问题。本文主要对云计算技术的核心问题之一:云平台资源调度管理进行研究,目的是解决云平台资源调度管理中作业终止状态的预测问题,将以大型谷歌云平台中公开日志数据作为实验数据集,通过对数据集中与作业终止状态有关属性分析后,选择合适的负载特征向量样本,为各模型的输入做准备。对目前分类预测模型的各方面性能(测试时间、预测精度和适用范围)分析比较后,选择了极限学习机(ELM)、支持向量机、在线顺序极限学习机(OS-ELM)、多层极限学习机(ML-ELM)和多层在线顺序极限学习机(ML-OSELM)这五个较优模型对云平台数据集中作业终止状态进行了预测,结果显示在测试时间方面,各模型相差不多;在测试精度方面,多隐层神经网络模型的测试精度都比单隐层网络模型的测试精度高,其中多层极限学习机模型(ML-ELM)的测试精度最高,为92.67%。多层在线顺序极限学习机模型(ML-OSELM)的测试精度和多层自编码极限学习机模型(ML-ELM)的测试精度相近,为92.45%,由于ML-OSELM模型可有效解决云平台中因数据量不断增加而受限于内存的问题,所以ML-OSELM模型为上述模型中的最优模型,更适合于对大规模云平台中作业终止状态进行预测。根据实验结果所选用的多层在线顺序极限学习机分类预测模型(MLOSELM)可以减少云平台中内存占用率,降低服务成本和改善云平台服务质量,对云计算调度管理中作业终止状态的预测问题有着重要的作用。
【学位授予单位】：内蒙古大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09;TP18
【图文】：

激活函数,函数,差比,目标数据

内蒙古大学硕士学位论文活函数和隐层节点偏置一样，都是给模型增加了非线性因素，使模型可处具有泛化能力。常用的激活函数有 Sigmoid 函数、Tanh 函数、Relu 函数和 S 2.2 所示。在特征相差比较大且目标数据为二分类时适合用 sig 函数和 tan数和 sig 函数相似，也适合处理目标数据特征相差比较大的情况，但适合处elu 函数因输入值大于 0 时梯度衰减较小，所以适合监督学习。

自编码,隐含层

基于负载特征的云集群作业终止状态预测方法的研究2.3 自编码器概述编码器是一种无监督的神经网络模型[25][26]，其可以看作为一种数据压缩算法，目标输入进行另一种相似的表达，即学习目标输入的特征。其包含输入层、隐三个部分，其中包含多个隐含层的自编码器被称为深层自编码器。输入层和隐值处被称为编码，隐含层包含着经过编程器编码后的特征信息，隐含层和输出处被称为解码，其可将隐层所含特征信息映射到输出层。自编码器例图和单隐 2.8 和图 2.9 所示：

支持向量机,平面示意图,超平面

图 2. 10 支持向量机平面示意图Fig. 2.10 Support vector machine planar diagram大超平面的中间线性方程，两条虚线为最大超平面的边向量机。最大超平面的边界距离为 = ，其中实线方，若数据都为完全线性可分，则任意数据到超平面的距以 = 和 = 为边界，数据被分为和 Vapnik 等人通过在模型中增加核函数的方法得到了素，利用非线性函数将线性不可分数据映射到了更高维大超平面。此时超平面为 ( ) = ， ( )为核RBF kernel）、拉普拉斯核函数（Laplacian kernel）和 S对数据进行二分类，但实际遇到的数据多为多分类的构建多个超平面实现了 SVM 的多分类，具体方法如下

【相似文献】