基于时间序列分析的杀手级任务在线识别方法

发布时间：2019-11-26 17:42

【摘要】：通过分析Google集群中任务的失效次数和失效模式,找到具有高失效频次和连续失效特征的杀手级任务。杀手级任务不仅影响云计算系统上应用运行的可靠性与可用性,而且会浪费大量资源并显著增加调度负载。在杀手级任务资源使用模式的基础上,提出一种基于时间序列的在线识别方法,以利用资源使用时间序列在失效早期准确识别出杀手级任务并通知云计算系统采取前摄性失效恢复措施,从而避免不必要的重复调度和资源浪费。实验结果表明,该方法能够以98.5%的准确率在平均3%的失效时间内识别出杀手级任务,同时节约96.75%的系统资源。
【图文】：

模式图,模式,频率,杀手

３．３失效频率分析为度量任务的失效频率特征，，本文对杀手级和非杀手级任务在长度为５分钟的时间窗口内的失效频次进行了分析，结果如图２所示。从图中可以看出，大部分杀手级任务在某些窗口内发生过多次失效，３７．８％的杀手级任务至少在一个窗口内失效８次以上，甚至有一个任务的最大失效次数为１６次，意味着该任务在某些窗口内平均每分钟失效３次以上。相反，除０．０３％的非杀手级任务在某个窗口内发生过４次失效外，几乎所有非杀手级任务在所有窗口的失效次数均不超过２次，这与杀手级任务形成了鲜明对比。图２失效频率模式４杀手级任务在线识别根据上文分析，杀手级任务和非杀手级任务存在不同的资源使用模式。本文提出一种基于时间序列的杀手级任务在线识别算法，其利用早期资源的使用特征提前识别出杀手级任务并通知云计算系统采取前摄性措施。本文方法分为失效频率阈值学习和杀手级任务识别两个阶段。４．１失效频率阈值学习算法假设任务ｉ的驻留时间为Ｔｉ，Ｆｉ，ｔ和Ｒｉ，ｔ分别表示任务ｉ在时刻ｔ的失效次数和资源使用量。失效频率阈值学习算法从非杀手级任务中学习失效频率阈值作为杀手级任务和非杀手级任务的分界。算法分为以下３个步骤。（１）划分资源异常窗口根据上文分析结果，杀手级任务的资源使用存在明显分段趋势，因此可将任务的生命周期划分为若干个资源异常窗口。资源异常窗口指资源使用量与其他窗口差异显著的时段。本文用资源使用量的变动程度来判断其是否异常。若某时刻资源使用变动量大于阈值，则该时刻属于另一窗口；否则该时刻与上一时刻属于同一窗口。判断某一时刻是否为资源异常点的方式如下：｜

前置时间,杀手,资源节约,失效特征

５．２．２识别效果分析图３示出了算法对杀手级任务的预识别程度，用识别前后的失效次数表征。如图３所示，识别前的失效次数远少于识别后的失效次数，表明算法在发生少量失效时便能够识别杀手级任务并通知云计算系统，从而避免大量不必要的失效。如某失效４０３９３次的杀手级任务在第１１次失效时便被识别，有效避免了４０３８２次失效。图３识别前后的失效次数算法在资源节约和前置时间方面的性能如图４所示。前置时间百分比指任务的前置时间占其失效总时间的百分比，资源节约百分比为任务资源节约量占其失效后资源总消耗的百分比。结果表明，大部分任务的前置时间接近于失效总时长，且算法平均在３％的失效时长内识别杀手级任务，为系统平均保留４１０ｍｉｎ以采取有效措施。其中某个任务的前置时间为２８．９９天，即在首次失效后的第０．２４小时内便被识别。此外，９８．９％的任务的资源节约百分比大于９０％，所有任务的平均资源节约百分比为９６．７５％。图４资源节约和前置时间结束语具有高失效频次和连续失效特征的杀手级任务不仅影响云计算系统的可靠性与可用性，还会造成大量的资源浪费并显著增加调度负载。本文从时间序列的角度对杀手级任务的资源使用模式进行探究，并在此基础上提出一种基于资源使用时间序列的杀手级任务在线识别方法。实验结果表明，本文方法能够以９８．５％的准确率识别出杀手级任务，平均节约９６．７５％的系统资源。今后将通过引入更多资源使用指标（如内存使用量）以及利用机器学习模型来优化算法。此外，也考虑将方法应用于各种不同类型的云计算系统。参考文献［１］ＧｏｏｇｌｅＣｌｕｓｔｅｒＤａｔａ［

【相似文献】