组合预测式容器弹性伸缩方案的研究与实现

发布时间：2020-10-26 14:42

　　 随着云计算技术的进步和容器技术的快速发展,微服务架构的概念逐渐在业界流行起来,越来越多的微服务应用被部署到容器环境中。微服务的主要目的在于通过将一个大的功能模块分解为多个可单独运行的服务以降低功能之间的耦合度。运用容器技术将微服务及其运行环境进行统一打包处理,可以很好的降低平台的运维成本和资源成本,但这同时也给容器平台的管理带来了新的挑战。由于容器规模的扩大,平台的监控对象从单个服务应用变为容器以及在容器中运行的服务应用,这使容器平台的监控管理变得更加复杂。再者,由于在容器中运行的服务各不相同,对资源的需求量也不一致,因此如何对资源进行合理分配将是急需解决的一大难题。此外,由于各服务产生的日志数据格式多样且数据量呈指数级增长,如何对这些日志数据进行统一管理又将成为另一难题。针对这一系列问题,论文从以下三方面进行深入研究:第一,在spring mvc架构的基础上,本文应用prometheus技术、cAdvisor技术、flume技术实现对容器平台的性能监控和日志数据的统一管理功能。第二,针对容器平台的资源合理分配问题,对现有的响应式弹性伸缩方案和预测式弹性伸缩方案进行深入研究后提出了基于组合预测模型的容器弹性伸缩方案。结合ARIMA模型和SVM模型在短期时间序列预测上面的优点,设计了一种基于ARIMA和SVM的组合预测算法模型。在监控服务的基础上,将容器的性能数据作为数据源进行多次训练实验,相对于现有的预测算法模型而言,组合预测算法的准确率提高了近10个百分点,其准确率可达91.95%,这为实现预测式容器弹性伸缩提供了有力的判定条件。第三,结合监控服务提供的数据源和训练好的组合预测算法模型,设计并实现了预测式弹性伸缩功能。将监控服务、日志服务以及弹性伸缩服务部署到容器环境中进行测试。结果显示,相对于响应式弹性伸缩方案和基于ARIMA模型和SVM模型的预测式弹性伸缩方案而言,本文提出的组合预测式弹性伸缩方案在资源的合理利用上表现更优。此外,本文设计的监控服务、日志服务也很好的解决了当前容器平台面临的不易监控、信息分散的问题。这充分证明了本课题研究的理论意义和实用价值。
【学位单位】：西南交通大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.09
【部分图文】：

图 2-2 Prometheus 架构图[43]2.1.2.2 cAdvisorcAdvisor 是由 Google 自主研发的一款监控工具。主要用于对容器以及集群节点的性能数据进行监控和采集，cAdvisor 集成在 kubelet 组件中。由于一个节点对应一个kubelet，一个 kubelet 对应一个 cAdvisor。因此，一个 cAdvisor 只能监控一个节点。此外，通过配置 kubelet 相应的参数，cAdvisor 可对外提供 API。由于 cAdvisor 自身不支持数据存储功能，通常 cAdvisor 会与 influxDB 相结合使用。influxDB 是一种时序数据库，主要以时间序列的形式存储数据。2.1.2.3 日志采集相关技术海量日志数据的收集模型是日志数据采集的关键，日志采集模块又是容器日志服务的核心。所以选择一个正确的日志收集模型十分重要。pull 和 push 模型是目前最常用的两种模型。在不同的环境中，这两种模型各有优劣，其中实时性表现最为突出。push 模型实时性好，收到数据后立马可以发送，而 pull 模型取决于 pull 的间隔时间。push 模型除了在实时性方面具有很好的效果外，在数据的可靠性方面也有很好的优势，当服务死机或因其他因素中断时，push 模型会将服务器的当前状态保存，恢复后再重

图3-7 CPU利用率变化图.2.2.2 ARIMA 算法模型实现通过前面对ARIMA模型的原理研究，画出ARIMA模型的建模过程如图3-8所示。面将结合具体的试验数据对ARIMA模型的建模过程进行详细阐述。开始画出观测数据时间序列图判断数据是否满足平稳性要求？差分运算判断数据是否满足白噪声检测？参数估计模式识别预测满足满足原始数据满足不满足是

西南交通大学硕士研究生学位论文 第 24 页Step1. 画时间序列图：在确定ARIMA模型之前，首先数据对其进行预处理，并绘制时间序列图以观察数据中是否存在季节性趋势。如图3-9所示，经分析CPU利用率不存在季节性趋势。图 3-9 时间序列图Step2. 平稳性检测：为了确定原始序列中没有随机趋势或者确定趋势，接着对序列进行平稳性检测。本章分别从自相关图、adf检测、kpss检测等三个方面对序列的平稳性进行检测。测试结果如表3-1所示。由于ARIMA模型中的d表示在差分变换之后序列满足平稳性的顺序，因此根据该步骤d值为1。表3-1 平稳性检测结果表检测方式数据序列adf检测 adf检测对应p值 kpss检测 kpss检测对应p值原序列 非平稳 0.1296 非平稳 0.1108一阶差分序列 平稳 1.6989×10-9平稳 1.0893×10-6Step3. 白噪声检测：为了验证序列中的有用信息是否被完全提取，则对序列执行白噪声检测。文章采取LB统计量的方法进行白噪声检测，检测结果如表3-2所示，从表中可以看出该数据存在使用价值。表3-2 白噪声检测结果表数据序列 是否白噪声 对应的p值原序列 非白噪声 5.7822×10-6一阶差分序列 白噪声 0.2389Step4. 模式匹配：由于采用直接观察法确定p，q值可能出现误差
【相似文献】

相关期刊论文 前10条

1 喻如俊;;稗草影响后季稻产量预测式的研究[J];植物保护学报;1988年02期

2 郭金荣;卜一;李玉民;;应用逐步回归推导粘虫发生程度预测式[J];内蒙古农业科技;1989年04期

3 高仲传;;“预测式复习法”教改实践与体会——提高学生自主学习能力的思考与实践[J];中国科教创新导刊;2013年03期

4 高东明，秦文胜，龚林根，秦维勤;水稻条纹叶枯病分品种预测式的建立和应用[J];浙江农业科学;1995年03期

5 刘俊魁，邓星权，陈祥林;第一代二化螟幼虫发生高峰期预测式[J];湖南农业大学学报;1995年05期

6 周光普;小麦赤霉病一种简便预测式的研究与应用[J];植物保护;1991年03期

7 高仲传;常杰;;“预测式复习法”课题研究中对学生问题意识的思考——让课堂的“去问题”倾向成为过去[J];新课程(中);2015年03期

8 吴伦其;预测式教学法在政治课中的应用[J];政治课教学;2004年05期

9 赵淑芬;付云龙;唐建祥;代俊杰;;中华稻蝗发生量预报技术的改进及其预测式的试建[J];病虫测报;1992年S1期

10 王红梅;贾宗璞;张俊娜;;基于乒乓切换的预测式快速移动IPv6新方案[J];计算机工程;2008年03期

相关硕士学位论文 前6条

1 赵尘;组合预测式容器弹性伸缩方案的研究与实现[D];西南交通大学;2019年

2 陈志刚;工业设备预测式健康状态在线评估[D];广东工业大学;2019年

3 李刚;预测式外呼算法研究及呼叫系统原型设计[D];重庆大学;2016年

4 黄放;基于时间购买的预测式运维服务供应链收益分配公平性研究[D];西安理工大学;2017年

5 朱超杰;基于软交换的预测式外呼系统的设计与实现[D];华南理工大学;2013年

6 白戈;反应式营销下的CRM[D];西南财经大学;2007年

本文编号：2857129