云环境中时序数据的预测和异常检测算法的研究

发布时间：2020-09-21 22:11

　　 云环境是大规模、分布式的复杂系统,由于其各功能层之间的相互依赖及调用关系错综复杂,使得云环境的高效运维成为一大难题。云环境中日常监控的各类KPI数据的主要形式是时间序列数据,对这些时序数据的预测和异常检测一直是国内外研究的两大热点。高预测精度和高异常检测准确率的算法可以帮助我们发现云环境中潜在的问题并及时止损,避免产生较大的损失,对提高云环境的高可用性有着十分重要的意义。本文在前人相关研究成果的基础上,以云环境中的时序数据为研究对象,以提高时序数据的预测精度和异常检测准确率为研究目标,提出适用于云环境中时序数据特性的高效准确的预测算法和异常检测算法。本文的主要研究工作有:1、对国内外相关的预测和异常检测算法进行了梳理和分类,并从中发现该领域的研究动向、最新成果及存在的不足;2、对云环境中时序数据的特性、分类、常见异常类型、常用分析方法、预测算法及异常检测算法进行了归纳和总结;3、发掘预测算法和异常检测算法之间的共通之处,将二者结合,使预测算法的模型和结果可同时应用在异常检测算法中,以提高算法的执行效率和云环境的运维效率;4、提出基于经验小波变换、孤立森林和循环神经网络的常见变体相结合的EWT-IF-varRNN预测模型,借助这些算法各自的优点进行优势互补,提升模型的预测能力和适用范围;5、提出基于预测和改进的多维SAX向量表示的OCPD算法,该算法可同时检测出时序数据中的离群异常点和变化异常点等多种异常类型;6、提出改进的多维SAX向量表示方法,用于OCPD算法中对时序数据的变化异常点的判别和筛选环节;7、通过选用真实业务云环境中的监控数据集和已有算法进行的对比实验,验证了EWT-IF-varRNN预测模型和OCPD算法的有效性和准确性。本文所做的研究和贡献有效地提高了云环境中时序数据的预测精度和异常检测准确率,同时对该领域未来的研究内容和方向提出了自己的见解和展望。
【学位单位】：南京大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP311.13;TP393.09
【部分图文】：

分布式资源监控逡逑图２．１云环境运维基本架构图逡逑如图２．１所示为云环境运维的基本架构。一般地，运维人员首先需要在云环逡逑境中各个重要节点部署监控环境，这些监控环境遵循的原则是不能影响云服务的逡逑正常工作运行，常见的用于监控云环境基础资源的框架有Ｚａｂｂｉｘ、Ｎａｇｉｏｓ、Ｍｏｎｋ逡逑９逡逑

南京大学硕士毕业论文逦第二章相关理论基础与技术逡逑（１）离群异常点（Ｏｕｔｌｉｅｒｓ）：给定一段时间序列Ｘ，若在ｔ时刻的观测值＆与逡逑该序列在ｔ时刻的期望值￡■（＆）有较大的差异，则称该点（ｔ，ｘｔ）为离群异常点。如逡逑图２．２所示。逡逑（２）变化异常点（Ｃｈａｎｇｅ邋ｐｏｉｎｔｓ）：给定一段时间序列Ｘ，若在ｔ时刻前后序逡逑列的行为表现出较大的差异，则称该点为变化异常点。如图２．３所示。云逡逑环境中的此类异常往往由于新开启或关闭了某个服务或突然对某服务发出请求逡逑洪波而导致相应的ＫＰＩ曲线发生断层式的瞬时改变，因此我们也可以将该类异逡逑常称为断层异常。逡逑

逦第二章相关理论基础与技术逡逑度学习模型的预测算法以及组合模型四大类，如图２．５所示。逡逑〔自回归和移动平均模型逡逑二阶或三阶指数平滑法逡逑ｒ邋基于统计学模型逦＾邋逦逡逑逦１＾邋时间序列分解策略逡逑滤波器模型逡逑＾随机过程和概率模型逡逑ｙ－决策树逡逑逦邋贝叶斯网络逡逑基于机器学习模型邋＾邋逦逡逑逦１邋支持向量机逡逑时间序列的预测算法＾逦＾限制玻尔兹曼机逡逑ｆ循环神经网络逡逑长短期记忆模型逡逑基于深度学习模型邋＜邋门控循环单元逡逑深度信念网络逡逑＾时间卷积网络逡逑Ｖ逦组合模型逡逑图２．５时间序列的预测算法逡逑基于统计学模型的预测方法包括自回归和移动平均模型ＷＰ］，代表算法有自逡逑回归模型（ＡＲ）、移动平均模型（ＭＡ）、自回归移动平均模型（ＡＲＭＡ）、差分逡逑自回归移动平均模型（ＡＲＩＭＡ）、指数平滑模型（ＥＳ）、指数加权移动平均模型逡逑（ＥＷＭＡ）等；二阶或三阶指数平滑法，代表算法有ＨｏｌｔＷｉｎｔｅｒｓ［３ｌ等；时间序列逡逑分解策略，代表算法有ＳＴＬ等；滤波器模型，代表算法奋卡尔曼滤波等；随机过逡逑程和概率模型，代表算法有马尔科夫链ｍ、随机游走算法等。逡逑１５逡逑

【相似文献】

相关期刊论文 前10条

1 王妙琼;魏凯;姜春宇;;工业互联网中时序数据处理面临的新挑战[J];信息通信技术与政策;2019年05期

2 黄雄波;;基于自相关函数的非平稳时序数据的辨识改进[J];微型机与应用;2016年13期

3 尚继霞;;基于时序数据的辽宁省环境库兹涅茨曲线实证分析[J];统计与咨询;2013年04期

4 钟清流;蔡自兴;;基于统计特征的时序数据符号化算法[J];计算机学报;2008年10期

5 王兴家;汪晓惠;赵超;;基于神经网络的混沌时序数据失真检测方法研究[J];重庆交通大学学报(自然科学版);2007年06期

6 郝善勇,刘玉树;基于样本数据重抽样的时序数据预报方法[J];北京理工大学学报;2000年05期

7 骆金维;曾德生;郭雅;黄富平;;时序数据并行压缩速率改进技术研究[J];电子设计工程;2018年20期

8 林芝,曹加恒,刘娟,韦丰;基于信息论网络的时序数据库挖掘[J];计算机工程与应用;2003年01期

9 郑斌祥,杜秀华,席裕庚;一种时序数据的离群数据挖掘新算法[J];控制与决策;2002年03期

10 朱明,蔡庆生;基于约束满足的相似时序数据的搜索算法[J];计算机工程;2000年01期

相关会议论文 前7条

1 张荣明;邹湘军;顾邦军;罗陆锋;周艳琼;;基于探索性分析的时序数据研究[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年

2 鲍远松;董文生;;一种分布式时序数据库的存储架构设计及实现方法[A];中国计量协会冶金分会2018年会论文集[C];2018年

3 张明伟;周清波;宫攀;陈仲新;周勇;刘佳;;基于MODIS时序数据分析的作物识别方法[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第六分册[C];2005年

4 刘帅;李琦;;基于重建NDVI时序数据的植被覆盖变化研究[A];遥感定量反演算法研讨会摘要集[C];2010年

5 许馨文;马卫国;张宝雷;;基于国家级开发区的聚类方法初探[A];京津走廊经济崛起与工业园区产业集群研究——纪念廊坊开发区建立十五周年暨工业园区产业集群专题征文研讨活动论文集[C];2007年

6 曹晖;司刚全;张彦斌;贾立新;;基于模糊时序数据挖掘的火电厂制粉系统优化算法[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

7 孙启龙;吕颖;张利国;;基于深度学习的道路可靠性评估方法与实验[A];第37届中国控制会议论文集（E）[C];2018年

相关博士学位论文 前7条

1 吴吉庆;面向Internet的时序数据快速分发技术研究[D];国防科学技术大学;2011年

2 张贵生;数据驱动的金融时间序列预测模型研究[D];山西大学;2016年

3 何周舟;基于时序数据的结构学习与模式预测联合优化算法研究[D];浙江大学;2016年

4 白天;连分式方法在脉冲去噪、时序数据压缩及视频镜头检测中的应用研究[D];合肥工业大学;2014年

5 赵静;基于高斯过程的动态系统研究[D];华东师范大学;2016年

6 叶红梅;面向流域生态安全的景观格局演变研究[D];华中科技大学;2009年

7 钟清流;时序、图像特征检测的理论、方法及应用研究[D];中南大学;2008年

相关硕士学位论文 前10条

1 王超;云环境中时序数据的预测和异常检测算法的研究[D];南京大学;2019年

2 韩日旺;关于时序网络鲁棒性与修复性的研究[D];华中师范大学;2018年

3 李凤;非平衡时序数据的动态时间规整过采样方法研究[D];暨南大学;2018年

4 吴俊锋;面向TLE数据的多变量时序数据分类算法研究[D];国防科学技术大学;2016年

5 杨云丽;大数据背景下的时序数据分析[D];中国科学技术大学;2018年

6 李亭亭;基于时序遥感数据的水环境时空采样布局优化方法研究[D];武汉大学;2018年

7 籍姣荣;基于仿射变换的时序数据信息处理方法研究[D];黑龙江大学;2018年

8 沈亮亮;面向金融领域的时序数据挖掘方法研究与应用[D];海南大学;2018年

9 冯康;时序数据在线分类与规则发现[D];华中科技大学;2016年

10 周强;时序数据挖掘在经济领域中的应用研究[D];合肥工业大学;2005年

本文编号：2824052