基于多属性信息的云平台异常检测系统设计与实现

发布时间：2017-03-28 04:02

  本文关键词：基于多属性信息的云平台异常检测系统设计与实现，由笔耕文化传播整理发布。

【摘要】：当今,云计算已成为全球IT产业的主流模式,各个领域的发展都离不开云计算。为了提高云计算平台的服务质量,需要对云平台进行全面的监控。由于云计算资源具有多样性、复杂性等特点,给监控任务带来了巨大的挑战。云监控中涉及的关键问题主要有监控信息的获取、监控数据的异常判定、异常信息的传输及异常预警。本文提出了一种基于主成分分析(Principal Component Analysis,PCA)和多属性信息的虚拟机异常检测方法。在此基础上,设计并实现了一个基于多属性信息的云平台异常检测系统,该监控系统能够对虚拟机中的Hadoop集群节点进行资源监控和故障预警。基于PCA和多属性信息的虚拟机异常检测方法研究包括以PCA算法为核心的多属性信息处理和以非参数CUSUM算法为核心的异常检测。前者首先通过PCA算法将多个属性数据重新组合成一组新的相互无关的综合数据来代替原来的多维数据,然后通过分析计算将该综合数据划分为“正常”、“异常”及“故障”等三类。后者主要针对异常数据而展开,当检测到异常数据时,系统将启动CUSUM检测机制,加快采集频率,当检验序列由负变正时累加异常,当异常累计值达到阈值门限时即发送警告。实验结果表明：基于PCA的多属性信息异常检测算法可以在虚拟机运行状态发生显著异常之前准确地检测出异常,并具有较小的时延。基于多属性信息的云平台异常检测系统设计主要在Xen云平台中实现,包括节点机功能设计和主控机功能设计。其中,节点机功能的实现首先通过Sysstat系统性能收集工具对节点信息进行采集,然后通过后台守护进程将信息进行整理并存入Mysql数据库,最后通过异常检测算法进行异常判定并进行异常告警。主控机是异常检测系统的人机交互界面,负责所有命令的接收与发送,并具有异常报警、警告记录存储和各个节点资源利用状态查看的功能。实验结果表明,该系统可以完成各项预期的设计功能。
【关键词】：云监控 Xen虚拟机 多属性信息 异常检测
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP302
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-15
• 1.1 课题背景9-10
• 1.2 国内外研究现状10-13
• 1.3 研究目的与主要工作13
• 1.4 论文的组织结构13-15
• 2 云监控相关技术基础15-25
• 2.1 云计算15-19
• 2.1.1 云计算的体系结构15-17
• 2.1.2 HDFS分布式文件系统17-19
• 2.2 云平台监控技术19-21
• 2.3 Xen虚拟化技术21-23
• 2.4 Linux下自动化编译技术23-24
• 2.5 本章小结24-25
• 3 基于主成分分析的多属性信息异常检测25-43
• 3.1 基于主成分分析的数据处理25-35
• 3.1.1 主成分分析法原理25-26
• 3.1.2 主成分分析法算法26-27
• 3.1.3 PCA建模27-32
• 3.1.4 运行状态等级分类32-35
• 3.2 基于非参数CUSUM算法的异常检测分析35-39
• 3.2.1 CUSUM算法简介35-37
• 3.2.2 非参数CUSUM算法的异常检测分析37-38
• 3.2.3 非参数CUSUM阈值分析38-39
• 3.3 实验结果与分析39-42
• 3.4 本章小结42-43
• 4 多属性信息的云平台异常检测系统设计与实现43-60
• 4.1 多属性信息的云平台异常检测系统体系结构43-44
• 4.2 节点机的设计与实现44-50
• 4.2.1 节点机功能设计44-45
• 4.2.2 后台守护进程的设计45-47
• 4.2.3 UDP通信模块设计47-48
• 4.2.4 数据持久化设计48-50
• 4.3 主控机设计与实现50-51
• 4.4 测试系统的实现51-59
• 4.4.1 测试平台搭建51-55
• 4.4.2 实验数据采集55-57
• 4.4.3 运行分析57-59
• 4.5 本章小结59-60
• 结论60-61
• 参考文献61-64
• 攻读硕士学位期间发表学术论文情况64-65
• 致谢65-66

【参考文献】

中国硕士学位论文全文数据库 前1条

1 郑佰平;云计算技术在汽车研发系统中的应用研究[D];重庆交通大学;2013年

  本文关键词：基于多属性信息的云平台异常检测系统设计与实现，由笔耕文化传播整理发布。

，

本文编号：271604