云网融合环境下的多源数据采集和异常检测算法研究

发布时间：2020-03-30 20:59

【摘要】：随着云数据中心的技术不断成熟,越来越多的业务系统部署在云上,以实现资源的动态可扩展和综合运维。因此,如何采集云网环境中的多源数据并通过数据建模进行异常检测就成为一个重要的问题。本文介绍了云环境下多源数据采集的基本方式,对当前的数据采集方法进行了全面分析,并阐述了各种现有监控工具的优劣性。然后基于开源工具Open-Falcon进行自定义数据采集插件的开发,用于云网融合环境下的多源数据采集工作。针对云网环境下多源数据数据量庞大、正负样本不平衡以及数据维度较高的特点,本文提出了一种基于深度置信网络集成学习的异常检测模型。该模型解决了多源运维数据正负样本不平衡问题,同时利用深度置信网络良好的特征提取功能,对多源时序关键性能指标(Key Performance Indicators,KPIs)数据进行有效降维,并结合逻辑回归和受限玻尔兹曼机实现了异常检测,单个弱分类器对异常的识别率达到99%以上。在多个弱分类器集成过程中,本文提出了一种自适应阈值投票算法,通过遍历所有可取阈值,选择F_1-score最大结果为最佳阈值结果。通过自适应阈值投票算法集成多个弱分类器,提高了模型整体的泛化性,使异常检测模型的准确率达到了99.23%,此时模型召回率为99.38%。
【图文】：

图 3.1 黄金指标示意图Figure 3.1 Diagram of gold indicator 3.1 可知，四个黄金指标包括错误、延迟、流量和饱和度。其中，错误是错误请求和错误率，，延迟是指服务请求所需的时间，流量指当前系统的流量当前服务的利用率。nStack 和 OpenDaylight 云网融合环境下的多源数据采集从基础和业务两方拟机实例和物理主机的基础运维数据采集、相关服务的数据采light 网络拓扑数据的采集等。在实际生产环境中，作为云服务的主体，单得更为重要。不仅是因为虚拟机的运行状态是用户最直观的体验感受，而资源的最主要消耗，虚拟机的运行状态也间接反映了云服务的运行状态。的实时监控具有以下意义：（1）实时了解虚拟机对计算、存储、网络等资便及时的对资源进行动态调整；（2）对多种监控数据的综合分析能够判断

云网融合环境下的多源数据采集和异常检测算法研究3.2.1 数据采集功能架构设计数据采集功能主要用于云网融合平台监控的基础工作，负责在平台的各个组件上采集各节点、虚拟实例以及各服务的基础资源使用情况，并将这些数据高效的存储，供后续监控数据汇总分析或可视化展示。数据采集功能模块架构如图 3.2 所示，虚线框内的组件表示该组件可以水平扩展，虚线箭头表示可选择的数据走向。
【学位授予单位】：内蒙古大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP3;TP274

【相似文献】

相关期刊论文 前10条

1 蔡波;;基于混沌时间序列预测的多源数据转换算法设计[J];国外电子测量技术;2019年06期

2 甄峰;;基于多源数据的规划评估[J];中国建设信息化;2018年03期

3 谢洪;吴博义;胡晓斌;;一种车载移动海量多源数据管理方法[J];遥感信息;2017年05期

4 向广林;;基于流量守恒定律下多源数据融合的交通状态监测和预测[J];城市地理;2017年14期

5 郭奎城;马江水;孙广瑞;李旭东;李清伟;赵书跃;;浅覆盖区多源数据融合整合的技术方法[J];地质通报;2008年07期

6 卢代军,夏学知,张子鹤,沙基昌;多源数据融合系统性能评价的测试床研究[J];舰船电子工程;2005年02期

7 徐肇忠;;用USEMAP软件包改善GIS中多源数据的几何相关性[J];武测科技;1989年04期

8 万园;;基于多源数据融合的审稿专家优选策略与功能实现[J];编辑学报;2019年S1期

9 唐浩;张建云;张晓东;;多源数据分析在桥梁运营监测中的应用[J];公路交通技术;2019年03期

10 周永兴;孔岳洋;;基于多网络架构的出租车监管系统多源数据融合技术方案[J];数字技术与应用;2018年03期

相关会议论文 前10条

1 冯国英;曾德贤;王夏男;;太空多源数据挖掘方法研究[A];第二届中国空天安全会议论文集[C];2017年

2 陈伟清;刘彦花;;城市规划多源数据整合与数据库建设[A];现代测量技术与地理信息系统科技创新及产业发展研讨会论文集[C];2009年

3 李晓庆;张平升;刘令;李炳林;;基于多源数据的组团新区职住及通勤特征分析[A];共享与品质——2018中国城市规划年会论文集（06城市交通规划）[C];2018年

4 廖邦固;韩雪培;;多源数据的空间坐标变换方法探讨[A];认识地理过程 关注人类家园——中国地理学会2003年学术年会文集[C];2003年

5 杨锋杰;卢燕;杨振毅;宋翠玉;;多源数据融合的方法与应用[A];山东地球物理六十年[C];2009年

6 李颖;段冰若;蔡玉蘅;;基于多源数据的北京存量空间功能识别[A];共享与品质——2018中国城市规划年会论文集（05城市规划新技术应用）[C];2018年

7 李政霖;何浪;杨孝增;;基于多源数据挖掘的山体保护与利用策略研究——以贵阳市为例[A];共享与品质——2018中国城市规划年会论文集（05城市规划新技术应用）[C];2018年

8 刘英才;;GIS中间件的数据集成应用[A];中国地质学会2015学术年会论文摘要汇编（中册）[C];2015年

9 刘彬;杜臣昌;陈天一;;多源数据下的商业设施布局规划评估方法探索——以青岛市中心城区为例[A];共享与品质——2018中国城市规划年会论文集（11城市总体规划）[C];2018年

10 刘s

本文编号：2608056