自主容器云平台日志的大数据分析研究与实现

发布时间：2024-04-12 03:41

　　服务信息系统正在不断地向网络化信息的模式转型,国产硬件设备也不断地更新换代,自主可控也成为了新信息时代的基本要求,随着信息时代的发展和新时代自主可控的要求,越来越多的服务和应用也将被部署自主可控的云平台上。部署在自主可控容器云平台上的服务和应用在运行的过程中,我们需要获取日志数据,来进行一系列的监控、统计、分析以及预测工作。然而传统日志采集和分析工具对于自主可控的容器云来说在技术上还存在着一些缺陷。本文的研究的目的是为自主可控容器云平台搭建的,大数据日志分析系统。本文主要是采用的是以Spark和ELK Stack开源框架为核心的数据日志处理技术,实现了对于整个自主可控云平台系统日志的大数据分析。将整个自主容器云平台的日志分析系统分为了四个部分:日志采集模块、日志存储模块、日志分析模块、结果可视化模块。为了适应自主可控容器云的特点,本文设计了自适应系统负载的日志采集算法,降低了日志采集对于容器,云平台性能的影响,从而保证了自主可控容器云上所部署的服务高效可靠的运行,并且也保证了日志数据一定的全面性。为了高效的执行日志分析的任务,本文对日志数据分析阶段进行了详细的研究和产品需求的规划,详细...

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

图3.5技术模块规划图

?电子科学研究院硕士学位论文３．３．４数据可视化模块??数据可视化模块的主要功能是可视化分布式数据存储模块中的数据可视化模块需要显示的数据主要分为两部分：其中一部分是对据可视化，这部分主要是为开发和运维工程师对自主容器云平台后的支撑工作；第二部分是结果日志数据的可视化，这一部分主....

图4.12分析结果日志可视化呈现

图４．?１０?Ｉｐ分布图??Ｄａｔｅ４Ｐ議旬最??１８００?＾?垂??ｍｍ?ｍｍ?１１嫩?ｕｍ?ｎｍ?２＾ｍ?ｂ：ｏｏ??图４．?１１?Ｉｐ时间分布图??４．４．２分析结果日志可视化呈现??而对于大数据日志分析系统分析的日志信息，Ｋｉｂａｎａ的图形用户界面传统用户来说并不够友好，....

图4.13离线分析结果统计

?电子科学研宄院硕士学位论文为深度用户，并且统计了一个月内新用户的数目，以及用ＰＣ端使用自器云上服务的用户数目。具体分析结果如图４．１３所示。??

图5.1日志数据采集算法流程

验证??基于中国电子科技集团第十五研究所的太极云进行节点１个，网关节点一个，计算节点３个，均采用的了由中国电科第十五研究所自主研发的太极云，数据务器一台。计算节点所产生的数据均采用网络传输到数据采集节点的服务器上。实验的拓扑图如图５．２ｍ?叼关节点??０?０?，３，＿??Ｉ?職?....

本文编号：3951608