云平台环境下实时日志管理系统的研究与实现

发布时间：2020-11-18 04:16

　　 在云计算平台中,各模块分步在不同的节点上,它们有些是物理服务器,有些是虚拟机,产生的日志数量规模巨大。众所周知,日志数据具有很大的价值。如果把云平台比喻成一个人的话,日志数据就像是我们去医院体检之后,体检单上那五花八门的条目,它们对我们的云平台给出诊断信息。然而,这些数据就像体检单上医生写下的结论,本身晦涩难懂,研发人员平时都经常忽视它们,更别说去挖掘它们的内在价值了。本文针对这种情况,提出并实现了一个具有故障预测功能的、并且可以把结果通过页面展示给用户的日志管理系统。本系统涵盖了日志采集模块、异步通信模块、日志处理模块、存储模块以及结果展示模块。其中最核心的两个模块分别为:基于flume改良的日志收集模块和具有预测功能的日志处理模块。日志收集模块是全套系统的根基所在,其汇聚了云平台上散落于各处的日志信息,为其他模块提供数据来源。针对日志收集模块在性能上的需要,本文做出了以下设计:(1)对通道进行了改进,使它可以根据数据流量的不同,灵活地选择内存通道或者是文件通道;(2)把hbase_sink分成三个级别,提供日志写入Hbase服务器的效率;(3)自定义了一个Sink,满足不同模块对Sink的需求。(4)根据实际运行环境,对参数进行调优。对日志处理模块进行设计的时候,本文就如何挖掘日志信息做了一系列的研究。首先,日志数据不同于网购类的数据,有着自己独特的地方。因此本文定义了若干个新的概念,同时研究和提出一种类Apriori的事件关联挖掘算法-Apriori-LTIS。为了提供系统处理的效率、节约资源,并进一步改进得到Apriori-simiLTIS算法。然后,提出了一个创新的概念ECG(event correlation graph)来表示事件相关性。最后,本文提出了一种基于ECG的故障事件预测算法,对云平台未来可能发生的故障做出检测。为了验证系统的完整性,本文对系统的性能和功能方面做了详尽的测试,并且用多组差异化的数据对提出的算法进行了实验,从平均分析时间、精确率以及召回率等指标对实验做出分析评价。文章最后提出系统设计的不理想之处,同时对将来的优化方向进行了阐述。
【学位单位】：电子科技大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.09;TP311.52
【部分图文】：

Producer：生产者，它的任务是往 Kafka broker 传递消息。 Consumer：数据的使用者，它作为客户端，从 broker 上读取数据。Kafka 具有以下几个特性： 高吞吐量、低延迟：kafka 能够一秒钟对几十万条信息进行处理，且延时最低仅仅几 ms，一个 topic 能够分成若干个 partition 和 consumer group ，然后把partition 进行消费操作。 可扩展性：kafka 集群支持热扩展。 持久性、可靠性：数据被永久性地保存到本地硬盘，并且可以通过拷贝数据来预防它们遗失。 容错性：集群中的结点可以宕机，如果集群结点总量是 n，那么可以有 n-1 个结点宕机。 高并发：支持数千个客户端同时读写。Kafka 通过 ZooKeeper 统一管理各个节点，并形成一个整体对外提供服务，其架构图如图 2-1 所示。

1）可以对分散在各个节点的海量日志进行收集，保障日志实时、完整无地收集。2）日志信息能被实时地处理分析，得到云平台一些有价值的信息供管理考。3）使系统拥有故障日志预测能力，预测能力具备八成以上的精准率，从升云平台的稳定运行周期。4）能对所有日志数据进行持久化存储，并对日志分析预测的结果进行用好界面地展示。 系统整体架构设计实时日志管理系统作为实验室云平台日志服务的基础服务，应该包括以块：各个节点的日志收集模块、异步通信模块、带预测功能的日志分析、存储模块和结果数据可视化[34]模块。系统整体架构图在下面图 3-1 给含了各个模块之间的关系。

开源时间、实现语言、容错性、负载均衡、可扩展性、agent、collector 和 store 等方面进行对比，详见上表 3-1。通过表格，可以清晰地得出评价，scribe 设计简单，使用起来便捷，不过在容错跟负载均衡上表现不尽如人意；而 chukwa 是 hadoop 家族的一员，在负载均衡方面也不够好，且软件还有待完善。相对于前两种产品，Flume 在高可用性、可靠性和可扩展性等诸方面最符合当前云平台对日志管理系统收集模块的要求，因此本文的日志采集模块将以 Flume 为基础框架展开设计和部署。3.3.2 模块架构设计如今的 Flume 进行了架构重构，重构之后，从以前的 Flume OG 变为如今的Flume NG。FlumeNG 相比之下像是一个轻量级小工具，操作起来不难，对各类方式日志的采集适应力更强，而且具有 failover 跟负载均衡。由于日志文件散落在每个 node 上，所以每个节点上都要部署 agent 进程，这里对应的就是 agent 层，然后收集到的数据汇总进入核心 server 里，collector 层就部署于核心服务器上面，再依照相应的规则，让日志流向 Hbase 或者 kafka，完成
【相似文献】

相关期刊论文 前10条

1 胡聪;张靖;郭洋;;基于大数据日志管理系统的研究与实现[J];中国新通信;2017年09期

2 黄丽莎;;日志管理系统的研究自主开发与综合应用[J];中国新通信;2015年10期

3 赵杉;郑杨;;浅论业务系统数据库日志管理[J];信息通信;2014年02期

4 刘兴权;赵豫;;WebGIS日志管理与分析系统的设计与实现[J];测绘科学;2013年02期

5 ;销售中的日志管理[J];山东农药信息;2009年10期

6 张毓赟;张智斌;杨文旦;;RBAC在日志管理系统中的应用[J];福建电脑;2007年03期

7 安凝;LogLogic进军中国日志管理市场[J];计算机安全;2005年12期

8 晓辉;;世界第一家日志管理设备厂商首次进入中国[J];网络安全技术与应用;2005年12期

9 徐欣欣;高晓迪;韩王远;俞婷;;校园网日志管理系统的设计与实现[J];福建电脑;2017年03期

10 许泽宁;;高速公路日志管理系统[J];中国交通信息化;2015年08期

相关硕士学位论文 前10条

1 蔡金钻;云平台环境下实时日志管理系统的研究与实现[D];电子科技大学;2018年

2 王文强;基于PCM的数据库日志与索引优化研究[D];中国科学技术大学;2017年

3 杨奕;防火墙实验系统日志管理与规则优化研究[D];上海交通大学;2008年

4 李玉荣;面向分布式软件的日志管理系统的研究与实现[D];国防科学技术大学;2005年

5 田雪锋;分布式数据库日志管理系统[D];电子科技大学;2003年

6 张清丰;数字电视SMS系统报表与日志管理子系统设计与实现[D];电子科技大学;2010年

7 黄剑桥;高性能千兆以太网硬件防火墙的智能日志管理和规则配置[D];哈尔滨工业大学;2009年

8 冯新勇;基于XML的网络安全日志管理与系统优化配置[D];四川大学;2004年

9 牟肖蓬;基于大数据的日志管理系统的设计与实现[D];东北大学;2014年

10 徐浩;面向遥感用户的综合管理子系统设计与实现[D];河南大学;2017年

本文编号：2888318