一种改进的ELK日志采集与分析系统
发布时间：2021-03-18 18:54
ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全。实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60%,日志速度提高了3倍,且消息丢失率为零。
【文章来源】：软件导刊. 2019,18(08)
【文章页数】：6 页
【部分图文】：
应用服务器集群架构2.2日志收集模块服务器3
模块、日志收集器模块和日志转发器模块在Goland开发环境中实现，Kafka、Zookerper、Etcd、ElasticSearch、Kibana等在PowerShell上开启。4.2实验结果及分析4.2.1模拟产生日志实验模拟5000个用户同时访问购物网站，即产生5000个用户在购物网站上浏览、购买商品、支付和收货等日志，且设置每个用户产生5~10条不等的日志。4.2.2日志收集对日志收集器进行初始化后监听Etcd集群配置变化以及日志内容变化。特别地，在日志收集时会根据限速条件对日志收集器进行限速处理。图10中，limitisrunning代表限速模块对一秒内生产5000次日志的文件进行限速，limitisexited表示限速结束。图10日志收集器限速处理情况4.2.3日志转发对日志转发器进行初始化后监听Etcd集群配置变化。当日志转发器拉取到相关主题的日志消息后，会发送到ElasticSearch。如图11所示，打印出日志信息表示已经成功收集，sendtoessuccess表示成功将日志发送到ElasticSearch。图11日志转发结果4.2.4日志搜索和分析当日志成功收集后，需对这些日志数据进行搜索和分析，其结果如图12所示。柱状图表示每秒钟收集到的日志，其下是按时间先后顺序排列的日志数据，默认情况下是全量显示，若需要搜索特定规则的日志，可以通过搜索栏进行搜索匹配。图12日志展示效果通过上述实验，系统可以完成收集、转发和展示分析等功能，体现了其强大的分布式日志采集与分析能力。鲜征征，叶嘉祥：一种改进的ELK日志采集与分析系统··109
支付和收货等日志，且设置每个用户产生5~10条不等的日志。4.2.2日志收集对日志收集器进行初始化后监听Etcd集群配置变化以及日志内容变化。特别地，在日志收集时会根据限速条件对日志收集器进行限速处理。图10中，limitisrunning代表限速模块对一秒内生产5000次日志的文件进行限速，limitisexited表示限速结束。图10日志收集器限速处理情况4.2.3日志转发对日志转发器进行初始化后监听Etcd集群配置变化。当日志转发器拉取到相关主题的日志消息后，会发送到ElasticSearch。如图11所示，打印出日志信息表示已经成功收集，sendtoessuccess表示成功将日志发送到ElasticSearch。图11日志转发结果4.2.4日志搜索和分析当日志成功收集后，需对这些日志数据进行搜索和分析，其结果如图12所示。柱状图表示每秒钟收集到的日志，其下是按时间先后顺序排列的日志数据，默认情况下是全量显示，若需要搜索特定规则的日志，可以通过搜索栏进行搜索匹配。图12日志展示效果通过上述实验，系统可以完成收集、转发和展示分析等功能，体现了其强大的分布式日志采集与分析能力。鲜征征，叶嘉祥：一种改进的ELK日志采集与分析系统··109
【参考文献】：
期刊论文
[1]基于分布式Web应用的大数据日志分析方法研究[J]. 孙鲁淼. 电脑知识与技术. 2019(03)
[2]基于大数据的网络日志分析技术[J]. 应毅,任凯,刘亚军. 计算机科学. 2018(S2)
[3]大规模软件系统日志汇集服务平台设计与实现[J]. 汤网祥,王金华,赫凌俊,李敏敬. 计算机应用与软件. 2018(11)
[4]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[5]基于Hadoop的可信计算平台日志分析模型[J]. 严嘉维,张琛,李成蹊,孙权荣,张程誉,谭玉霖. 软件导刊. 2018(08)
[6]基于大数据的日志分析平台在银行中的研究与实现[J]. 王参参,姜青云,李彤. 网络安全技术与应用. 2018(05)
[7]基于HBASE分布式存储的通用海量日志系统设计方法研究[J]. 陈波. 信息通信. 2017(06)
[8]ELK日志分析平台在系统运维中的应用[J]. 张彩云,牛永红,赵迦琪. 电子技术与软件工程. 2017(06)
[9]基于ELK和Spark Streaming的日志分析系统设计与实现[J]. 李祥池. 电子科学技术. 2015(06)
[10]大规模软件系统日志研究综述[J]. 廖湘科,李姗姗,董威,贾周阳,刘晓东,周书林. 软件学报. 2016(08)
硕士论文
[1]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[2]基于Spark Streaming的实时日志分析与信息管理系统的设计与实现[D]. 王梦蕾.哈尔滨工业大学 2018
[3]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[4]基于Hadoop的Web日志存储和分析系统的研究与实现[D]. 班秋成.北京邮电大学 2018
本文编号：3088768
【文章来源】：软件导刊. 2019,18(08)
【文章页数】：6 页
【部分图文】：
应用服务器集群架构2.2日志收集模块服务器3
模块、日志收集器模块和日志转发器模块在Goland开发环境中实现，Kafka、Zookerper、Etcd、ElasticSearch、Kibana等在PowerShell上开启。4.2实验结果及分析4.2.1模拟产生日志实验模拟5000个用户同时访问购物网站，即产生5000个用户在购物网站上浏览、购买商品、支付和收货等日志，且设置每个用户产生5~10条不等的日志。4.2.2日志收集对日志收集器进行初始化后监听Etcd集群配置变化以及日志内容变化。特别地，在日志收集时会根据限速条件对日志收集器进行限速处理。图10中，limitisrunning代表限速模块对一秒内生产5000次日志的文件进行限速，limitisexited表示限速结束。图10日志收集器限速处理情况4.2.3日志转发对日志转发器进行初始化后监听Etcd集群配置变化。当日志转发器拉取到相关主题的日志消息后，会发送到ElasticSearch。如图11所示，打印出日志信息表示已经成功收集，sendtoessuccess表示成功将日志发送到ElasticSearch。图11日志转发结果4.2.4日志搜索和分析当日志成功收集后，需对这些日志数据进行搜索和分析，其结果如图12所示。柱状图表示每秒钟收集到的日志，其下是按时间先后顺序排列的日志数据，默认情况下是全量显示，若需要搜索特定规则的日志，可以通过搜索栏进行搜索匹配。图12日志展示效果通过上述实验，系统可以完成收集、转发和展示分析等功能，体现了其强大的分布式日志采集与分析能力。鲜征征，叶嘉祥：一种改进的ELK日志采集与分析系统··109
支付和收货等日志，且设置每个用户产生5~10条不等的日志。4.2.2日志收集对日志收集器进行初始化后监听Etcd集群配置变化以及日志内容变化。特别地，在日志收集时会根据限速条件对日志收集器进行限速处理。图10中，limitisrunning代表限速模块对一秒内生产5000次日志的文件进行限速，limitisexited表示限速结束。图10日志收集器限速处理情况4.2.3日志转发对日志转发器进行初始化后监听Etcd集群配置变化。当日志转发器拉取到相关主题的日志消息后，会发送到ElasticSearch。如图11所示，打印出日志信息表示已经成功收集，sendtoessuccess表示成功将日志发送到ElasticSearch。图11日志转发结果4.2.4日志搜索和分析当日志成功收集后，需对这些日志数据进行搜索和分析，其结果如图12所示。柱状图表示每秒钟收集到的日志，其下是按时间先后顺序排列的日志数据，默认情况下是全量显示，若需要搜索特定规则的日志，可以通过搜索栏进行搜索匹配。图12日志展示效果通过上述实验，系统可以完成收集、转发和展示分析等功能，体现了其强大的分布式日志采集与分析能力。鲜征征，叶嘉祥：一种改进的ELK日志采集与分析系统··109
【参考文献】：
期刊论文
[1]基于分布式Web应用的大数据日志分析方法研究[J]. 孙鲁淼. 电脑知识与技术. 2019(03)
[2]基于大数据的网络日志分析技术[J]. 应毅,任凯,刘亚军. 计算机科学. 2018(S2)
[3]大规模软件系统日志汇集服务平台设计与实现[J]. 汤网祥,王金华,赫凌俊,李敏敬. 计算机应用与软件. 2018(11)
[4]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[5]基于Hadoop的可信计算平台日志分析模型[J]. 严嘉维,张琛,李成蹊,孙权荣,张程誉,谭玉霖. 软件导刊. 2018(08)
[6]基于大数据的日志分析平台在银行中的研究与实现[J]. 王参参,姜青云,李彤. 网络安全技术与应用. 2018(05)
[7]基于HBASE分布式存储的通用海量日志系统设计方法研究[J]. 陈波. 信息通信. 2017(06)
[8]ELK日志分析平台在系统运维中的应用[J]. 张彩云,牛永红,赵迦琪. 电子技术与软件工程. 2017(06)
[9]基于ELK和Spark Streaming的日志分析系统设计与实现[J]. 李祥池. 电子科学技术. 2015(06)
[10]大规模软件系统日志研究综述[J]. 廖湘科,李姗姗,董威,贾周阳,刘晓东,周书林. 软件学报. 2016(08)
硕士论文
[1]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[2]基于Spark Streaming的实时日志分析与信息管理系统的设计与实现[D]. 王梦蕾.哈尔滨工业大学 2018
[3]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[4]基于Hadoop的Web日志存储和分析系统的研究与实现[D]. 班秋成.北京邮电大学 2018
本文编号：3088768
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3088768.html
