基于ELK的大数据平台运维管理应用研究
发布时间：2022-01-03 12:42
传统的数据管理通常用关系数据库来进行搭建,在数据量相当大时检索效率较为低下,且这种关系型数据库中进行查询时需要明确指定列名,而ELK技术可支持全文检索,并且在大数据查询时的响应速度快,几乎都是毫秒级的。针对海量的应用日志、系统日志、错误日志等分散存储在不同设备里而面临异常监控发现不及时、日志分析效率低下、统计检索繁琐等问题,基于ELK,结合角色访问控制,可对大数据进行日志分析,直观展示分析结果以及运维管理效果。本文主要做了以下两方面的工作:（1）基于ELK技术,搭建了一个实时大数据日志搜索与分析平台,该平台由四个子模块构成,分别为日志采集模块、Kafka消息发布与订阅模块、日志处理与索引模块以及日志分析与可视化模块。该平台可充分利用Kafka的限流、有序作用,保证了海量数据的稳定性,从而降低了源源不断的海量数据对Elasticsearch搜索引擎造成的巨大压力。实验表明,该平台具有一定的实用价值。（2）提出基于日志分析平台的系统运维解决方案。在实际运维工作中,可能存在任何用户都可以访问集群应用运行日志的全部索引,然而,在多个业务使用同一个集群时,可能某个业务的数据不希望被其他人看到,也...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
倒排索引原理示意图
西安电子科技大学硕士学位论文8件的处理后，直接输入到Elasticsearch中，可能会对搜索引擎造成较大的压力。最后通过Kibana进行展示。但这种架构较为简单，使用场景较为有限，适合单机版的测试搭建[28]。在生产环境中，日志以PB级增长，单机部署显然无法满足海量日志的实时处理。图2.2ELK单机部署架构示意图[56]图2.3的架构改进了单机部署的缺陷所在，并采用了分布式的日志采集思想，该架构与之间单机部署最大的不同在于采用了多个Logstash节点并将其分别部署在不同的集群节点中，然后通过统一的日志汇总工具将各个节点上的日志数据汇总起来作为原始数据源，然后再通过一个Logstash协调节点对采集到的数据进行过滤分析，并存储在各自对应的服务器节点上，最后通过Web端的Kibana服务器进行数据可视化以及系统监控[29]。但该架构的缺点是在各个日志采集节点内，由于Logstash本身消耗大量的系统资源，如果集群节点很多，那么在每一个远程服务器中都部署一个Logstash节点，会造成系统运行效率变低，且对Logstash协调节点造成巨大的管理压力，最终造成服务器无法提供服务，影响系统的正常运行。采集端基于Logstash实现的agent平台类别受限，无法支持AIX、HP_UNIX等Unix操作系统，同时通用的开源产品Flume功能比较单一，无法满足常规的日志收集需求[30]。图2.3ELK分布式部署架构示意图[56]第三种架构引入了Logstash-forwarder，如图2.4所示。与之前在服务器节点直接采用Logstash进行日志汇总不同，这里采用了更为轻量级的Logstash-forwarder工具。它代替了Logstash对分散在不同服务器上的日志信息进行搜集，并在汇总完成后发
西安电子科技大学硕士学位论文8件的处理后，直接输入到Elasticsearch中，可能会对搜索引擎造成较大的压力。最后通过Kibana进行展示。但这种架构较为简单，使用场景较为有限，适合单机版的测试搭建[28]。在生产环境中，日志以PB级增长，单机部署显然无法满足海量日志的实时处理。图2.2ELK单机部署架构示意图[56]图2.3的架构改进了单机部署的缺陷所在，并采用了分布式的日志采集思想，该架构与之间单机部署最大的不同在于采用了多个Logstash节点并将其分别部署在不同的集群节点中，然后通过统一的日志汇总工具将各个节点上的日志数据汇总起来作为原始数据源，然后再通过一个Logstash协调节点对采集到的数据进行过滤分析，并存储在各自对应的服务器节点上，最后通过Web端的Kibana服务器进行数据可视化以及系统监控[29]。但该架构的缺点是在各个日志采集节点内，由于Logstash本身消耗大量的系统资源，如果集群节点很多，那么在每一个远程服务器中都部署一个Logstash节点，会造成系统运行效率变低，且对Logstash协调节点造成巨大的管理压力，最终造成服务器无法提供服务，影响系统的正常运行。采集端基于Logstash实现的agent平台类别受限，无法支持AIX、HP_UNIX等Unix操作系统，同时通用的开源产品Flume功能比较单一，无法满足常规的日志收集需求[30]。图2.3ELK分布式部署架构示意图[56]第三种架构引入了Logstash-forwarder，如图2.4所示。与之前在服务器节点直接采用Logstash进行日志汇总不同，这里采用了更为轻量级的Logstash-forwarder工具。它代替了Logstash对分散在不同服务器上的日志信息进行搜集，并在汇总完成后发
【参考文献】：
期刊论文
[1]基于ElasticSearch的车型搜索引擎在保险系统中的设计和实现[J]. 刘晓强. 电脑与电信. 2019(05)
[2]基于Elasticsearch的校内全文搜索平台的研究与实现[J]. 钦蒋承,沈宏良. 现代计算机(专业版). 2018(34)
[3]基于社交网络分析和XGBoost算法的互联网客户流失预测研究[J]. 王重仁,韩冬梅. 微型机与应用. 2017(23)
[4]基于大数据环境下智能日志分析平台运维方案研究[J]. 窦继涛,代飞. 九江职业技术学院学报. 2017(04)
[5]ELK-Stack在业务监控系统中的应用[J]. 龚萍. 电脑与电信. 2017(10)
[6]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu. Journal of Data and Information Science. 2017(03)
[7]基于kafka消息队列的文本处理技术研究[J]. 王仲生. 软件导刊(教育技术). 2016(12)
[8]基于Flume的分布式日志采集分析系统设计与实现[J]. 陈飞,艾中良. 软件. 2016(12)
[9]基于Lucene的地名数据库快速检索系统[J]. 张文元,周世宇,谈国新. 计算机应用研究. 2017(06)
[10]基于Elasticsearch的实时集群日志采集和分析系统实现[J]. 胡庆宝,姜晓巍,石京燕,程耀东,梁翠萍. 科研信息化技术与应用. 2016(03)
硕士论文
[1]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[2]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[3]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[4]日志数据分析系统的设计与实现[D]. 许长福.北京交通大学 2017
[5]基于Web应用的日志采集与分析系统的设计与实现[D]. 于静.北京交通大学 2016
本文编号：3566295
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
倒排索引原理示意图
西安电子科技大学硕士学位论文8件的处理后，直接输入到Elasticsearch中，可能会对搜索引擎造成较大的压力。最后通过Kibana进行展示。但这种架构较为简单，使用场景较为有限，适合单机版的测试搭建[28]。在生产环境中，日志以PB级增长，单机部署显然无法满足海量日志的实时处理。图2.2ELK单机部署架构示意图[56]图2.3的架构改进了单机部署的缺陷所在，并采用了分布式的日志采集思想，该架构与之间单机部署最大的不同在于采用了多个Logstash节点并将其分别部署在不同的集群节点中，然后通过统一的日志汇总工具将各个节点上的日志数据汇总起来作为原始数据源，然后再通过一个Logstash协调节点对采集到的数据进行过滤分析，并存储在各自对应的服务器节点上，最后通过Web端的Kibana服务器进行数据可视化以及系统监控[29]。但该架构的缺点是在各个日志采集节点内，由于Logstash本身消耗大量的系统资源，如果集群节点很多，那么在每一个远程服务器中都部署一个Logstash节点，会造成系统运行效率变低，且对Logstash协调节点造成巨大的管理压力，最终造成服务器无法提供服务，影响系统的正常运行。采集端基于Logstash实现的agent平台类别受限，无法支持AIX、HP_UNIX等Unix操作系统，同时通用的开源产品Flume功能比较单一，无法满足常规的日志收集需求[30]。图2.3ELK分布式部署架构示意图[56]第三种架构引入了Logstash-forwarder，如图2.4所示。与之前在服务器节点直接采用Logstash进行日志汇总不同，这里采用了更为轻量级的Logstash-forwarder工具。它代替了Logstash对分散在不同服务器上的日志信息进行搜集，并在汇总完成后发
西安电子科技大学硕士学位论文8件的处理后，直接输入到Elasticsearch中，可能会对搜索引擎造成较大的压力。最后通过Kibana进行展示。但这种架构较为简单，使用场景较为有限，适合单机版的测试搭建[28]。在生产环境中，日志以PB级增长，单机部署显然无法满足海量日志的实时处理。图2.2ELK单机部署架构示意图[56]图2.3的架构改进了单机部署的缺陷所在，并采用了分布式的日志采集思想，该架构与之间单机部署最大的不同在于采用了多个Logstash节点并将其分别部署在不同的集群节点中，然后通过统一的日志汇总工具将各个节点上的日志数据汇总起来作为原始数据源，然后再通过一个Logstash协调节点对采集到的数据进行过滤分析，并存储在各自对应的服务器节点上，最后通过Web端的Kibana服务器进行数据可视化以及系统监控[29]。但该架构的缺点是在各个日志采集节点内，由于Logstash本身消耗大量的系统资源，如果集群节点很多，那么在每一个远程服务器中都部署一个Logstash节点，会造成系统运行效率变低，且对Logstash协调节点造成巨大的管理压力，最终造成服务器无法提供服务，影响系统的正常运行。采集端基于Logstash实现的agent平台类别受限，无法支持AIX、HP_UNIX等Unix操作系统，同时通用的开源产品Flume功能比较单一，无法满足常规的日志收集需求[30]。图2.3ELK分布式部署架构示意图[56]第三种架构引入了Logstash-forwarder，如图2.4所示。与之前在服务器节点直接采用Logstash进行日志汇总不同，这里采用了更为轻量级的Logstash-forwarder工具。它代替了Logstash对分散在不同服务器上的日志信息进行搜集，并在汇总完成后发
【参考文献】：
期刊论文
[1]基于ElasticSearch的车型搜索引擎在保险系统中的设计和实现[J]. 刘晓强. 电脑与电信. 2019(05)
[2]基于Elasticsearch的校内全文搜索平台的研究与实现[J]. 钦蒋承,沈宏良. 现代计算机(专业版). 2018(34)
[3]基于社交网络分析和XGBoost算法的互联网客户流失预测研究[J]. 王重仁,韩冬梅. 微型机与应用. 2017(23)
[4]基于大数据环境下智能日志分析平台运维方案研究[J]. 窦继涛,代飞. 九江职业技术学院学报. 2017(04)
[5]ELK-Stack在业务监控系统中的应用[J]. 龚萍. 电脑与电信. 2017(10)
[6]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu. Journal of Data and Information Science. 2017(03)
[7]基于kafka消息队列的文本处理技术研究[J]. 王仲生. 软件导刊(教育技术). 2016(12)
[8]基于Flume的分布式日志采集分析系统设计与实现[J]. 陈飞,艾中良. 软件. 2016(12)
[9]基于Lucene的地名数据库快速检索系统[J]. 张文元,周世宇,谈国新. 计算机应用研究. 2017(06)
[10]基于Elasticsearch的实时集群日志采集和分析系统实现[J]. 胡庆宝,姜晓巍,石京燕,程耀东,梁翠萍. 科研信息化技术与应用. 2016(03)
硕士论文
[1]基于ELK的Web日志分析系统的设计与实现[D]. 罗学贯.华南理工大学 2018
[2]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[3]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[4]日志数据分析系统的设计与实现[D]. 许长福.北京交通大学 2017
[5]基于Web应用的日志采集与分析系统的设计与实现[D]. 于静.北京交通大学 2016
本文编号：3566295
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3566295.html
