基于ELK与kafka的分布式工业日志系统的设计与实现
发布时间：2022-01-03 17:07
在工业生产过程中,企业通常会遇到生产设备故障的问题,设备日志在分析设备故障原因以及了解设备损耗情况方面发挥着重要的作用,对设备日志的存储和分析工作由工业日志系统完成。近年来,我国提出中国制造2025,这意味着对工业日志系统提出了更高的要求,然而,传统的工业日志系统并不能满足其需求,这体现在不能高并发处理日志存储请求、缺乏对日志数据的实时分析以及对原始日志数据的处理方式较为简陋。因此,设计实现一个分布式工业日志系统来解决上述问题具有重要意义。本文以A公司的日志系统需求为背景,针对传统工业日志系统的不足,设计实现了基于ELK和kafka的分布式工业日志系统,采用分层设计的思想,将该日志系统分为收集层、缓冲层以及检索层,主要完成的工作包括:（1）针对传统工业日志系统无法高并发处理日志请求的问题,本文设计实现了一个日志收集服务子系统,该子系统采用Reactor事件驱动模式和线程池技术实现了高并发处理日志请求,设计实现了环形内存缓冲降低了日志文件磁盘I/O对服务器性能的影响。（2）针对传统工业日志系统缺乏对日志数据的实时分析的问题,本文设计实现了一个日志计算中心,日志计算中心基于Elastics...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
Chukwa架构图
图2-1分布式工业日志系统架构图
子系统概要设计计的分布式工业日志系统分为三层，每一层都有一个核心子系。日志收集服务子系统收集设备日志数据，将日志数据上报到志缓存服务子系统接受收集层的设备日志，对原始的设备日志加入到缓存队列，等待日志计算中心的消费，日志计算中心提务，并提供数据的可视化检索界面。本文主要阐述各层的核心节阐述对每一层的核心子系统进行概要设计。志收集服务子系统集服务子系统是日志收集层的核心子系统，负责实现低延迟响志存储请求，将日志数据上报到日志缓冲层。日志收集层可以集服务子系统节点来提升收集层的负载能力，具有高可扩展性功能模块图如图 2-2 所示。
【参考文献】：
期刊论文
[1]基于Hadoop MapReduce作业调度方法研究[J]. 王玉芹. 电脑知识与技术. 2018(27)
[2]Redis内存数据库在智慧消防系统设计中的应用[J]. 孙超. 网络安全技术与应用. 2018(08)
[3]工业互联网平台:发展趋势与挑战[J]. 王晨,宋亮,李少昆. 中国工程科学. 2018(02)
[4]基于Gossip协议的拜占庭共识算法[J]. 张仕将,柴晶,陈泽华,贺海武. 计算机科学. 2018(02)
[5]着力打通二三产“连接通道” 助推中国工业自动化智能化[J]. 文宗瑜. 发展研究. 2018(01)
[6]线程池技术在网络服务器中的应用[J]. 吉利,潘林云,刘姚. 计算机技术与发展. 2017(08)
[7]“中国制造2025”与“工业4.0”的比较及推进路径研究[J]. 邵安菊. 上海市经济管理干部学院学报. 2017(02)
[8]基于Apache Flume的大数据日志收集系统[J]. 于秦. 中国新通信. 2016(18)
[9]ELK日志分析平台在电子商务系统监控服务中的应用[J]. 周映,韩晓霞. 信息技术与标准化. 2016(07)
[10]基于Linux系统的构建高性能服务器的研究[J]. 乔平安,颜景善,周敏. 计算机与数字工程. 2016(04)
硕士论文
[1]统一日志系统中的日志获取模块与日志检索模块的设计与实现[D]. 郑荣.南京大学 2018
[2]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[3]适配电商平台的分布式日志采集系统关键技术研究和系统实现[D]. 黄振豪.华南理工大学 2017
[4]面向RPC服务监控的集群监控系统的设计与实现[D]. 林志勇.华南理工大学 2017
[5]基于Elasticsearch的新闻实时词云系统设计与实现[D]. 刘召明.华中科技大学 2016
[6]基于HBase的工业日志系统设计与实现[D]. 王普刚.大连理工大学 2016
[7]基于Reactor模式的Muduo网络框架技术研究[D]. 肖凯.武汉邮电科学研究院 2016
[8]面向超市电子货架标签的高并发服务器系统[D]. 黄志龙.华南理工大学 2015
[9]基于ZooKeeper的集群应用配置管理的设计与实现[D]. 袁子淇.内蒙古大学 2015
[10]基于Nutch的分布式搜索引擎的研究与实现[D]. 邹康.湖北工业大学 2015
本文编号：3566649
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
Chukwa架构图
图2-1分布式工业日志系统架构图
子系统概要设计计的分布式工业日志系统分为三层，每一层都有一个核心子系。日志收集服务子系统收集设备日志数据，将日志数据上报到志缓存服务子系统接受收集层的设备日志，对原始的设备日志加入到缓存队列，等待日志计算中心的消费，日志计算中心提务，并提供数据的可视化检索界面。本文主要阐述各层的核心节阐述对每一层的核心子系统进行概要设计。志收集服务子系统集服务子系统是日志收集层的核心子系统，负责实现低延迟响志存储请求，将日志数据上报到日志缓冲层。日志收集层可以集服务子系统节点来提升收集层的负载能力，具有高可扩展性功能模块图如图 2-2 所示。
【参考文献】：
期刊论文
[1]基于Hadoop MapReduce作业调度方法研究[J]. 王玉芹. 电脑知识与技术. 2018(27)
[2]Redis内存数据库在智慧消防系统设计中的应用[J]. 孙超. 网络安全技术与应用. 2018(08)
[3]工业互联网平台:发展趋势与挑战[J]. 王晨,宋亮,李少昆. 中国工程科学. 2018(02)
[4]基于Gossip协议的拜占庭共识算法[J]. 张仕将,柴晶,陈泽华,贺海武. 计算机科学. 2018(02)
[5]着力打通二三产“连接通道” 助推中国工业自动化智能化[J]. 文宗瑜. 发展研究. 2018(01)
[6]线程池技术在网络服务器中的应用[J]. 吉利,潘林云,刘姚. 计算机技术与发展. 2017(08)
[7]“中国制造2025”与“工业4.0”的比较及推进路径研究[J]. 邵安菊. 上海市经济管理干部学院学报. 2017(02)
[8]基于Apache Flume的大数据日志收集系统[J]. 于秦. 中国新通信. 2016(18)
[9]ELK日志分析平台在电子商务系统监控服务中的应用[J]. 周映,韩晓霞. 信息技术与标准化. 2016(07)
[10]基于Linux系统的构建高性能服务器的研究[J]. 乔平安,颜景善,周敏. 计算机与数字工程. 2016(04)
硕士论文
[1]统一日志系统中的日志获取模块与日志检索模块的设计与实现[D]. 郑荣.南京大学 2018
[2]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[3]适配电商平台的分布式日志采集系统关键技术研究和系统实现[D]. 黄振豪.华南理工大学 2017
[4]面向RPC服务监控的集群监控系统的设计与实现[D]. 林志勇.华南理工大学 2017
[5]基于Elasticsearch的新闻实时词云系统设计与实现[D]. 刘召明.华中科技大学 2016
[6]基于HBase的工业日志系统设计与实现[D]. 王普刚.大连理工大学 2016
[7]基于Reactor模式的Muduo网络框架技术研究[D]. 肖凯.武汉邮电科学研究院 2016
[8]面向超市电子货架标签的高并发服务器系统[D]. 黄志龙.华南理工大学 2015
[9]基于ZooKeeper的集群应用配置管理的设计与实现[D]. 袁子淇.内蒙古大学 2015
[10]基于Nutch的分布式搜索引擎的研究与实现[D]. 邹康.湖北工业大学 2015
本文编号：3566649
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3566649.html
