基于数字图书馆公共资源管理平台的实时日志分析系统的设计与应用

发布时间：2022-01-01 18:32

　　数字图书馆作为一种全面、高效、便捷的公共资源管理平台正在得到广泛的应用,随之而来网络用户访问流量的不断增大,让数字图书馆公共资源管理平台面临了巨大的网络安全风险.为解决数字图书馆公共资源管理平台在投入使用过程中遭受网站恶意攻击、网页挂马等系统安全问题,使用Spark Streaming技术设计一个实时日志分析系统,对网站平台进行实时日志分析.该系统具有实时性、功能针对性强、操作简便等特点.经过运行测试,能够对数字图书馆公共资源管理平台的运行起到保驾护航的作用. 

【文章来源】：广西民族大学学报(自然科学版). 2020,26(01)

【文章页数】：5 页

【部分图文】：

系统总体结构图

核心程序流程主要分为部署Nginx服务器、使用Flume实时读取Nginx日志、通过Kafka集群接收Flume实时数据、在Spark Streaming接收Kafka数据等五大大步骤,具体如图2所示.3.1 部署Nginx服务器

Kafka集群中传来的实时日志数据信息被spark streaming转换为Dstream格式之后再接收和使用.本实时日志分析系统将通过直接读取的功能接收实时日志数据,首先,在Spark Streaming程序中通过驱动程序启动作业,然后使用执行器通过偏移范围的方式读取Kafka集群中的日志文件数据.[5]读取完一轮数据之后,再通过查询Kafka中的最新偏移范围,再执行日志数据的读取,依次循环直到查询不到最新的偏移范围为止.具体流程如图3所示.3.5 使用Spark Streaming进行日志分析

【参考文献】：
期刊论文
[1]基于时序数据库的用户访问日志分析系统设计[J]. 黄骏,梁奎宁,陈俏玲.  电子设计工程. 2019(23)
[2]Spark技术在高校网络安全管理中的应用[J]. 殷红花.  电脑知识与技术. 2019(20)
[3]基于协同过滤算法的课程资源平台的设计与实现[J]. 莫恭钿,陈正振.  信息通信. 2019(07)
[4]高校网站日志分析系统的研究与应用[J]. 尹鑫,种兰祥,杨建锋.  中国教育信息化. 2019(13)

硕士论文
[1]基于实时日志系统的海量日志服务平台设计与实现[D]. 薛亚鹏.中国科学院大学(中国科学院工程管理与信息技术学院) 2017



本文编号：3562602