Agent的网络安全日志收集系统设计与实现

发布时间：2017-07-20 14:10

  本文关键词：Agent的网络安全日志收集系统设计与实现

  更多相关文章： 网络安全日志 分布式 收集 管理

【摘要】：计算机网络最早出现在上世纪50年代,它经历了迅速发展、逐渐复杂的发展过程,已经逐渐融入人们日常生活和工作中,成为人们必不可少的组成部分。随着信息化的进一步深入和发展,计算机网络安全性也面临前所未有的挑战,如何在复杂的网络环境下,收集网络安全日志,也成为需要关注的重要问题。 本文针对分布式Linux节点的网络安全日志收集需求,设计了Agent的网络安全日志收集系统,实现了异构节点发送日志,到中央服务器接收日志,然后存储到分布式数据库或文件系统,最终以网站的形式监控和管理这些日志的综合系统。本系统能够有效、实时收集分散节点的网络安全日志,并且能够有效的对这些日志数据进行备份,是后序的网络安全分析产品的重要数据来源,意义重大。 本论文在分析了已有的一些日志收集的产品基础上,总结优缺点,根据收集目的,最终确立独立的设计方案,主要工作如下： (1)设计并实现网络安全日志发送代理模块Agent,保证这些分布式Linux节点实时发送统一的日志格式,并且发送日志类型可配置 (2)设计并实现网络安全日志收集模块,实时接收从各个分布式节点发送来的日志数据 (3)设计并实现网络安全日志存储模块,通过两种存储方式,即结构化数据库MySQL、分布式文件系统HDFS,达到对日志数据的存储、冗余和备份目的 (4)设计并实现网络安全日志统计模块,该模块能够生成多维度的统计报表 (5)设计并实现管理员后台管理系统,该系统能够可视化所监控节点的基本信息及其网络安全日志记录,并且能够生成统计报表,方便管理员及时发现网络安全异常。
【关键词】：网络安全日志 分布式 收集 管理
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08;TP18
【目录】：

• 摘要4-5
• abstract5-10
• 第一章 绪论10-17
• 1.1 课题背景及意义10-11
• 1.1.1 课题背景10
• 1.1.2 课题研究意义10-11
• 1.2 日志收集系统国内外研究现状,和趋势11-14
• 1.2.1 日志收集系统综述11-12
• 1.2.2 日志收集系统发展现状12-14
• 1.3 课题研究内容14-15
• 1.4 论文的组织结构15-17
• 第二章 主要内容和相关技术17-23
• 2.1 主要内容17-19
• 2.1.1 系统主要功能17
• 2.1.2 系统整体架构17-19
• 2.2 相关技术19-23
• 2.2.1 Linux技术介绍19
• 2.2.2 PHP技术介绍19-20
• 2.2.3 Yii框架技术介绍20
• 2.2.4 Python技术介绍20-21
• 2.2.5 Django框架技术介绍21
• 2.2.6 Redis技术介绍21
• 2.2.7 MySQL技术介绍21-22
• 2.2.8 Nginx技术介绍22
• 2.2.9 cron技术介绍22
• 2.2.10 HDFS技术介绍22-23
• 第三章 网络安全日志数据发送模块Agent23-37
• 3.1 数据发送模块Agent综述23-26
• 3.1.1 数据发送模块Agent目标23
• 3.1.2 分布式节点的网络安全日志特点23-24
• 3.1.3 网络安全日志数据发送模块Agent主要流程24-26
• 3.2 网络安全日志数据发送模块Agent的整体设计26-28
• 3.2.1 Agent所用技术26-27
• 3.2.2 Agent代码结构27-28
• 3.3 Agent具体实现28-36
• 3.3.1 Agent的配置文件28-30
• 3.3.2 建立临时文件30
• 3.3.3 临时文件中写入新产生的日志记录30-32
• 3.3.4 拼装Redis队列的key32-33
• 3.3.5 将日志插入Redis存储中33-35
• 3.3.6 网络安全日志报警程序35-36
• 3.4 本章总结36-37
• 第四章 网络安全日志数据收集模块37-46
• 4.1 日志数据收集模块综述37-39
• 4.1.1 日志数据收集模块目标37
• 4.1.2 网络安全日志数据收集系统主要流程37-39
• 4.2 网络安全日志数据收集模块整体设计39-41
• 4.2.1 网络安全日志收集模块所用技术39
• 4.2.2 网络安全日志收集模块代码结构39-41
• 4.3 网络安全日志收集系统的具体实现41-44
• 4.3.1 读取日志收集系统的Redis队列key41-42
• 4.3.2 拉取Redis中的日志记录42-44
• 4.3.3 将网络安全日志发送到日志数据存储层44
• 4.4 本章总结44-46
• 第五章 网络安全日志数据存储模块46-57
• 5.1 网络安全日志数据存储模块综述46-47
• 5.1.1 网络安全日志数据存储模块目标46
• 5.1.2 网络安全日志数据存储模块主要流程46-47
• 5.2 网络安全日志数据存储模块整体设计47-48
• 5.2.1 网络安全日志数据存储模块所用技术47
• 5.2.2 网络安全日志数据存储模块代码结构47-48
• 5.3 网络安全日志数据存储模块具体实现48-55
• 5.3.1 网络安全日志数据存储模块的存储方式配置48-49
• 5.3.2 网络安全日志数据存储模块的发送代理49-50
• 5.3.3 网络安全日志数据存储模块的存储节点设计50-53
• 5.3.4 网络安全日志数据存储模块的日志存储代理53-54
• 5.3.5 网络安全日志数据存储模块的存储方式转化54-55
• 5.4 本章总结55-57
• 第六章 网络安全日志数据统计模块57-65
• 6.1 网络安全日志数据统计模块综述57-58
• 6.1.1 网络安全日志数据统计模块的目标57
• 6.1.2 网络安全日志统计模块主要流程57-58
• 6.2 网络安全日志统计模块整体设计58-59
• 6.2.1 网络安全日志统计模块所用技术58
• 6.2.2 网络安全日志统计模块代码结构58-59
• 6.3 网络安全日志统计模块具体实现59-64
• 6.3.1 网络安全日志统计模块接口设计59
• 6.3.2 日志统计模块参数层59-60
• 6.3.3 网络安全日志统计模块http接口层60-62
• 6.3.4 网络安全日志数据统计模块日志存储调用层62-64
• 6.4 本章总结64-65
• 第七章 管理员后台管理系统65-71
• 7.1 Agent的网络安全日志管理员后台管理系统综述65
• 7.2 管理员后台管理系统介绍及其实现65-70
• 7.2.1 登录页面65-66
• 7.2.2 首页66
• 7.2.3 机器列表页面66-67
• 7.2.4 日志详情页面67-68
• 7.2.5 统计报表页68-69
• 7.2.6 用户管理69-70
• 7.3 本章总结70-71
• 第八章 总结和展望71-72
• 8.1 Agent的网络安全日志收集系统总结71
• 8.2 展望71-72
• 参考文献72-74
• 附录74-75
• 致谢75

【参考文献】

中国期刊全文数据库 前8条

1 吴教育,卢宁,陈一天;日志文件的集中管理和分析[J];电脑开发与应用;2004年05期

2 黄旭鹏;;安全审计系统中日志数据整合的研究[J];电脑知识与技术;2008年14期

3 杨林海;何斌颖;苏为斌;;基于开源的企业操作系统部署研究[J];计算机光盘软件与应用;2014年06期

4 赵彦琦;谢小西;荀宇畅;;Python语言学习之我见[J];电子制作;2013年13期

5 张君;;Linux操作系统构建原理与应用[J];制造业自动化;2012年04期

6 詹玲;马骏;陈伯江;陈维梁;吕睿;;分布式I/O日志收集系统的设计与实现[J];计算机工程与应用;2010年36期

7 宿大东;;采用Nginx远程访问图书馆内网数字资源[J];内蒙古科技与经济;2013年13期

8 王心妍;;Memcached和Redis在高速缓存方面的应用[J];无线互联科技;2012年09期

，

本文编号：568390