基于Spark Streaming的实时日志分析与信息管理系统的设计与实现
发布时间：2021-08-16 16:43
随着互联网流量的爆发式增长,网络应用的不断涌现使得网络环境日益复杂。同时,这样给开展网络安全分析工作带来了越来越大的难度。与以往相比,网络攻击具有更强的隐蔽性、形式更加复杂、检测难度越来越大从而更加难以防范,大规模的具有针对性的恶意网络攻击也越来越普遍。互联网公司运营了大量的产品服务器来为用户提供丰富的网络服务。在这种情况下,一旦遭遇巨大的流量数据流的攻击,造成产品服务器的各方面性能的下降或者是服务器宕机,从而没有办法继续提供高效并且稳定的网络服务。因此互联网公司需要一个可以实时分析日志来检测DDo S（Distributed Denial of Service）攻击的系统来为产品服务器提供安全检测,当发生DDo S攻击时,能够及时的提出应对方案以减少受到的损害。本文以能够实时并且准确的分析日志来检测是否发生DDo S攻击为目的,提出了一种基于Spark Streaming的实时日志分析方法,同时提出了一种基于信息熵结合聚类的DDo S检测方法,实时检测是否发生了DDo S攻击,如果发生了攻击时则及时给客户告警消息。在本文中,对基于Spark Streaming的实时日志分析与信息管理...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
信息管理图
1、提示无法配置清洗服务器，权限不足。预期结果 2、弹出清洗服务器列表。3、提示无法配置清洗服务器，权限不足。测试结果1、提示无法配置清洗服务器，权限不足。2、弹出清洗服务器列表。3、提示无法配置清洗服务器，权限不足。4.3.2 服务器管理模块测试服务器管理模块主要分为清洗服务器、WEB 服务器、调度服务器以及其他服务器四种服务器，但是在该测试部分主要是针对清洗服务器进行对添加、修改以及删除进行测试(其他服务器与清洗服务器相同)。表 4-6 为服务器管理模块测试的测试用例以及结果。服务器管理如图 4-2 所示：
4.3.3 服务信息模块下载功能测试服务信息展示模块业务组子模块中有功能为文件下载。该文件记录了下发任务的相关信息。其中最为重要的是业务组 ID，客户配置规则 ID 以及清洗服务器相关信息。在该部分测试过程中，需要外网开发人员配合测试。表 4-7 为服务信息展示模块测试的测试用例以及结果。防护资源管理如图 4-3 所示测试结果器。4、提示请确保输入的 IP 地址的格式是正确的。5、提示修改成功，并且在展示表格中不存在 IP 为 192.168.98.12 的清洗服务器，改变为 IP 为 192.168.98.23 的清洗服务器。6、提示删除成功，并且展示表格中不存在 IP 为 192.168.98.23 的清洗服务器。
【参考文献】：
期刊论文
[1]基于Spring MVC+MyBatis的加油站安全贴业务管理系统的设计与实现[J]. 李平富,高丽金. 电脑知识与技术. 2017(29)
[2]基于SSM框架的Web系统研究与应用[J]. 邹红霆. 湖南理工学院学报(自然科学版). 2017(01)
[3]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
[4]使用Spark Streaming的自适应实时DDoS检测和防御技术[J]. 方峰,蔡志平,肇启佳,林加润,朱明. 计算机科学与探索. 2016(05)
[5]Hive日志分析的大数据存储优化探讨[J]. 王悦. 信息通信. 2015(10)
[6]基于Spark Streaming的实时日志处理平台设计与实现[J]. 薛瑞,朱晓民. 电信工程技术与标准化. 2015(09)
[7]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[8]基于Spring MVC框架的Web研究与应用[J]. 薛峰,梁锋,徐书勋,王彪任. 合肥工业大学学报(自然科学版). 2012(03)
[9]基于Hadoop的分布式日志分析系统[J]. 陈文波,张秀娟,李林,唐钧. 广西大学学报(自然科学版). 2011(S1)
[10]基于Hadoop的Web日志挖掘[J]. 程苗,陈华平. 计算机工程. 2011(11)
博士论文
[1]应用层DDoS攻击检测算法研究及实现[D]. 徐川.重庆大学 2012
[2]DDoS Flooding攻击检测技术研究[D]. 刘运.国防科学技术大学 2011
硕士论文
[1]SDN中基于深度学习混合模型的DDOS攻击检测与防御技术研究[D]. 孙正君.浙江工商大学 2018
[2]k-means聚类算法的改进研究及应用[D]. 王菲菲.兰州交通大学 2017
[3]基于自适应聚类算法的DDoS攻击检测方法研究[D]. 李少东.湖南大学 2011
[4]基于信息熵聚类的DDOS异常检测技术研究[D]. 赵慧明.中南大学 2010
[5]网络环境下异构日志信息获取和预处理研究[D]. 王秀锋.哈尔滨工程大学 2010
[6]DDoS攻击防御新技术及模型研究[D]. 陈鹏.电子科技大学 2009
[7]大规模DDoS攻击的防御研究[D]. 李俊.华东师范大学 2007
[8]分布式拒绝服务DDoS攻击检测与防范方法研究[D]. 罗淇方.广西大学 2006
本文编号：3346031
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
信息管理图
1、提示无法配置清洗服务器，权限不足。预期结果 2、弹出清洗服务器列表。3、提示无法配置清洗服务器，权限不足。测试结果1、提示无法配置清洗服务器，权限不足。2、弹出清洗服务器列表。3、提示无法配置清洗服务器，权限不足。4.3.2 服务器管理模块测试服务器管理模块主要分为清洗服务器、WEB 服务器、调度服务器以及其他服务器四种服务器，但是在该测试部分主要是针对清洗服务器进行对添加、修改以及删除进行测试(其他服务器与清洗服务器相同)。表 4-6 为服务器管理模块测试的测试用例以及结果。服务器管理如图 4-2 所示：
4.3.3 服务信息模块下载功能测试服务信息展示模块业务组子模块中有功能为文件下载。该文件记录了下发任务的相关信息。其中最为重要的是业务组 ID，客户配置规则 ID 以及清洗服务器相关信息。在该部分测试过程中，需要外网开发人员配合测试。表 4-7 为服务信息展示模块测试的测试用例以及结果。防护资源管理如图 4-3 所示测试结果器。4、提示请确保输入的 IP 地址的格式是正确的。5、提示修改成功，并且在展示表格中不存在 IP 为 192.168.98.12 的清洗服务器，改变为 IP 为 192.168.98.23 的清洗服务器。6、提示删除成功，并且展示表格中不存在 IP 为 192.168.98.23 的清洗服务器。
【参考文献】：
期刊论文
[1]基于Spring MVC+MyBatis的加油站安全贴业务管理系统的设计与实现[J]. 李平富,高丽金. 电脑知识与技术. 2017(29)
[2]基于SSM框架的Web系统研究与应用[J]. 邹红霆. 湖南理工学院学报(自然科学版). 2017(01)
[3]一种基于Kafka的可靠的Consumer的设计方案[J]. 王岩,王纯. 软件. 2016(01)
[4]使用Spark Streaming的自适应实时DDoS检测和防御技术[J]. 方峰,蔡志平,肇启佳,林加润,朱明. 计算机科学与探索. 2016(05)
[5]Hive日志分析的大数据存储优化探讨[J]. 王悦. 信息通信. 2015(10)
[6]基于Spark Streaming的实时日志处理平台设计与实现[J]. 薛瑞,朱晓民. 电信工程技术与标准化. 2015(09)
[7]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[8]基于Spring MVC框架的Web研究与应用[J]. 薛峰,梁锋,徐书勋,王彪任. 合肥工业大学学报(自然科学版). 2012(03)
[9]基于Hadoop的分布式日志分析系统[J]. 陈文波,张秀娟,李林,唐钧. 广西大学学报(自然科学版). 2011(S1)
[10]基于Hadoop的Web日志挖掘[J]. 程苗,陈华平. 计算机工程. 2011(11)
博士论文
[1]应用层DDoS攻击检测算法研究及实现[D]. 徐川.重庆大学 2012
[2]DDoS Flooding攻击检测技术研究[D]. 刘运.国防科学技术大学 2011
硕士论文
[1]SDN中基于深度学习混合模型的DDOS攻击检测与防御技术研究[D]. 孙正君.浙江工商大学 2018
[2]k-means聚类算法的改进研究及应用[D]. 王菲菲.兰州交通大学 2017
[3]基于自适应聚类算法的DDoS攻击检测方法研究[D]. 李少东.湖南大学 2011
[4]基于信息熵聚类的DDOS异常检测技术研究[D]. 赵慧明.中南大学 2010
[5]网络环境下异构日志信息获取和预处理研究[D]. 王秀锋.哈尔滨工程大学 2010
[6]DDoS攻击防御新技术及模型研究[D]. 陈鹏.电子科技大学 2009
[7]大规模DDoS攻击的防御研究[D]. 李俊.华东师范大学 2007
[8]分布式拒绝服务DDoS攻击检测与防范方法研究[D]. 罗淇方.广西大学 2006
本文编号：3346031
本文链接：https://www.wllwen.com/guanlilunwen/yunyingzuzhiguanlilunwen/3346031.html
