基于Hadoop的大规模网络入侵检测技术研究

发布时间：2017-10-01 20:10

  本文关键词：基于Hadoop的大规模网络入侵检测技术研究

  更多相关文章： 入侵检测 模糊积分 支持向量机 Hadoop

【摘要】：网络和计算机技术的发展十分迅速,在给全社会带来福祉的同时安全问题也日益突出,入侵检测技术就显得至关重要。但是在大数据、物联网的时代,网络规模急剧增大,如何快速、精确的发现非法和异常的入侵行为就成为一个研究热点。论文通过学习云计算和Hadoop的相关知识,归纳整理了它们在数据处理和分析方面的巨大优势,然后针对入侵检测应用领域,研究了轻量级入侵检测系统Snort的体系结构,通过分析大规模网络环境下入侵检测面临的问题,提出了一些在海量数据分析领域的入侵检测技术应用方案,主要工作有以下四方面:(1)模型框架:通过研究入侵检测警报融合方面的应用和支持向量机算法,结合大规模网络环境的特点,提出一种基于Hadoop的大规模网络入侵检测模型,该模型主要包括两个部分:Snort分布式检测数据和处理警报日志。(2)融合算法:考虑到大规模网络环境下数据流量大的实际应用需求,通过Snort部署到Hadoop集群中去,结合MapReduce分布式计算框架和模糊积分理论,提出一种基于模糊积分的并行警报融合算法。从而实现网络数据的融合预处理。实验证明了算法的可用性以及有效性。(3)检测算法:针对网络安全数据规模的大量增长所带来的存储空间和响应速度方面的问题,通过时间复杂度优化、结果融合以及结果评估这三方面作为优化和实现思路,将其作为支持向量机(SVM)与MapReduce结合的要素进行算法融合,提出一种并行SMO算法I-MSMO。实验结果表明,在处理大样本数据时,能在保证较高检测率情况下,I-MSMO算法的时间复杂度得到了明显的降低,并通过分析得到了并行化处理后节点数量时空复杂度变化的规律,证实了I-MSMO算法的高效性。(4)工具原型:基于以上三方面工作实现了基于Hadoop的大规模网络入侵检测工具原型,为团队进一步展开入侵检测领域的海量数据分析和应用,奠定了一定的技术基础。
【关键词】：入侵检测 模糊积分 支持向量机 Hadoop
【学位授予单位】：新疆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要2-3
• Abstract3-6
• 第一章 绪论6-9
• 1.1 研究背景6-7
• 1.2 研究意义7-8
• 1.3 本文结构8-9
• 第二章 Hadoop和入侵检测技术概述9-26
• 2.1 云计算和Hadoop9-15
• 2.1.1 云计算9-11
• 2.1.2 Hadoop11-15
• 2.2 入侵检测技术15-25
• 2.2.1 入侵检测概述15-17
• 2.2.2 入侵检测框架17-18
• 2.2.3 入侵检测技术发展现状18-20
• 2.2.4 典型入侵检测系统：Snort20-22
• 2.2.5 大规模网络入侵检测面临的问题22-24
• 2.2.6 典型的入侵检测数据集24-25
• 2.3 小结25-26
• 第三章 模糊积分和支持向量机26-34
• 3.1 模糊积分26-27
• 3.1.1 模糊测度的思想26
• 3.1.2 模糊积分的概念26-27
• 3.1.3 模糊积分的优越性27
• 3.2 基于模糊积分的入侵警报融合技术27-30
• 3.3 支持向量机30-33
• 3.4 小结33-34
• 第四章 基于Hadoop的大规模网络入侵检测方法34-48
• 4.1 基于Hadoop的大规模网络入侵检测模型34-35
• 4.2 基于Hadoop的Snort入侵检测数据预处理算法35-41
• 4.2.1 MapReduce编程模型设计35-37
• 4.2.2 基于MapReduce的模糊积分警报融合算法设计37-38
• 4.2.3 算法描述38-39
• 4.2.4 实验评估39-41
• 4.3 基于MapReduce的并行SMO入侵检测算法41-47
• 4.3.1 算法思想41
• 4.3.2 算法描述41-43
• 4.3.3 实验评估43-47
• 4.4 小结47-48
• 第五章 总结与展望48-50
• 5.1 论文工作总结48-49
• 5.2 展望49-50
• 参考文献50-53
• 攻读学位期间发表的学术论文目录53-54
• 致谢54-55

【参考文献】

中国期刊全文数据库 前2条

1 王刚;刘元宁;张晓旭;赵正东;朱晓冬;刘震;;基于模糊自适应粒子群的垃圾邮件过滤新方法[J];吉林大学学报(工学版);2011年03期

2 朱琳;朱参世;;滑动窗口数据流聚类算法在IDS中的应用[J];计算机工程与应用;2014年01期

，

本文编号：955418