Hadoop框架下的关联挖掘算法在IDS中的研究与应用

发布时间：2021-01-01 15:21

　　随着互联网技术的急速发展,网络中每天都会有TB级以上的数据产生,这使得传统数据挖工作受到了挑战,大数据技术因此应运而生。大数据这一新兴学科具有极为明显的特性,首先其极大的容量与极高的运行和分析速度令传统数据望尘莫及,其次其数据的高价值与多样性也是传统数据所无法比拟的。但大数据仍然存在低值密度问题。这也是我们现在需要马上解决的问题,即如何实现快速地从这些海量数据中提取出有价值的信息。与此同时,关于互联网安全方面,我们普遍使用的入侵检测系统只单纯的进行把获得的数据和已存在的攻击模式库比较工作,这种模式对于已经存在于模式库内的攻击类型效果较好,可是对于新型攻击或者已存攻击的变种类型就无能为力了。故我们需要进一步发展和使现有的系统,适应现在层出不穷的攻击方式,从而解决现有的入侵检测系统无法满足入侵检测系统日志数量的快速增所造成的问题。由于上述问题的出现,此论文在有关大数据的入侵检测系统方面的应用进行了有深度的研究。通过解析现有的有缺陷的频繁项集挖掘算法,来主要发现并完善在现有分布式条件下的优化算法,此论文选择了当前相对完善的Hadoop分布式平台作为技术支持,由此提出完善分布式关联规则算法的全... 

【文章来源】：西安理工大学陕西省

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

Hadoop基本框架图

图 2-2 MapReduce 模型原理图Figure 2-2 MapReduce Model Schematic图 2-3 MapReducce 工作机制图Figure 2-3 MapReducce Working Mechanism过程如下:端

7图 2-3 MapReducce 工作机制图Figure 2-3 MapReducce Working Mechanism具体执行过程如下:(1)Map 端在进行数据或信息的输出时，Map 函数会运用缓冲的途径写到内存，为了提高效率，同时会对写入内容预排序。

【参考文献】：
期刊论文
[1]PDMiner:基于云计算的并行分布式数据挖掘工具平台[J]. 何清,庄福振,曾立,赵卫中,谭庆.  中国科学:信息科学. 2014(07)
[2]MapReduce原理及其主要实现平台分析[J]. 亢丽芸,王效岳,白如江.  现代图书情报技术. 2012(02)
[3]一种基于数据挖掘的Snort系统的设计与应用[J]. 魏德志,王奇光,林丽娜.  集美大学学报(自然科学版). 2011(05)
[4]基于数据挖掘技术的入侵检测模型及实用分析[J]. 王彩荣,金硕.  微处理机. 2010(01)
[5]数据挖掘技术在Snort IDS中的应用[J]. 梁建营,王铮.  重庆工学院学报(自然科学版). 2008(05)

硕士论文
[1]云环境下数据挖掘算法的研究与设计[D]. 何佩佩.东华大学 2016
[2]基于Snort的入侵检测系统的改进与实现[D]. 雷鹏玮.北京邮电大学 2015
[3]云计算技术在协同过滤推荐中的应用研究[D]. 况亚萍.中国科学技术大学 2014
[4]基于Hadoop云计算平台的聚类算法并行化研究[D]. 张亚楠.内蒙古科技大学 2013
[5]基于数据挖掘的入侵检测系统的设计与实现[D]. 张国喜.东北大学 2013
[6]基于SNORT入侵检测系统的单模式匹配算法研究[D]. 冯燕强.广西大学 2013
[7]基于HDFS的存储技术的研究[D]. 王永洲.南京邮电大学 2013
[8]基于云计算的日志挖掘系统设计与实现[D]. 曾杰.华中科技大学 2013
[9]基于入侵检测的网络安全研究[D]. 沈涛.重庆大学 2012
[10]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008



本文编号：2951528