基于Spark框架的分布式入侵检测方法

发布时间：2019-04-08 08:52

【摘要】：为以较低的误报率和较高的检测率对攻击和恶意行为进行实时检测,基于Spark框架和位置敏感哈希算法,提出一种分布式数据流聚类方法 DSCLS,能够处理实时数据流,可根据数据流速进行横向分布式扩展。基于DSCLS分布式聚类算法,建立网络入侵检测系统,能够高速实时分析数据流,聚类相关模式,实时检测已知攻击和入侵,能够对未知的新型攻击进行检测。理论分析和实验结果表明,与主流的数据流聚类算法D-Stream相比,DSCLS方法能够有效提高检测率并降低误报率,在时间性能和可扩展性方面更有优势。
[Abstract]:In order to detect attacks and malicious behaviors in real-time with lower false positive rate and higher detection rate, a distributed data flow clustering method, DSCLS, is proposed based on Spark framework and location-sensitive hash algorithm, which can handle real-time data streams. It can be extended horizontally according to the flow rate of data. Based on DSCLS distributed clustering algorithm, a network intrusion detection system is established, which can analyze data stream in high speed, cluster correlation patterns, detect known attacks and intrusions in real time, and detect unknown new attacks. The theoretical analysis and experimental results show that compared with the mainstream data stream clustering algorithm D-Stream, the DSCLS method can effectively improve the detection rate and reduce the false positive rate, and has more advantages in time performance and scalability.
【作者单位】： 河北电力科学研究院;北京启明星辰信息安全技术有限公司核心研究院;清华大学计算机科学与技术系;
【基金】：国家973重点基础研究发展计划基金项目(2007CB310803) 国家自然科学基金重点项目(61035004);国家自然科学基金项目(60875029)
【分类号】：TP393.08

【共引文献】

相关期刊论文 前3条

1 王辉;陈泓予;刘淑芬;;基于改进朴素贝叶斯算法的入侵检测系统[J];计算机科学;2014年04期

2 周爱平;程光;郭晓军;;高速网络流量测量方法[J];软件学报;2014年01期

3 何俊;郑世慧;;Intrusion Detection Model with Twin Support Vector Machines[J];Journal of Shanghai Jiaotong University(Science);2014年04期

相关会议论文 前1条

1 吴登生;李建平;蔡晨;;管理科学与工程学科现状与发展趋势[A];2012-2013年管理科学与工程学科发展报告[C];2014年

相关博士学位论文 前5条

1 李勇征;具有免疫响应能力的入侵防御关键技术研究[D];燕山大学;2013年

2 左震;光纤骨干网实时流测量关键技术研究[D];国防科学技术大学;2012年

3 刘积芬;网络入侵检测关键技术研究[D];东华大学;2013年

4 杨青;集合型故障检测与诊断技术研究[D];长春理工大学;2013年

5 匡芳君;群智能混合优化算法及其应用研究[D];南京理工大学;2014年

相关硕士学位论文 前6条

1 王会霞;基于Snort的C/S模式的IDS的设计与应用[D];北京工业大学;2013年

2 齐富民;基于区域过滤的粒子群优化算法在网络入侵检测中的研究[D];贵州师范大学;2014年

3 何俊;基于支持向量机的入侵检测系统的研究与仿真[D];北京邮电大学;2014年

4 徐晏;第一类Padé权函数神经网络的算法复杂度研究及其应用[D];南京邮电大学;2014年

5 姜智宇;Windows下入侵防御系统的设计[D];哈尔滨理工大学;2015年

6 董晓;基于nEDC-ANFIS的浆纱质量指标软测量模型[D];沈阳工业大学;2015年

【相似文献】

相关期刊论文 前10条

1 胡和平,杨铭;一种分布式入侵检测模型的设计[J];计算机应用;2004年06期

2 李立新,李勇,李昀;基于多传感器数据融合与挖掘的分布式入侵检测模型[J];河南师范大学学报(自然科学版);2005年01期

3 江文;姜华斌;;一种基于环形协作算法的分布式入侵检测模型[J];电脑与信息技术;2006年03期

4 张思松;;一种基于移动Agent的分布式入侵检测模型[J];铜陵学院学报;2006年02期

5 史志才;韩彦铎;贾百奎;沈连山;;实现分布式入侵检测的关键技术研究[J];大连大学学报;2007年03期

6 陈哲;刘传领;;一种基于协作代理的分布式入侵检测模型[J];网络安全技术与应用;2007年07期

7 段丽艳;刘波;余小华;;面向网格的分布式入侵检测模型研究[J];现代计算机(专业版);2007年08期

8 王兵;陈小娟;;分布式入侵检测系统[J];软件导刊;2007年23期

9 杨光;李恒;王雷;;敌意规划模型在分布式入侵检测中的设计与研究[J];科技资讯;2008年21期

10 张敏情;张玉梅;;基于数据挖掘的分布式入侵检测算法[J];武警工程学院学报;2009年02期

相关会议论文 前8条

1 危辉平;陶宏才;;一种新的基于相关性的层次型分布式入侵检测模型[A];四川省通信学会Ip应用与增值电信技术会议论文集[C];2011年

2 王辉;邵佩英;;基于标记的分布式入侵检测方法与实施途径[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

3 李天智;孙海波;魏永红;;分布式入侵检测技术的实现[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年

4 邹莹;李陶深;;基于资源的分布式入侵检测系统模型研究[A];广西计算机学会2004年学术年会论文集[C];2004年

5 李陶深;葛志辉;;一种基于智能代理的分布式入侵检测系统设计[A];广西计算机学会2005年学术年会论文集[C];2005年

6 李二涛;;分布式入侵检测技术在校园网中的应用研究[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

7 杜晔;郭幽燕;;基于消息驱动的分布式入侵检测通信机制[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年

8 张洁;李俊;付焕焕;;基于报警管理的分布式入侵检测系统模型[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

相关博士学位论文 前2条

1 张岳公;基于代理的对等分布式入侵检测系统研究[D];山东大学;2006年

2 陈波;基于对等协同的分布式入侵检测系统模型研究[D];电子科技大学;2006年

相关硕士学位论文 前10条

1 张岩;分布式入侵检测模型研究[D];合肥工业大学;2005年

2 李晓明;分布式入侵检测系统体系结构的研究[D];西安电子科技大学;2004年

3 安燕;分布式入侵检测技术在电子商务中的应用[D];河北工程大学;2011年

4 刘震;分布式入侵检测的若干问题研究[D];汕头大学;2005年

5 马超;基于网络的分布式入侵检测及其通信协议研究[D];哈尔滨工业大学;2008年

6 苏磊;数据融合技术在分布式入侵检测中的应用研究[D];广东工业大学;2008年

7 顾恩超;基于关联分析的分布式入侵检测模型研究[D];华中科技大学;2007年

8 汪瑾;分布式入侵检测系统关键技术研究[D];中北大学;2009年

9 汪波;分布式入侵检测系统组件间的通信[D];华中师范大学;2003年

10 邓志霞;分布式入侵检测系统的研究与设计[D];汕头大学;2004年

，

本文编号：2454451