基于大数据的网络恶意流量分析系统的设计与实现

发布时间：2017-08-03 23:05

  本文关键词：基于大数据的网络恶意流量分析系统的设计与实现

  更多相关文章： 大数据 恶意流量 僵尸网络 Hadoop 复合会话

【摘要】：本文主要研究了大数据时代下的网络恶意流量的分析与检测。本文提出了关于一种网络行为分析监控系统的设计与实现。整个系统中共分为采集部分、蜜罐系统、Hadoop处理平台以及呈现服务器四个部分。采集探针模块负责从数百个中型企业的网络出口端采集数据包,所有的数据包通过探针内部程序预处理后上传到采集服务器中。而Hadoop平台作为数据整合和数据分析的平台则要定时从采集服务器中下载当天的数据,缓解采集服务器中数据存储的压力,从采集服务器中下载的数据格式固定,以文本文件的形式存在HDFS中。搭建的蜜罐网则主要负责收集网络中的各种木马,僵尸病毒,并从中提取出这些木马,僵尸病毒的特征,传入Hadoop平台中进行分析。而Hadoop平台的处理以及分析结果将在呈现服务器中以图表的形式进行展示。本文搭建的蜜罐系统是一个闭环的结构,他主要负责吸引网络中的各种恶意流量,同时通过本文提出的可疑URL选取算法对流量数据进行初步分析并获得一个可疑URL列表。 本文还提出了一种恶意流量检测方法。所有的工作与闭环蜜罐系统一起集成为一个网络行为分析监测系统,可以有效地和精确地检测异常行为。本文提到的基于复合会话的数据采集算法很好地解决了探针内存不足的限制,复合会话是一个由src、dst、网络协议和目标端口四元组唯一标识的实体。为了消除数据采集的负面影响,本文还依托于MapReduce的框架提出了数据处理的算法。最后本文提出一个识别异常流量的三步算法：数据过滤,域名匹配和网络节点排除。首先识别网络流量中具有周期性行为的复合会话,然后通过对比白名单等手段去除一些错判对象得到最终的检测结果。
【关键词】：大数据 恶意流量 僵尸网络 Hadoop 复合会话
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.06
【目录】：

• 摘要4-5
• ABSTRACT5-7
• 目录7-9
• 第一章 绪论9-14
• 1.1 研究背景与意义9-10
• 1.2 研究内容10
• 1.3 研究现状10-12
• 1.3.1 基于主机的恶意流量检测系统11
• 1.3.2 基于网络的恶意流量检测系统11-12
• 1.4 论文组织结构12-14
• 第二章 大数据下的网络安全14-25
• 2.1 大数据时代14-18
• 2.1.1 大数据的特征14-15
• 2.1.2 大数据环境下的网络安全分析15-16
• 2.1.3 安全防护措施16-18
• 2.2 僵尸网络18-24
• 2.2.1 僵尸网络概述18-20
• 2.2.2 僵尸网络分类20-21
• 2.2.3 僵尸网络检测21-24
• 2.3 本章小结24-25
• 第三章 网络行为分析监控系统的设计与实现25-38
• 3.1 引言25
• 3.2 系统架构设计25-26
• 3.3 闭环蜜罐组件设计与实现26-28
• 3.3.1 闭环蜜罐系统架构26-27
• 3.3.2 通信通道27
• 3.3.3 疑URL选择算法27-28
• 3.4 Hadoop平台组件设计与实现28-35
• 3.4.1 Hadoop集群和网络29-30
• 3.4.2 HDFS30-33
• 3.4.3 MapReduce33-35
• 3.5 恶意流量检测系统测试及性能分析35-37
• 3.5.1 测试平台搭建35-36
• 3.5.2 测试数据准备36
• 3.5.3 测试样例及测试结果36-37
• 3.5.4 系统能力评估37
• 3.6 本章小结37-38
• 第四章 基于复合会话的恶意流量检测系统38-50
• 4.1 引言38
• 4.2 基于Hadoop平台的数据采集38-41
• 4.3 基于复合会话的数据预处理算法41-44
• 4.3.1 总体思路41-42
• 4.3.2 数据处理算法42-44
• 4.4 基于概率密度分布的恶意流量检测算法44-46
• 4.4.1 僵尸网络识别44-45
• 4.4.2 DDoS进攻和端口扫描进攻识别45-46
• 4.5 算法有效性的分析和验证46-49
• 4.5.1 僵尸网络46-48
• 4.5.2 DDoS进攻和端口扫描进攻48-49
• 4.6 本章小结49-50
• 第五章 基于复合会话的聚类优化算法50-58
• 5.1 引言50
• 5.2 复合会话中离群点的剔除50-53
• 5.2.1 常用的离群点检测算法50-52
• 5.2.2 基于复合会话的离群点检测算法52-53
• 5.3 基于主成分分析的聚类优化算法53-54
• 5.3.1 主成分分析53-54
• 5.3.2 基于复合会话的K-means聚类算法54
• 5.4 聚类结果分析54-57
• 5.5 本章小结57-58
• 第六章 总结与展望58-61
• 6.1 全文工作总结58-59
• 6.2 展望59-61
• 参考文献61-63
• 致谢63-65
• 攻读学位期间发表的学术论文目录65

【参考文献】

中国期刊全文数据库 前10条

1 陈功;;网络攻击与安全防御策略研究[J];四川文理学院学报;2009年02期

2 郑文婷;张艳华;杨磊;庞玲;;蜜罐技术的分析与研究[J];计算机安全;2011年08期

3 李志刚;王光旭;;当前企业网络安全的威胁因素及对策研究[J];计算机光盘软件与应用;2012年16期

4 冯伟;;大数据时代面临的信息安全机遇和挑战[J];中国科技投资;2012年34期

5 李洪洋;;大数据环境下的数据安全研究[J];电子技术与软件工程;2013年20期

6 ;思科:社交媒体成为网络犯罪最新场所[J];计算机安全;2010年01期

7 杨雅辉;;网络流量异常检测及分析的研究[J];计算机科学;2008年05期

8 王天佐;王怀民;刘波;史佩昌;;僵尸网络中的关键问题[J];计算机学报;2012年06期

9 邓玉洁;朱庆生;;基于聚类的离群点分析方法[J];计算机应用研究;2012年03期

10 郭三强;郭燕锦;;大数据环境下的数据安全研究[J];科技广场;2013年02期

中国博士学位论文全文数据库 前1条

1 王新良;僵尸网络异常流量分析与检测[D];北京邮电大学;2011年

，

本文编号：616701