基于Hadoop的网络异常流量分布式检测研究

发布时间：2020-04-14 11:26

【摘要】：随着计算机科学和网络技术的高速发展,互联网的开放性和共享性等优点越来越明显,网络信息技术被运用到诸多领域,应用范围遍及世界每个角落的政治、经济、金融、教育和军事等领域。由于计算机及网络的脆弱性、网络协议的缺陷和隐藏的安全漏洞,给网络安全带来极大威胁。网络流量数据和网络日志蕴含着丰富的有价值信息,在用户行为分析、上网行为管理、入侵检测和网络管理等许多领域具有非常高的价值,最初的网络数据处理方式是使用单台计算机对数据进行计算分析,单台处理设备在CPU、I/O与存储方面的性能受到硬件当时硬件发展水平的限制且没有扩展性。面对当今高速发展的高性能硬件设备,导致系统产生数据量和网络中传输的流量呈现几何级数级别增加,传统检测方法无法满足大规模数据分析对时间和效率的要求,在实际应用中对数据分析的处理时间要求越来越高,具备高吞吐和低时延的并行计算成为了数据处理的重要指标,分布式异常检测的研究成为异常检测研究领域的新风向标。针对网络安全形势日趋严峻和海量网络数据快速增长的背景下,本文设计并实现基于云计算的分布式异常网络流量检测的实验,通过云计算对大规模数据的存储和计算能力,解决入侵检测、网络流量分析及日志数据的采集、存储和分析面临的主要瓶颈问题,运用Hadoop的MapReduce分布式并行计算模型,能够高效和可靠地并行处理大规模数据集。本文有关网络异常流量分布式检测的主要研究内容如下:(1)分布式异常检测平台架构研究通过需求分析完成分布式入侵检测平台架构设计,整体架构分为网络采集、分布式存储和异常检测分析三个层次,按照需求完成网络数据采集、数据存储和数据异常检测的实验环境的搭建,通过训练样本训练建立异常检测模型,使用历史特征形成特征异常检测特征库,可以提高异常检测系统的数据处理能力,提高检测效率和检测准确率,可以扩展系统的学习能力挖掘分析更深层次的信息。(2)网络数据采集和网络日志收集研究采用Flume从多源前端服务器中采集日志和告警信息等网络日志数据存储到HDFS分布式文件系统中,使用Sniffer技术采集网络流量并对网络流量进行特征提取,采集端运用WinPcap与LibPcap采集网络数据,实现会话连接重构方式提取网络流量并存储特征值,将KDD99格式特征数据传送到分析处理系统的HDFS文件系统中,对入侵告警信息进行相关性融合分析。(3)数据分析算法研究将模糊C-均值聚类算法、词汇分割分类算法和统计学方法应用到采集的网络流量和网络日志数据,验证算法的可行性和检验分析结果的准确率。通过预处理网络数据和使用基于网络流量相关性的模糊C-均值聚类算法完成聚类分析,提出网络流量相关性四关键要素和基于权值的目标函数计算方法,从训练样本数据获取聚类簇中心值和聚类类型,使用异常方差统计的方法,检测分布式拒绝服务攻击行为,并构建历史特征库满足对未来数据快速分析的需求。(4)基于分布式的网络异常检测研究将机器学习算法和MapReduce分布式计算模型结合在Hadoop平台上进行并行化处理,将存储在HDFS分布式文件系统中网络采集数据、日志和告警信息,采用MapReduce和Flume等分布式计算技术完成分布式异常检测实验、融合告警信息,通过聚类算法和分类算法深入挖掘数据中的异常信息和异常网络流量,对分布式异常检测的时间效率、准确率、漏报率和误报率进行了分析。综上所述,本论文构建的网络异常流量分析实验有效地解决了网络数据的采集、存储与异常分析等问题,融合了Hadoop与数据挖掘各自的优势,充分发挥了Hadoop分布式计算框架的高扩展性和高吞吐性等特性,利用数据挖掘算法深入检测网络事件中的异常信息,形成一整套比较完整且准确度较高的采集、存储、分析和特征建立过程。
【图文】：

漏洞,国家信息安全,共享平台

乏安全意识和管理不善，，导致企业 APT 攻击的发生；信息泄漏。敏感数据在存储和传输中有意或无意中泄漏给非授权人员。用电磁泄漏、嗅探或网络攻击等手段获取目标主机上的数据；非授权访问。通过躲避系统访问控制机制、身份冒充或越权访问等方式访问非授权访问的使用计算机网络资源；拒绝服务攻击。通过对网络服务系统发起非正常的网络流量，导致目标服务或导致可用资源减少而合法用户无法得到服务；破坏数据完整性。以非法方式获取对数据的访问权，通过篡改、删除、方式，以达到攻击者修改或破坏数据的目的；）网络传播病毒。利用系统和网络漏洞制作恶意程序，通过网络或移动介实现破坏数据、窃取数据、挖矿、控制目标主机和构建僵尸网络等目的。中国国家信息安全漏洞共享平台统计 2016 年收录 14968 个漏洞，如图 1-ommon Vulnerabilities and Exposures 公布和收录的网络安全漏洞呈现逐年递是安全漏洞创纪录的一年，如图 1-2 所示；而 exploit-db 每年都有大量新公布，收录的漏洞攻击程序的总数量在持续增长，如图 1-3 所示，这些漏击程序的泄露，给网络安全带来严重威胁。

漏洞,破纪录,数据库,绪论

第 1 章绪论0 个漏洞以上；2、比上一年的增速数量和增速非常快，增速超过了 1/3披露组织表示，2017 年将是网络安全的漏洞爆发年，这一年成为有史多和漏洞增速破纪录的一年[5]。
【学位授予单位】：西南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.06

【参考文献】