基于无监督学习的网络异常流量检测研究
发布时间：2021-03-01 13:01
互联网的极速发展,给每个人的日常生活都带来了越来越多的便捷。然而越来越多伴随而来的信息安全问题暴露在人们的视野内。面对日益严峻的互联网安全局势,国家也出台了相关的法规政策来促进信息安全产业的稳定发展。然而,作为信息安全第一道防线的网络流量异常检测领域依然面临首当其冲的威胁。随着近几年机器学习的迅速发展,许多研究人员使用机器学习算法来解决异常检测领域的难题,并且取得了许多实验成果。然而在真实的网络环境里,流量数据一般较为原始,同时量级巨大;想要对流量数据进行准确的标记是十分困难的。这些问题对于传统的机器学习算法是巨大的考验。聚类算法是无监督学习中的代表,可以直接从未打标签的数据中,发掘出数据间一些隐藏的结构规律,从而建立检测模型。基于这样的背景下,本文主要尝试使用机器学习中无监督学习算法来对网络异常流量检测问题进行研究。特征选择是数据预处理中的较为重要的一步。为此,本文提出了一种无监督的特征选择算法。通过计算每个特征间的最大信息系数来得到特征对于类别信息的重要度,之后根据特征间的相近程度进行特征聚类。实验结果表明,在对准确率影响不大的前提下,该算法选出的特征子集比原特征集在运行时间上有明...
【文章来源】：暨南大学广东省 211工程院校
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
中国网民规模报告表明，2017年我国的互联网环境持续向好，互联网各个产业的规模也在不断壮大
表 1-1 互联网各产业规模在 2016 年与 2017 年的数据对比2016 年同比增长率 2017 年同比增长率 2017 年市场规模（亿元）电子商务产业规模 30.3% 43.4% 2188网络游戏产业规模 11%-23.8% 22.1%-48.5% 1341网络广告产业规模 21% 28.8% 2957表 1-1 总结了互联网产业中几个有代表性的产业领域，可以看到各产业规模的 2017 年同比增长率都高于 2017 年的同期增长率。越来越多的数据表明，互联网已经融入了人们的日常生活中，并且正在从生活的方方面面的加深更多的联系。万物互联”的时代已越来越近。2017 年 7 月，中国互联网协会在其主办的第十六届中国互联网大会上发布了《中国互联网站发展状况及其安全报告（2017）》[2]。该报告是国内针对中国网站发展状况及其安全的顶级、专业、权威研究报告。该报告指出，中国的网站规模发展迅猛。其网站数量已达到 533 万个，网页数量达到 2604 亿个，年增长达到 10.3%，如图 1-2 所示。
2016 年针对我国域名系统的流量规模达 1Gpbs 以上的 DDoS 攻击事件日均约 32 起，不过均未对我国域名解析服务造成影响。2016 年 6 月，发生针对全球根域名服务器及其镜像的大规模 DDoS 攻击，大部分根域名服务器受到不同程度的影响，位于我国的域名根镜像服务器也在同时段遭受大规模网络流量攻击。因应急处置及时，且根区顶级域缓存过期时间往往超过 1 天，此次攻击未对我国域名系统网络安全造成影响[3]。2. 针对工业控制系统的网络安全攻击日益增多2016 年期间，全球发生的多起工控领域重大事件值得我国警醒。3 月，美国纽约鲍曼水坝的一个小型防洪控制系统遭攻击；8 月，卡巴斯基安全实验室揭露了针对工控行业的“食尸鬼”网络攻击活动，该攻击主要对中东和其他国家的工业企业发起定向网络入侵；12月，乌克兰电网再一次经历了供电故障，据分析本次故障缘起恶意程序“黑暗势力”的变种。我国工控系统规模巨大，安全漏洞、恶意探测等均给我国工控系统带来一定安全隐患[4]。国家信息安全漏洞共享平台（China National Vulnerability Database，简称 CNVD）收录近几年的工控漏洞情况。图 1-3 直观地展示了近几年的变化情况。
【参考文献】：
期刊论文
[1]基于ME-PGNMF的异常流量检测方法[J]. 陈露露,郭文普,何灏. 计算机工程. 2018(01)
[2]基于密度峰值的网格聚类算法[J]. 杨洁,王国胤,王飞. 计算机应用. 2017(11)
[3]中国互联网站发展状况及其安全概述[J]. 何世平. 中国教育网络. 2017(08)
[4]基于熵的网络异常流量检测研究综述[J]. 李蕊,张路桥,李海峰,刘恺. 计算机系统应用. 2017(06)
[5]我国互联网网络安全2016年态势综述与2017年热点前瞻[J]. 保密科学技术. 2017(05)
[6]2016年我国互联网网络安全态势综述[J]. 王小群,丁丽,严寒冰,李佳. 互联网天地. 2017(04)
[7]基于随机森林的HTTP异常检测[J]. 唐宇迪. 电脑知识与技术. 2017(05)
[8]互联网端口扫描攻击的安全检测方法[J]. 王龙业,罗杰. 信息安全与技术. 2016(02)
[9]网络大数据的现状与展望[J]. 范媛媛,吴东明. 数字技术与应用. 2015(12)
[10]IPv6网络中基于数据挖掘的入侵检测系统研究[J]. 朱庆友. 计算机光盘软件与应用. 2014(04)
硕士论文
[1]基于数据挖掘的用电数据异常的分析与研究[D]. 张荣昌.北京交通大学 2017
[2]基于无人机航拍图像的道路检测[D]. 侯阳阳.南京理工大学 2017
[3]基于数据挖掘的异常流量检测技术[D]. 倪谢俊.华东师范大学 2016
[4]基于改进决策树的入侵检测算法的研究[D]. 王楚.东北大学 2011
[5]多约束关联规则的快速入侵检测算法研究[D]. 杨德璋.南京邮电大学 2011
本文编号：3057516
【文章来源】：暨南大学广东省 211工程院校
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
中国网民规模报告表明，2017年我国的互联网环境持续向好，互联网各个产业的规模也在不断壮大
表 1-1 互联网各产业规模在 2016 年与 2017 年的数据对比2016 年同比增长率 2017 年同比增长率 2017 年市场规模（亿元）电子商务产业规模 30.3% 43.4% 2188网络游戏产业规模 11%-23.8% 22.1%-48.5% 1341网络广告产业规模 21% 28.8% 2957表 1-1 总结了互联网产业中几个有代表性的产业领域，可以看到各产业规模的 2017 年同比增长率都高于 2017 年的同期增长率。越来越多的数据表明，互联网已经融入了人们的日常生活中，并且正在从生活的方方面面的加深更多的联系。万物互联”的时代已越来越近。2017 年 7 月，中国互联网协会在其主办的第十六届中国互联网大会上发布了《中国互联网站发展状况及其安全报告（2017）》[2]。该报告是国内针对中国网站发展状况及其安全的顶级、专业、权威研究报告。该报告指出，中国的网站规模发展迅猛。其网站数量已达到 533 万个，网页数量达到 2604 亿个，年增长达到 10.3%，如图 1-2 所示。
2016 年针对我国域名系统的流量规模达 1Gpbs 以上的 DDoS 攻击事件日均约 32 起，不过均未对我国域名解析服务造成影响。2016 年 6 月，发生针对全球根域名服务器及其镜像的大规模 DDoS 攻击，大部分根域名服务器受到不同程度的影响，位于我国的域名根镜像服务器也在同时段遭受大规模网络流量攻击。因应急处置及时，且根区顶级域缓存过期时间往往超过 1 天，此次攻击未对我国域名系统网络安全造成影响[3]。2. 针对工业控制系统的网络安全攻击日益增多2016 年期间，全球发生的多起工控领域重大事件值得我国警醒。3 月，美国纽约鲍曼水坝的一个小型防洪控制系统遭攻击；8 月，卡巴斯基安全实验室揭露了针对工控行业的“食尸鬼”网络攻击活动，该攻击主要对中东和其他国家的工业企业发起定向网络入侵；12月，乌克兰电网再一次经历了供电故障，据分析本次故障缘起恶意程序“黑暗势力”的变种。我国工控系统规模巨大，安全漏洞、恶意探测等均给我国工控系统带来一定安全隐患[4]。国家信息安全漏洞共享平台（China National Vulnerability Database，简称 CNVD）收录近几年的工控漏洞情况。图 1-3 直观地展示了近几年的变化情况。
【参考文献】：
期刊论文
[1]基于ME-PGNMF的异常流量检测方法[J]. 陈露露,郭文普,何灏. 计算机工程. 2018(01)
[2]基于密度峰值的网格聚类算法[J]. 杨洁,王国胤,王飞. 计算机应用. 2017(11)
[3]中国互联网站发展状况及其安全概述[J]. 何世平. 中国教育网络. 2017(08)
[4]基于熵的网络异常流量检测研究综述[J]. 李蕊,张路桥,李海峰,刘恺. 计算机系统应用. 2017(06)
[5]我国互联网网络安全2016年态势综述与2017年热点前瞻[J]. 保密科学技术. 2017(05)
[6]2016年我国互联网网络安全态势综述[J]. 王小群,丁丽,严寒冰,李佳. 互联网天地. 2017(04)
[7]基于随机森林的HTTP异常检测[J]. 唐宇迪. 电脑知识与技术. 2017(05)
[8]互联网端口扫描攻击的安全检测方法[J]. 王龙业,罗杰. 信息安全与技术. 2016(02)
[9]网络大数据的现状与展望[J]. 范媛媛,吴东明. 数字技术与应用. 2015(12)
[10]IPv6网络中基于数据挖掘的入侵检测系统研究[J]. 朱庆友. 计算机光盘软件与应用. 2014(04)
硕士论文
[1]基于数据挖掘的用电数据异常的分析与研究[D]. 张荣昌.北京交通大学 2017
[2]基于无人机航拍图像的道路检测[D]. 侯阳阳.南京理工大学 2017
[3]基于数据挖掘的异常流量检测技术[D]. 倪谢俊.华东师范大学 2016
[4]基于改进决策树的入侵检测算法的研究[D]. 王楚.东北大学 2011
[5]多约束关联规则的快速入侵检测算法研究[D]. 杨德璋.南京邮电大学 2011
本文编号：3057516
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3057516.html
