基于半监督学习策略的网络异常检测方法研究

发布时间：2020-06-08 08:08

【摘要】：随着网络攻击的愈加频繁与严重,网络安全越来越重要。近年来,由于传统方法的性能下降,基于机器学习的方法正在发挥重要作用。然而,在实践中,获得完整的标记数据集是极其困难的,因为该任务昂贵且耗时,其中需要专业技术人员准确地标记数据集,而获得未标记的数据集相对容易。但是传统的监督学习算法在仅获得少量标记数据情况下,未能很好的利用已经存在的大量容易获取的未标记数据,从而在实际应用中表现不佳。反过来,考虑标记和未标记样本的半监督学习算法可以显着提高学习效率,使算法更适合实际的网络应用,因此对半监督方法的研究是有必要的。在本文中,我们提出了一个半监督模型通过利用大量存在的未标记数据集来提高分类器的分类能力与分类效果。基于分歧的方法是半监督学习的一个重要分支,从最开始用于多视图学习的协同训练算法,到交叉验证协同训练算法,再到如今的Tri-training算法,基于分歧的方法已经得到了有效的验证。Tri-training算法是一种具备很强泛化能力的半监督学习算法,可以有效提高检测的准确性。然而错误标记数据会引入噪音,从而产生的负面影响可能会抵消使用大量未标记数据的好处。文中改进了传统的Tri-training算法,通过估计未标记数据的标记置信度,进行置信度筛选从而降低了错误标记数据放入标记数据中的可能性。并把置信度作为每个数据的权重来降低错误数据在模型中的影响,从而提高了算法的准确率。实验表明,对Tri-training的改进是有效的,取得了更好的检测率,和更快速的检测速度。决策树作为基本机器学习分类方法之一,具有速度快,准确性高的特点,实际网络检测时对检测速度要求很高,因此本文使用决策树算法作为基本分类器。并结合集成学习算法后形成的分类器作为改进型Tri-training算法的弱分类器,进一步降低错误标记数据的比重,经过改进Tri-training算法训练后生成最终分类模型,最终实现了对网络流量的准确和快速分类效果。实验表明,本文所提出的系统在网络流量检测方面表现良好,即使在训练数据集只有少量标记数据的情况下,也能取得很好检测效果。与之前工作提出的半监督检测模型相比,在NSL-KDD数据集上,该系统在准确性与算法耗时上表现最佳;在Kyoto数据集上,该系统在准确性与时间成本上取得了很好的平衡。
【图文】：

图 1-1 研究内容结构图如图 1-1 所示，为了避免因为错误标记引入噪声所带来的负面效果，本文在传统的 Tri-training 算法的基础上进行了改进，对 Tri-training 算法主要是从错误筛选和权重迭代俩个方面去思考，通过置信度阈值判定筛选掉部分错误标记的数据，对仍然可能存在的错误标记数据被加入到新标记数据的情况，也会因为引入了权重概念，在迭代过程中错误标记数据对模型的影响越来越低，模型更贴合真实数据分布，从而提高了模型的效果。决策树算法在数据量较少维度较高的情况下表现良好，Adaboost算法专注于之前分类器的误分类的训练样本，因此使用 Adaboost 可以进一步提高决策树算法的分类精确度，使用了决策树算法也能降低时间成本，将 Adaboost（DT）算法作为改进 Tri-training 算法的弱分类器，形成本文提出的半监督网络流量检测模型。最后将所提出的模型应用在入侵检测数据集上，并于已有的模型进行比较。

图 2-2 CLS 系统图的决策树算法具有代表性的是上世纪 80 年代的 ID3（Iteramiser 3）算法，ID3 算法[38]的提出的理论基础主要是基于香农信息是使用信息增益作为分裂属性的选择标准，然后在各个节点上分裂使得某个节点属性分裂后能带来最多的信息，从量化的角度来说，系统的熵值越小，分类的准确性也就越高。ID3 算法的优点在于分度很快，但无法处理连续属性与属性缺失等问题。而引入了信息增.5 算法则解决了 ID3 的不足之处，更引入了使得算法更加高效的决策，使得决策树算法进一步发展，本文使用的决策树算法正是 C4.5 算裂属性方法属性的标准对决策树的准确性具有很大影响，下文列举了常见的几选取的方法:
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP181;TP393.08

【相似文献】

相关期刊论文 前10条

1 屠恩美;杨杰;;半监督学习理论及其研究进展概述[J];上海交通大学学报;2018年10期

2 唐晓亮;韩敏;;一种基于极端学习机的半监督学习方法[J];大连理工大学学报;2010年05期

3 张晨光;李玉擰;;哈希图半监督学习方法及其在图像分割中的应用[J];自动化学报;2010年11期

4 张燕;张晨光;张夏欢;;平衡化图半监督学习方法[J];系统科学与数学;2016年08期

5 李聪;黄俊爽;朱明明;李相俭;;初探半监督学习在脑白质纤维束辨识中的应用[J];科技信息;2010年10期

6 周志华;;半监督学习专刊前言[J];软件学报;2008年11期

7 姜震;詹永照;;基于差异半监督学习的相关理论分析[J];模式识别与人工智能;2014年10期

8 张建欣;;基于半监督学习的在线评论挖掘应用[J];计算机光盘软件与应用;2012年20期

9 王晓波;;基于可信点的联合半监督学习[J];哈尔滨商业大学学报(自然科学版);2016年01期

10 索南楞智;刘静静;刘萍;;结合图模型和分层查询的半监督学习方法[J];计算机工程与设计;2017年05期

相关会议论文 前10条

1 赵玲玲;周水生;王雪岩;;基于集成算法的半监督学习[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年

2 陈耀东;王挺;陈火旺;;半监督学习和主动学习相结合的浅层语义分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 吴龙飞;孙浩;计科峰;;基于集成映射的半监督图像分类方法[A];第八届全国信号和智能信息处理与应用学术会议会刊[C];2014年

4 滑文强;王爽;;基于协同学习的半监督极化SAR分类[A];第三届高分辨率对地观测学术年会（天基对地观测技术分会）优秀论文集[C];2014年

5 林良宪;利德江;蔡孟璇;邱政贤;;针对小样本分类的半监督式学习法[A];第25届全国灰色系统会议论文集[C];2014年

6 朱松豪;梁志伟;;用半监督学习方法实现图像检索[A];第二十九届中国控制会议论文集[C];2010年

7 谢永芳;蒋有为;唐明珠;;一种基于数据剪辑的半监督最邻近分类算法[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年

8 孙涛;刘静;刘青山;卢汉清;;半监督谱判别式分析[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

9 何正焱;王厚峰;;商品品牌名称挖掘[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

10 邱维蓉;吴帮玉;贾骏雄;;基于正例和未标记样本的半监督集成学习方法在滑坡易发性预测中的应用[A];中国石油学会2019年物探技术研讨会论文集[C];2019年

相关博士学位论文 前10条

1 王绍凯;属性网络的半监督学习方法研究[D];哈尔滨工业大学;2018年

2 唐晓亮;基于神经网络的半监督学习方法研究[D];大连理工大学;2009年

3 桂杰;基于图的半监督学习和维数约简方法及其应用研究[D];中国科学技术大学;2010年

4 孙博良;在线半监督学习理论、算法与应用研究[D];国防科学技术大学;2014年

5 吴梦麟;基于半监督学习的医学图像检索研究[D];南京理工大学;2015年

6 潘俊;基于图的半监督学习及其应用研究[D];浙江大学;2011年

7 黄鹏;基于广义半监督学习方法的软件质量预测研究[D];上海交通大学;2010年

8 杨晨雪;图像特征学习方法与应用研究[D];电子科技大学;2016年

9 姜震;基于差异的半监督学习中有关算法和理论研究[D];复旦大学;2012年

10 吕佳;基于局部学习的半监督分类问题研究[D];内蒙古大学;2012年

相关硕士学位论文 前10条

1 张伟健;互联网背景下基于集成半监督学习的用户对抗性识别[D];天津财经大学;2018年

2 吴春叶;基于半监督学习的观点挖掘算法的研究与实现[D];北京邮电大学;2019年

3 张仕将;基于最大间隔和半监督学习的偏标记学习算法研究[D];太原理工大学;2019年

4 刘文婷;基于半监督学习的情感分类方法研究[D];北京邮电大学;2019年

5 彭国柱;基于弱监督和半监督学习的面部动作单元识别[D];中国科学技术大学;2019年

6 唐新瑶;主动学习和半监督学习的视觉数据分类方法研究[D];武汉大学;2018年

7 李敦明;基于半监督学习策略的网络异常检测方法研究[D];华东师范大学;2019年

8 陈子岚;基于广义可加模型的半监督学习方法[D];厦门大学;2018年

9 祝宏玉;基于不确定性的代价敏感半监督学习[D];深圳大学;2018年

10 董豪晨;复杂半监督学习场景的研究[D];南京大学;2019年

，

本文编号：2702788