基于机器学习的网络流量识别及其应用研究

发布时间：2023-04-02 07:01

　　随着信息技术的不断发展,数据中心网络的规模日益扩大。在数据中心内的一些业务,如数据迁移、文件备份,其产生的流量数目虽然很少,但传输的数据量极大,被称为大象流。为了更好地利用网络资源,减少网络拥塞,需要对大象流作出区分,单独优化。本文利用机器学习,对数据中心网络中的大象流进行识别,然后探讨了路由优化场景下识别模型的评估指标,最后将流量大小的二类识别扩展到了多类识别。主要的研究内容和创新点包括以下几个方面:(1)为了尽可能早地检测出大象流,本文以数据挖掘的角度,从一条流的前几个数据包中提取多个有效特征,使用LightGBM算法对大象流进行快速识别。针对数据集中大象流、老鼠流的样本不均衡问题,本文引入了聚焦损失函数,并在其基础上提出了双相聚焦损失函数(Biphasic Focal Loss,BFL),使模型在训练过程中更多地关注困难样本。本文分别使用了三种真实数据集验证了不同学习算法的有效性,实验结果表明使用了BFL的LightGBM模型不但具有较高的TPR和TNR,而且对大象流判定门限的变化具有更强的鲁棒性。(2)为了提高数据中心网络的性能,常需要对网络路由进行优化。然而,当前的一些基于大...

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 研究现状
    1.3 本文的主要工作
    1.4 本文的结构安排
第二章 相关理论基础
    2.1 监督学习简介
    2.2 决策树
    2.3 集成学习
        2.3.1 Boosting集成
            2.3.1.1 梯度提升树
        2.3.2 Bagging集成
            2.3.2.1 随机森林
    2.4 机器学习的网络应用流程
    2.5 数据中心网络简介
        2.5.1 数据中心网络的常见拓扑
        2.5.2 数据中心网络的流量特征
    2.6 本章小结
第三章 基于机器学习的大象流识别
    3.1 LightGBM的原理
    3.2 数据预处理
        3.2.1 数据解析
        3.2.2 特征构造
    3.3 样本不均衡问题
        3.3.1 常见解决方法
        3.3.2 聚焦损失函数
        3.3.3 双相聚集损失函数
    3.4 算法性能评估
        3.4.1 实验设置
        3.4.2 实验结果
    3.5 本章小结
第四章 路由优化下识别模型的评估指标探究
    4.1 数据中心网络中的路由优化
        4.1.1 数据中心网络的传统路由
        4.1.2 基于SDN的路由优化
            4.1.2.1 SDN网络架构
            4.1.2.2 大象流计数路由
    4.2 基于路由优化效果的识别模型评估
        4.2.1 召回率与查准率
        4.2.2 ROC和 AUC
        4.2.3 加权F值下的模型评估
    4.3 仿真实验
    4.4 本章小结
第五章 流量大小的多类识别及其路由优化
    5.1 流量大小的多分类扩展
        5.1.1 多分类器的构建
        5.1.2 多分类器的评估指标
        5.1.3 实验结果
    5.2 多分类下的网络路由优化算法
        5.2.1 多分类随机路由算法
            5.2.1.1 路由算法设计
            5.2.1.2 路由仿真实验
        5.2.2 多分类多权重路由算法
            5.2.2.1 路由算法设计
            5.2.2.2 路由仿真实验
    5.3 本章小结
第六章 总结与展望
    6.1 本文总结
    6.2 未来展望
致谢
参考文献
攻读硕士学位期间取得的成果



本文编号：3778781