云中心网络流量分类方法研究

发布时间：2020-11-03 06:43

　　 近几年,随着云技术的高速发展,各大企业也都纷纷建立属于自己的数据云中心。在云中心的环境下,应用行为和应用流量的数据规模也在逐步增长,怎样从云中心的网络流量中挖掘出有价值的信息已成为各大企业追求的目标,同时,对云中心的网络流量进行分类也是实现云安全和云管理的关键。然而由于云环境下的网络流量数据规模大、应用种类繁多,利用传统的网络流量分类方法对云中心的流量进行分类,不仅无法确保分类准确率也无法满足实时性要求。如何兼顾网络流量分类的准确率和实时性是云中心网络流量分类的一个技术难点,对此论文给出了一种基于CDH(Cloudera’s Distribution Including Apache Hadoop)平台的网络流量分类方法和基于随机森林的网络流量分类方法。论文的主要工作及创新点如下:(1)针对校园网网络环境下的Internet流量分类要求,本文给出一种云环境下基于CDH平台的网络流量分类方法,构建了CDH大数据平台,通过网络协议数据分析工具抓取实际的网络流量,提出一种基于模式匹配的网络流量分类算法PM,然后利用大数据实时计算框架Spark Streaming对PM算法进行并行化,实现实时网络流量分类。与传统分类方法相比,该方法在流量分类效率和分类精度上都有所提升,所提出的模式匹配算法PM,不仅可以对离线的网络流量进行分类,还可以对实时的网络流量进行分类,为实现实时网络流量分类提供了思路。(2)针对Ceph云存储系统数据优化分布需要,给出一种基于流统计特征的存储节点之间流量分类方法,该方法利用wireshark抓包软件抓取Ceph云存储系统中实际节点之间的流量,并对抓取的流量进行流特征统计分析,选用包大小、包个数、流的持续时间三个组合特征,利用随机森林算法实现对网络流量的分类。实验结果表明,所选的组合特征结合随机森林算法能够很好的将Ceph云存储系统节点之间的流量进行分类。
【学位单位】：桂林电子科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.06
【文章目录】：
摘要
Abstract
第一章 绪论
    §1.1 研究背景及意义
    §1.2 国内外研究现状
        §1.2.1 网络流量分类研究现状
        §1.2.2 特征选择研究现状
        §1.2.3 机器学习的应用现状
    §1.3 论文主要工作及创新点
    §1.4 论文组织结构
第二章 相关技术
    §2.1 CDH平台概述
        §2.1.1 Hadoop大数据平台
        §2.1.2 Spark大数据处理平台
        §2.1.3 Kafka分布式消息系统
    §2.2 模式匹配技术与Jpcap
    §2.3 原型系统设计
        §2.3.1 基于CDH平台的网络流量分类流程
        §2.3.2 基于随机森林的网络的流量分类流程
    §2.4 本章小结
第三章 基于CDH平台的网络流量分类方法
    §3.1 引言
    §3.2 网络流量数据集的构建
    §3.3 数据预处理
    §3.4 算法设计与实现
        §3.4.1 离线训练阶段
        §3.4.2 实时分类阶段
    §3.5 实验与结果分析
        §3.5.1 实验环境
        §3.5.2 实验结果及分析
    §3.6 本章小结
第四章 Ceph云存储系统的网络流量分类方法
    §4.1 引言
    §4.2 网络流量数据集的构建
    §4.3 数据预处理方法的设计
    §4.4 云存储系统流量分类算法设计
        §4.4.1 特征分析
        §4.4.2 基于随机森林的网络流量分类设计
    §4.5 实验与结果分析
        §4.5.1 实验环境
        §4.5.2 实验结果及分析
    §4.6 本章小结
第五章 总结与展望
    §5.1 论文工作总结
    §5.2 未来研究展望
参考文献
致谢
作者在攻读硕士期间主要研究成果

【相似文献】

相关期刊论文 前10条

1 沈智勇;苏翀;周扬;沈智威;;一种面向非均衡分类的随机森林算法[J];计算机与现代化;2018年12期

2 于大海;李金;罗艳虹;刘近春;张岩波;;随机森林模型和决策树模型在肝硬化上消化道出血预后中的应用[J];中国卫生统计;2019年02期

3 胡蝶;;基于随机森林的债券违约分析[J];当代经济;2018年03期

4 赵艺淞;杨昆;王保云;黎晓路;;随机森林在城市不透水面提取中的应用研究[J];云南师范大学学报(自然科学版);2017年03期

5 吴辰文;梁靖涵;王伟;李长生;;一种顺序响应的随机森林:变量预测和选择[J];小型微型计算机系统;2017年08期

6 顾娟;林敏;鞠桂玲;;基于随机森林回归的军械器材需求预测[J];自动化应用;2017年09期

7 刘迎春;陈梅玲;;流式大数据下随机森林方法及应用[J];西北工业大学学报;2015年06期

8 罗超;;面向高维数据的随机森林算法优化探讨[J];商;2016年04期

9 杨晓峰;严建峰;刘晓升;杨璐;;深度随机森林在离网预测中的应用[J];计算机科学;2016年06期

10 张强;;随机森林在居民购房意愿研究中的应用[J];现代经济信息;2016年13期

相关博士学位论文 前10条

1 王晓军;基于大数据的风洞马赫数集成建模方法的研究[D];东北大学;2016年

2 王鑫;基于随机森林的认知网络频谱感知算法研究[D];东北大学;2016年

3 姚登举;面向医学数据的随机森林特征选择及分类方法研究[D];哈尔滨工程大学;2016年

4 黄玥;VANET信息安全问题及异常检测技术研究[D];吉林大学;2017年

5 倪强;基于随机前沿和随机森林法的沿海开发区发展效率研究[D];天津大学;2011年

6 季斌;内蒙古浩布高地区多金属矿综合信息找矿预测研究[D];合肥工业大学;2017年

7 雷震;随机森林及其在遥感影像处理中应用研究[D];上海交通大学;2012年

8 金超;基于随机森林的医学影像分割算法研究及应用[D];苏州大学;2017年

9 李宝富;巨厚砾岩层下回采巷道底板冲击地压诱发机理研究[D];河南理工大学;2014年

10 赵东;基于群智能优化的机器学习方法研究及应用[D];吉林大学;2017年

相关硕士学位论文 前10条

1 王鸣飞;结直肠癌术前N分期的随机森林预测模型的建立与验证[D];吉林大学;2019年

2 王艺博;潜周期时间序列建模和预测新方法探究[D];上海交通大学;2017年

3 缪琦;基于随机森林和支持向量机的糖尿病风险预测方法研究[D];江苏大学;2019年

4 马江理;现代服务业发展及评价研究[D];云南大学;2018年

5 倪政;基于随机森林的兴农卡农户用信预测模型及应用研究[D];中南林业科技大学;2019年

6 陈云天;南昌市房价时空分布特征及驱动因素分析[D];江西师范大学;2019年

7 李婵娟;信用债发行利差影响因素分析[D];山西财经大学;2019年

8 董兴军;随机森林在P2P网络借贷借款人信用评估中的应用[D];辽宁大学;2019年

9 汪娟娟;江西省精准扶贫中的贫困户识别研究[D];江西财经大学;2019年

10 李勋章;云中心网络流量分类方法研究[D];桂林电子科技大学;2019年

本文编号：2868234