基于关系型数据库的网络流数据预处理与物联网设备识别系统研究
发布时间：2021-04-21 09:41
网络设备分类在网络管理和网络空间安全方面有着广泛应用,设备分类的前提要对流量数据进行正确的预处理。现有预处理方法大多利用编程语言开发出小型工具类软件,应用范围较窄不具有推广性,无法满足一些特定的处理需求且源码不公开。利用网络流统计特征来进行网络设备分类和安全管控的应用研究,往往受限于该领域数据集的不充足,一些优秀的数据集也并未完全公开数据的具体采集和处理过程,如网络入侵检测数据集KDD CUP 99等。因此,在实际工程应用中,迫切需要一种灵活高效的处理方法和手段,来构建出符合自身需求的流量统计特征数据集。本文所提出的基于关系型数据库的网络流数据预处理方法可以有效完成流量统计特征的提取,相比已有的技术手段具有提取快速﹑自动化程度高﹑通用性强的特点,使用该方法可以灵活构建出不同分类需求场景下的流量统计特征,极大提升了原始网络流数据的预处理效率。本文的主要工作如下:（1）提出了一种通用性的网络流量数据集构造方法,该方法基于关系型数据库的SQL脚本语言来实现,具有批量处理﹑编码灵活﹑特征自定义程度高的优点。将常用流量统计特征进行了抽象概括,利用SQL统计语言以模块化的对应方式映射出与统计特征相...
【文章来源】：天津师范大学天津市
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.3 本文主要研究内容与创新点
1.4 论文结构安排
第二章 网络流数据预处理流程与方法
2.1 流程描述与特征提取库构建
2.2 数据交互与实现方法
2.3 实验过程与分析
2.3.1 网络数据流采集
2.3.2 统计特征提取
2.3.3 方法对比
2.4 本章小结
第三章 流量统计特征数据集的评估与验证
3.1 数据预处理技术
3.1.1 数据清洗
3.1.2 数据变换
3.1.3 数据集成
3.1.4 数据归约
3.1.5 特征选择与抽取
3.1.6 数据标注
3.2 数据集质量评估
3.2.1 平均绝对误差与相对绝对误差
3.2.2 相对根方差
3.2.3 方差与标准偏差
3.2.4 均方误差与均方根误差
3.3 在机器学习模型上的应用与效果
3.3.1 实验数据集
3.3.2 实验设计
3.3.3 模型训练过程
3.3.4 实验结果分析
3.4 本章小结
第四章 物联网设备识别系统设计与实现
4.1 系统功能与应用场景
4.2 系统架构设计
4.2.1 系统体系结构
4.2.2 系统模块划分
4.2.3 识别交互流程
4.3 系统开发实现
4.3.1 开发技术与工具
4.3.2 服务端实现
4.3.3 客户端实现
4.4 设备识别预测
4.5 本章小结
第五章 总结与展望
5.1 总结
5.2 展望
参考文献
攻读硕士学位期间论文发表及参与项目情况
致谢
【参考文献】：
期刊论文
[1]数据标注研究综述[J]. 蔡莉,王淑婷,刘俊晖,朱扬勇. 软件学报. 2020(02)
[2]基于一维卷积神经网络的网络流量分类方法[J]. 李道全,王雪,于波,黄泰铭. 计算机工程与应用. 2020(03)
[3]计算机中数据预处理技术的研究与应用[J]. 罗红华. 电脑编程技巧与维护. 2019(08)
[4]物联网终端智能识别系统设计与实现[J]. 张立,汪卓越,王春东,马云飞,向朝参. 重庆邮电大学学报(自然科学版). 2019(04)
[5]大数据下的数据质量评价指标构建实践[J]. 刘金晶,王梅. 计算机技术与发展. 2019(10)
[6]常见数据预处理技术分析[J]. 周泉锡. 通讯世界. 2019(01)
[7]基于搜索的物联网设备识别框架[J]. 邹宇驰,刘松,于楠,朱红松,孙利民,李红,王旭. 信息安全学报. 2018(04)
[8]探讨动态SQL扩展的应用[J]. 梁敬彬. 福建电脑. 2018(03)
[9]批处理文件在计算机实训室管理中的应用[J]. 翟乃强. 青岛远洋船员职业学院学报. 2017(04)
[10]数据立方体格的图结构特性研究[J]. 王洋,游进国,张婷,张正凡. 计算机工程. 2017(02)
博士论文
[1]大数据环境下数据质量管理、评估与检测关键问题研究[D]. 刘寒.吉林大学 2019
硕士论文
[1]基于安全云架构的虚拟沙箱的设计与实现[D]. 徐传印.华中科技大学 2013
本文编号：3151525
【文章来源】：天津师范大学天津市
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.3 本文主要研究内容与创新点
1.4 论文结构安排
第二章 网络流数据预处理流程与方法
2.1 流程描述与特征提取库构建
2.2 数据交互与实现方法
2.3 实验过程与分析
2.3.1 网络数据流采集
2.3.2 统计特征提取
2.3.3 方法对比
2.4 本章小结
第三章 流量统计特征数据集的评估与验证
3.1 数据预处理技术
3.1.1 数据清洗
3.1.2 数据变换
3.1.3 数据集成
3.1.4 数据归约
3.1.5 特征选择与抽取
3.1.6 数据标注
3.2 数据集质量评估
3.2.1 平均绝对误差与相对绝对误差
3.2.2 相对根方差
3.2.3 方差与标准偏差
3.2.4 均方误差与均方根误差
3.3 在机器学习模型上的应用与效果
3.3.1 实验数据集
3.3.2 实验设计
3.3.3 模型训练过程
3.3.4 实验结果分析
3.4 本章小结
第四章 物联网设备识别系统设计与实现
4.1 系统功能与应用场景
4.2 系统架构设计
4.2.1 系统体系结构
4.2.2 系统模块划分
4.2.3 识别交互流程
4.3 系统开发实现
4.3.1 开发技术与工具
4.3.2 服务端实现
4.3.3 客户端实现
4.4 设备识别预测
4.5 本章小结
第五章 总结与展望
5.1 总结
5.2 展望
参考文献
攻读硕士学位期间论文发表及参与项目情况
致谢
【参考文献】：
期刊论文
[1]数据标注研究综述[J]. 蔡莉,王淑婷,刘俊晖,朱扬勇. 软件学报. 2020(02)
[2]基于一维卷积神经网络的网络流量分类方法[J]. 李道全,王雪,于波,黄泰铭. 计算机工程与应用. 2020(03)
[3]计算机中数据预处理技术的研究与应用[J]. 罗红华. 电脑编程技巧与维护. 2019(08)
[4]物联网终端智能识别系统设计与实现[J]. 张立,汪卓越,王春东,马云飞,向朝参. 重庆邮电大学学报(自然科学版). 2019(04)
[5]大数据下的数据质量评价指标构建实践[J]. 刘金晶,王梅. 计算机技术与发展. 2019(10)
[6]常见数据预处理技术分析[J]. 周泉锡. 通讯世界. 2019(01)
[7]基于搜索的物联网设备识别框架[J]. 邹宇驰,刘松,于楠,朱红松,孙利民,李红,王旭. 信息安全学报. 2018(04)
[8]探讨动态SQL扩展的应用[J]. 梁敬彬. 福建电脑. 2018(03)
[9]批处理文件在计算机实训室管理中的应用[J]. 翟乃强. 青岛远洋船员职业学院学报. 2017(04)
[10]数据立方体格的图结构特性研究[J]. 王洋,游进国,张婷,张正凡. 计算机工程. 2017(02)
博士论文
[1]大数据环境下数据质量管理、评估与检测关键问题研究[D]. 刘寒.吉林大学 2019
硕士论文
[1]基于安全云架构的虚拟沙箱的设计与实现[D]. 徐传印.华中科技大学 2013
本文编号：3151525
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/3151525.html
