高速网络访问超点检测算法研究
发布时间：2022-02-14 19:44
访问超点是网络中在一段时间内与远大于平均值数量的对端有交互行为的主机。访问超点检测算法的目标就是找出流量中连接对端数大于阈值的所有主机。访问超点一般是服务器、代理、扫描器和被DDoS攻击的主机。访问超点检测对网络安全和网络管理有重要的意义,也是这个领域一个没有完全解决的热点问题。现有访问超点检测算法存在如下缺陷:算法运行时间长,无法实时处理高速网络数据;不能在滑动时间窗口下运行,无法检测跨越时间窗口边界的访问超点;分布式环境下通信开销大等。本文针对上述三个问题分别进行了研究。本文将GPU（Graphics Processing Unit）并行计算方法引入了访问超点检测的研究领域,解决了访问超点检测的实时性问题。基于Bernstein条件等并行计算的相关基础理论,给出了一组用于判定访问超点检测算法是否能在GPU环境中并行运行的条件,并提出了一个基于GPU的通用访问超点检测框架。利用该框架,将三个现有的符合条件的访问超点检测算法移植到了三个不同性能的GPU平台上,并基于10Gb/s和40Gb/s带宽的实测流量进行了测试。实验结果表明,对于符合条件的访问超点检测算法,GPU通用访问超点检测框...
【文章来源】：东南大学江苏省211工程院校985工程院校教育部直属院校
【文章页数】：137 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
本论文专用术语
第1章 绪论
1.1 互联网中的访问超点
1.2 访问超点定义
1.3 访问超点检测现有相关工作
1.3.1 精确访问超点检测算法(统计方法)
1.3.2 基于估值的访问超点检测算法
1.3.3 利用GPU加速访问超点检测
1.3.4 现有工作的不足
1.4 实验平台
1.4.1 CERNET南京主节点
1.4.2 NBOS的访问超点检测功能
1.4.3 IPTAS
1.5 研究目标和研究内容
1.6 论文的组织结构
第2章 基于估算的访问超点检测算法
2.1 基数估算算法
2.1.1 基数估算算法原理
2.1.2 PCSA算法
2.1.3 LogLog算法与HperLogLog算法
2.1.4 LE算法
2.2 现有的访问超点的估算检测算法
2.2.1 DCDS算法
2.2.2 VBFA算法
2.2.3 CSE算法
2.2.4 CBF算法
2.3 访问超点检测算法的评价
2.3.1 错误率
2.3.2 占用内存
2.3.3 计算时间
2.3.4 适用环境
2.4 基于实测数据的实验对比(CPU平台)
2.4.1 实验方案
2.4.2 实验数据
2.4.3 各组实验数据下的实验结果
2.4.4 各算法内存使用对比
2.4.5 各算法总错误率对比
2.4.6 各算法运行时间对比
2.4.7 实验总结
2.5 本章总结
第3章 基于GPU的实时访问超点检测框架
3.1 GPU通用计算
3.2 访问超点检测算法在GPU上运行的条件
3.3 现有算法在GPU上运行的可行性
3.3.1 不可并行的访问超点检测算法
3.3.2 可并行的访问超点检测算法
3.4 基于GPU的访问超点检测通用框架
3.4.1 算法初始化
3.4.2 缓存IP地址对
3.4.3 扫描IP地址对
3.4.4 估算访问超点
3.5 GPU实时访问超点检测实验
3.5.1 实验环境和实验方案
3.5.2 访问超点检测算法在GPU上运行的时间测度
3.5.3 DCDS算法在GPU上的运行结果
3.5.4 VBFA算法在GPU上的运行结果
3.5.5 CSE算法在GPU上的运行结果
3.5.6 不同GPU平台对算法运行时间的影响
3.5.7 GPU平台实验总结
3.6 本章小节
第4章 面向滑动时间窗口的访问超点检测算法
4.1 离散时间窗口与滑动时间窗口
4.2 滑动时间窗口下的基数估算与访问超点检测
4.2.1 滑动时间窗口下的基数估算
4.2.2 滑动时间窗口下的访问超点估算
4.3 模糊估值原理和滑动模糊估值器
4.3.1 模糊估值器
4.3.2 滑动模糊估值器
4.3.3 滑动线性估值器
4.4 基于SRE和SLE的访问超点检测
4.4.1 滑动估值器矩阵
4.5 SRLA算法
4.5.1 核心数据结构的更新方法
4.5.2 估算候选访问超点连接对端数
4.5.3 窗口边界的数据维护
4.5.4 SRLA在GPU上的并行实现
4.6 本章实验
4.6.1 实验目的与方案
4.6.2 SRLA算法在离散时间窗口下的实验结果
4.6.3 离散时间窗口下SRLA算法占用内存与错误率对比
4.6.4 离散时间窗口下SRLA算法运行时间分析
4.6.5 SRLA算法在滑动时间窗口下的实验
4.6.6 实验总结
4.7 SRLA算法总结
第5章 低状态维护时间的连接对端数估算算法
5.1 滑动时间窗口下低状态维护时间的计数器
5.2 基于异步时间戳的连接对端数估算算法
5.2.1 虚拟异步时间戳估计器
5.2.2 将VATE部署于GPU
5.3 滑动时间窗口下的VATE实验
5.3.1 计数器个数对算法准确率和内存占用的影响
5.3.2 VATE运行时间分析
5.3.3 VATE算法实验总结
5.4 本章总结
第6章 分布式访问超点检测
6.1 分布式访问超点检测模型与难点
6.1.1 检测模型
6.1.2 要求与难点
6.1.3 本文的解决思路
6.2 基于RE的分布式访问超点检测算法
6.2.1 READ算法原理
6.2.2 分布式扫描IP地址对
6.2.3 生成全局候选访问超点
6.2.4 估算全局访问超点
6.3 基于GPU的分布式访问超点检测
6.4 滑动时间窗口下的分布式访问超点检测
6.5 READ算法实验分析
6.5.1 实验结果
6.5.2 READ算法与现有算法的内存和错误率对比
6.5.3 READ算法的运行时间对比
6.5.4 观测点与全局服务器传输数据分析
6.5.5 READ算法实验总结
6.6 本章总结
第7章 总结与展望
7.1 总结
7.2 本论文的创新点与成果
7.2.1 访问超点检测算法移植到GPU上的条件与通用框架
7.2.2 将模糊估值器引入访问超点检测算法
7.2.3 滑动时间窗口下的访问超点检测算法
7.2.4 滑动时间窗口下的异步时间戳计数器
7.2.5 分布式环境下低通信开销的访问超点检测算法
7.3 不足及展望
7.3.1 将SRLA部署在高速信道上或大规模网络边界实时运行
7.3.2 利用VATE算法实现访问超点检测
7.3.3 访问超点的分类研究
7.3.4 IPv6网络的访问超点检测
致谢
参考文献
附录A
作者简介 (包括在学期间发表的论文和取得的学术成果清单)
【参考文献】：
期刊论文
[1]基于马尔可夫链的网络蠕虫传播模型[J]. 周翰逊,郭薇,刘建,贾大宇. 通信学报. 2015(05)
[2]基于图形处理器（GPU）的通用计算[J]. 吴恩华,柳有权. 计算机辅助设计与图形学学报. 2004(05)
博士论文
[1]面向CPU/GPU混合架构的地理空间分析负载均衡并行技术研究[D]. 周琛.南京大学 2018
[2]基于CPU与GPU的大跨结构风场模拟[D]. 李頔.华南理工大学 2017
[3]网络蠕虫的传播模型及其检测技术研究[D]. 李青茹.西安电子科技大学 2016
[4]CPU-GPU异构高性能计算中的负载预测调度算法研究及应用[D]. 沈文枫.上海大学 2016
[5]高速网络流量测量关键问题研究[D]. 周爱平.东南大学 2015
[6]基于中国剩余定理的模拟编码结构光三维测量方法研究[D]. 王洋.哈尔滨理工大学 2014
[7]海量遥感数据的高性能处理及可视化应用研究[D]. 周松涛.武汉大学 2013
硕士论文
[1]NBOS基础服务器角色库的建立与应用[D]. 洪沿.东南大学 2018
[2]IPTAS基准TCP流数据集的建立和应用[D]. 邓路.东南大学 2017
本文编号：3625159
【文章来源】：东南大学江苏省211工程院校985工程院校教育部直属院校
【文章页数】：137 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
本论文专用术语
第1章 绪论
1.1 互联网中的访问超点
1.2 访问超点定义
1.3 访问超点检测现有相关工作
1.3.1 精确访问超点检测算法(统计方法)
1.3.2 基于估值的访问超点检测算法
1.3.3 利用GPU加速访问超点检测
1.3.4 现有工作的不足
1.4 实验平台
1.4.1 CERNET南京主节点
1.4.2 NBOS的访问超点检测功能
1.4.3 IPTAS
1.5 研究目标和研究内容
1.6 论文的组织结构
第2章 基于估算的访问超点检测算法
2.1 基数估算算法
2.1.1 基数估算算法原理
2.1.2 PCSA算法
2.1.3 LogLog算法与HperLogLog算法
2.1.4 LE算法
2.2 现有的访问超点的估算检测算法
2.2.1 DCDS算法
2.2.2 VBFA算法
2.2.3 CSE算法
2.2.4 CBF算法
2.3 访问超点检测算法的评价
2.3.1 错误率
2.3.2 占用内存
2.3.3 计算时间
2.3.4 适用环境
2.4 基于实测数据的实验对比(CPU平台)
2.4.1 实验方案
2.4.2 实验数据
2.4.3 各组实验数据下的实验结果
2.4.4 各算法内存使用对比
2.4.5 各算法总错误率对比
2.4.6 各算法运行时间对比
2.4.7 实验总结
2.5 本章总结
第3章 基于GPU的实时访问超点检测框架
3.1 GPU通用计算
3.2 访问超点检测算法在GPU上运行的条件
3.3 现有算法在GPU上运行的可行性
3.3.1 不可并行的访问超点检测算法
3.3.2 可并行的访问超点检测算法
3.4 基于GPU的访问超点检测通用框架
3.4.1 算法初始化
3.4.2 缓存IP地址对
3.4.3 扫描IP地址对
3.4.4 估算访问超点
3.5 GPU实时访问超点检测实验
3.5.1 实验环境和实验方案
3.5.2 访问超点检测算法在GPU上运行的时间测度
3.5.3 DCDS算法在GPU上的运行结果
3.5.4 VBFA算法在GPU上的运行结果
3.5.5 CSE算法在GPU上的运行结果
3.5.6 不同GPU平台对算法运行时间的影响
3.5.7 GPU平台实验总结
3.6 本章小节
第4章 面向滑动时间窗口的访问超点检测算法
4.1 离散时间窗口与滑动时间窗口
4.2 滑动时间窗口下的基数估算与访问超点检测
4.2.1 滑动时间窗口下的基数估算
4.2.2 滑动时间窗口下的访问超点估算
4.3 模糊估值原理和滑动模糊估值器
4.3.1 模糊估值器
4.3.2 滑动模糊估值器
4.3.3 滑动线性估值器
4.4 基于SRE和SLE的访问超点检测
4.4.1 滑动估值器矩阵
4.5 SRLA算法
4.5.1 核心数据结构的更新方法
4.5.2 估算候选访问超点连接对端数
4.5.3 窗口边界的数据维护
4.5.4 SRLA在GPU上的并行实现
4.6 本章实验
4.6.1 实验目的与方案
4.6.2 SRLA算法在离散时间窗口下的实验结果
4.6.3 离散时间窗口下SRLA算法占用内存与错误率对比
4.6.4 离散时间窗口下SRLA算法运行时间分析
4.6.5 SRLA算法在滑动时间窗口下的实验
4.6.6 实验总结
4.7 SRLA算法总结
第5章 低状态维护时间的连接对端数估算算法
5.1 滑动时间窗口下低状态维护时间的计数器
5.2 基于异步时间戳的连接对端数估算算法
5.2.1 虚拟异步时间戳估计器
5.2.2 将VATE部署于GPU
5.3 滑动时间窗口下的VATE实验
5.3.1 计数器个数对算法准确率和内存占用的影响
5.3.2 VATE运行时间分析
5.3.3 VATE算法实验总结
5.4 本章总结
第6章 分布式访问超点检测
6.1 分布式访问超点检测模型与难点
6.1.1 检测模型
6.1.2 要求与难点
6.1.3 本文的解决思路
6.2 基于RE的分布式访问超点检测算法
6.2.1 READ算法原理
6.2.2 分布式扫描IP地址对
6.2.3 生成全局候选访问超点
6.2.4 估算全局访问超点
6.3 基于GPU的分布式访问超点检测
6.4 滑动时间窗口下的分布式访问超点检测
6.5 READ算法实验分析
6.5.1 实验结果
6.5.2 READ算法与现有算法的内存和错误率对比
6.5.3 READ算法的运行时间对比
6.5.4 观测点与全局服务器传输数据分析
6.5.5 READ算法实验总结
6.6 本章总结
第7章 总结与展望
7.1 总结
7.2 本论文的创新点与成果
7.2.1 访问超点检测算法移植到GPU上的条件与通用框架
7.2.2 将模糊估值器引入访问超点检测算法
7.2.3 滑动时间窗口下的访问超点检测算法
7.2.4 滑动时间窗口下的异步时间戳计数器
7.2.5 分布式环境下低通信开销的访问超点检测算法
7.3 不足及展望
7.3.1 将SRLA部署在高速信道上或大规模网络边界实时运行
7.3.2 利用VATE算法实现访问超点检测
7.3.3 访问超点的分类研究
7.3.4 IPv6网络的访问超点检测
致谢
参考文献
附录A
作者简介 (包括在学期间发表的论文和取得的学术成果清单)
【参考文献】：
期刊论文
[1]基于马尔可夫链的网络蠕虫传播模型[J]. 周翰逊,郭薇,刘建,贾大宇. 通信学报. 2015(05)
[2]基于图形处理器（GPU）的通用计算[J]. 吴恩华,柳有权. 计算机辅助设计与图形学学报. 2004(05)
博士论文
[1]面向CPU/GPU混合架构的地理空间分析负载均衡并行技术研究[D]. 周琛.南京大学 2018
[2]基于CPU与GPU的大跨结构风场模拟[D]. 李頔.华南理工大学 2017
[3]网络蠕虫的传播模型及其检测技术研究[D]. 李青茹.西安电子科技大学 2016
[4]CPU-GPU异构高性能计算中的负载预测调度算法研究及应用[D]. 沈文枫.上海大学 2016
[5]高速网络流量测量关键问题研究[D]. 周爱平.东南大学 2015
[6]基于中国剩余定理的模拟编码结构光三维测量方法研究[D]. 王洋.哈尔滨理工大学 2014
[7]海量遥感数据的高性能处理及可视化应用研究[D]. 周松涛.武汉大学 2013
硕士论文
[1]NBOS基础服务器角色库的建立与应用[D]. 洪沿.东南大学 2018
[2]IPTAS基准TCP流数据集的建立和应用[D]. 邓路.东南大学 2017
本文编号：3625159
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3625159.html
