万兆网络数据捕获系统研究与实现

发布时间：2017-09-01 17:28

  本文关键词：万兆网络数据捕获系统研究与实现

  更多相关文章： 万兆网络 数据捕获 HTTP Libpcap 数据包重组

【摘要】：随着计算机技术的高速发展,网络传输的带宽也有了飞速的提升。从过去通过同轴电缆传输的十兆百兆的传输速率已经发展到现在使用光纤进行千兆万兆甚至更高的传输。高速的传输速率使得人们在获取信息更加快捷和方便,但同时对网络信息的安全防护也带来更大挑战。无论是应用还是网络安全领域的各种防护软件都依靠对底层的数据包捕获和分析,但现如今的超高的网络速率使网络信息传输的瓶颈从之前传输速率和介质限制逐渐转为对网络数据处理的限制[1,2]。传统的网络数据包解析软件,如Wireshark、tcpdump等等应对高速网络的处理能力不足,过高的丢包率导致其性能出现了极大的下降。如何完整地捕获海量数据包并且高效解析,是目前维护数据安全需要解决的主要问题。基于之上问题,本文设计一种万兆网络下的数据包捕获和解析系统。本系统重点研究并设计了一种可以高效进行数据采集、存储及解析系统。针对海量网络数据抓取,为了实现零丢包率下的数据包捕获,系统采用Endace公司的Endace DAG网络捕获卡以及Libpcap库,通过设置过滤规则进行捕获。数据包存储采用ext4文件系统。为了提高数据写入效率,匹配捕获速率与写入效率,系统采用多线程技术并行写数据,并设计了一种简洁的文件目录结构,最大限度的提高系统并行度。数据查询方面系统设计了一种高效的索引结构,能够快速查找到碎片数据并组成数据文件。经过测试,本系统在功能上和性能上都能够达到用户的需求,达到了预期的设计效果。
【关键词】：万兆网络 数据捕获 HTTP Libpcap 数据包重组
【学位授予单位】：辽宁大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.11
【目录】：

• 摘要4-5
• 英文摘要5-11
• 第1章 绪论11-16
• 1.1 研究背景及意义11-12
• 1.2 数据捕获系统现状12-14
• 1.2.1 普通网卡与专用软件12-13
• 1.2.2 专用网卡13
• 1.2.3 存在问题13-14
• 1.3 论文主要内容14
• 1.4 论文结构14-16
• 第2章 相关工作16-27
• 2.1 万兆以太网16-17
• 2.2 TCP/IP体系结构17-22
• 2.2.1 数据封装17-18
• 2.2.2 IP协议18-19
• 2.2.3 TCP协议19-20
• 2.2.4 HTTP协议20-22
• 2.3 数据捕获卡22-24
• 2.4 Libpcap24-26
• 2.4.1 Libpcap常用函数24-26
• 2.4.2 Libpcap过滤规则26
• 2.5 本章小结26-27
• 第3章 网络数据捕获系统需求分析27-33
• 3.1 功能性需求27-32
• 3.1.1 网络数据捕获28
• 3.1.2 网络数据存储28-29
• 3.1.3 数据查询29-30
• 3.1.4 文件管理30-31
• 3.1.5 日志管理31-32
• 3.2 非功能性需求32
• 3.3 本章小结32-33
• 第4章 网络数据捕获系统设计33-54
• 4.1 数据捕获系统概要设计33-34
• 4.1.1 设计原则33
• 4.1.2 系统软件结构33-34
• 4.2 系统的功能模块设计34-51
• 4.2.1 数据捕获模块详细设计35-39
• 4.2.2 数据存储模块详细设计39-43
• 4.2.3 数据查询模块详细设计43-47
• 4.2.4 文件管理模块详细设计47-49
• 4.2.5 日志管理模块详细设计49-51
• 4.3 系统的部署51-53
• 4.4 本章小结53-54
• 第5章 数据捕获系统关键技术与实现54-64
• 5.1 并行系统设计54-57
• 5.1.1 并行系统数据结构55-56
• 5.1.2 并行系统算法56-57
• 5.2 数据过滤设计57-58
• 5.2.1 数据过滤需求57
• 5.2.2 数据过滤算法设计57-58
• 5.3 文件系统设计58-61
• 5.3.1 文件系统设计需求58-59
• 5.3.2 文件系统目录结构59-60
• 5.3.3 目录结构算法设计60-61
• 5.4 文件索引设计61-63
• 5.4.1 碎片文件索引61-62
• 5.4.2 文件索引62-63
• 5.5 本章小结63-64
• 第6章 应用测试与讨论64-72
• 6.1 测试环境64-65
• 6.2 系统测试65-70
• 6.2.1 系统测试的概念65
• 6.2.2 系统测试的方法及目标65-66
• 6.2.3 测试实例66-70
• 6.3 性能研究70-71
• 6.4 本章小结71-72
• 第7章 总结与展望72-74
• 7.1 论文总结72
• 7.2 论文展望72-74
• 致谢74-75
• 参考文献75-77

【参考文献】

中国期刊全文数据库 前2条

1 王权;张训报;李向;;基于Linux系统的数据包截获技术研究[J];计算机与数字工程;2009年04期

2 田航;王涛;;中国下一代互联网的现状与发展[J];数字通信;2010年01期

，

本文编号：773462