大规模网络流量高精度采集与分析关键技术研究

发布时间：2021-11-28 10:40

　　21世纪是一个互联网高速发展的时代,我国互联网基础设施得到不断的完善和提升,互联网提供的服务品类层出不穷,每天产生的海量数据中不仅蕴藏了商业价值,同时大量的互联网服务也给网络带来了沉重的负担。如何从网络数据包中收集到准确有效的信息,并在在复杂的网络状况下及时的发现存在的问题,能够帮助运营商改善网络环境。文章初始就对研究的背景意义以及现状做了阐述,然后详细论述了大规模采集网络以及Hadoop分布式大数据处理平台和其相关组件,为后文的研究提供了平台支撑和技术保障。论文主要分为两个方面,一个是针对采集的准确性,主要研究HTTP报文请求应答在采集系统中的准确识别、匹配关联以及大规模采集系统中多台采集器的时间同步问题;另一个是针对服务器和网络性能的分析研究,论文提出了一种全新的汇聚下载速率的计算方法,以及使用多种时延和HTTP特有字段对服务器的处理速度以及网络中的传输状况进行全方面的分析,帮助运营商全方位的了解服务器的性能以及现网中的网络传输状况。论文基于真实的采集网络以及其产生的海量网络数据,通过对HTTP协议和NTP协议的深刻理解,提升大规模采集网络下数据的准确性,提高采集精度。通过大数据分... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

图２－１采集系统ＴＭＳ网络部署图??网络由三部分组成，分别是个人设备、接入网和核心网

?第三章大规模采集系统ＨＴＴＰ报文匹配优化???第三章大规模采集系统ＨＴＴＰ报文匹配优化??３．１?ＨＴＴＰ协议简述??３．１．１?ＨＴＴＰ工作过程??ＨＴＴＰ［１５］协议是基于ＴＣＰ协议之上的，是一个无状态、无连接的协议，支持??客户／服务器模式。无状态是指客户端和服务器中之间无建立长久的连接，当客??户端停止向服务器请求网络资源时，连接就会断开，无连接是指服务器端不会保??存客户端和该此链接的任何信息。??ＤＮＳ＃＊＃??

??如果没有匹配到话单，那么就保留原有的话单内容输出。如果匹配到了话单，根据话单意义设定合理的规则，对其各个字端进行改造，然后输出多场景测试??为了全方位验证该算法是否能够将流记录、ＨＴＴＰ请求报文以及ＨＴＴＰ文三者能够正确的关联起来，本章节中通过对网络中的ＨＴＴＰ报文和流记改造，构造出五种不同的场景，并采用离线读取报文的模式在多场景下对法的健壮性进行测试。??正常次序到达??流记录和ＨＴＴＰ报文的处理是分开进行的，该场景下流记录和镜像报文集系统的顺序是一致的，而且是没有出现溢出的。这是大部分报文的处理场种场景下该算法能够完全匹配正确。??Ｓｅｓｓｉｏｎ出现溢出??

【参考文献】：
硕士论文
[1]高性能采集软件关键技术研究和实现[D]. 李建山.北京邮电大学 2017
[2]移动互联网HTTP采集系统的设计与实现[D]. 蒋鹏程.北京邮电大学 2015



本文编号：3524271