移动互联网HTTP采集系统的设计与实现

发布时间：2017-08-06 14:16

  本文关键词：移动互联网HTTP采集系统的设计与实现

  更多相关文章： 移动互联网 HTTP采集系统 插件式报文解析系统 HTTP业务组件 匹配率

【摘要】：当今世界,移动互联网对人们生活的影响日益加强,使用各种移动终端访问互联网已经成为一种趋势,同时也带来了海量的移动互联网流量。在近些年,移动互联网一直在改变人们的生活习惯。通过网络数据,人们可以很方便地使用很多互联网服务,如社交服务、移动广告和电子商务等等。而实际上这些网络流量大部分都是由HTTP协议承载的,因此有必要对移动互联网流量,特别是HTTP流量进行分析,以便更加清晰地了解网络运行情况和用户行为习惯,进而及时优化网络以及对用户提供有针对性的网络服务。 本文首先介绍了超文本传输协议目前的发展情况,分析了HTTP协议的报文格式和通信流程,然后提出了基于实时流量的HTTP采集系统。本文首先对插件式报文解析系统(PPP)进行了简单的介绍,该系统将每一个协议编译成一个动态库进行动态调用,因此可以方便地实现协议扩展解析。本文进一步设计实现了HTTP业务组件,将HTTP报文按照五元组进行匹配,并将匹配话单输出到日志。同时对该系统进行计数监控,以便能够及时地检测出异常情况。然后对HTML报文的HEAD提取方法进行了详细的论述。 随后深入地分析了采集系统的性能并提出了优化方法。针对输出的日志,利用统计的方法对匹配率、HTTP报文流量特征规律进行了分析。最后,论文对移动网络HTTP流量监控的研究成果进行了总结和展望。
【关键词】：移动互联网 HTTP采集系统 插件式报文解析系统 HTTP业务组件 匹配率
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TN929.5;TP393.01
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 绪论9-11
• 1.1 课题背景9
• 1.2 研究意义9-10
• 1.3 论文结构10-11
• 第二章 HTTP协议概述11-19
• 2.1 HTTP协议简介11-12
• 2.2 HTTP的工作原理12
• 2.3 HTTP报文格式12-17
• 2.3.1 起始行13-14
• 2.3.2 首部行14-17
• 2.4 总结17-19
• 第三章 HTTP采集系统的设计与实现19-43
• 3.1 功能概述19-21
• 3.1.1 采集系统整体架构19
• 3.1.2 采集系统工作原理19-20
• 3.1.3 PPP简介20
• 3.1.4 HTTPapp模块分解20-21
• 3.2 HTTP业务组件的设计21-34
• 3.2.1 哈希表结构设计21-23
• 3.2.2 哈希表超时设计23-27
• 3.2.3 HTTP协议解析27-29
• 3.2.4 HTTP消息匹配算法29-32
• 3.2.5 状态收集线程32-34
• 3.3 HTML的HEAD提取方法34-40
• 3.3.1 研究意义34
• 3.3.2 HEAD提前方法设计34-36
• 3.3.3 缓存状态机设计36-40
• 3.3.4 缓存表超时设计40
• 3.4 总结40-43
• 第四章 HTTP采集系统数据分析43-57
• 4.1 HTTP匹配率分析43-50
• 4.1.1 程序设计对应答匹配率的影响44-46
• 4.1.2 与其他匹配状态的关联情况46-48
• 4.1.3 疑似重传的影响48-49
• 4.1.4 不同超时阈值对应答匹配率的影响49-50
• 4.2 报文流量特征分析50-55
• 4.2.1 首部统计分析50-51
• 4.2.2 HTTP会话数分析51-52
• 4.2.3 报文资源种类分布52-53
• 4.2.4 报文长度分布53-54
• 4.2.5 报文重组分析54-55
• 4.3 总结55-57
• 第五章 HTTP采集系统性能分析57-71
• 5.1 HTTP业务组件工作状态机57-59
• 5.2 HTTP业务组件的测量指标59-60
• 5.3 采集器性能测试60-69
• 5.3.1 HTTP业务组件61-67
• 5.3.2 采集器性能优化测试67-69
• 5.4 总结69-71
• 第六章 总结与展望71-73
• 参考文献73-75
• 致谢75-77
• 攻读学位期间发表的学术论文目录77

【共引文献】

中国期刊全文数据库 前4条

1 周林;孙卫强;胡卫生;;TCP短流对拥塞点队列深度影响的分析[J];广西大学学报(自然科学版);2012年06期

2 石磊;陈文远;陶永才;卫琳;;自适应累加型失效检测模型研究[J];计算机应用;2012年03期

3 朱丽军;杨鸣;刘高平;;HTTP协议的剖析及其在嵌入式监视系统中的应用[J];宁波大学学报(理工版);2008年02期

4 段文佳;刘晓洁;;一种自适应失效检测算法的研究与应用[J];计算机工程;2014年03期

中国硕士学位论文全文数据库 前9条

1 杨鑫;基于网络处理器的Web用户体验测量研究[D];上海交通大学;2011年

2 李强;基于嵌入式Web的无线家居系统设计[D];武汉理工大学;2009年

3 张泳;软件系统的远程故障诊断与维护技术研究[D];南京航空航天大学;2009年

4 张帆;大坝安全远程监控系统嵌入式Web服务器的设计与开发[D];湖南大学;2010年

5 陈文远;累加型失效检测模型研究[D];郑州大学;2012年

6 姜伟;基于.net的手机视频监控系统的研究与设计[D];中国海洋大学;2011年

7 张龙涛;一种基于QoS的自适应失效检测算法研究[D];郑州大学;2013年

8 彭婕;基于TCP流的路由器缓存优化设置方法研究[D];电子科技大学;2013年

9 张爱娟;基于Linux的嵌入式浏览器的设计与实现[D];福州大学;2010年

，

本文编号：630173