基于Hadoop的海量数据TCP报文重组技术

发布时间：2019-03-09 11:19

【摘要】：当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求。为此,提出一种基于Hadoop的海量数据TCP报文重组系统。利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理。采用M apReduce辅助排序技术实现海量TCP数据流的分类。测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84%。
[Abstract]:With the increase of the amount of data, the running efficiency of the current transmission control protocol (TCP) reengineering tools based on single-machine system is getting lower and lower, and it is difficult to meet the needs of big data era. In this paper, a massive data TCP message recombination system based on Hadoop is proposed. By using Hadoop distributed file system (HDFS) and MapReduce parallel processing framework, the steps of data reading and result output in TCP packet reassembly are processed in parallel. M-apReduce aided sorting technology is used to classify massive TCP data streams. The test results show that the efficiency of the Hadoop-based packet reassembly system is higher than that of the single-machine message reassembly tool, and when the amount of data is up to 100 GB, the running efficiency can be increased by nearly 84%.
【作者单位】： 南京理工大学计算机科学与工程学院;
【分类号】：TP393.08

【相似文献】

相关期刊论文 前10条

1 求钦龙;吴春明;平玲娣;吕红兵;;重传TCP确认包及在长期演进网络中的应用[J];浙江大学学报(工学版);2011年09期

2 吴建胜,战学刚;基于TCP状态有限自动机的入侵检测研究[J];鞍山科技大学学报;2005年05期

3 袁兴国 ,于志宏 ,方广和;在TCP通信中实现数据边界确认[J];电脑编程技巧与维护;2001年12期

4 蔡小淳;黎金涛;狄红卫;;基于TCP的实时网络视频监控系统的实现[J];信息技术;2013年02期

5 刘绍南;支持并发机制的TCP协议实现技术[J];计算机应用研究;1999年10期

6 潘磊;金秋;;一种改进的TCP分布式拒绝服务攻击防御方法[J];中原工学院学报;2009年03期

7 韦卫,王行刚;TCP安全框架的研究[J];通信学报;1997年11期

8 陈作田,周金芳,陈抗生;无线网络TCP协议纯端到端解决方案研究[J];计算机应用;2005年07期

9 都沁萍;解析TCP与UDP协议及其异同[J];电脑知识与技术;2004年05期

10 于朋飞,李海英;确认TCP通信中的数据边界[J];计算机与现代化;2004年03期

相关会议论文 前8条

1 张志斌;;无线环境下TCP协议的研究[A];中国通信学会第五届学术年会论文集[C];2008年

2 徐广;郭莉;;由I-TCP到A-TCP-分层屏蔽思想在无线TCP改进中的应用[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（下册）[C];2008年

3 王敬欣;孙彦坡;;利用TCP解决农村覆盖问题的探讨[A];中国通信学会第五届学术年会论文集[C];2008年

4 马将;周大利;杨为中;吴文进;胡曰博;肖斌;;聚L-乳酸改性α-TCP骨水泥的研究[A];2004年材料科学与工程新进展[C];2004年

5 孔华锋;金波;刘恩强;候晓杰;;快速无损TCP数据流重组算法研究[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

6 聂晓峰;荆继武;高能;;以TCP为目标的慢速DoS攻击的检测[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

7 王兵;王勇强;曹书华;;脂多糖诱发小鼠TCP中血小板对TLR4表达变化及中性粒细胞对其影响[A];中华医学会第五次全国重症医学大会论文汇编[C];2011年

8 马将;吴文进;胡曰博;杨为中;尹光福;周大利;;聚L-乳酸改性α-TCP骨水泥的研究[A];2004年中国材料研讨会论文摘要集[C];2004年

相关重要报纸文章 前9条

1 刘文;TCP在江苏启动清洁能源计划[N];消费日报;2010年

2 冷云;TCP 协议再次发现安全缺陷[N];中国计算机报;2001年

3 实习生 杨继华　记者 王培泉;天成开发TCP平头式塔式起重机[N];自贡日报;2010年

4 河北省保定市清苑中学 王琳;开启路由器的TCP拦截[N];中国电脑教育报;2004年

5 通讯员 金陵;美国TCP进军涟水农村推广节能灯[N];建筑时报;2010年

6 朱敏;有了卫星协议网关 TCP一点都不慢[N];中国计算机报;2001年

7 刘福浩;让TCP的数据包更安全[N];电脑报;2004年

8 ;高速TCP缓解广域网拥塞[N];网络世界;2005年

9 ;自适应性TCP优化广域网[N];网络世界;2005年

相关博士学位论文 前2条

1 孙宝利;毒死蜱主要有毒代谢物3，，5，6-TCP在土壤中的环境行为研究[D];中国农业科学院;2012年

2 徐伟;TCP协议的性能建模研究[D];中国科学技术大学;2012年

相关硕士学位论文 前10条

1 余丽丽;基于广域网数据压缩的改进TCP代理技术的设计[D];南京理工大学;2015年

2 毛园园;基于FPGA的TCP协议的设计与验证[D];电子科技大学;2015年

3 翟丰泰;基于网络编码的TCP协议（NCTCP）设计与研究[D];西安电子科技大学;2015年

4 陶仲;基于滑模控制的TCP网络主动队列管理算法的研究[D];东北大学;2014年

5 张志超;基于主机标识的多路径TCP设计与实现[D];清华大学;2012年

6 黎金涛;基于TCP实时网络视频监控系统的设计与开发[D];暨南大学;2012年

7 刘林;置位法解决TCP重传二义性问题[D];河南大学;2004年

8 孙芳蕾;基于无线TCP数据链路层解决机制的研究[D];西安电子科技大学;2004年

9 李超;无线网中TCP协议改进算法研究[D];湖南大学;2004年

10 尤维;基于无线局域网的TCP协议改进算法的研究[D];吉林大学;2011年

本文编号：2437398