基于路由注入的快速DHT网络资源发现方法

发布时间：2019-03-24 19:54

【摘要】：为提高抓取海量DHT节点上的网络资源效率,提出一种基于路由注入的DHT网络爬虫方法。结合Kademlia算法的特点,针对路由表各区间计算查询目标ID,获取已知节点保存的所有节点信息,提高遍历节点的速度;在与网络节点交互的过程中,生成适应已知节点路由表的爬虫节点ID,达到注入对方路由表的目的;实现持续地抓取对方节点的资源。实验结果表明,该方法既找到了路由表的最佳注入区间,提高了注入成功率,使得获取DHT网络资源的效率提高,并在Btbook网站中得到成功应用。
[Abstract]:In order to improve the efficiency of crawling network resources on massive DHT nodes, a DHT crawler method based on route injection is proposed. According to the characteristics of Kademlia algorithm, the information of all nodes stored in the known nodes is obtained by calculating the query target ID, in each section of the routing table, and the speed of traversing the nodes is improved. In the process of interacting with the network node, the crawler node ID, which adapts to the routing table of the known node, is generated to be injected into the routing table of the other node, and the resource of the other node is continuously captured. The experimental results show that this method not only finds the best injection interval of routing table, improves the injection success rate, but also improves the efficiency of obtaining DHT network resources. It has been successfully applied in Btbook website.
【作者单位】： 南京信息工程大学计算机与软件学院;南京信息工程大学江苏省网络监控中心;
【基金】：国家自然科学基金项目(41430427) 江苏省青蓝工程基金项目(2012)
【分类号】：TP393.02

【相似文献】

相关期刊论文 前10条

1 刘紫千;陈常嘉;;基于流量矩阵估计的路由推断算法[J];铁道学报;2005年06期

2 唐敏;施新刚;喻星;尹霞;;路由监控分析系统的设计和实现[J];计算机科学;2008年01期

3 程宁;;基于路由重分发技术及其虚拟网络实验研究[J];软件;2013年11期

4 乔俊;张先华;;IGP路由监测方法研究[J];电脑知识与技术(学术交流);2007年15期

5 徐小虎;郭大勇;高雪松;曹玮;李贺军;;一种解决路由可扩展问题的网络新架构:虚拟聚合(VA)[J];电信网技术;2009年04期

6 郑辉;;有类路由汇总的学习和探讨[J];电脑知识与技术;2011年06期

7 石晶,郭志刚,曾志民,丁炜;互联网的业务量工程[J];通讯世界;2000年11期

8 张怡婷;李鲸;陶军;;基于ANTS的主动路由支撑框架的设计与实现[J];计算机工程;2006年04期

9 黄世权;;基于QoS路由的MPLS VPN实现研究[J];信息技术与信息化;2006年01期

10 马凤娟;宋大伟;;如何在网络中实现VLSM和路由汇总[J];潍坊教育学院学报;2006年03期

相关会议论文 前6条

1 杨豹;龚正虎;刘亚萍;;BGP路由服务平台(RSP)的设计[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

2 汪笑;;路由Route命令解决视频会商专线和互联网专线传输问题[A];中国气象学会2005年年会论文集[C];2005年

3 蹇戈;张晓哲;刘亚萍;;BGP协议邻居会话规模的可扩展性分析[A];2008年中国高校通信类院系学术研讨会论文集（上册）[C];2009年

4 李文;龚羡萍;;基于IPv6的路由信息协议RIPng的基本原理及应用[A];全国第十二次光纤通信暨第十三届集成光学学术会议论文集[C];2005年

5 程鹏;龚辉;胡波;;基于DSR协议的Ad hoc网络入侵检测分析[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

6 张晗;王寒凝;;战术互联网安全性研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

相关重要报纸文章 前10条

1 邹琦;Windows 2000 Advanced Server中软路由的实现[N];计算机世界;2001年

2 《网络世界》评测实验室 荣钰 潘永花;路由竞技[N];网络世界;2003年

3 曾迎之;路由要有新规则[N];中国计算机报;2001年

4 西安市公众信息产业有限公司 彭晔;内部路由规划[N];中国计算机报;2002年

5 评测工程师 朱晔 李韬 宋博强 陈琪;个个都是好样的[N];计算机世界;2004年

6 张志刚;虚拟路由引领IP新服务[N];中国计算机报;2001年

7 宋献涛;IP路由走向智能化[N];计算机世界;2002年

8 权心权意;误设IP引发路由异常[N];电脑报;2005年

9 董涛;多协议标志交换(MPLS)原理[N];通信产业报;2003年

10 中国石油广域网项目组 戴震坤 叶铭;看看中石油怎样选VPN网络[N];计算机世界;2008年

相关博士学位论文 前4条

1 李清;基于弱转发的互联网路由可用性和扩展性研究[D];清华大学;2013年

2 董平;基于身份与位置分离映射的可扩展路由体系研究[D];北京交通大学;2008年

3 苏伟;移动互联网路由理论与关键技术的研究[D];北京交通大学;2008年

4 杨云;基于TCP/IP的QoS路由算法的研究[D];南京理工大学;2003年

，

本文编号：2446626