多Agent主题爬虫协作策略的研究与分析

发布时间：2017-07-21 04:07

  本文关键词：多Agent主题爬虫协作策略的研究与分析

  更多相关文章： 信息获取 主题爬虫 概念背景图 协作与竞争

【摘要】：在多个Web主题爬虫并行爬行中,如何避免重复访问网页并高效地获取与主题相关网页,成为搜索引擎主题爬行的热点研究内容之一。为完成系统爬行任务充分发挥每个爬虫自身能力,文章立足于每个爬虫相对独立爬行、共同协作、彼此竞争的思想,将爬虫的历史爬行网页作为背景知识,分析这些网页文本内容,提取网页中"概念"和概念间的语义关系,探讨不同爬虫背景知识之间的语义相似性,提出基于分层概念背景图的爬虫之间理解方法、协作和竞争策略。该策略包括4个方面的内容:主题爬虫背景知识的分层概念背景图的表示模型、基于分层概念背景图的爬虫语义理解方法、在语义理解模型下同组多个网络爬虫之间协作与竞争机制及实现、在语义理解模型下异组多个爬虫之间协作与竞争机制及实现。
【作者单位】： 西华大学数学与计算机学院;
【关键词】： 信息获取 主题爬虫 概念背景图 协作与竞争
【基金】：国家自然科学基金(60872089,61271413)
【分类号】：TP391.3
【正文快照】： 0背景网络爬虫的发展经历了3个阶段:独立爬虫→集中爬虫→分布式爬虫。无论是通用搜索引擎爬虫还是主题搜索引擎爬虫,分布式体系结构的并行爬虫都是提高网页获取速度的重要因素。基于In-ternet的分布式爬虫的优点在于其多点接入总带宽较高、对Internet负载较小、容易实现就近

【相似文献】

中国期刊全文数据库 前10条

1 袁津生;郭艳芬;;林业主题爬虫的算法研究与设计[J];计算机工程与设计;2011年06期

2 黄轩;;辛亥革命史主题爬虫的设计与实现[J];电脑知识与技术;2011年13期

3 黄大卫;黄琰;张良勇;刘黎煊;;县级两要素资料应用程序开发[J];贵州气象;2011年04期

4 焦李成;杨淑媛;刘芳;侯彪;;压缩感知回顾与展望[J];电子学报;2011年07期

5 陈尧妃;;ADOX在SQL Server数据库技能测评中的应用[J];计算机系统应用;2011年06期

6 农国明;于钺;杨国铮;孙卫东;;卫星海洋观测信息在海域监视侦察中的应用[J];舰船科学技术;2011年S1期

7 岳善勇;张玉波;;物联网:实现美好愿景先要迎接挑战——访中国物品编码中心主任 张成海[J];中国自动识别技术;2010年01期

8 傅一恭;;国际业务发展中的信息化建设[J];信息化建设;2011年07期

9 颜晶晶;;带约束本体语义扩展的信息过滤算法[J];计算机应用;2011年07期

10 方彬;胡侠;王灿;;基于用户行为的盲人图书推荐方法[J];计算机工程;2011年15期

中国重要会议论文全文数据库 前10条

1 刘卉;张漫;;无线传感器网络技术在农业中应用[A];2007年中国农业工程学会学术年会论文摘要集[C];2007年

2 王纪华;赵春江;刘良云;郑文刚;王秀;黄文江;;基于数字技术的农田信息快速获取与表达[A];中国数字农业与农村信息化学术研究研讨会论文集[C];2005年

3 郭达志;;天地一体化数字影像地理空间信息的获取与更新[A];煤炭资源高效绿色开采与数字矿山学术讨论会论文集[C];2005年

4 苏贵洋;王永成;马颖华;;信息自动获取的结构模型[A];第一届学生计算语言学研讨会论文集[C];2002年

5 罗蓓蓓;邢镇容;;计算机集成制造管理系统中信息的获取与分析设计框架[A];先进制造技术论坛暨第五届制造业自动化与信息化技术交流会论文集[C];2006年

6 鲁明羽;熊光辉;陆玉昌;徐大力;;面向中医药领域的Web信息获取与挖掘[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

7 韩权印;张玉清;;风险评估中的信息获取[A];中国信息协会信息安全专业委员会年会文集[C];2004年

8 王浩畅;赵铁军;于浩;;基于文本的生物信息获取[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年

9 刘旭光;朱诗兵;张占月;;信息支援作战中卫星通信系统仿真方法研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（下册）[C];2008年

10 邹泽明;刘伟;田春伟;周林荣;顾宇俊;李海波;牛昌明;;基于OPC技术的企业信息集成研究[A];中国计量协会冶金分会2009年年会论文集[C];2009年

中国重要报纸全文数据库 前10条

1 马炜;格式差异不能限制信息获取[N];中国计算机报;2004年

2 李兆平;北京：小面积基础地理信息获取有新法[N];中国测绘报;2008年

3 信息工程大学测绘学院 陈波;数字水利 3S来支撑[N];中国计算机报;2005年

4 冯仲科邋熊妮娜 董斌 蔡华利;GIS在农林领域的应用前景[N];中国测绘报;2008年

5 ;移动商铺时代已经到来[N];人民邮电;2006年

6 中国电信广州研究院 韩海潮;商务领航商机在中小企业[N];通信信息报;2007年

7 骆卫华 刘群 张俊林;搜索引擎:性能提高遇到瓶颈[N];计算机世界;2006年

8 本报记者 那罡;网络空间新战场[N];中国计算机报;2010年

9 毛玮阳;数字环境下如何走好版权保护的“平衡木”[N];科技日报;2007年

10 中国农业科学院农业信息研究所所长 研究员 许世卫;科学研究正在进入信息化时代[N];光明日报;2009年

中国博士学位论文全文数据库 前8条

1 胡良梅;基于信息融合的图像理解方法研究[D];合肥工业大学;2006年

2 马静华;基于运动信息获取及智能处理的运动员训练指导系统研究[D];中国科学技术大学;2006年

3 岳小莉;基于多粒度的产品信息获取技术研究[D];浙江大学;2002年

4 方平;基于特征函数法的在线签名鉴别研究[D];中国科学技术大学;2006年

5 宋全军;人机接触交互中人体肘关节运动意图与力矩估计[D];中国科学技术大学;2007年

6 雷建和;基于多源信息融合的人体运动分析与建模研究[D];中国科学技术大学;2006年

7 赵刚强;基于视觉的大范围头部姿态跟踪关键技术研究[D];浙江大学;2009年

8 李传席;基于本体的自适应Web信息抽取方法研究[D];中国科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 崔建晔;VTS的信息获取与播发技术的研究[D];大连海事大学;2009年

2 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

3 刘朋;基于Lucene的垂直搜索引擎关键技术的研究应用[D];武汉理工大学;2009年

4 陈策;基于WEB技术的竞争情报系统的开发与研究[D];华北电力大学（河北）;2004年

5 蒋南;我国公共图书馆公平获取信息的保障机制研究[D];南京农业大学;2007年

6 郭艳艳;数字图书馆信息资源可获取性研究[D];郑州大学;2009年

7 谢德辉;面向刑侦网页的信息抽取与主题爬虫应用研究[D];大连理工大学;2007年

8 孙逸雪;基于时态信息的主题搜索引擎的研究与实现[D];中国科学技术大学;2009年

9 韩冰;基于BP网络的高校主题爬虫的设计与实现[D];东北师范大学;2009年

10 袁浩;主题爬虫搜索Web页面策略的研究[D];中南大学;2009年

，

本文编号：571326