快速散列算法在智能移动代理中的应用

发布时间：2017-10-17 02:38

  本文关键词：快速散列算法在智能移动代理中的应用

  更多相关文章： 搜索引擎 移动代理 散列算法

【摘要】：针对搜索引擎后台的移动代理从互联网中抓取信息资源时,存在对URL字符串处理能力的不足,提出了一种快速处理存取数据的散列算法,通过在真实值和键值之间建立一一对应关系,快速把进入到移动代理队列中的字符串转化为一种线性表结构,改善队列处理字符串的能力.在Heritrix框架基础上,利用Eclipse 3.3开发平台实现了相应功能.实验结果表明:在加入快速散列算法之后,移动代理在搜索效率和抓取速度等方面得到明显提高.
【作者单位】： 中南民族大学图书馆;
【关键词】： 搜索引擎 移动代理 散列算法
【基金】：中南民族大学中央高校基本科研业务费专项基金资助项目(ZZQ10011)
【分类号】：TP391.3
【正文快照】： 在信息检索过程中,移动代理中的URL队列是最关键的数据结构,一般采用内存数据结构,如:采用链表来实现URL队列.而对于大规模的搜索引擎,将会有数十亿的URL待抓取,这种数据结构不能满足要求[1].于是,人们提出了使用内存数据库的方法存储URL,Berkeley DB[2]是应用较广的一种嵌入

【相似文献】

中国期刊全文数据库 前10条

1 张泽洲,朱清新;基于移动Agent和最优搜索理论的CBIR系统[J];计算机应用与软件;2005年10期

2 赵鑫,武刚;搜索引擎的发展与展望[J];河北林果研究;2004年01期

3 胡红霞,王振兴,李申堂;搜索引擎技术的现状及发展趋势[J];信息工程大学学报;2001年04期

4 张莲梅,陈红梅,许继红,杨璃,李凌;基于分布式电力资源库的搜索引擎框架设计[J];电力信息化;2005年03期

5 化柏林;搜索引擎技术发展观[J];中国计算机用户;2004年26期

6 钟荣;;基于XML的移动Agent搜索引擎[J];中国水运(理论版);2006年05期

7 盛成,徐进;移动代理技术的讨论[J];计算机系统应用;2000年05期

8 杨哲;基于移动代理的服务供应链构建仿真模型[J];计算机工程与应用;2005年10期

9 查志华;李伟;;搜索引擎的技术现状及发展趋势[J];兵团教育学院学报;2006年03期

10 朱淼良,邱瑜;移动代理系统综述[J];计算机研究与发展;2001年01期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

中国重要报纸全文数据库 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

中国博士学位论文全文数据库 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 郑文良;基于简单本体的农业P2P搜索引擎关键技术研究[D];沈阳农业大学;2013年

10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

中国硕士学位论文全文数据库 前10条

1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

2 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

3 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

4 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

5 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

6 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

7 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

8 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

9 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

10 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年

本文编号：1046360