基于伪爬行器的主题式元搜索引擎研究与设计

发布时间：2018-01-27 00:05

  本文关键词： 元搜索 主题式 搜索引擎 伪爬行器　出处：《计算机工程》2008年22期 　论文类型：期刊论文

【摘要】：为提高搜索的查准率和查全率,设计一个主题式的元搜索引擎和一个类似于爬行器的伪爬行器,通过调用通用搜索引擎采集信息,查全率高于通用搜索引擎。利用反馈机制,参考用户查询历史记录,搜索结果更加接近用户的要求。通过采用主题式策略,改进文档相似度算法,提高分类的正确率和搜索引擎的查准率与搜索范围,同时减少系统响应时间,降低对服务器性能的要求。
[Abstract]:In order to improve the precision and recall of search, a subject meta-search engine and a pseudo-crawler similar to the crawler are designed to collect information by calling the general search engine. The recall rate is higher than that of the general search engine. By using feedback mechanism and referring to the historical records of the user, the search results are closer to the user's requirements. The document similarity algorithm is improved by adopting the topic strategy. At the same time, the system response time is reduced, and the requirement of server performance is reduced.
【作者单位】： 南京航空航天大学计算机科学与技术系;
【基金】：国家“863”计划基金资助项目(2006AA706103) 航空基金资助项目(05F2037)
【分类号】：TP391.3
【正文快照】： l棍述随着互联网飞速发展，，人们对信息搜索的需求使得越来越依赖于各种搜索引擎。但是国内外现有的搜索引擎在搜索效率、信息的准确性、信息重复以及网络负载方面存在查淮率和查全率低等诸多不足川。现有的搜索引擎主要存在2方面的问题:即查全率和查准率都较低121。基于调用

【参考文献】

相关期刊论文 前2条

1 郭岩,白硕,杨志峰,张凯;网络日志规模分析和用户兴趣挖掘[J];计算机学报;2005年09期

2 李志;;搜索引擎的缺陷及其完善[J];现代情报;2007年01期

【共引文献】

相关期刊论文 前10条

1 吕佳;;Web日志挖掘技术应用研究[J];重庆师范大学学报(自然科学版);2006年04期

2 卢咏;卢云;;基于WEB日志挖掘的旅游信息资源网站个性化研究[J];长沙铁道学院学报(社会科学版);2007年04期

3 陈本辉;杨丕仁;顾应龙;段利华;;基于自组织特征映射神经网络的校园网用户聚类分析[J];大理学院学报;2009年04期

4 蒋群;王九如;;Web日志挖掘与上网行为习惯分析[J];电脑知识与技术;2008年12期

5 邢玲;马建国;李幼平;刘志文;;一种基于UCL的中文网页信息过滤方法[J];电子学报;2006年10期

6 翟剑锋;;基于SOM的模糊聚类在Web日志挖掘中的应用[J];电脑编程技巧与维护;2012年14期

7 张纹华;贾智平;李新;;利用蚁群聚类检测应用层DDoS攻击的方法[J];计算机工程与应用;2011年14期

8 张海粟;陈桂生;马于涛;刘玉超;;基于在线百科全书的群体兴趣及其关联性挖掘[J];计算机学报;2011年11期

9 杨明花;古志民;;基于兴趣特征的WUM数据预处理方法[J];计算机应用;2006年10期

10 余强;周良;丁秋林;;基于用户浏览行为的用户模型调整算法研究[J];计算机与数字工程;2010年11期

相关会议论文 前4条

1 周延泉;张传福;张瑞华;李蕾;何华灿;;移动个性化信息服务中的用户兴趣模型[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年

2 杨卫明;;独立式搜索引擎原理及存在问题分析[A];2008年计算机应用技术交流会论文集[C];2008年

3 徐志明;宋毅;冯子威;李生;;一种基于分类的用户兴趣模型[A];第六届全国信息检索学术会议论文集[C];2010年

4 王海明;;基于多维特征分析的垃圾彩信监控方法研究[A];第九届中国通信学会学术年会论文集[C];2012年

相关博士学位论文 前4条

1 刘雪梅;服务器端软件性能分析和诊断方法研究[D];哈尔滨工程大学;2010年

2 张红斌;信息系统内部威胁检测与感知方法[D];西安电子科技大学;2009年

3 夏亚梅;动态服务组合中的若干关键技术研究[D];北京邮电大学;2009年

4 彭文辉;网络学习行为分析及建模[D];华中师范大学;2012年

相关硕士学位论文 前10条

1 蔡浩;基于Web使用挖掘的协同过滤推荐算法研究[D];浙江理工大学;2010年

2 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年

3 杨美多;油田开发数据发布系统的设计与开发[D];电子科技大学;2010年

4 高峰;基于兴趣分类的用户行为分析系统的研究[D];山东大学;2010年

5 赵春辉;基于关联规则挖掘的查询扩展[D];河南大学;2011年

6 贾陆华;Web日志中加权序列模式挖掘研究[D];南京理工大学;2011年

7 古丽拜天.卡米尔;基于Web数据挖掘的智能推荐研究[D];中南大学;2010年

8 刘清华;基于ACO的WEB日志挖掘研究[D];江西师范大学;2011年

9 封军;基于WEB日志挖掘的频繁模式挖掘算法研究[D];安徽大学;2011年

10 余强;基于语义的设计知识个性化检索技术研究及应用[D];南京航空航天大学;2010年

【二级参考文献】

相关期刊论文 前6条

1 宋擒豹,沈钧毅;Web日志的高效多能挖掘算法[J];计算机研究与发展;2001年03期

2 郭岩;基于网络用户行为的搜索引擎系统SISI[J];计算机工程;2004年16期

3 韩圣龙;网络信息检索工具评价指标[J];情报学报;2001年04期

4 龚蛟腾;元搜索引擎研究[J];情报杂志;2004年10期

5 肖冬梅;垂直搜索引擎研究[J];图书馆学研究;2003年02期

6 郭岩;基于网络用户行为的相关页面挖掘模型[J];微电子学与计算机;2003年05期

相关硕士学位论文 前1条

1 乔冬梅;搜索引擎现状与发展研究[D];郑州大学;2002年

【相似文献】

相关期刊论文 前10条

1 索金琳,王志坚;Windows环境下文献检索的并发meta-search系统的设计与实现[J];微计算机应用;2002年02期

2 程仁贵;黎明;;元搜索基于源搜索引擎的链接优化[J];重庆师范大学学报(自然科学版);2008年04期

3 林文渊;;网络搜索引擎的原理分析和实现[J];商业文化(学术版);2010年12期

4 李振龙;;Web信息检索的技术分析与发展策略研究[J];计算机科学;2006年04期

5 蒋宗礼;李宪雷;徐学可;;基于主题Hub值的元搜索[J];北京工业大学学报;2009年03期

6 曲卫华;王群;;搜索引擎原理介绍与分析[J];电脑知识与技术(学术交流);2006年35期

7 赖俊;周琳;张学平;;基于Web挖掘的主题式搜索引擎的设计[J];军事通信技术;2004年03期

8 段雪英;张颖超;;基于多Agent协作的智能元搜索引擎ACISE系统的研究[J];计算机工程与设计;2007年24期

9 李广进;寇净磊;;多智能体在元搜索引擎中的应用研究[J];电脑知识与技术;2009年13期

10 陈爽;钱榕;陈福;李素;;网页链接繁殖在搜索引擎资源发现中的应用[J];计算机工程与应用;2007年36期

相关会议论文 前10条

1 何璐;李晋宏;;基于XML的大容量搜索引擎技术探讨[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

2 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

3 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

4 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

5 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

相关重要报纸文章 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

相关博士学位论文 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 刘东飞;智能双语搜索方法及搜索引擎的研究[D];武汉理工大学;2009年

9 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

相关硕士学位论文 前10条

1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

2 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年

3 陈先;智能搜索引擎关键技术研究与实现[D];哈尔滨工程大学;2003年

4 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

5 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

6 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

7 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

8 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

9 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

10 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

本文编号：1466979