基于搜索引擎调用的主题搜索设计与实现

发布时间：2018-05-10 12:46

  本文选题：主题搜索 + 搜索引擎　； 参考：《计算机工程与设计》2008年21期

【摘要】：网络搜索是目前从因特网上获取信息的主要手段,而网络蜘蛛又是大多数网络搜索工具获取网络信息的主要方法,主题搜索策略是专业搜索引擎的核心技术。通过研究网络蜘蛛的工作原理,分析了网络蜘蛛的搜索策略和搜索优化措施,设计出一种将限制搜索深度、多线程技术和正则表达式匹配方法结合一起的网络蜘蛛,实验结果表明该方法能够快速而准确地搜索所需的相关主题信息。
[Abstract]:Web search is the main means to obtain information from the Internet at present, and web spider is the main method for most web search tools to obtain network information. Topic search strategy is the core technology of professional search engine. By studying the working principle of web spider, this paper analyzes the search strategy and search optimization measures of web spider, and designs a web spider which combines limited search depth, multithreading technique and regular expression matching method. The experimental results show that the proposed method can quickly and accurately search the relevant subject information.
【作者单位】： 军械工程学院计算机工程系;军械工程学院训练部;
【分类号】：TP391.3

【参考文献】

相关期刊论文 前5条

1 唐雅媛;;基于搜索引擎的网络蜘蛛实现原理的研究[J];湖南科技学院学报;2006年11期

2 林海霞;原福永;陈金森;刘俊峰;;一种改进的主题网络蜘蛛搜索算法[J];计算机工程与应用;2007年10期

3 董瑞洪,张秋余,唐静兵,张涛;抢先式多线程Spider在智能搜索引擎中的实现[J];计算机工程;2005年18期

4 张颖超;段雪英;;个性化搜索引擎系统机制的研究[J];计算机工程与设计;2007年13期

5 藕军;任明仑;靳鹏;;基于网络蜘蛛的搜索引擎自动发现[J];现代电子技术;2007年12期

相关硕士学位论文 前2条

1 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

2 薛建春;垂直搜索引擎中网络蜘蛛的设计与实现[D];中国地质大学（北京）;2007年

【共引文献】

相关期刊论文 前10条

1 岳剑文;;搜索引擎查询推荐机制的研究[J];时代教育;2012年11期

2 赵洋;滕桂法;张玉新;何冬梅;;基于Internet的农业信息垂直搜索引擎的设计[J];河北农业大学学报;2009年06期

3 熊馨;康国磊;胡光武;巩建伟;;基于Web Service的分布式网站内容监控系统设计[J];电脑知识与技术;2009年18期

4 张丽敏;;垂直搜索引擎的主题爬虫策略[J];电脑知识与技术;2010年15期

5 李园伟;;面向高校主题搜索引擎的的爬行器设计[J];电脑知识与技术;2011年16期

6 吴建;;基于Lucene的校园网搜索引擎的设计与实现[J];湖南工程学院学报(自然科学版);2012年02期

7 陈志雄;朱向庆;;基于内容评价与超链分析的主题爬虫策略[J];广西轻工业;2011年03期

8 林洁;李丹宁;吴晓;;基于用户的个性化综合倒排索引[J];杭州师范大学学报(自然科学版);2008年03期

9 张林才;梁正友;;基于ProActive的分布式并行Web Spider设计[J];计算机工程;2008年19期

10 尹江;尹治本;黄洪;;网络爬虫效率瓶颈的分析与解决方案[J];计算机应用;2008年05期

相关会议论文 前2条

1 马焱;彭立;;个性化基础教育搜索引擎用于个性化教学的研究[A];信息技术环境构建与教学应用[C];2009年

2 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

相关硕士学位论文 前10条

1 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年

2 陈志刚;网络Flash资源爬行器的设计与实现[D];山东师范大学;2011年

3 赵春辉;基于关联规则挖掘的查询扩展[D];河南大学;2011年

4 袁黎明;双边网络视角下搜索引擎平台的隔离机制演进[D];北京交通大学;2011年

5 林捷;主题网络爬虫的研究和实现[D];武汉理工大学;2011年

6 李琚彪;质检舆情监控系统中信息检索的研究[D];北京邮电大学;2011年

7 王旭;互联网舆情监控系统中聚焦爬虫的设计与实现[D];北京邮电大学;2011年

8 李彦辉;基于用户兴趣的个性化搜索引擎研究[D];山西财经大学;2011年

9 连惠杰;基于主题的教育信息定向采集系统[D];南京理工大学;2011年

10 赵思佳;基于规则引擎的个性化网页爬虫研究[D];中南大学;2010年

【二级参考文献】

相关期刊论文 前10条

1 林亚平,李彦,童调生,尹锋;汉语自动分词中的神经网络技术研究[J];湖南大学学报(自然科学版);1997年06期

2 宋擒豹,沈钧毅;Web日志的高效多能挖掘算法[J];计算机研究与发展;2001年03期

3 孟卫一,吴宗寰;集成搜索引擎的文本数据库选择[J];计算机研究与发展;2001年04期

4 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期

5 赫枫龄,左万利;用有向图法解决网页爬行中循环链接问题[J];吉林大学学报(理学版);2004年03期

6 宋晖,张岭,叶允明,马范援;基于标记树对象抽取技术的Hidden Web获取研究[J];计算机工程与应用;2002年23期

7 左雄辉,糜麒;个性化搜索引擎研究[J];计算机工程与应用;2005年17期

8 罗三定,黄勇;一个应用模糊方法的智能搜索引擎的构建[J];计算机工程;2000年12期

9 康平波,田永鸿,黄铁军;智能化网页资源收集工具的设计与实现[J];计算机工程;2004年04期

10 殷建平;汉语自动分词方法[J];计算机工程与科学;1998年03期

【相似文献】

相关期刊论文 前10条

1 陈财森;王韬;郑伟;陈建泗;;基于搜索引擎调用的主题搜索设计与实现[J];计算机工程与设计;2008年21期

2 李国锋;李春伟;;网络搜索引擎技术探析[J];廊坊师范学院学报;2005年04期

3 云健;王春霞;;搜索引擎技术综述[J];河西学院学报;2008年02期

4 宋春阳;金可音;;Web搜索引擎技术综述[J];现代计算机(专业版);2008年05期

5 郑志材;张晶;;基于JAVA的网络蜘蛛的设计与实现[J];硅谷;2009年14期

6 葛宇;梁静;陈晓敏;;搜索引擎系统中热点问题的探讨[J];成都电子机械高等专科学校学报;2009年04期

7 李勇;韩亮;;主题搜索引擎中网络爬虫的搜索策略研究[J];计算机工程与科学;2008年03期

8 雷丽秀;;互联网搜索引擎技术及展望[J];科技信息(学术研究);2008年20期

9 武晓娟;;基于网站的搜索引擎研究[J];大连海事大学学报;2008年S1期

10 郑泳;;基于广度优先搜索的网络蜘蛛设计[J];软件导刊;2010年07期

相关会议论文 前10条

1 李贺华;付鹤岗;;多Agent Web信息检索应用研究[A];2008年计算机应用技术交流会论文集[C];2008年

2 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

3 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

4 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

5 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

6 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

7 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

8 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

9 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

10 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

相关重要报纸文章 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

相关博士学位论文 前10条

1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

3 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

5 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

10 王德吉;复杂环境下自适应智能决策支持系统研究[D];中国科学技术大学;2007年

相关硕士学位论文 前10条

1 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

2 薛建春;垂直搜索引擎中网络蜘蛛的设计与实现[D];中国地质大学（北京）;2007年

3 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年

4 任严;基于网络视频业务的搜索引擎的设计与实现[D];北京交通大学;2008年

5 胡晓翠;站点搜索引擎的研究与实现[D];武汉科技大学;2009年

6 张维维;搜索引擎的研究与实现[D];长春理工大学;2008年

7 叶昭晖;网络信息雷达系统的研究与设计[D];国防科学技术大学;2005年

8 许彦彬;基于Java技术的生物资源专业搜索引擎的研究与开发[D];昆明理工大学;2004年

9 郭谢;基于Web Community识别的专业搜索引擎研究[D];浙江大学;2006年

10 沈坚;一种专题式搜索引擎Spider的设计与实现[D];北京化工大学;2008年

，

本文编号：1869370