基于Lucene和Heritrix的主题搜索引擎的设计与实现

发布时间：2016-07-29 21:00

  本文关键词：基于Lucene和Heritrix的主题搜索引擎的设计与实现，由笔耕文化传播整理发布。

《北京邮电大学》 2012年

基于Lucene和Heritrix的主题搜索引擎的设计与实现

刘显一  

【摘要】：随着网络时代发展,用户对搜索引擎的要求也发生了变化。从最初的设法找到更多的信息到设法找到更准确、更有价值的信息。网络用户对网络检索数据的各方面要求提高直接促使了搜索引擎的大幅进步,在这种形式下主题搜索引擎应运而生并不断发展壮大。 主题搜索引擎又称为专业搜索引擎、专用搜索引擎、实时搜索引擎等。目前主题搜索引擎在搜索引擎发展过程当中具有重要意义。主题搜索引擎主要着力于某一特定领域,并对这一领域内的信息的完全收录并及时更新,避免通用搜索引擎搜索出来的信息包罗万象,容易被各种无用信息的干扰。从而保证了搜索出的关键信息的准确度和时效性。 本文分析了辽宁大学门户网站对辽宁大学相关工作的重要性,指出辽宁大学门户网站是集辽大新闻介绍、校务公告、各职能部门门户入口等功能于一体的门户网站。由此可见辽大网的信息量是相当庞大的、功能设计也是相当丰富的。因此对于一个陌生的使用者来说,需要一个好的搜索引擎来为其进行信息导航以更方便的找到相关信息,以便了解辽大或者与辽大取得联系是十分必要的。 引擎确立了实现包括对网站新增信息的自动添加索引、网站信息的自动分类、索引的维护、自动网站信息与标签的提取、关键词检索、对后台数据库中自定义分类的维护等功能的搜索引擎设计目标。 最终基于lucene和heritrix这两个核心技术,设计出一个服务于辽宁大学相关用户群的针对辽宁大学门户网站的主题搜索引擎的原型系统,该系统提供了在线的查询接口和友好的用户界面。可以满足辽大在校专任教师、辽大行政管理人员和其他工作人员、辽大在校学生以及关心辽大的社会人士对辽宁大学门户网站内各自感兴趣的信息进行快速搜索和准确定位。本系统目前是初次开发版本,整体来说系统的成熟度不高。但其查询查准查全率高、中文解析分词准确、用户界面友好且响应迅速。

【关键词】：
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前5条

1 郎小伟;王申康;;基于Lucene的全文检索系统研究与开发[J];计算机工程;2006年04期

2 白坤;耿国华;;基于Lucene/Heritrix的垂直搜索引擎的研究与应用[J];计算机应用与软件;2009年01期

3 胡蓉,周经野;搜索引擎的发展与个性化技术研究[J];宁波职业技术学院学报;2005年02期

4 何晓阳,吴强,吴治蓉;HITS算法与PageRank算法比较分析[J];情报杂志;2004年02期

5 罗立宏;陈志;;基于语义分析的垂直搜索网络蜘蛛[J];计算机工程与设计;2008年18期

中国硕士学位论文全文数据库 前5条

1 王晓伟;垂直搜索引擎若干关键技术的研究[D];浙江大学;2007年

2 谢冬松;基于Web的主题搜索应用技术研究[D];黑龙江大学;2007年

3 吴建强;垂直搜索引擎爬虫系统的研究与实现[D];贵州大学;2008年

4 尤波;垂直搜索中XML索引及页面排序技术研究[D];哈尔滨工程大学;2009年

5 陈哲;面向垂直搜索引擎的网页抓取器的设计和实现[D];中国海洋大学;2009年

【共引文献】

中国期刊全文数据库 前10条

1 兰富军;李春霆;高海忠;;农业主题垂直搜索引擎过滤技术研究[J];安徽农业科学;2010年09期

2 陶镇威;周雨程;;基于Compass框架的高级搜索系统的设计与实现[J];重庆理工大学学报(自然科学);2011年08期

3 蔡兵;胡敏;;基于Lucene2.0的书目搜索引擎设计[J];重庆图情研究;2009年01期

4 张淑华;;图书馆参考咨询系统新技术探析[J];黑龙江档案;2011年05期

5 周杨;;基于Lucene的小型搜索引擎系统的架构与实现[J];电脑编程技巧与维护;2010年11期

6 谢峰;刘洪星;;基于Lucene的Web站内搜索引擎的研究[J];电脑知识与技术;2008年04期

7 叶琳莉;林嵩凯;;基于Web结构挖掘算法的网站构建[J];电脑知识与技术;2008年34期

8 林晶;;全文检索模型的检索性能研究[J];电脑知识与技术;2010年04期

9 宋永生;;基于Android的商品比价系统的设计与实现[J];电脑知识与技术;2011年18期

10 陶荣;陈燕;;基于Lucene小型搜索引擎的研究与实现[J];大众科技;2010年02期

中国博士学位论文全文数据库 前2条

1 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年

2 米杨;基于顶级本体整合的医学领域语义标注研究[D];吉林大学;2012年

中国硕士学位论文全文数据库 前10条

1 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年

2 冯效栋;垂直搜索引擎技术在网络舆情巡控中的研究与应用[D];中国海洋大学;2010年

3 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年

4 费洪刚;个性化网站的研究与应用[D];长春工业大学;2010年

5 樊春雷;基于语义分析的糖尿病健康教育系统研究与实现[D];华东理工大学;2011年

6 赵彦胜;基于web的无线电监测站远程故障诊断系统分析与设计[D];西安电子科技大学;2009年

7 马静;基于web的数字化资源全文检索系统的设计与实现[D];西安电子科技大学;2010年

8 刘照然;远程教育中智能答疑系统的研究与实现[D];西安电子科技大学;2010年

9 席敏;基于单汉字索引的全文检索系统的研究与实现[D];西安电子科技大学;2010年

10 吴代文;基于Lucene的二次全文检索系统设计与实现[D];西安电子科技大学;2009年

【二级参考文献】

中国期刊全文数据库 前10条

1 潘以锋;;基于Lucene的网站全文检索系统的开发[J];广西教育学院学报;2006年05期

2 黄建莲;中国搜索引擎服务市场的现状及发展[J];华北科技学院学报;2005年03期

3 宋晖,张岭,叶允明,马范援;基于标记树对象抽取技术的Hidden Web获取研究[J];计算机工程与应用;2002年23期

4 谭汉松,李红;基于信息过滤后的Web内容挖掘[J];计算机工程与应用;2003年30期

5 李学勇,欧阳柳波,李国徽,钟敏娟;网络蜘蛛搜索策略比较研究[J];计算机工程与应用;2004年04期

6 邹娟;周经野;邓成;;一种基于语义分析的中文特征值提取方法[J];计算机工程与应用;2005年36期

7 梁毅,周建国,晏蒲柳;基于有色Petri网和移动Agent的网络入侵检测系统[J];计算机工程;2003年16期

8 王剑波,高洁,王明哲;基于CPN的城市智能交通信号控制系统建模[J];计算机工程;2004年08期

9 王培龙,刘文远;基于Colored Petri 网的工作流建模及应用[J];计算机工程;2004年18期

10 杨建武,陈晓鸥;基于倒排索引的文本相似搜索[J];计算机工程;2005年05期

中国硕士学位论文全文数据库 前1条

1 孙猛;基于分类语义的搜索引擎中若干关键技术的研究与实现[D];东北大学;2005年

【相似文献】

中国期刊全文数据库 前10条

1 陶荣;陈燕;;基于Lucene小型搜索引擎的研究与实现[J];大众科技;2010年02期

2 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期

3 朱海丰;秦杰;;基于Lucene与JSF的搜索引擎[J];福建电脑;2008年10期

4 郑如滨;撒力;谢婷;;基于Heritrix与Lucene的垂直搜索引擎研究[J];电脑知识与技术;2008年29期

5 刘敏娜;葛萌;陈娟;;基于Lucene的全文搜索引擎设计与实现[J];福建电脑;2009年05期

6 侯云;;构建基于Lucene的网站站内搜索[J];信息与电脑(理论版);2010年02期

7 温艳鸿;;基于lucene的文件搜索引擎的设计与扩展[J];福建电脑;2007年08期

8 刘建湘;杨文涛;;基于Lucene的搜索引擎在Struts中的应用[J];软件导刊;2007年03期

9 陈沧;沈洁;高莺;;基于Lucene的校园网Web搜索服务研究与实现[J];中国教育信息化;2008年15期

10 任晓娜;;基于Lucene的全文搜索引擎的研究与实现[J];湖北广播电视大学学报;2010年05期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

中国重要报纸全文数据库 前10条

1 李一鑫;[N];财经时报;2007年

2 周文林;[N];经济参考报;2007年

3 惠正一;[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年

5 陈珊;[N];人民邮电;2005年

6 赵法忠;[N];中国经营报;2005年

7 金朝力;[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;[N];中国证券报;2006年

9 孙琎;[N];第一财经日报;2006年

10 姜蕊;[N];中国高新技术产业导报;2006年

中国博士学位论文全文数据库 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年

2 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年

3 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

4 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年

5 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年

6 刘运佳;基于Lucene和Heririx构建搜索引擎的研究和示例实现[D];电子科技大学;2008年

7 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

8 潘亭沥;基于Lucene的面向商业应用的搜索引擎研究与实现[D];电子科技大学;2007年

9 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年

10 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年

  本文关键词：基于Lucene和Heritrix的主题搜索引擎的设计与实现，由笔耕文化传播整理发布。

，

本文编号：78523