基于Nutch技术的主题搜索引擎实现

  本文关键词：基于Nutch技术的主题搜索引擎实现，由笔耕文化传播整理发布。

《吉林大学》 2008年

基于Nutch技术的主题搜索引擎实现

李东海  

【摘要】： 面向主题的搜索引擎技术目前已经成为网络信息检索领域新的研究热点之一。不同于不加区分的从网络上收集网页的传统搜索引擎,面向主题的搜索引擎仅仅采集用户指定的、与某一特定主题相关的页面。 Nutch是一个刚刚诞生开放源代码(open-source)的web搜索引擎。Nutch将尽自己最大的努力为用户提供最好的搜索结果,它使用Lucene作为索引和检索的模块。它的抓取器是独立为自身编写的,具有高度标准模块的架构。 本文中的系统是中文主题搜索引擎,中文处理的问题以及主题相关性的问题是系统需要解决的首要问题。考虑到主题搜索引擎在主题判定方面的复杂性,为了保证系统的成功构建,降低工作量以及工作难度,系统基于Nutch开发,嵌入和特定领域相关的专用词典(如army.txt),专业词典和本文描述的主题相关性的判别方法相结合来识别爬行器爬到的网页是否与特定主题相关。本文依据Menczer对三种基于主题采集策略研究的结论,进行了实验和比较,决定本系统采用Best first Crawler方法来解决主题相似度得到采集优先级的问题。 最后,我们对整个算法进行了系统实现,并在不同的网络环境下进行了比较实验。本系统在后台部分能对客户提供的网站信息进行页面抓取和信息预处理,前台部分能利用后台抓取的数据进行信息检索,查询到要查询的信息。

【关键词】：
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP391.3
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【相似文献】

中国期刊全文数据库 前10条

1 熊桂喜;李政;;基于规则和语料库的中文姓名识别研究[J];计算机与信息技术;2007年12期

2 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期

3 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期

4 黄德根;焦世斗;周惠巍;;基于子词的双层CRFs中文分词[J];计算机研究与发展;2010年05期

5 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期

6 杨文涛;司应硕;张森;;GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;2010年04期

7 孙乐;方自金;;基于互联网的信息采集系统的设计与实现[J];河北大学成人教育学院学报;2010年04期

8 陈红英,李卫华;智能信息Agent的研究和实现[J];计算机工程与应用;2002年12期

9 林珊,宁国宁,赵之霖;中文分词在邮件过滤系统中的应用[J];华南理工大学学报(自然科学版);2004年S1期

10 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期

中国重要会议论文全文数据库 前10条

1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用（SCA·2011）学术会议论文摘要集[C];2011年

2 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

3 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

4 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

5 赵海;揭春雨;;基于子串标注的中文分词：寻找更佳的标注单元[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

6 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年

7 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年

8 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年

9 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年

10 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

中国重要报纸全文数据库 前10条

1 清华大学IT可用性实验室;[N];计算机世界;2005年

2 本报记者 张彤;[N];网络世界;2004年

3 记者 吴苡婷;[N];上海科技报;2009年

4 中国科学院计算技术研究所 王 斌;[N];计算机世界;2004年

5 贺俊;[N];证券日报;2006年

6 记者 杨朝晖;[N];科技日报;2007年

7 张韬;[N];上海证券报;2007年

8 王翌;[N];计算机世界;2005年

9 李永胜;[N];中国计算机报;2007年

10 记者 李霆钧;[N];中国电影报;2010年

中国博士学位论文全文数据库 前10条

1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年

2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年

3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年

4 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年

5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年

6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年

7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年

8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年

9 汤步洲;序列标注问题的监督学习方法及应用[D];哈尔滨工业大学;2011年

10 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年

2 傅士光;基于主题的搜索引擎的研究与实现[D];北京交通大学;2007年

3 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年

4 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年

5 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年

6 马莉;基于SVM的垃圾邮件过滤的研究[D];山东大学;2005年

7 王新梅;基于内容挖掘的垃圾邮件过滤技术[D];武汉理工大学;2006年

8 李培国;基于人工神经网的中文垃圾邮件过滤器的设计与实现[D];暨南大学;2007年

9 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年

10 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年

  本文关键词：基于Nutch技术的主题搜索引擎实现，由笔耕文化传播整理发布。