基于Nutch的面向IT科技博客的垂直搜索引擎的研究与实现

发布时间：2019-07-25 13:47

【摘要】：互联网日新月异的发展使得网络上存储的资源越来越多,网页文本、音乐、图片、视频等形式各异的资源充斥其中,难以快速精准的从中找到自己想要的信息资源。这种需求催生了垂直搜索引擎的快速发展。本文首先研究了垂直搜索引擎发展的历史和趋势,之后详细的研究了垂直搜索引擎中涉及到的各种技术,设计并实现了一个面向博客领域的个性化垂直搜索引擎。本文的主要工作主要包括以下几个方面:(1)分析并对比了通用网络爬虫和垂直网络爬虫的系统架构和基本原理,对主题判定算法进行了研究,归纳了用户的搜索行为对垂直搜索引擎产生的反馈作用,研究并归纳了常见加密算法的性能和特征;(2)设计并实现了一个基于Nutch的分布式主题爬虫模块。首先详细分析了 Nutch的架构和工作原理,提出了一种能够将通用爬虫Nutch改造成垂直网络爬虫的方案。然后基于朴素贝叶斯文本分类算法实现了贝叶斯文本分类插件,在贝叶斯文本分类插件工作过程中加入了 URL主题判定模块,加深了 Nutch的爬行深度,并利用Nutch的插件机制将其引入到Nutch的工作流中,将通用爬虫Nutch改造成为垂直网络爬虫;(3)设计并实现了一个基于Solr的个性化用户查询模块。首先研究了用户搜索行为信息对用户搜索可能造成的影响,设计了一个基于Solr的个性化用户查询模块,该模块能够将用户的搜索行为收集入库,利用向量空间模型算法从中分析出用户的兴趣模型,并根据兴趣模型对用户的当前查询做出查询扩展,将Solr改造成为个性化查询模块;(4)在设计个性化用户查询模块时,考虑到对用户隐私的保护,采用安全套接层协议SSL对用户行为信息进行传输,然后利用数据库加解密模块对用户的行为信息进行AES加密,并将加密后的数据存储到数据库中,保护了用户的隐私安全;(5)设计并实现了基于Nutch的面向IT科技博客领域的垂直搜索引擎,并对搜索引擎进行了相关实验。实验表明,本文提出的设计方案是有效的,虽然为了实现主题过滤功能,爬虫的爬取效率有所降低,但是相较于原有的Nutch系统和通用搜索引擎百度,查准率得到了较大的提升。
【图文】：

图１－１通用搜索引擎的发展历史逡逑整个搜索引擎的发展趋势如图１－１所示

图１－２在一淘网搜索“男鞋”结果逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3

【参考文献】

相关期刊论文 前5条

1 田文波;徐洪珍;卢群乐;;基于索引属性改进的OPIC算法[J];计算机系统应用;2015年07期

2 卢万媈;贾云得;;基于眼动数据的网络搜索行为预测方法[J];北京航空航天大学学报;2015年05期

3 梁正友;张林才;;基于Rabin指纹方法的URL去重算法[J];计算机应用;2008年S2期

4 黄旭;朱艳琴;罗喜召;;基于内容评价的爬虫搜索策略研究[J];微电子学与计算机;2008年11期

5 龚建华;;深度优先搜索算法及其改进[J];现代电子技术;2007年22期

相关博士学位论文 前1条

1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年

相关硕士学位论文 前10条

1 陈铭权;基于主题模型的用户兴趣建模及在新闻推荐中的应用[D];华南理工大学;2015年

2 谭静;基于向量空间模型的文本相似度算法研究[D];西南石油大学;2015年

3 卜晓宁;基于大数据中查询日志的用户行为分析系统的设计与实现[D];北京交通大学;2015年

4 张环;垂直搜索引擎中主题网络爬虫算法研究[D];山东师范大学;2015年

5 王媛冬;基于SolrCloud平台的分布式全文检索系统的设计与实现[D];山东师范大学;2015年

6 徐有健;基于Lucene的云平台搜索技术研究与实现[D];华南理工大学;2015年

7 陈侨川;一种基于DES和RSA算法的混合加密算法[D];云南大学;2015年

8 杜雷;垂直搜索引擎网络爬虫的研究与设计[D];北京邮电大学;2015年

9 白永超;企业搜索引擎关键技术研究[D];北京邮电大学;2015年

10 毛福林;倒排索引压缩算法研究[D];北京交通大学;2015年

，

本文编号：2519128