招聘信息垂直搜索引擎系统设计与实现

发布时间：2017-04-27 01:08

  本文关键词：招聘信息垂直搜索引擎系统设计与实现，由笔耕文化传播整理发布。

【摘要】：在信息技术高速发展的今天，web网站数目呈爆炸式的增长趋势，互联网世界已经进入了大数据时代。当今通用搜索引擎发展已经十分成熟，人们对专业领域的搜索需求越来越迫切，垂直搜索引擎应运而生。 虽然已有部分成功的垂直搜索引擎典范，但垂直搜索的主题爬虫技术仍然不成熟，需要更好的算法来提高搜索结果的精确度。本文首先全面分析了垂直搜索引擎各模块的应用的相关技术，然后在深入了解和分析已有的垂直搜索算法的基础上提出一种基于混合模型的主题相关度预测改进算法。该算法综合运用主题相关度预测因子、潜在主题相关度因子及页面质量分析因子对URL进行主题相关度预测及排序，使主题爬虫可优先爬取主题相关页面，从而提高主题爬虫的工作效率。 商用搜索引擎排序算法不开源，页面排序受多种因素制约，，包括带有商业性质的竞价排名。Nutch框架是一个开源的通用网络爬虫框架，提供基本的网页爬取功能并可以利用其插件机制对其进行扩展和定制。Solr是一款基于Lucene的开源索引服务器，可以提供良好的构建索引的功能。这两种框架内部算法公开透明，旨在打破当今搜索引擎市场基本被几家大公司垄断的局面，提供优质的搜索结果。本文基于Nutch和Solr框架设计并实现了一个招聘信息垂直搜索引擎系统，提供招聘信息专业领域的搜索结果。该系统通过新增页面评分插件修改了Nutch的主题爬虫中页面评分算法，运用基于混合模型的主题相关度预测算法对待爬取URL进行排序，为Solr配置IKAnalyzer分词器用以对网页文档进行预处理，前端使用Struts2框架与用户进行交互。
【关键词】：招聘信息 主题爬虫 Nutch框架 Solr框架
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.3
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-15
• 1.1 研究背景与意义9-11
• 1.2 国内外研究概况11-13
• 1.3 论文的主要研究内容13
• 1.4 论文的组织结构13-15
• 2 垂直搜索引擎相关技术分析15-25
• 2.1 垂直搜索引擎体系结构15-16
• 2.2 网络爬虫模块相关技术分析16-18
• 2.3 索引模块相关技术分析18-21
• 2.4 检索模块相关技术分析21-24
• 2.5 本章小结24-25
• 3 基于混合模型的主题爬虫改进算法25-32
• 3.1 主题爬虫算法分析25-27
• 3.2 基于混合模型的主题爬虫改进算法27-29
• 3.3 实验结果与分析29-31
• 3.4 本章小结31-32
• 4 招聘信息垂直搜索引擎系统分析与设计32-46
• 4.1 招聘信息垂直搜索引擎系统需求分析32-36
• 4.2 招聘信息垂直搜索引擎系统设计36-45
• 4.3 本章小结45-46
• 5 招聘信息垂直搜索引擎系统实现46-59
• 5.1 开发环境46
• 5.2 主题爬虫的实现46-51
• 5.3 Solr 索引及检索模块的实现51-52
• 5.4 页面响应模块的实现52-56
• 5.5 UI 模块的实现56-57
• 5.6 系统测试与运行57-58
• 5.7 本章小结58-59
• 6 总结与展望59-61
• 6.1 全文总结59
• 6.2 展望59-61
• 致谢61-62
• 参考文献62-65

【参考文献】

中国期刊全文数据库 前2条

1 崔航,文继荣,李敏强;基于用户日志的查询扩展统计模型[J];软件学报;2003年09期

2 宋睿华,马少平,陈刚,李景阳;一种提高中文搜索引擎检索质量的HTML解析方法[J];中文信息学报;2003年04期

中国博士学位论文全文数据库 前2条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

中国硕士学位论文全文数据库 前5条

1 张_g;基于Nutch的农业信息垂直搜索引擎的研究与实现[D];北京邮电大学;2013年

2 黄锦捷;基于Solr的企业级检索系统的设计与实现[D];华南理工大学;2013年

3 邬亚文;威客垂直搜索系统的设计与实现[D];华南理工大学;2010年

4 吴翠雁;基于Nutch的信息采集系统的研究与实现[D];华南理工大学;2010年

5 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年

  本文关键词：招聘信息垂直搜索引擎系统设计与实现，由笔耕文化传播整理发布。

本文编号：329597