面向校园招聘主题的分布式爬虫系统的设计与实现

发布时间：2020-08-13 12:50

【摘要】：近年来,高校毕业生规模的不断扩大,大学生的就业问题不容忽视,社会对此问题给予了广泛关注。目前网络上招聘网站不胜枚举,很多招聘信息存在重复冗余,查询效率低,信息可靠性低的问题,对毕业生来说,需要花费大量的时间甄别虚假信息、筛选重复信息,影响求职效率。本文通过研究分析爬虫系统相关技术,在深入了解相关技术算法的基础上,搭建Hadoop分布式运行环境,运行爬取校园招聘相关职位信息,以解决招聘信息爬取效率低的问题,并且满足面向校园招聘这一主题;通过并行爬取三个招聘网站校园招聘信息以解决校园招聘职位信息分布散且杂的问题;通过研究基于正则化的过滤方法筛选过滤主题不相关URL链接,以达到将爬取范围限制到这三个招聘网站域名范围内;通过研究基于标题特征词文本相似度的计算方式降低虚假招聘信息的PageRank评分:最终达到招聘信息冗余度较低、覆盖信息较为全面的目的,并且提供了简洁、易于操作的用户查询交互接口。论文主要工作如下:(1)面向校园招聘主题的分布式爬虫系统设计。为获取校园招聘信息,需要对各招聘网站的校园招聘信息链接进行爬取;采用分布式计算框架对校园招聘信息进行高效爬取;为实现面向校园招聘爬取这一主题,需要对爬取的URL链接进行过滤;为方便用户查询校园招聘信息,需要提供搜索查询服务功能。根据上述功能需求,系统模块主要划分为爬虫模块、索引模块和检索模块。(2)面向校园招聘主题的分布式爬虫系统实现。爬虫模块选用Nutch开源爬虫框架,采用基于正则化的过滤方法进行URL筛选,并利用其插件机制对其进行二次开发,实现基于标题特征词文本相似度的职位信息可靠性评分。索引模块采用Solr框架对爬取到的校园招聘数据建立索引,并配置了 IK-Analyzer中文分词器对校园招聘网页本文执行预处理,以提高查询准确度。检索模块设计实现基于JSP+CSS的用户交互界面,方便用户进行检索查询。
【学位授予单位】：大连交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.1
【图文】：

组件结构,分布式文件系统

Ｎａｍｅｎｏｄｅ邋会定期从邋ＤａｔａＮｏｄｅｓ邋那里收到邋Ｈｅａｒｔｂｅａｔ邋和邋Ｂｌｏｃｋｒｅｐｏｒｔ邋反馈，Ｈｅａｒｔｂｅａｔ邋反馈逡逑用来确保ＤａｔａＮｏｄｅ没有出现功能异常：Ｂｌｏｃｋｒｅｐｏｒｔ包含ＤａｔａＮｏｄｅ所存储的Ｂｌｏｃｋ集合。逡逑如图２．２所示给出了邋ＨＤＦＳ的组件结构［１３］。逡逑逦邋Ｍｅｔａｄａｔａ邋（Ｎａｍｅ，邋ｒｅｐｌｉｃａｓ，．．．）：逡逑Ｍｅｔａｄａｔａ邋ｏｐｓ＂邋Ｎａｍｅｎｏｄｅ邋Ｈ逦／ｈｏｍｅ／ｆｏｏ／ｄａｔａ，邋３，．．．逦逡逑（邋Ｃｌｉｅｎｔ逦Ｂｌｏｃｋ邋ｏｐｓ逡逑Ｒｅｉｄ邋Ｄａｔａｎｏｄｅｓ逦Ｄａｔａｎｏｄｅｓ逡逑ＥＤＥ］｜逦°逦Ｉｔ？邋■邋Ｒｅｐｌｉｃａｔｉｏｎ邋Ｄ邋Ｄ逡逑□逦口逦＼逦ＪＺ＼邋Ｄｂｉｏｃｋｓ逡逑ｖ逦＼邋Ｊ逦／ｖＺＺｌ．逦Ｊ逡逑Ｖ邋－逦＇Ｙ逡逑Ｒａｃｋ邋１逦Ｒａｃｋ邋２逡逑（Ｃｌｉｅｎｔ逡逑图２．２邋ＨＤＦＳ组件结构逡逑Ｆｉｇ．邋２．２邋Ｔｈｅ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ＨＤＦＳ邋ｃｏｍｐｏｎｅｎｔ逡逑在ＨＤＦＳ分布式文件系统中，ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ是分别运行在单个机器上的逡逑７逡逑

系统数据,网页,校园招聘,框架

．．４．２系统设计逡逑本校园招聘爬虫系统整体架构如图４．２所示，Ｎｕｔｃｈ框架搭载在Ｈａｄｏｏｐ分布式集群逡逑利用ＭａｐＲｅｄｕｃｅ计算框架对Ｉｎｔｅｒｎｅｔ上的招聘信息进行分布式高效爬取，将爬取到的校逡逑园招聘网页数据存储到ＨＤＦＳ文件系统中，然后启动Ｓｏｌｒ服务器为校园招聘网页数据建逡逑

系统结构图,系统结构图,校园招聘

分高的ＵＲＬ校园招聘信息。在达到预先设定的爬取深度后，循环爬取过程结束，爬取逡逑到的校园招聘网页数据存储在ＨＤＦＳ分布式文件系统中，等待索引模块建立索弓丨。爬虫逡逑模块流程图如图４．４所不。逡逑ｃ开力台）逡逑逦Ｊ逦逡逑建立初始ＵＲＬ种子逡逑集逡逑逦Ｉ逦逡逑逦？生成抓取队列逡逑｜基于正化规则逡逑的ＵＲＬ过滤逡逑抓取园招聘逡逑网页信患逡逑否逦｜解析校园招聘逡逑网贫信息逡逑Ｉ校园招聘患可靠性逡逑度置评分计算逡逑，１逡逑Ｉ更新羝取库－逡逑４－逡逑（邋结束邋）逡逑图４．４爬虫模块流程图逡逑Ｆｉｇ．邋４．４邋Ｆｌｏｗｃｈａｒｔ邋ｏｆ邋ｔｈｅ邋ｃｒａｗｌｅｒ邋ｍｏｄｕｌｅ逡逑为了便于在Ｎｕｔｃｈ爬虫基础上加入校园招聘信息可靠性计算，需要对Ｎｕｔｃｈ框架源逡逑码进行分析，如图４．５所示是Ｎｕｔｃｈ系统结构图，根据对Ｎｕｔｃｈ源码的研读可

【参考文献】