垂直搜索引擎实现数据信息采集

发布时间：2020-09-24 04:52

　　 随着互联网数据高速增长,全文搜索引擎这类常规的搜索引擎在人们查询信息时,时常会返回包括一些无关信息的大量信息,使得用户不能准确地获取自己真正想要的信息。垂直搜索引擎为了解决这个问题而产生。垂直搜索引擎是全文搜索引擎的拓展产物,即是细分的专业全文搜索引擎,它在专业化网站运作,能帮助人们获得专业化数据。目前垂直搜索引擎在对从网络中抓取的大量数据创建索引时,常常需要花费很多的时间、浪费系统的资源、索引库不能及时得到更新。本文重点研究了利用百度地图API抓取大量的地图的点数据和改进了IK分词器的词元在排序集合中的比较算法。由于百度地图对用户访问地图数据采用限制速度、限查询信息量、限访问次数等策略,使得人们在有限次的访问中只能获得很少的信息量。本文通过矩形切割拼接的方式缩小抓取范围,通过提高访问次数来增加对地图点数据的获取量,再通过循环遍历,通过仿真模拟获得大量的地图点数据信息;在对同一句话有多种分词方式容易使语句产生歧义的情况下,IK分词器一律优先选择分词后词元数量少的简单的分词方式,而忽略了个数少的词元比较次要,而个数比较多的词元比较重要的情形。所以通过继续判断双方词元的权重,增强对歧义语句的判断,通过仿真模拟得到的数据得出改进算法确实可以帮助搜索引擎提高创建索引的效率、从而减少系统创建索引的时间,间接帮助系统和用户更快地更新索引库,提供更细致的服务的结论。本文在分析全文搜索引擎的原理和工作流程的基础上,模拟了传统的网络爬虫、主题网络爬虫、API抓取工具的运行,通过仿真试验模拟分别得到它们从网页中的抓取数据,对比总结了这三种抓取方式的优缺点。本文在分析Lucene工作原理的基础上对大量文本数据进行索引的创建,通过Lucene评分机制得到出输入关键词在它所出现的每篇文章的评分大小。仿真模拟用户输入关键词时,搜索引擎对输入关键词创建索引并进行查询的过程,最终将查询的结果按照文档的评分从大到小输出到仿真软件的控制台的输出界面上。
【学位单位】：中国地质大学(北京)
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP391.3;TP274.2
【部分图文】：

Jsoup抓取结果1

Jsoup抓取结果2

Heritrix抓取结果

【参考文献】

相关期刊论文 前10条

1 姜元爽;谭培;刘馨元;吕加国;;基于Lucene的垂直搜索引擎的设计与实现[J];福建电脑;2015年12期

2 杨金;;基于JAVA技术的搜索引擎研究[J];中国新通信;2015年13期

3 张浩;;网络主题爬虫技术初探[J];电子制作;2013年23期

4 史宝明;贺元香;吴崇正;;主题搜索引擎中爬虫搜索策略的研究[J];计算机工程与应用;2014年02期

5 杨立公;朱俭;汤世平;;文本情感分析综述[J];计算机应用;2013年06期

6 周凤丽;林晓丽;;基于Lucene的Web搜索引擎的研究和实现[J];计算机技术与发展;2012年01期

7 吴代文;郭军军;;基于Lucene站内全文检索系统的设计与实现[J];现代电子技术;2011年06期

8 黄承慧;印鉴;陆寄远;;一种改进的Lucene语义相似度检索算法[J];中山大学学报(自然科学版);2011年02期

9 王文钧;李巍;;垂直搜索引擎的现状与发展探究[J];情报科学;2010年03期

10 陈兰;金远平;;基于本体的垂直搜索引擎研究[J];计算机应用与软件;2009年11期

相关硕士学位论文 前9条

1 韩春晓;中文期刊个性化搜索引擎的设计与实现[D];哈尔滨工业大学;2014年

2 王俊;面向房产领域的垂直搜索引擎研究与实现[D];南昌大学;2012年

3 佟星;支持字符串近似查询的索引关键技术的研究[D];哈尔滨工业大学;2012年

4 刘育莲;手机产品垂直搜索引擎的设计与实现[D];西安电子科技大学;2012年

5 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年

6 王波;基于Lucene的企业搜索引擎[D];北京邮电大学;2009年

7 王涛;Web页面中结构化数据抽取的实现与应用[D];天津大学;2007年

8 滕跃;基于用户兴趣的个性化WEB检索[D];清华大学;2004年

9 张宏森;Web信息检索及应用设计优化技术研究[D];重庆大学;2002年

本文编号：2825330