基于网页去重的垂直搜索引擎设计与实现

发布时间：2020-07-18 01:14

【摘要】：近年来,互联网的飞速发展导致网页数量不断增长,而综合搜索引擎由于存储、计算资源和带宽等方面的问题想要检索互联网上全部的网页是不可能的。因此,为了满足特定领域的用户需求,保证检索结果的专业性,人们开始对垂直搜索引擎进行研究。 垂直搜索引擎采用主题爬虫对特定主题的网页进行抓取,对特定的领域进行了专业的过滤和筛选,使得某一特定领域内信息更加全面和深入。然而,垂直搜索引擎相对于综合搜索引擎来说更易抓取到重复或者近似重复的网页,而且它在抓取的时候具有不同于综合搜索引擎的特殊性,因此现有的网页去重策略在垂直搜索引擎的网页去重中存在缺陷。 本文围绕垂直搜索引擎的设计和实现,首先对垂直搜索引擎的现状做了简要介绍,然后针对垂直搜索引擎中的主题爬虫和全文索引进行了深入分析,为最后一部分的系统实现提供了理论基础。 针对垂直搜索引擎中的网页去重,首先对网页重复的原因、类型、去重的意义和常用的网页去重算法做了简要介绍,然后指出现有垂直搜索引擎中进行网页去重的不足,即它们都没有考虑垂直搜索引擎的特殊性,没有利用垂直搜索引擎的自身特点进行网页去重。因此,本文将基于内容的主题爬虫算法和基于内容的网页去重算法相结合,提出了一种适用于垂直搜索引擎的网页去重策略,使得主题爬虫在抓取网页的过程中能够过滤掉重复或者近似重复的网页,减轻了搜索引擎后期处理重复网页和构建索引的负担,并通过几组相关实验证明了本文提出的网页去重策略的优越性。 在本文最后一部分进行了垂直搜索引擎的设计与实现,应用上述理论设计了一种主题与“中药材”相关、基于Solr服务器的垂直搜索引擎。在实现过程中,针对如何获取“中药材”相关的种子URL和主题词典提出了实际可行的方法,并采用JAVA技术对搜索引擎的主题爬虫进行了改进,使其能够在抓取网页的时候过滤掉重复或者近似重复的网页。
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 边凯;;你会搜索吗?[J];中国计算机用户;2007年23期

2 陈利国;刘忠民;;搜索引擎的工作原理和发展趋势[J];电脑知识与技术(学术交流);2007年23期

3 张敏;;基于本体的垂直搜索引擎的研究[J];软件导刊;2010年02期

4 胡永锋;;浅谈垂直搜索引擎的工作原理[J];科学大众(科学教育);2011年06期

5 庄芯;;风投押宝垂直搜索 各方巨头介入又添疑点[J];IT时代周刊;2008年01期

6 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期

7 陈新颜;垂直搜索引擎辨析[J];现代情报;2004年09期

8 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年32期

9 胡洁;丁宁;关静;曹福年;张磊;;基于“PUBMED+PDF”的医学垂直搜索引擎的实践[J];信息系统工程;2009年05期

10 一林;;垂直搜索:前进路上的喜与忧[J];互联网天地;2010年02期

相关会议论文 前10条

1 韩近强;赵静;杨冬青;唐世渭;姚小波;;基于领域知识的网页筛选系统[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

2 王晓峰;刘惟一;;从用户需求到网页集团的模糊变换[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

3 吴倩;杨逍;张兆心;;基于视觉特征的网页信息提取[A];第六届全国信息检索学术会议论文集[C];2010年

4 罗阳;季铎;张桂平;王莹莹;;面向单一网页的双语资源挖掘方法[A];第六届全国信息检索学术会议论文集[C];2010年

5 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

6 张贯虹;乌达巴拉;巩政;;基于向量空间模型的网页文本句子对齐方法研究[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

7 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 赵玉芳;张一鸣;;基于网页信息的印象形成的初步研究[A];第十届全国心理学学术大会论文摘要集[C];2005年

9 张阳;李战怀;近藤广幸;;WEB PAGE的自动分类[A];第十六届全国数据库学术会议论文集[C];1999年

10 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

相关重要报纸文章 前10条

1 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年

2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年

3 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年

4 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年

5 壮壮;批量保存网页信息[N];电脑报;2004年

6 东方早报记者 李伟;要名还是要利,这是个问题[N];东方早报;2011年

7 记者 王浒;“去哪儿”旅行网完成第三轮1500万美元融资[N];中国旅游报;2009年

8 金山软件副总裁 杨桓;着力“三大系统” 构筑网络安全屏障[N];中国电子报;2009年

9 郭京霞;枫叶之都状告百度恶意排名一审败诉[N];中国知识产权报;2007年

10 路人甲;请个专家来贴图[N];电脑报;2005年

相关博士学位论文 前10条

1 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

2 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 焦斌星;用于搜索的网页可视化摘要技术研究[D];中国科学技术大学;2012年

5 孟宪军;互联网文本聚类与检索技术研究[D];哈尔滨工业大学;2009年

6 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年

7 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 刘守群;海量网络视频快速检索关键技术研究[D];中国科学技术大学;2010年

9 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年

10 段瑞雪;基于依存关系的用户意图的研究[D];北京邮电大学;2011年

相关硕士学位论文 前10条

1 王鹏;垂直搜索引擎的研究[D];武汉理工大学;2010年

2 于洪波;中文网页自动采集与分类系统设计与实现[D];北京邮电大学;2010年

3 钟鸿鹏;基于时态信息的网页排序系统的研究与实现[D];华南理工大学;2010年

4 张航;主题爬虫的实现及其关键技术研究[D];武汉理工大学;2010年

5 冯明远;深度网络信息爬取关键技术研究与实现[D];浙江大学;2010年

6 邓科;智能搜索中的中文网页分类研究[D];兰州理工大学;2011年

7 薛惠;基于JAVA的移动新闻搜索引擎的研究与设计[D];河北科技大学;2010年

8 赵立磊;基于网页去重的垂直搜索引擎设计与实现[D];大连理工大学;2012年

9 党春辉;网页消重和聚类算法在高校搜索引擎中的研究与应用[D];东华大学;2010年

10 马伟瑜;基于改进的PageRank的网页信息可信度评估方法研究[D];河北大学;2011年

本文编号：2760187