分布式并行环境下的网络爬虫研究

发布时间：2017-03-28 11:19

  本文关键词：分布式并行环境下的网络爬虫研究，由笔耕文化传播整理发布。

【摘要】：随着互联网的发展,互联网上站点与信息等越来庞杂；无论是个人还是企业对互联网上的信息需求越来越多,俞渐依赖于搜索引擎。网络爬虫作为搜索引擎的数据源,起着至关重要的作用。并且网络爬虫的抓取速度、覆盖面、网页排序、索引、实时性等直接影响着搜索的结果。同时,深入整合信息的需求是广泛存在的。到目前为止,很多企业、机构和个人仍在不断研究开发新的爬虫,尤其是主题爬虫。在企业中,爬虫采集的信息既可以作为数据仓库多维展现的数据源,也可以作为数据挖掘的来源。例如,做舆情监测需要从互联网上采集新闻、舆论等相关信息；房地产商会利用爬虫去抓取有关的房产信息以便于做决策分析等。甚至有些人专门利用爬虫从互联网上挖掘信息、搜集情报。但传统的单机爬虫难以应对高速增长的信息带来的挑战,难以快速、有效抓取海量数据。分布式技术支持庞大的集群、海量的共享存储空间；综合利用各节点CPU,提高总运算能力；拥有更大的总带宽；从根本上克服了爬虫效率的问题,并可以解决IT运营成本(分布式技术依赖的是廉价的PC机,而不是昂贵的服务器)问题。本文基于互联网网页结构与网站原理分析了爬虫的实现原理、工作流程、抓取策略及网页解析方法等相关理论。利用Hadoop分布式集群特性优化网络爬虫,提高抓取效率。基于Hadoop设计实现了一个可配置、高效、负载均衡且可扩展的分布式网络爬虫原型系统。阐述分析了该系统的系统架构、实现方案及各关键模块的设计实现,并对大规模URL队列设计与去重、多线程并行抓取、动态网页解析及网页增量更新等几个关键技术问题给出了解决方案,最后对该系统性能进行了测试分析。
【关键词】：分布式集群 URL队列 并行抓取 动态网页解析 分布式爬虫
【学位授予单位】：中央民族大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.092;TP391.3
【目录】：

• 摘要3-5
• ABSTRACT5-13
• 第一章 绪论13-17
• 1.1 背景13-14
• 1.2 研究的意义14
• 1.3 研究动态14-15
• 1.4 主要工作与论文结构15-17
• 第二章 爬虫相关理论17-28
• 2.1 通用爬虫与主题爬虫18-20
• 2.1.1 通用爬虫18-19
• 2.1.2 主题爬虫19-20
• 2.2 网页的抓取策略20-22
• 2.2.1 深度优先策略20
• 2.2.2 广度优先策略20-21
• 2.2.3 最佳优先策略21
• 2.2.4 增量搜索策略21-22
• 2.2.5 礼貌策略22
• 2.3 网页分析算法22-24
• 2.3.1 PageRank算法22-23
• 2.3.2 HITS算法23-24
• 2.4 网络爬虫结构分析24-28
• 第三章 分布式爬虫系统分析设计28-39
• 3.1 分布式技术28-31
• 3.1.1 Hadoop分布式文件系统29-30
• 3.1.2 MapReduce工作原理30-31
• 3.2 分布式爬虫分析设计31-39
• 3.2.1 分布式爬虫分析32-33
• 3.2.2 分布式爬虫架构及工作流程33-35
• 3.2.3 分布式爬虫模块设计35-39
• 第四章 关键技术39-47
• 4.1 URL队列设计与去重39-42
• 4.2 并行抓取42-43
• 4.3 动态网页解析与内嵌文档内容抽取43-45
• 4.4 爬虫陷进与网页更新45-47
• 第五章 分布式网络爬虫系统实现47-54
• 5.1 平台环境47
• 5.2 系统实现47-54
• 5.2.1 爬虫总体结构48-49
• 5.2.2 核心类的实现49-54
• 第六章 测试分析54-60
• 6.1 节点扩展测试54-58
• 6.2 抓取效率对比58-60
• 第七章 总结与展望60-61
• 参考文献61-64
• 致谢64-65
• 攻读学位期间发表的学术论文目录65

【参考文献】

中国期刊全文数据库 前2条

1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

2 黄仁;王良伟;;基于主题相关概念和网页分块的主题爬虫研究[J];计算机应用研究;2013年08期

  本文关键词：分布式并行环境下的网络爬虫研究，由笔耕文化传播整理发布。

，

本文编号：272172