基于漏洞管理平台的聚焦爬虫技术研究分析

发布时间：2017-05-19 06:03

  本文关键词：基于漏洞管理平台的聚焦爬虫技术研究分析，由笔耕文化传播整理发布。

【摘要】：随着当下网络的发展,人们对信息采集的要求越来越高,而传统的通用爬虫技术作为一种信息采集的技术手段已经不足以满足当前用户的最新需要。故聚焦爬虫技术应运而生,它是一种具有一定针对性,能够按照不同用户的不同需求,采用一些特殊规则来进行信息爬取的新技术。本文所研究的聚焦爬虫技术是一项基于漏洞管理平台而编写的爬虫技术,跟当下的各种爬虫技术相比,有着自己独特的功能和优势。 本文介绍了当下爬虫技术的背景及发展现状,通过对比旧有的通用爬虫技术从而引出新的聚焦爬虫技术。接着介绍了本文所研究聚焦爬虫技术所依附的大平台——漏洞管理平台项目。通过漏洞管理平台的介绍最后引出其中的核心模块(爬虫模块)和核心技术(聚焦爬虫技术)。接下来又针对核心爬虫部分进行逐模块分析研究,将聚焦爬虫技术的各个技术点分解到各个子模块中进行细致研究分析,最后将各个研究结果整理汇总,得到整个聚焦爬虫技术的优点以及不足的分析结果。 最后,根据之前分析整理的结果,针对当前聚焦爬虫技术仍然存在的一些不足,结合当下国内外对聚焦爬虫技术的最新研究进展,本文从爬虫爬取瓶颈和效率改进、URL各方面内容,对目前已有的聚焦爬虫技术进行了改进,提出了改进措施和方案,提高了基于漏洞管理平台项目聚焦爬虫技术的整体层次。
【关键词】：聚焦爬虫技术 漏洞管理平台 爬虫模块 爬虫技术分析 爬虫爬取效率 URL改进
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 绪论9-14
• 1.1 研究背景9-12
• 1.1.1 漏洞管理平台背景和发展现状9-10
• 1.1.2 爬虫技术背景介绍10-11
• 1.1.3 信息提取方法简介11
• 1.1.4 漏洞管理平台项目简介11-12
• 1.2 论文的主要研究工作12
• 1.2.1 课题研究内容12
• 1.2.2 课题研究目的12
• 1.3 论文的内容安排12-13
• 本章参考文献13-14
• 第二章 漏洞管理平台项目简介14-19
• 2.1 漏洞管理平台功能介绍14-15
• 2.2 漏洞管理平台技术构成与模块划分15-18
• 2.2.1 前台Web部分15
• 2.2.2 后台技术部分15-17
• 2.2.3 爬虫管理模块的核心地位与作用17-18
• 2.3 本章小结18
• 本章参考文献18-19
• 第三章 聚焦爬虫技术研究分析19-38
• 3.1 爬虫模块的子模块划分19-20
• 3.2 六大子模块研究分析20-34
• 3.2.1 爬虫接口子模块20-22
• 3.2.2 配置文件解析子模块22-25
• 3.2.3 网页爬取子模块25-31
• 3.2.4 网页解析子模块31
• 3.2.5 URL过滤去重子模块31-34
• 3.2.6 漏洞信息保存子模块34
• 3.4 爬虫模块工作流程总结34-35
• 3.5 聚焦爬虫技术总结35-36
• 3.6 本章小结36-37
• 本章参考文献37-38
• 第四章 聚焦爬虫技术功能改进38-54
• 4.1 目前尚存不足38
• 4.2 爬虫效率改进38-43
• 4.2.1 爬虫效率瓶颈分析38-39
• 4.2.2 爬虫采集效率的提升策略39-41
• 4.2.3 改进效果测试结果报告41-42
• 4.2.4 改进措施可能引发的新问题42-43
• 4.3 URL相关内容改进43-52
• 4.3.1 URL相关策略介绍与改进43-45
• 4.3.2 URL改进策略可行性验证45-47
• 4.3.3 URL综合改进方案47-48
• 4.3.4 综合改进仿真实验48-50
• 4.3.5 改进措施可能引发的新问题50-52
• 4.4 本章小结52-53
• 本章参考文献53-54
• 第五章 总结和展望54-56
• 5.1 论文工作总结54-55
• 5.2 未来工作展望55-56
• 致谢56

【参考文献】

中国期刊全文数据库 前10条

1 李悦;;搜索引擎技术的产生与发展综述[J];福建电脑;2010年05期

2 翟钰,张玉清,武维善,胡建武;系统安全漏洞研究及数据库实现[J];计算机工程;2004年08期

3 赵亭;陆余良;刘金红;孙宏纲;施凡;;基于表单爬虫的Web漏洞探测[J];计算机工程;2008年09期

4 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

5 尹江;尹治本;黄洪;;网络爬虫效率瓶颈的分析与解决方案[J];计算机应用;2008年05期

6 谢丽霞;江典盛;张利;杨宏宇;;漏洞威胁的关联评估方法[J];计算机应用;2012年03期

7 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

8 许笑;张伟哲;张宏莉;方滨兴;;广域网分布式Web爬虫[J];软件学报;2010年05期

9 刘强;殷建平;蔡志平;程杰仁;;基于不确定图的网络漏洞分析方法[J];软件学报;2011年06期

10 刘亚东;彭舰;张达平;;基于智能的网页信息提取系统的研究与设计[J];四川大学学报(自然科学版);2009年04期

  本文关键词：基于漏洞管理平台的聚焦爬虫技术研究分析，由笔耕文化传播整理发布。

，

本文编号：377866