基于Webdriver爬虫技术的研究

发布时间：2017-07-16 15:22

  本文关键词：基于Webdriver爬虫技术的研究

  更多相关文章： Webdriver 爬虫 Web网页

【摘要】：本文提出基于Webdriver测试工具的爬虫程序实现,通过实例化一个浏览器再通过代码自动控制其浏览网页实现对网站数据的爬取。通过实现点击事件方法可以很好地解决传统爬虫技术中Ajax网站动态加载引起的数据丢失问题。最后以新闻网站为例,实现了本文所设计的爬虫程序。
【作者单位】： 江西财经大学软件与通信学院;
【关键词】： Webdriver 爬虫 Web网页
【分类号】：TP393.092;TP391.1
【正文快照】： 0引言近年来,互联网用户呈现爆发式增长,网络上的信息量十分庞大,这些信息单看貌似不怎么起眼,但是当你将这些数据按照既定条件筛选整理成所需要的庞大数据信息之后,这些信息将被赋予一定的价值。本文设计了基于Webdriver爬虫技术的新闻网站内容的爬取。Webdriver爬虫技术是通，

本文编号：549341