大数据环境下基于python的网络爬虫技术探讨

发布时间：2021-08-08 13:07

　　python作为一种功能强大的高级编程语言,其爬虫技术的数据抓取在现在的大数据环境下应用非常广泛,作用也十分关键。文章对网络爬虫的概念、工作原理、运行步骤以及网络爬虫在模块当中的数据抓取应用进行了简单的探讨,介绍了大数据环境下网络爬虫所具备的优势。 

【文章来源】：决策探索(中). 2019,(11)

【文章页数】：1 页

【文章目录】：
一、网络爬虫相关技术
    （一）网络爬虫的概念
    （二）python语言编写网络爬虫的优点
    （三）爬虫的工作原理
    （四）爬虫技术的类型
二、系统设计与分析
    （一）搜索策略
    （二）爬虫抓取数据范围
    （三）数据解析
三、结语


【参考文献】：
期刊论文
[1]Python代理IP定向采集爬虫的设计与实现[J]. 白杨.  中国新通信. 2019(01)



本文编号：3330012