基于高德地图的广东省POI抓取程序设计与实现

发布时间：2020-09-23 10:37

　　 随着网络信息技术持续不断快速地发展,POI数据作为一种非常重要的网络数据资源越来越被人们所重视,在新世纪的国土空间规划行业里,更是被规划设计师们广泛应用。POI数据应用虽然很方便,但由于POI数据的特殊性,其获取过程却不容易。如何采用低成本、高效率地获取POI的方法一直困扰着规划师们。本文实现了快速而自动化地抓取互联网地图的POI数据,为规划师们很好地解决目前所遇到的问题,也为国土空间规划编制和研究提供有力的数据支持。本文在分析研究了文献资料及众多地图数据服务提供商的POI之后,选择了高德地图POI作为研究对象。通过对POI数据抓取的关键技术进行研究后,最后开发了广东省POI的抓取程序。论文的主要内容包括以下几个方面:(1)分析了当前规划行业的数据分析的POI使用需求、可行性情况,采用由Python语言编写广东省POI自动化抓取程序的方案。(2)根据研究目标,进行了程序的详细设计和数据库设计,并采用Scrapy开源框架,设计开发了基于高德地图广东省POI抓取程序,并完成抓取了500多万的数据。(3)在程序设计开发过程中,研究了:(1)广东省地级市范围的获取和应用;(2)城市POI多边形搜索的实现,使用了二分递归方法进行对城市范围进行分割;(3)网址换页的方法研究;(4)实现对高德地图KEY的变换方法;(5)GCJ-02坐标系转换成常用的WGS-84的方法;(6)对最终获取的广东省POI数据进行存储研究,包括实现了在Redis数据库和Mongodb数据库的数据存储;(7)对Mongodb数据库中的POI数据进行去重研究,实现对已经抓取的广东省POI数据进行去重处理。(4)通过和第三方软件对获取POI的方法和数据量进行对比,结果表明,本文的POI抓取程序比第三方软件能获取更加完整的POI数据,本文的研究成果具有较强的应用价值。
【学位单位】：广州大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP311.1;TU981
【部分图文】：

广东省交通设施分布图

图 2-2 利用 bigemap 软件采集 POI 数据写开发程序进行抓取利用地理信息或地图服务提供者提供的数据 API 接口，程序员可以自己码进行数据的获取，其工作量和所需时间受数据量和获取难度限制，重点

开发程序进行POI抓取示意界面图

【参考文献】

相关期刊论文 前4条

1 常家豪;;基于社交媒体的安全态势信息采集方法[J];网络安全技术与应用;2014年07期

2 成功;李小正;赵全军;;一种网络爬虫系统中URL去重方法的研究[J];中国新技术新产品;2014年12期

3 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

4 张桥平,李德仁,龚健雅;城市地图数据库面实体匹配技术[J];遥感学报;2004年02期

相关硕士学位论文 前1条

1 郑承良;互联网地理信息爬虫技术研究与应用[D];山东农业大学;2017年

本文编号：2825226