基于网络爬虫理论的GIS信息获取方式研究

发布时间：2017-06-22 22:12

  本文关键词：基于网络爬虫理论的GIS信息获取方式研究，由笔耕文化传播整理发布。

【摘要】：近年来,随着计算机科学的发展,网络大数据时代到来,为数据获取提供了一种新的思路。传统的GIS信息获取方式主要采用实地测量以及栅格地图、影像进行获取,需要大量的人力物力。通过深入网络数据挖掘,大量的属性数据以及矢量数据也可以从网络中进行获取。网络爬虫作为一种搜索引擎,为GIS信息获取提供了方便,它能从大量的网络平台上获取可靠相对真实的数据。将网络爬虫技术应用于地理信息系统可以较好的解决数据获取方面的难点。本文在研究网络爬虫的原理时,将其应用于GIS信息获取过程。主要研究了网络爬虫在属性信息获取、矢量信息获取以及将二者结合起来,并将其应用于房产评估系统当中。设计研究了网络爬虫软件关键技术与基于Web的GIS信息管理系统开发的关键技术。在通过网络爬虫获取了数据之后将其应用与GIS信息管理系统当中。本文的主要研究内容：(1)通过深入研究相关网页结构,通过对静态网页和动态网页进行分析,获得网页上相关的数据。利用相关技术,模拟用户操作过程,获得返回数据。(2)通过分析研究电子地图瓦片结构,了解电子地图结构。获取瓦片的地址链接,进行下载拼接。(3)深入研究ArcGIS自动矢量化过程,将获取的栅格地图进行二值化,并进行自动矢量化。(4)本文研究了ArcGIS提供的一组针对JavaScript脚本,对地图服务进行调用,尝试了将获取的矢量地图应用于实际任务中的可行性。(5)研究了JavaWeb相关开发技术,将获取的GIS属性数据以及空间数据应用于房产评估中。
【关键词】：静态网页 动态网页 ArcGIS For JavaScript JavaWeb
【学位授予单位】：辽宁工程技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208
【目录】：

• 致谢4-5
• 摘要5-6
• Abstract6-9
• 1 绪论9-13
• 1.1 选题背景9-10
• 1.2 研究现状10-11
• 1.2.1 网络爬虫研究现状10-11
• 1.2.2 Nutch开源项目简介11
• 1.2.3 聚焦爬虫11
• 1.3 研究内容11-12
• 1.4 论文结构12-13
• 2 爬虫理论GIS信息获取方式关键技术13-32
• 2.1 属性数据获取13-20
• 2.1.1 静态网页信息抓取13-17
• 2.1.2 动态网页信息抓取17-20
• 2.2 矢量数据获取20-23
• 2.2.1 地图下载20
• 2.2.2 电子地图下载20-22
• 2.2.3 地图矢量化22-23
• 2.3 Java多线程与多客户端23-29
• 2.3.1 Java线程创建24-25
• 2.3.2 java线程周期25
• 2.3.3 java线程安全25-26
• 2.3.4 java线程池26-27
• 2.3.5 多客户端与多IP代理设计27-29
• 2.4 ArcGIS For JavaScript API29-32
• 3 系统设计32-45
• 3.1 系统需求分析32
• 3.2 系统环境配置与部署32-37
• 3.2.1 JAVA开发环境配置33
• 3.2.2 MyEclipse以及Tomcat环境配置33-35
• 3.2.3 ArcGIS Server地图发布以及REST服务发布35-37
• 3.3 系统功能分析37-38
• 3.4 系统结构设计38-39
• 3.5 数据库设计39-40
• 3.6 系统作业流程设计40
• 3.7 系统实现的技术路线40-42
• 3.8 系统功能模块框架42-45
• 3.8.1 系统功能设计42-43
• 3.8.2 系统实现主界面43-45
• 4 网络爬虫的GIS信息获取在房产评估中的应用45-54
• 4.1 房子基本信息实时获取45-46
• 4.2 空间信息获取46-47
• 4.3 小区查询47-49
• 4.4 房产评估49-52
• 4.5 批量评估52-54
• 5 结论与展望54-55
• 5.1 结论54
• 5.2 展望54-55
• 参考文献55-57
• 作者简历57-59
• 学位论文数据集59

【相似文献】

中国期刊全文数据库 前10条

1 蔡笑伦;;网络爬虫技术的发展趋势[J];科技信息;2010年12期

2 杨德仁;顾君忠;;一种知识型网络爬虫的设计与实现[J];华东师范大学学报(自然科学版);2006年03期

3 王鲁荣;;基于主题网络爬虫的高校网络信息动态搜索策略研究[J];四川师范大学学报(自然科学版);2011年06期

4 邓焕根;;网络爬虫在舆情监测中的应用研究[J];广东科技;2014年06期

5 方育柯;傅彦;周俊临;夏虎;;基于主题网络爬虫的不良网页的发现与识别[J];郑州大学学报(理学版);2010年02期

6 王军;彭建;;网络爬虫的结构设计研究[J];科技信息(学术研究);2007年27期

7 马晓娟;;网络爬虫在搜索引擎应用中的问题及对策[J];赤峰学院学报(自然科学版);2013年20期

8 刘炜;张红云;熊前兴;;基于语义分析的网络爬虫模型的研究[J];科技信息;2008年35期

9 刘骄阳;;基于网络爬虫的四川大学资讯整合网站的研究与设计[J];科协论坛(下半月);2013年07期

10 张春菊;张雪英;朱少楠;徐希涛;;基于网络爬虫的地名数据库维护方法[J];地球信息科学学报;2011年04期

中国重要会议论文全文数据库 前4条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

中国硕士学位论文全文数据库 前10条

1 陶俊文;基于Heritrix框架的专业镇信息网络爬虫系统[D];华南理工大学;2015年

2 马汉超;基于主题网络爬虫的汽车行业多元信息web系统设计与实现[D];西南交通大学;2015年

3 黄永军;面向垂直搜索的网络爬虫设计与实现[D];北京邮电大学;2013年

4 罗路天;垂直搜索引擎中主题网络爬虫算法的设计与研究[D];广东工业大学;2016年

5 胡博;基于网络爬虫的内容资源评价研究[D];北京理工大学;2015年

6 刘欣;基于微信和网络爬虫的高校信息服务平台分析与设计[D];重庆师范大学;2016年

7 姚富贵;基于分布式的商品信息网络爬虫系统的设计与实现[D];华中科技大学;2014年

8 郑名达;面向中小学教育资源的网络爬虫的研究与设计[D];中央民族大学;2016年

9 房瑾堂;基于网络爬虫的在线教育平台设计与实现[D];北京交通大学;2016年

10 王义华;基于Web服务的虚假评论检测系统设计与实现[D];云南大学;2016年

  本文关键词：基于网络爬虫理论的GIS信息获取方式研究，，由笔耕文化传播整理发布。

本文编号：473275