基于全文搜索引擎的大规模轨迹数据高效查询统计研究

发布时间：2020-08-22 22:00

【摘要】：轨迹数据是连续轨迹点的集合,轨迹点通常是具有时间和空间属性的空间点对象。在互联网、GPS定位等技术迅速发展的背景下,轨迹数据的种类、规模及其产生速度都在迅速增加。海量的轨迹数据必然蕴含了诸多有用的信息,通过不同的技术与方法对这些信息进行挖掘分析,对空间数据的研究与应用有着重要意义。数据的查询与统计是数据挖掘分析的必要条件,也是互联网产品日常使用过程中的基本需求;高效的数据查询与统计速度不仅能保障数据分析的时效性,而且有助于提升互联网产品的用户体验。本文基于Elasticsearch全文搜索引擎框架,以出租车轨迹数据为例,对空间轨迹数据的高效查询与统计分析做了深入研究。首先,剖析了传统关系型数据库与全文搜索引擎在大规模数据存储与检索上的优劣;其次,搭建了Elasticsearch集群服务并对其查询性能做了测试分析;再次,基于Geohash地理编码实现了WebGIS中大量点数据高效聚合展示的功能;最后,设计并开发了大规模轨迹数据高效查询统计系统,验证了将全文搜索引擎应用于轨迹数据高效检索的可行性。本研究主要取得如下成果:1)探索了出租车轨迹数据在Elasticsearch集群中的存储方案,搭建了用于存储出租车轨迹数据的Elasticsearch集群。经性能测试工具的模拟查询测试,该集群在高并发访问条件下具有高效的查询速度与可靠的稳定性。2)后台实现了起讫点数据高效动态聚合展示的相关算法,解决了传统前端WebGIS框架难以实现大规模点数据高效聚合的问题。该方法首先采用Geohash对二维空间进行网格划分,对出租车起讫点数据进行基于网格的聚类,然后将聚类结果再次进行基于密度的聚类得到最终聚合结果。经实例验证,该方法具有较好的动态聚合效率与效果。3)基于Elasticsearch集群服务与相关前端开发框架设计开发了用于大规模轨迹数据高效查询统计的可视化系统,系统支持空间查询、属性查询、聚合分析、热点区域分析等功能。从而实现了全文搜索引擎与WebGIS应用的结合。
【学位授予单位】：长安大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：U491;TP311.13
【图文】：

技术路线

关系型数据库主从复制系统架构

JSON数据的组织形式

【参考文献】

相关期刊论文 前8条

1 叶素珠;王雷雨;;商业企业选址的共赢问题探讨——以龙洞华润万家与麦当劳为例[J];物流工程与管理;2015年10期

2 牟乃夏;张恒才;陈洁;张灵先;戴洪磊;;轨迹数据挖掘城市应用研究综述[J];地球信息科学学报;2015年10期

3 徐永龙;李斌;徐明霞;赵立超;;一种数字地图切片算法的实现[J];测绘科学;2014年02期

4 席景科;谭海樵;;空间聚类分析及评价方法[J];计算机工程与设计;2009年07期

5 刘旭林;赵文芳;刘国宏;;基于WebGIS的气象信息显示和查询系统[J];应用气象学报;2008年01期

6 孙吉贵;刘杰;赵连宇;;聚类算法研究[J];软件学报;2008年01期

7 陈斐,杜道生;空间统计分析与GIS在区域经济分析中的应用[J];武汉大学学报(信息科学版);2002年04期

8 沈苏彬,顾冠群;网络体系结构与网络难题的解决方案[J];东南大学学报;1999年05期

相关硕士学位论文 前1条

1 肖雄;基于Hadoop作业内计算任务调度优化的研究[D];电子科技大学;2016年

本文编号：2801202