基于Elasticsearch的地名和POI数据检索系统的设计与实现
发布时间：2022-10-10 20:01
在大数据时代的背景下,人们对数据挖掘、数据分析和数据检索愈加重视。地名信息数据在移动互联网的助推下,具有特殊战略地位。从国家层面,地名信息是国家地理信息化建设的重要组成部分;从民生层面,随着移动互联网和全球定位系统持续升温,基于位置的服务技术在各行各业广泛应用。如今人们追求更加智能精准的、具有地理范围限制的结果。因此,如何有效结合传统搜索和地名信息检索显得格外重要。地名信息存储的传统方式采用关系型数据库,该方式存在很多弊端,如不支持海量数据存储,表模式缺乏灵活扩展性,提供的检索方式单一,针对关键字只支持模糊查询,匹配效率低下,不支持空间位置检索等,无法满足人们对地名检索的需求。新兴的NoSQL数据库HBase,具有分布式、高性能、存储模式灵活、支持海量存储等优点,可以解决地名数据的存储问题,但是HBase提供的检索服务单一、只有主键索引,本身不提供二级索引,且没有提供对空间数据存储和管理的直接支持。针对上述问题,本文基于HBase和Elasticsearch等核心技术设计实现了基于Web的地名和POI数据检索系统。该系统实现了关键字搜索、兴趣点类型搜索、自我推荐、范围搜索、区域搜索和组...
【文章页数】：90 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.2.1 HBase二级索引的发展现状
1.2.2 Elasticsearch应用和研究现状
1.3 论文主要工作
1.4 论文的组织结构
第二章 相关技术概述
2.1 开源分布式计算平台Hadoop
2.1.1 Hadoop框架
2.1.2 分布式存储系统HDFS
2.1.3 分布式数据库HBase
2.1.4 分布式计算框架MapReduce
2.1.5 HBase协处理器框架
2.2 索引技术
2.2.1 全文检索工具库Lucene
2.2.2 分布式搜索引擎Elasticsearch
2.2.3 LuceneSpatial原理
2.3 本章小结
第三章 地名数据存储与检索系统的设计
3.1 总体功能与要求
3.2 系统总体架构与模块设计
3.2.1 系统架构
3.2.2 数据持久模块设计
3.2.3 数据索引模块设计
3.2.4 数据查询模块设计
3.3 系统总体流程
3.3.1 数据的存储流程
3.3.2 数据的查询流程
3.4 本章小结
第四章 地名数据存储与检索系统的实现
4.1 数据持久模块的实现
4.1.1 数据处理模块的实现
4.1.2 数据存储模块的实现
4.2 检索查询模块的实现
4.2.1 服务器端查询实现
4.2.2 用户查询界面实现
4.3 数据索引模块的实现
4.3.1 Elasticsearch的部署实现
4.3.2 全文检索mapping定义
4.3.3 基于ES的HBase二级索引方案实现
4.3.4 HBase与ES同步模块实现
4.3.5 ES索引备份实现
4.3.6 中文分词插件
4.4 性能优化
4.4.1 ES集群性能优化
4.5 本章小结
第五章 系统测试
5.1 测试环境
5.2 测试数据
5.3 测试工具
5.4 功能测试
5.4.1 服务器端功能测试
5.5 性能测试
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]海量自动气象站分钟数据存储检索系统设计[J]. 王建荣,季刚. 计算机与现代化. 2017(09)
[2]一种基于Solr的HBase海量数据二级索引方案[J]. 王文贤,陈兴蜀,王海舟,吴小松. 信息网络安全. 2017(08)
[3]基于HBase+ ElasticSearch的海量交通数据实时存取方案设计[J]. 董长青,任女尔,张庆余,田玉靖. 大数据. 2017(01)
[4]基于HBase的海量文件的检索方案研究[J]. 陈栋波,高跃明. 软件. 2016(11)
[5]HBase时空查询算法研究[J]. 张翀,陈晓莹,史宗麟,葛斌. 小型微型计算机系统. 2016(11)
[6]基于Lucene的地名数据库快速检索系统[J]. 张文元,周世宇,谈国新. 计算机应用研究. 2017(06)
[7]基于GeoNames和Solr的地名数据全文检索[J]. 魏勇,胡丹露,李响,王丰. 测绘工程. 2016(02)
[8]基于Apache Lucene的地址匹配技术研究[J]. 卢盛祺,何施晶,韩景倜. 微型机与应用. 2015(18)
[9]基于ElasticSearch的数字图书馆检索系统[J]. 张建中,黄艳飞,熊拥军. 计算机与现代化. 2015(06)
[10]运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析[J]. 陈和. 现代图书情报技术. 2015(05)
硕士论文
[1]基于深度学习的溯源视频目标检测与识别[D]. 刘健.东南大学 2016
[2]基于Hadoop的空间矢量数据的分布式存储与查询研究[D]. 陈俊欣.电子科技大学 2016
[3]基于HDFS的文件管理系统的设计与实现[D]. 孟密密.东南大学 2016
[4]海事大数据查询服务平台的设计与实现[D]. 沈婷.电子科技大学 2015
[5]一种基于HBase的海量空间遥感数据检索系统[D]. 林久对.浙江大学 2015
[6]基于ElasticSearch的分布式视频垂直搜索引擎的设计与实现[D]. 张高伟.哈尔滨工业大学 2014
[7]基于HBase的空间数据分布式存储和并行查询算法研究[D]. 丁琛.南京师范大学 2014
[8]大数据下空间数据索引和kNN查询技术的研究[D]. 董亭亭.大连理工大学 2013
[9]基于Lucene的HBase全文检索功能的设计与实现[D]. 邹敏昊.南京大学 2013
[10]基于地理信息的检索和用户数据挖掘[D]. 任克江.大连理工大学 2013
本文编号：3690262
【文章页数】：90 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.2.1 HBase二级索引的发展现状
1.2.2 Elasticsearch应用和研究现状
1.3 论文主要工作
1.4 论文的组织结构
第二章 相关技术概述
2.1 开源分布式计算平台Hadoop
2.1.1 Hadoop框架
2.1.2 分布式存储系统HDFS
2.1.3 分布式数据库HBase
2.1.4 分布式计算框架MapReduce
2.1.5 HBase协处理器框架
2.2 索引技术
2.2.1 全文检索工具库Lucene
2.2.2 分布式搜索引擎Elasticsearch
2.2.3 LuceneSpatial原理
2.3 本章小结
第三章 地名数据存储与检索系统的设计
3.1 总体功能与要求
3.2 系统总体架构与模块设计
3.2.1 系统架构
3.2.2 数据持久模块设计
3.2.3 数据索引模块设计
3.2.4 数据查询模块设计
3.3 系统总体流程
3.3.1 数据的存储流程
3.3.2 数据的查询流程
3.4 本章小结
第四章 地名数据存储与检索系统的实现
4.1 数据持久模块的实现
4.1.1 数据处理模块的实现
4.1.2 数据存储模块的实现
4.2 检索查询模块的实现
4.2.1 服务器端查询实现
4.2.2 用户查询界面实现
4.3 数据索引模块的实现
4.3.1 Elasticsearch的部署实现
4.3.2 全文检索mapping定义
4.3.3 基于ES的HBase二级索引方案实现
4.3.4 HBase与ES同步模块实现
4.3.5 ES索引备份实现
4.3.6 中文分词插件
4.4 性能优化
4.4.1 ES集群性能优化
4.5 本章小结
第五章 系统测试
5.1 测试环境
5.2 测试数据
5.3 测试工具
5.4 功能测试
5.4.1 服务器端功能测试
5.5 性能测试
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]海量自动气象站分钟数据存储检索系统设计[J]. 王建荣,季刚. 计算机与现代化. 2017(09)
[2]一种基于Solr的HBase海量数据二级索引方案[J]. 王文贤,陈兴蜀,王海舟,吴小松. 信息网络安全. 2017(08)
[3]基于HBase+ ElasticSearch的海量交通数据实时存取方案设计[J]. 董长青,任女尔,张庆余,田玉靖. 大数据. 2017(01)
[4]基于HBase的海量文件的检索方案研究[J]. 陈栋波,高跃明. 软件. 2016(11)
[5]HBase时空查询算法研究[J]. 张翀,陈晓莹,史宗麟,葛斌. 小型微型计算机系统. 2016(11)
[6]基于Lucene的地名数据库快速检索系统[J]. 张文元,周世宇,谈国新. 计算机应用研究. 2017(06)
[7]基于GeoNames和Solr的地名数据全文检索[J]. 魏勇,胡丹露,李响,王丰. 测绘工程. 2016(02)
[8]基于Apache Lucene的地址匹配技术研究[J]. 卢盛祺,何施晶,韩景倜. 微型机与应用. 2015(18)
[9]基于ElasticSearch的数字图书馆检索系统[J]. 张建中,黄艳飞,熊拥军. 计算机与现代化. 2015(06)
[10]运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析[J]. 陈和. 现代图书情报技术. 2015(05)
硕士论文
[1]基于深度学习的溯源视频目标检测与识别[D]. 刘健.东南大学 2016
[2]基于Hadoop的空间矢量数据的分布式存储与查询研究[D]. 陈俊欣.电子科技大学 2016
[3]基于HDFS的文件管理系统的设计与实现[D]. 孟密密.东南大学 2016
[4]海事大数据查询服务平台的设计与实现[D]. 沈婷.电子科技大学 2015
[5]一种基于HBase的海量空间遥感数据检索系统[D]. 林久对.浙江大学 2015
[6]基于ElasticSearch的分布式视频垂直搜索引擎的设计与实现[D]. 张高伟.哈尔滨工业大学 2014
[7]基于HBase的空间数据分布式存储和并行查询算法研究[D]. 丁琛.南京师范大学 2014
[8]大数据下空间数据索引和kNN查询技术的研究[D]. 董亭亭.大连理工大学 2013
[9]基于Lucene的HBase全文检索功能的设计与实现[D]. 邹敏昊.南京大学 2013
[10]基于地理信息的检索和用户数据挖掘[D]. 任克江.大连理工大学 2013
本文编号：3690262
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3690262.html
