位置服务信息集成与搜索系统的研究与实现

发布时间：2020-06-01 21:57

【摘要】：随着互联网的发展,尤其是移动互联网技术日新月异的近10年间,基于位置的服务信息越来越多且越来越重要,如租房、家政、商家、酒店等服务信息。基本上生活中与衣食住行息息相关的服务信息都可以发布在互联网上,并且越来越多的信息会附带有位置坐标。如何将这些服务信息进行采集、分析、存储并以用户为中心提供个性化的搜索服务成为现实亟需解决的问题。本文实现了位置服务信息分别从互联网和用户的采集,并对采集的数据进行分析、存储和索引,实现了对服务信息的个性化搜索,让用户精确、便捷、个性化地搜索获取所需的服务信息。本文主要工作如下:1.针对从互联网垂直领域站点采集位置服务信息过程中目标站点较强的反爬虫策略,为提高需求数据的采集效率,设计、开发并实现了一个基于客户端-服务器模式的爬虫模型。服务器端负责动态控制任务URL的生产、调度以及对采集结果的收集,客户端程序定时主动请求任务URL并采集所需数据。客户端设计了动态改变采集设置以达到最优采集效率的策略,服务器根据客户端消费任务的效率动态生产适量的任务URL。任务的生产、调度与采集结果的收集是通过设置监听、一系列定时任务及一张任务表配合完成。任务表状态字段精确控制采集任务的状态,以确保数据采集的时效性及完整性。通过采集测试和与其他爬虫的对比,验证了设计的任务生产与调度策略以及客户端采集设置动态调节策略的实用性。该模型实现了让更多、更广泛的节点为数据采集需求服务,达到了预期可观的采集效率。2.为了让可以提供个性化服务的用户便捷地发布各类带有位置坐标的服务信息,设计、开发了从用户采集位置服务信息模块的后台程序与移动端APP。后台程序基于Java Web分层架构使用SSM框架搭建,设计了与数据采集业务相关的接口程序。移动端基于Android Studio开发环境应用百度地图SDK设计组件及界面,实现了从提供服务的用户采集不同类别的位置服务信息。位置信息获取设计有地图定位、选点获取坐标和坐标与地址信息相互转换功能;新增店铺和服务信息模块设计有服务类别提示,类别信息由类别编码表维护;同时,实现移动端拍照和相册选取获取图片数据与后台程序交互。3.为了让用户能够通过搜索框一次性、便捷地输入个性化查询信息并快速、精确地获取所需的查询结果,设计、实现了一个位置服务信息个性化搜索引擎。首先,按生产环境配置要求搭建了Elasticsearch分布式集群。之后,对集成的位置服务信息按一定规则构建了领域词库和词汇分级权重表。领域词库用于提高索引与查询数据的准确度。词汇分级权重表用于在构建查询语句时赋予该表中出现的关键字对应权重,以增加相关度评分。前端设计有查询信息输入提示规则以便让用户一次性、便捷地输入查询信息。后台程序按规则对查询信息析取词汇并根据词汇级别构造索引库查询语句搜索文档。最后,通过示例验证,该搜索引擎实现了让用户一次性、便捷地输入查询信息并快速、精确地响应给用户所需的查询结果。
【图文】：

流行趋势,引擎,全球,框架

位置服务信息集成与搜索系统的研究与实现（Python，NET，，Java，Ruby 等）的 API 和基于 HTTP 的 RESTfulAPI 与外部进行交互。同时，其提供了高效的聚合分析功能[19]。目前国内外很多公司在使用 ElasticSearch 作为应用的搜索引擎框架[17]。维基百科使用 ElasticSearch 进行全文搜索并突出显示查询词。英国卫报使用 ElasticSearch 处理访客日志，以便公众对不同文章的回复实时反馈给各位编辑。GitHub 核心架构由 Solr 转向Elasticsearch 来检索超过 1300 亿行代码[20]。截至 2018 年 9 月全球部分搜索引擎框架使用流行趋势图[21]，如图 1.1 所示。

结构图,搜索系统,总体组织,位置服务

图1.2位置服务信息集成与搜索系统总体组织结构图
【学位授予单位】：兰州理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09;TP391.3

【参考文献】