支付宝服务数据垂直搜索引擎研究暨用户输入处理模块的设计与实现

发布时间：2021-07-30 17:53

　　在支付宝服务体系的长期运营过程中，积累了大量的服务数据，包括客服人员整理的服务知识点以及与客户交流的服务聊天记录等。然而，这海量的服务数据并没有被加以利用。为提升整体服务质量，降低服务成本，并同时支持不同的服务应用，本文针对支付宝服务应用对于搜索的需求以及服务数据的特点做了深入的研究，设计和构建了一套高效、稳定、适应服务发展需求的垂直搜索引擎。并在此基础上，对系统的核心模块——用户输入处理模块作了具体的实现。用户输入处理模块主要对用户输入的查询语句进行预处理操作，包括前端查询解释、分词、关键词提取、同义替换、紧密度标注以及二次查询等操作。在这个过程中，本文结合N-gram模型，分词词性特点，编辑距离，余弦相似度，向量空间模型等算法，在分布式Hadoop计算平台下，通过优化模型计算以及结合算法间的逻辑操作，针对服务历史数据进行数据计算，从而生成自有的停用词表，挖掘出基于业务的同义词库，以及生成可用的单词间紧密度信息。与此同时，本文针对短文本提出了一种有效地关键词提取算法流程，在保证理解用户查询意图的同时提取出用户搜索的关键信息，从而提高了搜索的准确率和召回率。另外，针对用户输入处理模块中... 

【文章来源】：中山大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：96 页

【学位级别】：硕士

【部分图文】：

图3-1支付宝服务数据垂直搜索引擎——项目定位图

图 3-2 支付宝服务数据垂直搜索引擎——项目数据流图从图 3-2 可见，当用户提交了一个查询请求之后，系统将会对用户输入的查询请求进行预处理操作。该输入查询处理操作需要读取停用词表、同义词表以及N-gram 模型的数据信息，同时该处理过程的所有操作将会被记录在查询处理日

图 3-3 支付宝服务数据垂直搜索引擎——总体架构图3 中，清晰可见，本搜索引擎构建于 ISearch5 之上，顶层索请求，底层则是基于服务中心的原始基础服务数据构建


本文编号：3311855