基于词向量扩展的语义检索模型研究

发布时间：2024-04-14 18:23

　　信息技术的快速发展改变了人们的工作、学习与生活,如何从大量的文本数据中快速并且准确地检索到用户需要的信息成为了大数据信息时代的一大难题。传统信息检索方法是基于关键词的检索,忽略了语义信息,用户检索体验较差。本文将查询匹配方法引入查询扩展技术,并且结合改进后的排序算法和全文搜索引擎对信息检索技术进行优化,有助于改善用户查询过程中存在的“词不达意”和“文档不匹配”的问题。本论文的工作内容及主要贡献如下。首先,针对传统查询扩展算法忽略语义信息的缺点,在基于Word2vec查询扩展方法的基础上,结合自动阈值筛选方法和改进的LSF技术,提出基于词向量的语义扩展算法LW-TF。LW-TF算法实现的查询匹配包括两个步骤:一是结合自动阈值筛选方法和改进的LSF技术,以获取语义扩展词实现语义匹配;二是通过向量加权法获取查询向量和文档向量,实现关联匹配。实验结果表明,基于词向量的语义扩展算法相较于其他算法实现了查全率和查准率的提升,证明了算法的有效性。其次,本文结合LW-TF算法与改进后的BM25F-N排序评分算法,在全文检索的基础上,提出基于词向量扩展的语义检索算法,改善了传统搜索引擎排序算法对搜索结果...

【文章页数】：97 页

【学位级别】：硕士

【部分图文】：

图5-6语义检索模型首页示意图

电子科技大学硕士学位论文74提交查询请求，后台调用数据库返回检索结果给用户。图5-6语义检索模型首页示意图用户输入查询词“财经新闻”示意图如图5-7所示，输出10条与“财经新闻”相关性较高的文档，分别验证了第三章和第四章算法的有效性。图5-7语义检索模型输入查询词示意图用户输入查....

图5-7语义检索模型输入查询词示意图

电子科技大学硕士学位论文74提交查询请求，后台调用数据库返回检索结果给用户。图5-6语义检索模型首页示意图用户输入查询词“财经新闻”示意图如图5-7所示，输出10条与“财经新闻”相关性较高的文档，分别验证了第三章和第四章算法的有效性。图5-7语义检索模型输入查询词示意图用户输入查....

图5-8语义检索模型检索结果示意图

第五章基于词向量扩展的语义检索模型的建立75图5-8语义检索模型检索结果示意图根据图5-8的检索结果分析，本文发现，对于第三章的基于词向量的语义扩展算法来说，用户输入查询词“财经新闻”，不仅检索出了包含“财经新闻”的相关文档，也检索出了与“财经新闻”扩展词相关的“股市要闻”、“经....

本文编号：3955092