检索式问答应用的设计与实现

发布时间：2020-06-01 11:51

【摘要】：随着信息时代高速发展,人们对信息获取的准确性和高效性提出了更高的要求,传统的搜索引擎越来越难以满足用户的需求。检索式问答应用逐渐得到更广泛的应用。本文设计和实现了面向Java编程语言的检索式问答应用,可以针对用户提出的Java编程语言的相关问题给出回答。本文首先构建了 Java编程语言领域的问答数据集,而后基于此数据集设计和实现了检索式问答应用。本应用通过Web页面接收用户查询请求,而后分析用户查询意图,在问答数据集中查找相似问题或相关文档,然后对候选答案排序并返回给用户。同时此应用支持用户对“问题-答案相关度”进行评价,并将用户评价作为优化候选答案排序的依据。此应用的信息检索模块采用了基于文本表示的相似问题检索方法以获得候选答案集合;重排序模块中引入了基于机器学习的排序模型以优化答案排序。本文首先介绍了本文的研究背景;基于对问答应用的调研,分析了面向垂直领域的检索式问答应用的需求;接着,本文详细介绍了检索式问答应用的总体设计和各个模块的详细设计,随后对各个模块的实现加以介绍;最后通过一系列测试验证了应用的有效性。
【图文】：

模型结构,词语,出现概率

Ｂａｇ－ｏｆ－Ｗｏｒｄｓ，邋ＣＢ0Ｗ）和连续跃文模型（Ｃｏｎｔｉｎｕｏｕｓ邋Ｓｋｉｐ邋Ｇｒａｍ，邋Ｓｋｉｐ－ｇｒａｍ）。逡逑ＣＢＯＷ模型时根据上下文预测当前词语而Ｓｋｉｐ－ｇｒａｍ模型是根据当前语句中的词逡逑语预测上下文的出现概率，模型结构可见图２－１。逡逑输入邋映射逦输出逦输入邋映射逦输出逡逑ｗ（ｔ－２）逦ｖ逦Ｊ逦ｗ（ｌ－２）逡逑ｗ（ｌ－１）逦＼逦／逦帅？”逡逑逦？邋Ｗ（ｔ）逦ｗ（ｔ）邋逦逦？逡逑／？逦Ｋ逡逑／逦＼逦？．２，逡逑ｗ（卜邋２）逦ｆ逦５逦ｗ（，４２）逡逑ＣＢＯＷ逦Ｓｋｉｐ－ｇｒａｍ逡逑图２－１邋ＣＢＯＷ与Ｓｋｉｐ－ｇｒａｍ模型结构图［５］逡逑９逡逑

结构图,问题处理,问题,需要分析

指根据问题意图分析得出的所需要答案的分类；候选答案指根据与问题的匹配关逡逑系确定的可能适合问题的答案。当前问答应用一般包括三个子模块［９］：问题处理、逡逑文档处理和答案处理，如图２－２所示。逡逑ｉｍｔａ逦问题ｉｔｓ逡逑写入的话ａ逦ｒ逦＇邋１邋／邋－逦＼逡逑——问政结构分析酋逦Ｉ逦问ｉｓ结构分析器逡逑ａｌａ邋？黯ｒ？的文逦＊邋ｒ邋？逡逑ＨＳＳ邋Ｉ逦ｊ逡逑？逦倌隳检索．素引和数？？逦Ｑ逦￣Ｑ逡逑？逦神经网络播型逦0逦0逡逑目目目逦；逦＾逦ｎ逡逑§§§逦Ｊ逦答＿逡逑§§§邋＼逦〈＾｜００００Ｐ‘ｓ相料的佊财以搖答案逡逑图２－２问答应用模型结构图逡逑其中问题处理模块需要分析问题目以决定问题类型以及此问题的问题焦点，，逡逑这步处理是为了避免答案的模糊性，它主要包括了接收到用户问题、分析问题结逡逑构并分词、将自然语言转换成机器可以处理的形式并进行问题分类。对于答案分逡逑类，可以通过人工和自动的方式：人工手动分类使用很多自定义的规则来划分问逡逑题类型，通过这类规则使问题分类较为准确但同时也是非常耗时，一般问题可以逡逑通过疑问词简单划分为方法类、定义类、地点类、时间类、人物类、原因类等；逡逑而自动的问题分类研宄的是在准确度可接受范围内，当前通常使用基于统计特征逡逑的方法如朴素贝叶斯、基于多粒度词嵌入表示的方法或通过机器学习进行问题分逡逑类，这类方法也可识别出新类型的问题。逡逑不同于针对于每个用户问题进行分词的问题处理步骤，文档处理的主要特征逡逑是选择？？组相关文档
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3;TP311.52

【相似文献】