基于注意力机制的答案选择排序研究

发布时间：2023-10-06 11:37

　　搜索引擎的使用方便了人们的生活,但其查询结果仍需要人工筛选。给定一个问题,如何精准地获取正确答案显得至关重要。答案选择排序是解决该问题的一个切入点,其关键就是问题答案句子之间的语义相似度计算。在语义相似度计算方法一定的条件下,问题答案句子之间的语义相似度主要取决于问题答案句子内部的语法语义信息以及问题答案句子之间的语义信息。本课题基于语义相关度距离概念假设,构建新的答案选择排序模型,并且从以上两个方面提升模型性能。本课题研究的主要贡献如下:1.提出了问题答案句子语义相关度距离的概念假设,详细诠释了如何将候选答案集合中的正确答案和错误答案区分开,从而把正确答案选择出来。然后,依据该理论构建了新的答案选择排序模型。2.针对答案选择排序任务,使用统计和深度学习相结合的方法提取句子词性特征。先使用深度学习模型进行句子上下文语义捕获,再使用统计模型进行标注并解决未登录词的标注问题。然后通过集成两种模型的优势进行高效地词性特征提取,并进行实验性能验证。最后将问题答案句子词性特征与排序模型融合,增强问题答案句子内部语法语义信息。3.通过词性与原始语料融合后的语义引入注意力机制。区别于针对原始语料或者...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究的背景和意义
    1.2 研究现状
        1.2.1 词性特征提取
        1.2.2 注意力机制
        1.2.3 答案选择排序
    1.3 研究内容
    1.4 研究方案
    1.5 文章组织结构
第二章 相关技术概述
    2.1 词性标注
        2.1.1 基于词典查找的词性标注
        2.1.2 基于规则和统计的词性标注
        2.1.3 基于深度学习的词性标注
    2.2 注意力机制
        2.2.1 硬注意力机制和软注意力机制
        2.2.2 全局注意力机制和局部注意力机制
        2.2.3 自注意力机制
    2.3 答案选择排序
        2.3.1 Pointwise
        2.3.2 Pairwise
        2.3.3 Listwise
    2.4 本章总结
第三章 基于统计和深度学习的词性标注模型
    3.1 引言
    3.2 模型
        3.2.1 标注模型架构
        3.2.2 条件随机场处理层
        3.2.3 维特比算法解码标注序列
    3.3 实验
        3.3.1 实验数据
        3.3.2 实验设置
        3.3.3 评估指标
    3.4 结果与分析
        3.4.1 模型实验结果
        3.4.2 不同模型对比
    3.5 本章总结
第四章 融合词性与注意力的答案选择排序模型
    4.1 引言
    4.2 模型
        4.2.1 排序模型架构
        4.2.2 词性特征融合
        4.2.3 注意力矩阵构造
    4.3 实验
        4.3.1 实验数据
        4.3.2 实验设置
        4.3.3 评估指标
    4.4 结果与分析
        4.4.1 词性和注意力对模型的改进
        4.4.2 相似任务模型对比
    4.5 本章总结
第五章 结论与展望
    5.1 主要结论
    5.2 研究展望
参考文献
在学期间的研究成果
致谢



本文编号：3851781