融入特征和注意力机制的问题生成方法研究

发布时间：2023-02-14 20:18

　　问题生成任务旨在为文本生成相应的自然语言问句。传统方法主要通过复杂的人工规则将陈述句转化为自然问句,以此方法生成的问句往往表述简单,普适性较低。目前,深度学习法方法已经被应用于问题自动生成任务,其中,以端到端的架构为主。深度学习方法直接将陈述句作为模型的输入,忽略了密令的相关信息。其中,密令是句子中的连续短语片段,生成问句所需要关注的“潜在提问对象”,又称为答案源。从而,其往往使得模型的性能受限于固有的问题提问方式,无法适应原句(答案源)的自身特点。因此,本文利用特征和注意力机制加强关注陈述句中的密令进行问题生成研究,主要内容包含以下三个方面:(1)基于密令位里信息的问题生成现有的问题生成方法以端到端的序列化生成模型为基本框架,该方法由于对句子中密令的关注度不足,使得模型无法适应原句(答案源)的语言特性。针对此弊端,本文提出一种基于密令位置信息的点对点的问题生成模型。该模型将密令位置信息与全句语义信息进行融合。本方法的目标是通过添加密令位置信息辅助原有模型自动关注密令。实验结果显示,相比于基准系统,本方法在SQuAD数据上BLEU-4指标提高1.98个百分点。(2)基于疑问词识别的问题...

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 研究现状
        1.2.1 文本生成研究现状
        1.2.2 问题生成的研究现状
    1.3 问题生成现有研究中存在的问题
    1.4 本文的研究内容和组织结构
第二章 问题生成概述
    2.1 问题生成方法
    2.2 端到端模型
        2.2.1 循环神经网络
        2.2.2 编码-解码过程
    2.3 语料概述
    2.4 评价方法
    2.5 本章小结
第三章 基于密令位置信息的问题生成
    3.1 研究动机
    3.2 融合密令位置信息的问题生成模型
        3.2.1 密令位置信息表示
        3.2.2 句子语义信息编码
        3.2.3 密令位置信息特征抽取
        3.2.4 门控注意力解码层
    3.3 实验及结果分析
        3.3.1 语料配置
        3.3.2 实验配置
        3.3.3 参数配置
        3.3.4 实验结果及分析
    3.4 本章小结
第四章 基于疑问词识别的问题生成方法
    4.1 研究动机
    4.2 基于疑问词识别的问题生成
        4.2.1 基于密令的疑问词预测模型
        4.2.2 端到端的问题生成模型
    4.3 实验及结果分析
        4.3.1 语料配置
        4.3.2 实验配置
        4.3.3 评价方法
        4.3.4 实验结果及分析
    4.4 本章小结
第五章 基于双向注意力机制的问题生成网络
    5.1 研究动机
    5.2 基于指针网络的问题生成
        5.2.1 注意力机制获取上下文信息
        5.2.2 基于指针网络的问题生成模型
    5.3 基于双向注意力机制的问题生成方法
    5.4 实验配置与分析
        5.4.1 实验配置
        5.4.2 实验结果与分析
    5.5 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 工作展望
参考文献
攻读学位期间公开发表的论文
致谢



本文编号：3742950