面向多任务的句嵌入方法研究

发布时间：2022-09-24 18:57

　　自然语言处理的发展决定了机器在语义上的理解能力,如何将自然语言向量化则是近年来自然语言处理界的研究热点。语言向量化分为词向量化和句向量化。针对词向量化问题,陆续推出了word2vec、glove等词嵌入模型,并将它们作为自然语言处理的基础广泛运用于各个领域。而句嵌入的发展还不成熟,所以获得通用的可迁移的句嵌入模型是当前自然语言处理界的一大研究热点。在这个背景下,本文提出用监督学习的方法对句嵌入进行学习,通过在特定任务上对句子语义进行充分的学习后,得到一个可迁移的面向多任务的通用的句嵌入模型。本文的主要工作内容分为以下两点:（1）在监督模型下本文提出两种整合上下文信息的句嵌入模型:一是上下文信息池化模型,利用循环神经网络的前向和后向的信息进行映射,得到去噪后丰富的句向量特征,并采用最大值池化的方法得到句嵌入;二是一种基于注意力机制且有效利用上下文信息的上下文信息联合注意力模型,利用注意力机制将各时间步上的特征信息整合到固定维度的句嵌入中,在SNLI数据集上的实验结果论证了这两个模型的有效性。同时根据词具有多语义的特点提出了词语义掩码的模型,实验证明了该掩码模型的可行性与局限性。（2）在迁... 

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 课题研究背景
    1.2 主要研究工作
    1.3 相关研究进展
    1.4 本文研究重点及章节安排
第二章 句嵌入相关研究技术
    2.1 词向量的获取
        2.1.1 Word2vec
        2.1.2 Glove
        2.1.3 Word2vec和Glove的对比
    2.2 序列处理模型
        2.2.1 循环神经网络
        2.2.2 卷积神经网络
    2.3 降维生成固定长句嵌入策略
        2.3.1 注意力模型
        2.3.2 池化模型
第三章 整合上下文信息的句嵌入模型及特定任务表现
    3.1 整合上下文信息的句嵌入模型
        3.1.1 BiLSTM最大池化模型
        3.1.2 词语义掩码模型
        3.1.3 上下文信息池化模型
        3.1.4 上下文信息联合注意力模型
    3.2 斯坦福大学自然语言推断任务
        3.2.1 SNLI数据集介绍
        3.2.2 SNLI数据集任务模型
    3.3 SNLI数据集实验及分析部分
        3.3.1 训练参数设置
        3.3.2 评价标准
    3.4 实验结果及分析
    3.5 实验结论
第四章 迁移任务上的上下文信息句嵌入模型
    4.1 上下文信息模型与其他监督训练模型在不同迁移任务上的对比
        4.1.1 二分类/多分类任务
        4.1.2 蕴含和语义相关任务
        4.1.3 语义文本相似度任务
        4.1.4 实验结果及分析
    4.2 上下文信息句嵌入模型与各类句嵌入模型通用性能比较
        4.2.1 采用无序信息的无监督训练模型
        4.2.2 采用有序信息的无监督训练模型
        4.2.3 监督训练的句子向量化模型
        4.2.4 实验结果及分析
    4.3 实验结论
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文目录



本文编号：3680688