基于深度学习的短文本语义理解方法研究

发布时间：2021-01-17 06:23

　　短文本是相对文档和长文本而言,长度比较短的文本。根据粒度大小不同,短文本又可以划分为词语、句子或段落。随着网络的遍及,用户可以方便的在互联网和移动终端进行提问、表达观点和进行评论,产生了大量的文本信息,这些信息主要是以短文本的形式进行存在。然而,由于短文本表述方式的多样性,词语和句法结构的不规范等问题,采用传统的算法进行处理经常会存在特征向量表示稀疏、歧义和语义缺失等问题,不能很好的完成与短文本语义理解相关的任务。针对上述存在的不足,本文进行了基于深度学习的短文本语义理解研究。主要利用深度学习的技术及相关算法,对基于语义理解的语义匹配和阅读理解任务进行研究。主要贡献及创新如下:1、设计了一种新的基于双层注意力机制的语义匹配模型。首先,在词表示层上采用基于注意力机制的预处理来过滤冗余的信息;其次,在上下文表示层上采用双向多角度注意力机制,从而获得更多的交互信息;最后,将得到的交互信息分别通过双向长短时记忆网络,合并两个序列输出的最后时间步长,并进行输出预测。实验结果表明,本文提出的模型在实验数据集上的准确性均优于现有的先进基准模型。2、提出一种基于全局和局部注意力交互机制的语义理解模型。... 

【文章来源】：桂林电子科技大学广西壮族自治区

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    §1.1研究背景及意义
    §1.2国内外研究现状与问题
        §1.2.1研究现状
        §1.2.2存在的问题
    §1.3本文研究内容
    §1.4论文的结构安排
    §1.5本章小结
第二章 一种基于双层注意力机制的语义匹配模型
    §2.1相关工作基础
        §2.1.1长短时记忆网络
        §2.1.2注意力机制
    §2.2相关研究工作
    §2.3基于双层注意力机制的语义匹配模型
        §2.3.1双层注意力机制模型结构
        §2.3.2注意力机制的矩阵化表示
        §2.3.3改进的双向多角度注意力匹配
    §2.4实验数据及参数设置
        §2.4.1实验数据
        §2.4.2实验参数设置
    §2.5实验结果与分析
        §2.5.1基于双层注意力机制的模型对比实验及分析
        §2.5.2双层注意力机制模型扩展实验及分析
    §2.6本章小结
第三章 基于全局和局部注意力交互机制的语义理解模型
    §3.1相关工作基础
        §3.1.1门递归神经网络
    §3.2相关研究工作
    §3.3全局和局部注意力交互机制的语义理解模型
        §3.3.1全局和局部交互特征提取模型结构
        §3.3.2全局和局部注意力交互的特征提取方法
        §3.3.3特征融合
    §3.4实验数据及参数设置
        §3.4.1实验数据
        §3.4.2实验参数设置
    §3.5实验结果及分析
        §3.5.1模型结果对比实验
    §3.6本章小结
第四章 基于深度可分离卷积残差块的阅读理解模型
    §4.1相关工作基础
        §4.1.1卷积神经网络
        §4.1.2深度可分离卷积
        §4.1.3残差网络
    §4.2相关研究工作
    §4.3深度可分离卷积残差块阅读理解模型
        §4.3.1深度可分离卷积残差块的设计
        §4.3.2深度可分离卷积残差块阅读理解模型设计
    §4.4实验数据及参数设置
    §4.5实验结果及分析
    §4.6本章小结
第五章 总结与展望
    §5.1本文总结
    §5.2后续及展望
参考文献
致谢
作者在攻读硕士期间主要研究成果



本文编号：2982364