基于深度学习的自然语言语义表征计算方法研究

发布时间：2021-02-01 10:55

　　自然语言处理是人工智能领域的关键技术,其包括自然语言理解和自然语言生成两类基本问题。而解决上述两类问题的首要核心就是获得自然语言的语义表征。自然语言文本的构成层级依次为单词、句子、篇章,其中单词表征的好坏会直接影响后续各级文本表征的质量;语句作为最简单的语义单元序列,其语义表征方法也会被用来处理由多句组成的篇章文本。现阶段,基于深度学习的单词及句子语义表征技术已经取得了积极进展,但仍存在诸多不足。首先,基于分布式语义假设从文本语料中获取的文本语义词向量,其包含的语义信息受制于单一数据来源而缺乏全面性;其次,在面向自然语言理解任务的句子语义表征中,领域内主流使用的循环神经网络无法直接建模句子中的潜在结构信息;再次,在面向自然语言生成任务的句子语义表征中,主流的条件变分自编码器模型在闲聊对话场景下无法有效获取受控于输入对话上文与情感风格的隐变量表征。因此,本文围绕基于深度学习的自然语言语义表征方法,在单词级别和句子级别的语义表征计算方面开展研究,具体包括:首先,研究了结合脑观测数据的单词语义表征方法。通过分析不同模态语义特征的词向量（包括文本语义词向量,视觉语义词向量、初级视觉特征词向量）... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：102 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 国内外研究现状
        1.1.1 单词语义表征技术现状
        1.1.2 面向自然语言理解的句子语义表征技术现状
        1.1.3 面向自然语言生成的句子语义表征技术现状
    1.2 本文主要内容及组织结构
        1.2.1 主要内容
        1.2.2 组织结构
第2章 结合脑观测数据的单词语义表征
    2.1 概述
    2.2 大脑皮层语义表征规律研究
        2.2.1 实验方法
        2.2.2 实验设置
        2.2.3 实验结果
    2.3 结合脑观测数据的语义词向量构建方法
        2.3.1 实验方法
        2.3.2 实验设置
        2.3.3 实验结果
    2.4 本章小结
第3章 基于潜在结构描述的句子语义表征
    3.1 概述
    3.2 基于潜在结构描述的句子语义表征方法
        3.2.1 SNELSD模型特点
        3.2.2 SNELSD模型结构
        3.2.3 SNELSD模型性能测试
    3.3 实验设置
        3.3.1 自然语言推理任务设置
        3.3.2 情感分类任务设置
    3.4 实验结果
        3.4.1 自然语言推理任务
        3.4.2 情感分类任务
    3.5 本章小结
第4章 基于条件转换变分自编码器的句子语义表征与对话生成
    4.1 概述
    4.2 基于变分自编码器的对话生成方法
        4.2.1 从VAE模型到CTVAE模型
        4.2.2 CTVAE模型具体实现
        4.2.3 多回复排序
    4.3 实验设置
        4.3.1 短文本对话数据集
        4.3.2 实验对比模型
        4.3.3 模型及训练参数设置
        4.3.4 KL散度崩溃问题的处理
    4.4 实验结果
        4.4.1 对模型隐变量z的分析
        4.4.2 客观评价
        4.4.3 主观评价
    4.5 本章小结
第5章 基于情感约束变分自编码器的句子语义表征与情感可控对话生成
    5.1 概述
    5.2 基于条件变分自编码器的可控情感对话生成方法
        5.2.1 从CVAE模型到Emo-CVAE模型
        5.2.2 Emo-CVAE模型具体实现
        5.2.3 多回复排序
    5.3 实验设置
        5.3.1 短文本对话数据集
        5.3.2 实验对比模型
        5.3.3 模型及训练参数设置
    5.4 实验结果
        5.4.1 客观评价
        5.4.2 主观评价
        5.4.3 消融实验分析
    5.5 本章小结
第6章 总结
    6.1 本文的主要贡献与创新点
    6.2 后续的研究工作
参考文献
在读期间发表的学术论文与取得的研究成果
致谢



本文编号：3012659