自注意力机制在语义理解和情感分析中的研究及应用

发布时间：2021-05-17 17:21

　　随着信息科学技术的发展,自然语言处理技术经历了从统计机器学习到神经网络学习的阶段。随后注意力机制的应用使其在信息提取、机器翻译等问题上取得了巨大的进步,同时也使它在企业舆情监控中得到了广泛的应用。在企业的决策与发展中,公关人员需要根据网络上与公司相关的舆情数据分析过去一段时间内公司的口碑信息,并预测未来一段时间内公司舆情的发展与走向。在将注意力与自然语言处理技术相结合应用到企业舆情分析中时,面临着诸多亟待解决的问题。如针对互联网公司出现的舆情文本数据与针对金融企业的舆情数据所表达的文本信息主题不同,文本处理成结构化数据的方法不同,都可能会导致信息在完整度上的缺失与歧义。注意力最早被应用在计算机视觉领域里,随后,人们开始研究注意力机制在自然语言处理中的应用,如机器翻译任务。其后注意力机制被广泛应用在基于循环神经网络和卷积神经网络的各种自然语言处理任务中。自注意力机制则是注意力中的一种特殊情况,它在提取文本特征的时候起着重要的作用。目前注意力模型多与编码器-解码器联合使用。编码器-解码器是深度学习领域中的一种研究模式,应用场景广泛。本文提出了一种自注意力编码器与解码器的语义理解方法,通过深... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：88 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究历史与现状
    1.3 论文主要研究内容和创新点
    1.4 论文结构组织与安排
第二章 相关理论和技术
    2.1 文本预处理
    2.2 特征选择
    2.3 机器学习特征提取和分类方法
    2.4 评估指标
    2.5 本章小结
第三章 深度语言理解模型
    3.1 离散表示
        3.1.1 One-Hot编码
        3.1.2 N元模型
    3.2 连续表示
        3.2.1 CBOW语言表示
        3.2.2 Skip-Gram语言表示
    3.3 基于实体知识的混合语言模型
        3.3.1 模型结构描述
        3.3.2 实验数据集
        3.3.3 实验设计
        3.3.4 实验评估
        3.3.5 结果分析
    3.4 本章小结
第四章 基于自注意力的编码器-解码器
    4.1 注意力机制
        4.1.1 注意力值的计算
        4.1.2 键值对注意力
    4.2 编码器与解码器
    4.3 注意力机制与编码器-解码器
    4.4 自注意力机制
    4.5 基于自注意力的编码器-解码器
        4.5.1 模型介绍
        4.5.2 位置编码
        4.5.3 实验数据集
        4.5.4 实验设计与分析
    4.6 本章小结
第五章 总结与展望
    5.1 论文总结
    5.2 研究展望
致谢
参考文献
攻读硕士学位期间取得的成果


【参考文献】：
期刊论文
[1]基于L-STM模型的中文情感分类[J]. 王景中,庞丹丹.  计算机工程与设计. 2018(11)
[2]基于CNN和BiLSTM网络特征融合的文本情感分析[J]. 李洋,董红斌.  计算机应用. 2018(11)
[3]基于BiGRU-attention神经网络的文本情感分类模型[J]. 王伟,孙玉霞,齐庆杰,孟祥福.  计算机应用研究. 2019(12)
[4]基于多注意力长短时记忆的实体属性情感分析[J]. 支淑婷,李晓戈,王京博,王鹏华.  计算机应用. 2019(01)
[5]基于词典与规则的文本情感分析[J]. 姚珂.  电脑知识与技术. 2018(26)
[6]结合情感词典的主动贝叶斯文本情感分类方法[J]. 张敏,陈锻生.  华侨大学学报(自然科学版). 2018(04)
[7]逻辑学视域中的自然语言分析[J]. 杨玉兰.  外语学刊. 2014(04)
[8]自然语言理解的机器认知形式系统[J]. 黄培红.  计算机工程与科学. 2007(06)
[9]隐含语义索引模型的分析与研究[J]. 王春红,张敏.  计算机应用. 2007(05)



本文编号：3192145