基于注意力机制的跨领域情感分析的应用研究

发布时间：2023-06-01 20:00

　　情感分析是指挖掘文本中人们对某一实体的观点、情感、情绪、态度等。跨领域情感分析是指利用源域的有标签数据作为训练集,协助训练目标域的情感分析模型,并在目标域的数据上测试。当需要训练一个全新领域的情感分类器时,标注数据往往是成本最高的一部分,限制了着整个模型的开发流程。使用跨领域情感分析方法,能够使用目前已有的其他领域标注数据,训练全新领域上的情感分类器,大大减小了标注成本和开发时间。注意力机制能够帮助模型获得到更好的文本语义表示,且运算简便快捷。将注意力机制添加到跨领域情感分析任务中,能够促使模型获取到更加准确的文本语义表示,从而更好的对齐源域特征和目标域特征,达到更好的迁移效果。本文首先提出基于跨领域注意力机制的层次注意力迁移网络,解决了现有方法中对所有数据无区分对待,无法强化训练领域特有数据的缺点。跨领域注意力机制根据数据特点,给予每条数据不同的损失权重,对于领域特有数据,给予较大的权重,对于非领域特有数据,给予较小的权重,从而对源域中的特有数据进行强化训练,着重学习特有数据中的特征对情感分析的影响。实验表明,基于跨领域注意力机制的层次注意力迁移网络在20个迁移任务中的17个任务上超...

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景及研究的目的和意义
    1.2 相关工作的研究概况
        1.2.1 语言表示方法研究概括
        1.2.2 注意力机制研究概括
        1.2.3 跨领域情感分析的研究概括
    1.3 本文的主要研究内容
    1.4 论文的主要组织结构
第2章 层次注意力迁移网络在跨领域情感分析中的性能分析
    2.1 跨领域情感分析任务设置
    2.2 层次注意力网络介绍及性能分析
        2.2.1 层次注意力网络介绍
        2.2.2 层次注意力网络在情感分析任务中的性能分析
    2.3 层次注意力迁移网络介绍及性能分析
        2.3.1 层次注意力迁移网络介绍
        2.3.2 层次注意力迁移网络在跨领域情感分析任务中的性能分析
    2.4 基线模型性能瓶颈
    2.5 本章小结
第3章 结合跨领域注意力机制的迁移网络
    3.1 相关基础技术
        3.1.1 word2vec模型
        3.1.2 相关性对齐损失
    3.2 基于跨领域注意力机制的层次注意力迁移网络
        3.2.1 相关性对齐损失
        3.2.2 跨领域注意力机制
        3.2.3 基于跨领域注意力机制的层次注意力迁移网络
    3.3 基于跨领域注意力机制的层次注意力迁移网络定量分析
    3.4 基于跨领域注意力机制的层次注意力迁移网络可视化分析
    3.5 本章小结
第4章 结合注意力机制预训练语言模型的迁移网络
    4.1 相关基础技术
        4.1.1 注意力机制
        4.1.2 BERT预训练语言模型
    4.2 基于注意力机制预训练语言模型的迁移网络
    4.3 基于注意力机制预训练语言模型的迁移网络的实验分析
    4.4 基于注意力机制预训练语言模型的多源域迁移网络及实验分析
        4.4.1 基于注意力机制预训练语言模型的多源域迁移网络
        4.4.2 实验结果分析
    4.5 本章小结
结论
参考文献
攻读硕士学位期间发表的学术论文及其他成果
致谢



本文编号：3826950