基于多任务学习的情感分析技术研究

发布时间：2021-06-26 17:31

　　现有的情感分析方法主要分为基于情感词典的情感分析方法和基于机器学习的情感分析方法,而在基于机器学习的方法中,基于深度学习的方法最为流行。基于情感词典的方法十分依赖情感词典的质量及覆盖度,而基于深度学习的方法需要大量的标注数据集。在数据集较小时,基于深度学习的模型容易产生过拟合,多任务学习技术同时对多个任务进行训练,通过利用相关任务中的领域特有信息来提升模型的泛化能力,在一定程度上缓解了过拟合问题。本文对主流的多任务学习技术进行研究后发现以下几个问题:（1）现有多任务学习模型多使用基于LSTM的模型进行情感分析,并使用单层LSTM的最后一个隐藏状态作为文本的隐含特征,这一方法特征提取能力有限且存在有偏表示问题;（2）在文本包含多个情感词且语法结构复杂的情况下,现有方法无法准确识别出整个句子的情感倾向;（3）LSTM由于其循环特性,当前时间步的输入依赖于上个时间步的输出,其并行效率较低,很难完全发挥出GPU的性能;（4）现有多任务学习模型将特征空间分为私有和共享两部分,每个任务都拥有一个独立的私有空间,其内存消耗与任务数量呈线性关系,在任务数较多时十分耗费内存。针对以上问题,本文进行了以下... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
    1.2 研究现状
        1.2.1 基于情感词典的情感分析
        1.2.2 基于深度学习的情感分析
        1.2.3 多任务学习
    1.3 主要研究工作
    1.4 论文结构
第二章 相关技术
    2.1 基于情感词典的情感分析
        2.1.1 情感词典
        2.1.2 VADER模型及其语法规则
    2.2 基于深度学习的情感分析
        2.2.1 深度学习相关技术
        2.2.2 文本表示模型
        2.2.3 文本分类模型
    2.3 多任务学习
    2.4 本章小结
第三章 基于ASP-MTL模型的研究和改进
    3.1 AASP-MTL模型概述
    3.2 模型结构
        3.2.1 特征提取层
        3.2.2 对抗层及正交性约束
        3.2.3 特定任务层
    3.3 归因分析
    3.4 本章小结
第四章 基于DT的多任务情感分析模型
    4.1 DT模型
        4.1.1 输入层
        4.1.2 多模块自注意力
        4.1.3 前馈神经网络层
        4.1.4 短路连接及层标准化
        4.1.5 输出层
    4.2 基于DT的多任务情感分析模型
        4.2.1 标准化策略
        4.2.2 参数初始化
    4.3 本章小结
第五章 实验与结果分析
    5.1 数据集与预处理
    5.2 基准模型
    5.3 评价指标
        5.3.1 情感分析任务性能评价指标
        5.3.2 模型并行性能评价指标
    5.4 AASP-MTL实验
        5.4.1 超参数设置
        5.4.2 实验结果
        5.4.3 消融分析
        5.4.4 可视化分析
        5.4.5 性能归因分析
    5.5 DT-MTL实验
        5.5.1 超参数设置
        5.5.2 实验结果
        5.5.3 AASP-MTL和 DT-MTL并行性能对比
    5.6 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件


【参考文献】：
硕士论文
[1]基于深度学习的多任务文本分类技术研究[D]. 陈震鸿.华南理工大学 2018



本文编号：3251767