基于深度学习的图文融合的网民情感识别研究

发布时间：2023-07-28 10:38

　　网络舆情事件中的网民情感,对网络舆情的走向有着至关重要的影响。新时代下,舆论在网络空间的内容载体不再是单一的文本,转而向文本结合图片或者是短视频。同样,在网络舆情事件中,网民情感表达的载体也同样在发生变化,从单一的文本发展至文本结合图片等。当前网民情感识别研究,多基于文本这一单模态,缺乏对网民在网络舆情事件中发表的图片以及文本和图片相结合内容的关注。针对当前研究不足,本文从多模态融合视角出发,结合网民在网络舆情事件中发表的文本和图片,构建图文融合情感识别模型,从而自动识别网民情感。图文融合情感识别模型由文本情感识别模型、图片情感识别模型及图文融合策略组成。在文本情感识别模型中,本文利用词向量模型word2vec对网络舆情文本进行表示,并利用Bi LSTMs模型对向量化文本进行情感识别。在图片情感识别中,本文将预训练模型VGG16作为基础模型,并结合微调操作,提升模型性能。结合网络舆情文本和图片情感识别模型,本文构建图文融合的网民情感识别模型。同时本文还构建用于对比的基准模型,分别是word2vec与SVM结合的文本情感识别模型、BERT与Bi LSTMs结合的文本情感识别模型、未微调的...

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 研究意义
        1.2.1 理论意义
        1.2.2 实践意义
    1.3 研究思路与组织结构
        1.3.1 研究思路
        1.3.2 组织结构
    1.4 论文创新点
        1.4.1 理论创新
        1.4.2 实践创新
2 文献综述与理论基础
    2.1 网民情感识别研究
    2.2 文本情感识别研究
    2.3 图片情感识别研究
        2.3.1 基于底层特征的图片情感识别研究
        2.3.2 基于中层语义表达的图片情感识别研究
        2.3.3 基于深度学习的图片情感识别研究
    2.4 多模态融合情感识别研究
        2.4.1 特征层融合
        2.4.2 中间层融合
        2.4.3 决策层融合
        2.4.4 混合融合
    2.5 本章小结
3 基于深度学习的图文融合的网民情感识别模型构建
    3.1 文本情感识别模型构建
        3.1.1 文本表示
        3.1.2 双向长短期记忆网络
    3.2 图片情感识别模型构建
        3.2.1 卷积神经网络
        3.2.2 VGG-16
        3.2.3 迁移学习
    3.3 多模态融合情感识别模型构建
        3.3.1 特征层融合
        3.3.2 中间层融合
        3.3.3 决策层融合
    3.4 本章小结
4 实证研究
    4.1 实验数据集获取及预处理
        4.1.1 中文数据集
        4.1.2 英文数据集
    4.2 模型设置
        4.2.1 文本情感识别模型设置
        4.2.2 图片情感识别模型设置
        4.2.3 图文融合情感识别模型设置
    4.3 基线模型设置
    4.4 实验结果分析与讨论
        4.4.1 中文实验结果及分析
        4.4.2 英文实验结果及分析
    4.5 本章小结
5 总结与展望
致谢
参考文献
附录



本文编号：3837760