基于注意力机制的图片文本联合情感分析研究

发布时间：2023-06-01 01:11

　　随着信息技术的快速发展和移动互联网的普及,人们的生活方式和沟通交流方式发生了翻天覆地的变化,越来越多的人通过自己的社交网络账号以文本、图片等方式来表达自己的观点和情感,使得互联网成为涉及广泛主题的意见和情感的资源库。针对社交媒体数据的用户情感分析是理解用户个体行为的关键,其研究能够为政治选举、股票市场分析、影片票房预测、心理医疗健康和网络口碑营销等领域提供有效的参考,具有重要的现实应用价值。相比较文本或者图片等单模态数据而言,综合考虑这些多模态数据能为用户的情感分析提供多维度的信息补充,能更加准确的反映用户的情感倾向。传统的情感分析工作主要针对图片或者文本等单模态数据,近年来逐渐有研究者开始考虑图片文本联合情感分析,但这类工作仅仅考虑简单的特征融合技术或者决策融合技术,在复杂多变的多模态社交媒体数据中效果有限,难以实现精确的情感分类。综合考虑图片文本对中存在的语义对齐关系,以及其对于联合情感分析的贡献不一致等特性,对于提高用户的情感分析性能具有重要的作用。针对已有研究的不足,本文将从社交网络中用户发布的图片文本对数据普遍存在的特性出发,基于深度神经网络技术和注意力机制,分别设计两个不同...

【文章页数】：84 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 研究现状
        1.2.1 视觉情感分析
        1.2.2 注意力机制
        1.2.3 多模态分析
        1.2.4 图片文本联合情感分析
        1.2.5 研究现状总结
    1.3 本文主要工作
        1.3.1 研究目标
        1.3.2 研究内容
    1.4 本文的组织结构
第二章 相关背景知识概述
    2.1 深度神经网络相关技术
        2.1.1 卷积神经网络
        2.1.2 循环神经网络
    2.2 注意力机制相关技术
        2.2.1 层次注意力机制
        2.2.2 双线性注意力机制
    2.3 迁移学习相关技术
    2.4 本章小结
第三章 数据获取与处理分析
    3.1 数据获取
    3.2 数据预处理
        3.2.1 文本内容预处理
        3.2.2 图片内容预处理
    3.3 数据分析
    3.4 本章小结
第四章 基于注意力机制的图片文本联合情感分析
    4.1 基于跨模态注意力机制的图片文本联合情感分析
        4.1.1 基于双向循环神经网络的跨模态语义嵌入学习
        4.1.2 基于情感上下文的跨模态注意力机制
    4.2 基于多粒度注意力机制的图片文本联合情感分析
        4.2.1 引言
        4.2.2 单词层面的图片文本联合特征表示
        4.2.3 短语层面的图片文本联合特征表示
        4.2.4 句子层面的图片文本联合特征表示
        4.2.5 匹配卷积神经网络
        4.2.6 多模态卷积神经网络
        4.2.7 注意力迁移学习机制
    4.3 本章小结
第五章 实验设计及结果分析
    5.1 实验目的与实验环境
        5.1.1 实验目的
        5.1.2 实验环境
    5.2 实验设计
        5.2.1 评价指标
        5.2.2 对比算法
        5.2.3 参数设置与训练细节
    5.3 实验结果及分析
        5.3.1 Getty测试数据集结果分析
        5.3.2 VST-VO测试数据集结果分析
        5.3.3 情感不一致测试数据集结果分析
        5.3.4 注意力权重可视化分析
    5.4 本章小结
第六章 原型系统与实现
    6.1 原型系统设计
    6.2 原型系统实现
        6.2.1 支撑技术
        6.2.2 模块划分与实现细节
        6.2.3 系统展示
    6.3 本章小结
第七章 总结与展望
    7.1 工作总结
    7.2 研究展望
致谢
参考文献
作者简介



本文编号：3826364