面向情感语义的图像分类及语言描述方法研究

发布时间：2023-05-18 01:40

　　随着互联网的快速发展,社交网络逐渐走向成熟,同时人们在社交平台上发布的内容包括了大量的情感信息,进而对整个网络环境及舆论传播带来了极大的影响。目前图像的情感分析的研究还处于起步阶段,其上下文信息和图像细节信息对图像情感分析具有重要的参考价值。同时深度学习方法的优势也为图像情感分析问题提供了很好的技术基础,结合语言描述特征可以有效促进图像检索的效率和准确率。本文基于深度学习方法对图像的情感分析与描述进行了模型及算法的研究,具体内容如下:针对传统方法难以对相似情感做出良好检测的问题,现提出了基于卷积神经网络的情感检测模型。该模型以多目标检测与分类作为主要任务,将每个样本中的情感目标做细化检测,并通过加入每个情感类别的权重信息来重新构建损失函数,提高了相似情感的区分准确性,并加入了旋转检测算法实现了对不规则情感目标的精确检测。最终设置了多个对照组实验并验证了模型的有效性。针对如何以语言描述的形式处理图像情感表示问题,提出了面向多模态数据的情感语言模型,实现了图像的带有情感特色的语言描述。在结构上,情感语言模型以多模态数据为输入,整合了情感检测模型并实现对情感目标特征的提取,随后在对齐网络中实...

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
ABSTRACT
1 引言
    1.1 研究背景
    1.2 研究目的与意义
    1.3 主要研究工作
    1.4 本文组织结构
2 国内外研究现状及相关工作
    2.1 情感分析研究现状
        2.1.1 文本情感分析现状
        2.1.2 图像情感分析现状
        2.1.3 跨模态情感分析现状
    2.2 相关技术研究
        2.2.1 目标检测算法
        2.2.2 多任务深度学习
        2.2.3 迁移学习算法
    2.3 本章小结
3 目标检测算法在情感分析中的应用
    3.1 卷积神经网络
        3.1.1 卷积神经网络结构
        3.1.2 前向与反向传播算法
    3.2 旋转多尺度检测算法
    3.3 情感检测模型设计
        3.3.1 模型设计
        3.3.2 算法过程
        3.3.3 算法收敛性
    3.4 实验及分析
        3.4.1 数据准备
        3.4.2 实验对比方法
        3.4.3 实验衡量指标
        3.4.4 实验结果分析
    3.5 本章小结
4 跨模态的情感语言模型研究与改进
    4.1 循环神经网络
        4.1.1 循环神经网络结构
        4.1.2 长短时记忆结构
    4.2 多模态数据处理
        4.2.1 文本表示与特征处理
        4.2.2 跨模态数据融合
    4.3 情感语言模型设计
        4.3.1 模型设计
        4.3.2 算法过程
        4.3.3 算法收敛率
    4.4 实验及结果分析
        4.4.1 数据准备
        4.4.2 实验衡量指标
        4.4.3 实验结果分析
    4.5 本章小结
5 总结与展望
    5.1 工作总结
    5.2 工作展望
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集



本文编号：3818416