多任务协同优化的视觉情感预测技术研究

发布时间：2020-12-20 22:02

　　伴随多媒体技术的飞速发展,图像、视频等视觉内容已变成网络社交文化中的一种主流媒介,越来越多的人在社交网站上上传图像来表达自己的情感或观念。如何能使得计算机辨认甚至产生类似于人的情绪,开始受到越来越多的关注。作为人工智能、计算机视觉等范畴的重要课题,情感计算对于计算机如何精确感知图像内容有重要意义。实现该技术的一个关键之处就在于将图像的低层视觉信息与高层语义特征之间的鸿沟有效地衔接起来,从而建立符合人类认知的感情映射机制。现有工作大部分都是从图像全局的角度出发,通过设计更好的特征来解决图像单情感标签预测问题,但其中主要存在着两点局限:首先,一个重要现象就是图像的情感传达区域的局部性,相对显著的区域而言背景区域含有的情感信息较少。其次,视觉情感的标签存在着依赖关系且有很强的模糊性,使用独热编码形式来定义视觉情感不够准确。针对于以上问题,本文通过多任务优化学习来进行视觉情感分析,对于图像情感的分类问题,为了更好的解决图像情感传达空间分布不均的问题,本文提出了一种基于弱监督情感检测的耦合神经网络框架,使用弱监督的方式发掘图像中蕴含情感比较丰富的区域,并将该区域信息结合到图像的情感分类中,该技术... 

【文章来源】：南开大学天津市 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

不同检测方法的效果对比图

图 2.6 错误样本分析统计图的消融实验，如表 2.2 所示。表中 ‘基础模型’ 表示 k = 1 且不含耦合操作SCNet 框架，其分类分支为原始的全局表达；‘情感图’ 表示利用生成的定息来辅助分类，具体而言有两种形式：使用通过耦合得到的局部表达进行（即 ‘局部表达’），或者进一步结合全局表达为语义特征进行分类（即 ‘语征’）。从实验结果中，我们可以得出以下结论：首先，使用多个特征图（第）和情感图耦合操作（第 3 行）的分类精度均在 FI 上提高约 1%，说明了局示的有效性。其次，利用结合全局和局部的语义特征（第 4 行）使得分类精高了 1.7%，说明了两种视角捕捉信息的互补性。第三，通过端到端的方式练本文方法（第 5 行）达到了最好的效果，比基础模型（第 1 行）的精度高.5%。.3.3分类结果分析本文在七个公开情感数据集上对提出的弱监督耦合神经网络框架进行了

【参考文献】：
期刊论文
[1]标记分布学习与标记增强[J]. 耿新,徐宁.  中国科学:信息科学. 2018(05)
[2]图像层次语义描述的初步研究[J]. 武人杰.  电脑开发与应用. 2011(05)



本文编号：2928626