基于弱监督学习的Web图像情感识别方法研究

发布时间：2021-03-06 10:49

　　在人们的日常生活中,情感起到非常重要的作用:丰富的情感对说话人传达思想有着极大的帮助。同时,图像情感识别是人机交互的重要研究领域之一。近年来,针对大规模图像情感识别的很多工作,推动了图像情感识别方法及系统的快速发展。但是,因为情感存在一定的主观性,所以标注大规模的图像情感数据集会花费大量的人力和物力。相反地,互联网（Web）中存在大量的情感图像:根据图像情感关键词（例如,高兴、悲伤等）能够获得大规模带有嘈杂标签的情感图像。然而,如果直接使用这些带有嘈杂标签的Web情感图像数据集训练情感识别模型,会给识别模型带来负面影响。因此,如何直接通过带嘈杂标签的图像样本得到鲁棒的情感识别效果是Web图像情感识别领域的关键问题。此外,众多研究发现:图像的局部区域对情感识别有显著影响,但标注图像中的局部情感区域也会费时费力。在图像情感区域定位中,与传统目标检测不同的是:不仅仅图像中的对象会引发情感,而且图像中的背景也会引发情感。所以,在图像情感区域定位中,如何定位情感对象及背景区域也是Web图像情感识别领域亟待解决的问题。针对上述两个Web图像情感识别问题,分别提出一种基于注意力的嘈杂标签Web图像情... 

【文章来源】：江苏大学江苏省

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

图像样本中能表达情感的局部区域此外如图1.1所示，图像中能够正确表达情感的仅仅是局部区域，并非整个

基于弱监督学习的Web图像情感识别方法研究5弱监督学习是指在标签不确切、不完全、不准确的情况下构建预测模型。如图1.2所示，标签不完全是指数据集中部分标签正确，存在部分样本的标签不存在或者不准确；标签不确切是指当前任务中的标签为粗粒度的标签，而真实目标为细粒度标签；标签不准确是指所给的标签不是真实值，存在着嘈杂或者错误标签。图1.2弱监督学习定义的示意图在图像的三大任务中[86]，弱监督学习已经得到了广泛的应用。He等人[25]在目标检测的任务中提出了一种弱监督学习方法，具备两种不同的空间约束，并以两种约束同时作用、相互制约获得最佳的结果。Maxime等人[26]仅利用对人体动作的标注，通过深度学习模型学习人和物体之间联系。He等人[27]运用多层次的注意力机制，指导显著区域定位，并且提出一个端到端的显著区域定位网络结构，不仅取得了显著的分类性能，而且提高了分类速度。Rohrbach等人[28]在目标检测的任务中，通过重构查询信息来优化注意力机制，避免了对象级别的标签及查询所有的候选框区域。Xiao等人[29]在语义分割的任务中，提出一种连续注意力机制，探索语义信息结构的具体重构方式。Zhu等人[30]提出了SoftProposalNetwork（SPN）结构，生成软候选框区域，并且通过耦合软候选框区域与特征图，发现更多的可区分视觉特征，抑制图像中的背景干扰，提高分类和定位的精度。Durand等人[31]提出了WeaklysuperIvsedLearningofDeepConvolutionalneurAlneTworks（WILDCAT）的弱监督学习方法，来学习不同类别相关的多个多层次局部特征，用于提高分类效果。在图像情感分析（VSA）的任务中，少

江苏大学工学硕士学位论文12其中局部特征从图像整体上来说，是图像或者视觉上一些不同于该局部的周围地方，而局部信息通常是对图像的一块区域的信息描述，具有高的区分性。而能否提取到有用的局部信息，会决定图像识别是否有效。（2）HOG特征：（a）为了调整图像的对比度，首先对图像进行灰度化处理，降低阴影或者光照的影响，利用Gamma校正法对图像在颜色空间上作标准化，同时计算图像中每个像素的梯度。（b）将整个图像划分为多个单元（cell），例如图像中相邻4×4的像素点作为一个单元，计算每个单元的梯度直方图，即代表每个单元的局部信息，然后将多个单元的局部信息串联起来，即得到一个模块（block）的信息。（c）将整张图像的所有模块的信息串联起来，即为整个图像的HOG特征。其中，SIFT和HOG特征都是基于图像的梯度方向直方图，而SIFT特征更适用于图像识别问题，HOG特征适用于目标检测问题。此外，根据SIFT及HOG特征的一些不足，或者针对某些特定问题，还有上述的其他传统特征。例如SURF特征是针对SIFT特征提取的过程中，存在速度较慢的缺点，提出SURF算子加快特征提取的速度。图2.1图像识别领域深度学习模型发展示意图如图2.1所示，随着深度学习的不断发展，在图像领域中出现多样的模型结构。传统的图像特征提取过程，虽然其思路及较强的解释性对机器学习的发展有很大的启发及帮助，但是深度学习模型提取的特征，在众多领域都获得了更好的表现。从上述的SIFT及HOG特征提取的过程中可以发现，传统特征与深度特

【参考文献】：
期刊论文
[1]基于深度学习的学习者情感识别与应用[J]. 徐振国,张冠文,孟祥增,党同桐,孔玺.  电化教育研究. 2019(02)
[2]多模态维度情感预测综述[J]. 李霞,卢官明,闫静杰,张正言.  自动化学报. 2018(12)
[3]在线特征选取的多示例学习目标跟踪[J]. 周志宇,彭小龙,吴迪冲,朱泽飞.  中国图象图形学报. 2015(10)



本文编号：3066961