基于多特征描述的双模式学习图像情感识别
发布时间：2020-11-06 16:36
图像的情感识别是一项复杂并具有挑战性的研究课题,现在通常将图像情感识别应用于人机交互,舆情分析等方面。如何跨越图像特征和人类情感之间的鸿沟是本课题的主要研究问题。本论文在卷积神经网络的基础上提出了一种基于多特征表达的双模式学习图像情感识别算法。该算法中利用多特征描述算法提取更为丰富、充足的图像特征来描述图像的情感,同时辅助双模式学习网络来学习不同特征之间的关联,以此来弥补图像的低层基础特征和高层语义信息之间的鸿沟,从而达到跨越图像特征和人类情感之间鸿沟的目的。论文的主要工作如下:1、新的图像情感数据集的建立缺少干净的标记情感图像数据是现在图像情感识别中面临的严峻考验。本文利用关键字从Flickr网站中获取了积极的和消极的两种情感极性的图像数据。利用半监督学习的方法对获得的图像数据进行分类,从而获得具有准确标签的图像数据。2、数据的清洗不管是在使用本文建立的图像情感数据集,还是使用现存公用的图像情感数据集,由于标注过程中图像和对应标签之间相关程度不容易度量的原因,图像情感数据集中还存在图像和对应标签弱相关的问题。本文采用渐进神经网络(PCNN)对图像数据进行清洗,挑选出与标签相关性较强的图像数据。3、图像的多特征描述图像特征在计算机视觉研究领域内是用来描述图像的最有效方式,对于图像情感而言,越为丰富的图像特征能够从更全面的角度描述图像的情感。在本文研究中发现,图像的情感与众多因素有关。首先,图像的前景信息包含图像的目标信息,可以提供高级的语义信息。其次,图像的背景部分因为缺少了图像目标,可以提供一些低层的基础特征,例如颜色,纹理,形状等特征。本文提出的多特征描述算法利用不同深度的卷积神经网络分别提取图像的不同层次的特征来丰富用于描述图像情感的特征。4、弥补图像和情感鸿沟丰富的图像特征是用于描述图像情感的一种基础方式,但是人类情感更加主观,往往需要对这些图像特征进行组合分析后才能理解一幅图像的情感,因此,在图像的特征和人类情感之间还存在巨大的鸿沟需要跨越。本文提出一种双模式学习网络,模拟人类能够同时分析两幅图像的机制,学习不同图像及特征之间的相似点和不同点,以此来弥补低层基础特征和高层语义信息之间的鸿沟。通过学习不同等级特征和信息之间的加强特征,能够有效地提升图像情感识别效果,建立图像特征和人类情感之间的关系。论文通过以上四个方面进行研究。实验结果在本文建立的图像情感数据集,Twitter2 数据集,ArtPhoto数据集以及Flickr_LDL数据集上验证PCNN网络能够有效筛选出和标签强相关的图像数据,多特征描述算法提供的更为丰富的特征描述有效地改善使用单一特征描述图像情感的问题,双模式学习网络能够帮助建立图像特征和图像情感间的关系。通过以上的算法和方法,能够有效提高图像情感识别的准确率。
【学位单位】：云南大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：
在计算机视觉研究领域，相较于图像的分类以及图像目标检测等研究内容，图??像的情感识别更为复杂并且具有挑战性。图像的情感识别关系到很多方面的因素。??从图像内容来讲，如图１．１所示，就存在风景，动物，人类，艺术绘画作品等不同??内容的图像。在对这些图像情感进行分析时，所采用的方法也存在较大的差异。在??对艺术绘画作品进行情感分析时，不仅要考虑图像的一些笔触细腻程度以及绘画??技巧等因素，同时还要联系作者的相关文化背景等因素。而人类的图像情感分析则??更加倾向于分析人物的面部表情，从面部表情就可以推测图像的情感。由图１．１，??还可以发现即使在图像的内容相似的情况下，计算机对图像情感的识别还同样受??到颜色，纹理，形状等基础特征的影响。例如，在风景一列的图像中，积极情感的??图像所展现出的往往是光照条件好，颜色亮丽的特征；而消极情感的图像所展现的??是阴暗的
究中的一个问题，本文从人类关注图像时的注意力机制１２６］１２７］出发，分别从图像中??提取低等级的基础特征以及高等级的语义信息来丰富用于描述图像情感的图像特??征。如图１．２所示，根据人类的注意力机制，人们在观察一幅图像时会将大部分的??注意力放在图像的目标上，而图像的目标在图像情感识别中也是十分重要的，如图??中所示，两幅图像的目标都是猫，但是图像所表达的情感极性确是相反的。确定图??像目标对图像情感具有显著影响的前提下，本文使用显著区域检测算法将图像目??标从整幅图像中分离，图像目标部分组成前景图，并且可以利用较深的ＣＮＮ网络??提取前景图像中高层的语义信息。另外，在图１．２中，两幅图像背景信息也可以提??供一些与情感相关的特征，例如第二幅图像背景则是在室外草地的场景，给人满足??的感觉。因此背景图像可以提供一些颜色，纹理，形状，环境信息等低层基础特征，??本文利用较浅的ＣＮＮ网络提収背景图像的一些低层基础特征。川两种不同层级的??特征能够极大地丰富川ｆ描述图像情感的特征数〖目
结果进行校正，得到最终准确的图像情感的准确标签。不断重复上述操作，直至所??有的图像都获得准确的标记，构建成最后的数据集。??如图２．１所示的是半监督学习的流程图，整个半监督学习的过程就是在不断利??用ＣＮＮ网络进行情感粗分类，再人工校正后将具有准确标签的图像数据回填到用??于训练的数据集内，再不断进行训练获得新的训练ＣＮＮ模型，如此往复迭代的过??程。在人工校正的过程中会删去一些数据集内不符合情．感识别任务的图像数据，具??体的规避内容将在２．３节详述。最后，本文建立的数据集内总共包括４７０１９幅图??像，其中２８１３６輻图像为积极情感的图像数据，１８８８３幅图像为消极情感的图像。??随着半监督学习过程中不断添加准确标记的图像数据用于训练，最后当所有数据??获得准确的标签后，对本文建立的数据集按照８０％训练集，１５％测试集和５％验证??集划分后进行训练和测试
【参考文献】
本文编号：2873384
【学位单位】：云南大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：
在计算机视觉研究领域，相较于图像的分类以及图像目标检测等研究内容，图??像的情感识别更为复杂并且具有挑战性。图像的情感识别关系到很多方面的因素。??从图像内容来讲，如图１．１所示，就存在风景，动物，人类，艺术绘画作品等不同??内容的图像。在对这些图像情感进行分析时，所采用的方法也存在较大的差异。在??对艺术绘画作品进行情感分析时，不仅要考虑图像的一些笔触细腻程度以及绘画??技巧等因素，同时还要联系作者的相关文化背景等因素。而人类的图像情感分析则??更加倾向于分析人物的面部表情，从面部表情就可以推测图像的情感。由图１．１，??还可以发现即使在图像的内容相似的情况下，计算机对图像情感的识别还同样受??到颜色，纹理，形状等基础特征的影响。例如，在风景一列的图像中，积极情感的??图像所展现出的往往是光照条件好，颜色亮丽的特征；而消极情感的图像所展现的??是阴暗的
究中的一个问题，本文从人类关注图像时的注意力机制１２６］１２７］出发，分别从图像中??提取低等级的基础特征以及高等级的语义信息来丰富用于描述图像情感的图像特??征。如图１．２所示，根据人类的注意力机制，人们在观察一幅图像时会将大部分的??注意力放在图像的目标上，而图像的目标在图像情感识别中也是十分重要的，如图??中所示，两幅图像的目标都是猫，但是图像所表达的情感极性确是相反的。确定图??像目标对图像情感具有显著影响的前提下，本文使用显著区域检测算法将图像目??标从整幅图像中分离，图像目标部分组成前景图，并且可以利用较深的ＣＮＮ网络??提取前景图像中高层的语义信息。另外，在图１．２中，两幅图像背景信息也可以提??供一些与情感相关的特征，例如第二幅图像背景则是在室外草地的场景，给人满足??的感觉。因此背景图像可以提供一些颜色，纹理，形状，环境信息等低层基础特征，??本文利用较浅的ＣＮＮ网络提収背景图像的一些低层基础特征。川两种不同层级的??特征能够极大地丰富川ｆ描述图像情感的特征数〖目
结果进行校正，得到最终准确的图像情感的准确标签。不断重复上述操作，直至所??有的图像都获得准确的标记，构建成最后的数据集。??如图２．１所示的是半监督学习的流程图，整个半监督学习的过程就是在不断利??用ＣＮＮ网络进行情感粗分类，再人工校正后将具有准确标签的图像数据回填到用??于训练的数据集内，再不断进行训练获得新的训练ＣＮＮ模型，如此往复迭代的过??程。在人工校正的过程中会删去一些数据集内不符合情．感识别任务的图像数据，具??体的规避内容将在２．３节详述。最后，本文建立的数据集内总共包括４７０１９幅图??像，其中２８１３６輻图像为积极情感的图像数据，１８８８３幅图像为消极情感的图像。??随着半监督学习过程中不断添加准确标记的图像数据用于训练，最后当所有数据??获得准确的标签后，对本文建立的数据集按照８０％训练集，１５％测试集和５％验证??集划分后进行训练和测试
【参考文献】
相关期刊论文 前1条
1 张海波;黄铁军;修毅;赵野军;章江华;;基于神经网络的男西装图像情感语义识别[J];纺织学报;2013年12期
本文编号：2873384
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2873384.html
