基于视觉感知和数据紧凑表达的图像美感质量评估方法

发布时间：2020-08-06 21:27

【摘要】：美是人类感知、认知和情感相互作用的结果。在计算机领域,图像美学质量评估的目的是让计算机能够模拟人类的审美系统,自动对图像的美感进行判别。研究人员通常将其转化为一个机器学习问题,即让模型在人类标注的数据上进行训练,学习如何预测图像的美学等级。而学习到的模型能在很多劳动力密集的主观任务中发挥作用,如智能照片编辑、图像推荐或搜索、海报横幅生成,其应用前景十分广泛。目前,基于大规模数据训练的深度卷积模型在可计算美学评估中被广泛使用,但是仍然存在两个难题:包括如何处理CNN的识别机制与人类审美感知识别机制之间的差异性,以及如何从大量数据中学习到更好的美学规则。本文主要通过研究将人类视觉感知和数据紧凑表达的知识应用于基于深度卷积网络的美学质量评估任务,以提升美学评估模型的性能,主要工作如下:1)提出了一种基于视觉感知的双层神经网络(Visual Perception Network),用于启发性地学习图像中与视觉感知相关的特征。该网络包含两个子网络,感兴趣区域子网络和多尺度信息子网络,分别用于学习图像中的感兴趣区域特征和多层次细粒度特征。另外,为了学习到图像中的感兴趣区域,我们还提出一种新颖的感兴趣区域搜索算法,用于搜索出图像中吸引力强的局部区域。实验结果表明,该算法能够有效地融合图像中不同层次的信息,获得较好的效果。2)设计了一种基于数据紧凑表达的训练策略。该策略关注于美学数据的有效利用问题,分阶段利用聚合程度不同的图像,学习简单到复杂的美学规则。该策略先计算数据集中图像的局部密度和距离,将数据集分为三个聚合程度不同的子集,紧凑的、稀疏的、高度稀疏的。接着从紧凑的数据开始训练,逐步加入稀疏的数据,以一种从紧凑到稀疏(Compact-to-Sparse)的方式逐步训练。实验结果表明,这种学习方式不仅能够有效地提高模型的泛化性能,而且可以学习到数据集中样本的聚合程度。本文设计的算法是在深度卷积神经网络的基础上,结合人类视觉感知的知识,从网络结构、训练数据、训练策略三方面对CNN进行改进。实验结果表明,在大规模美学数据集AVA上,我们的算法能达到较为领先的水平。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41
【图文】：

美学,美学特征,机器学习算法,模型性能

可计算美学评估的整体框架如图所示，该框架包含四个基本要素，分别是输入处理、美学特征提取、决策判别和输出量化美学等级或美学分数。美学质量评估从一般机器学习算法流程，分为训练和推理两个阶段，是一种基于学习的算法。为了得到性能优越的美学模型，美学特征设计是其中最关键的环节，无论在手阶段还是通用特征阶段，抽象的接近人类感知的高级特征的表现，都优于底层的觉特征。另外，美学问题虽然有其特殊性，但是美学模型的获取仍然是建立机器法基础上的，因而也会面临机器学习算法的一些常见问题，如过拟合和优化困难决这些问题也能够获得模型性能的提升。

美感,色彩平衡,图片,不显著

像美学分数的相对客观性。内容多样性丰富：数据集中图片包括各类动植物、自然景观、人文景观和数字图像。图2-2中展示了 AVA 数据集中的部分图片。(a) (b)图 2-2 图 (a) 低美感图像颜色混乱，构图不规整，主体不显著，图 (b) 高美感图片通常遵循色彩平衡、高景深、主体突出。图 123 行：颜色、构图、主体。2.2.3 评估指标如 1.2 节中所述，不同的文献中使用不同的美学量化指标来评价模型的性能，这主要取决于算法的应用场景，常用的评估指标有以下几个：(1) 分类准确度指标[1,15,16,26,27](2)回归精度指标[26

卷积,特征提取,张量,特征提取器

涉及到误差的反向传播算法。在反向传播时，网络中的每一层都接受后一层返回的梯度张量输入，并通过计算产生本层的梯度张量输出，直至输入层。在训练结束后，网络中的参数已经固定了，可以得到一个可用于美学量化评估的模型。图2-3展示了一个完整的 CNN 结构。图 2-3 一个典型的 CNN 结构。该结构前半部分为特征提取器，后半部分为分类器，网络的输出结果为预测输入图像属于的各类别概率。2.3.2 CNN 的特征提取单元CNN 的特征提取工作主要是依靠卷积层、池化层和激活层共同完成的。其中卷积层是 CNN 中的核心组件，大部分的计算量来源于卷积层，在 CNN 中担任着特征提取14

【相似文献】