特征互补的图像美学质量评分方法
发布时间：2019-11-22 23:39
【摘要】：深度卷积神经网络(DCNN)难以针对性地分析图像的特定区域及其相互关系.文中将深度特征与人工设计的特征进行互补结合,提出对图像美学质量评分的方法.首先确定并抽取对美感起主导作用的特定区域,针对该区域及其与其它区域的关系,选择和设计5组美学相关的人工特征,特别是提出线条角度特征和清晰度对比特征.基于Siamese网络结构获取深度特征.选用支持向量回归(SVR)对上述两类特征进行回归预测,并设计基于spearman秩相关系数的权值调节最终的分数.实验表明,文中方法效果较优,与图像美学质量的主观评价具有较好的一致性.
【图文】：
构的图像美学排名网络(PhotoAestheticsＲankingNetwork，PAＲN)，不仅考虑图像的类别和风格属性，还考虑图像对之间美学质量的相对排名．相比现有其它图像美学质量评估网络，结构更简单，目前效果更优．因此，本文采用PAＲN网络获取图像的深度特征．AlexNet网络结构［13］是目前图像分类任务模型中较简洁的一种网络结构，研究表明［2，8］，该网络在图像美学质量评估领域取得良好效果，因此Kong等［12］将已在ImageNet数据库上训练好的AlexNet网络作为后续任务的基础．AlexNet网络的结构图如图1所示．图1AlexNet网络结构Fig．1StructureofAlexNet为了提高模型性能，PAＲN网络不仅考虑图像的风格和类别属性，还考虑图像对之间的美学质量排名．因此，PAＲN网络在AlexNet网络结构的基础上进行适应性的扩展．AlexNet网络输出是分类标签值，为满足图像美学质量排名的需求，将AlexNet网络中softmax层的损失函数使用欧氏距离代替，记作lossreg:lossreg=12N∑Ni=1^yi－yi22，(1)其中，N表示训练集图片数量，，yi表示第i幅图像的真实评分，^yi表示模型的输出评分．当2幅图像的美学质量分数相近时，极小化式(1)可能会造成结果相对排名错序．而在实际应用中，人们更希望得到对图像美学质量正确的排名．为了保证真实美学评分的排名与预测美学评分的排名一致，PAＲN网络中引入Siamese网络结构组织两路AlexNet网络．Siamese网络结构是由2个完全相同的CNN和1个代价函数构成，2个CNN共享同一组参数．网络输入1对图像I1和I2，I1、I2表达i，j分别从2个AlexNet网络输入得到2个输出，根据2幅图像的美学评分计算排名损失函数lossrank:lossrank=12N∑
图2PAＲN网络结构Fig．2StructureofPAＲN2人工特征设计本文人工提取的美学特征如表1所示，其中*为本文设计的特征．表1本文选用和设计的人工特征Table1Handcraftedfeaturesusedanddesignedinthispaper美学特征描述显著区彩度对比特征［14］f1～f6f1～f3为显著区域色调、饱和度和亮度的平均值;f4～f6为显著区域和背景区域之间平均色调、平均饱和度及平均亮度的差的平方显著区布局特征［14］f7～f15将整幅图像平分为9块，计算每块中显著区域像素的占比人脸区域特征［7］f16～f18分别计算人脸区域的亮度平均值、人脸区域与背景区域亮度之差及人脸区域的占比线条角度特征*f19～f36统计图像中线条的角度显著区清晰度对比特征*f37～f38量化图像显著区域和背景区域的清晰度指标PAＲN网络对输入图像尺寸大小有要求，图像经过裁剪、填充、变形等操作再进行特征提取，都会影响图像的构图布局和最终评估结果的准确性．除此之外，PAＲN网络输入都是整幅图像，并不关注图像的美感主导区域，更忽视该区域与背景之间关系对图像美学质量的影响．因此，本节从这2个角度出发，提取图像的美感主导区域，人工设计一系列美学特征，补充深度特征．2．1美感主导区域的选择和提取人们在评估1幅图像的美学质量时，通常会关注一些特定区域的特性．这些区域对图像主题的表达和审美的感知起着决定性的作用，主导图像本身的美感．为了获得对图像美学属性更全面的描述，选取对图像美感起主导作用的区域．由于人类视觉系统和注意力机制的共性，人们在观察一幅图像时，常会被图像的显著区域吸引．显著区域包含最能引起用户兴趣、最能表现图像内容的信息．这些信息在很?
本文编号：2564706
【图文】：
构的图像美学排名网络(PhotoAestheticsＲankingNetwork，PAＲN)，不仅考虑图像的类别和风格属性，还考虑图像对之间美学质量的相对排名．相比现有其它图像美学质量评估网络，结构更简单，目前效果更优．因此，本文采用PAＲN网络获取图像的深度特征．AlexNet网络结构［13］是目前图像分类任务模型中较简洁的一种网络结构，研究表明［2，8］，该网络在图像美学质量评估领域取得良好效果，因此Kong等［12］将已在ImageNet数据库上训练好的AlexNet网络作为后续任务的基础．AlexNet网络的结构图如图1所示．图1AlexNet网络结构Fig．1StructureofAlexNet为了提高模型性能，PAＲN网络不仅考虑图像的风格和类别属性，还考虑图像对之间的美学质量排名．因此，PAＲN网络在AlexNet网络结构的基础上进行适应性的扩展．AlexNet网络输出是分类标签值，为满足图像美学质量排名的需求，将AlexNet网络中softmax层的损失函数使用欧氏距离代替，记作lossreg:lossreg=12N∑Ni=1^yi－yi22，(1)其中，N表示训练集图片数量，，yi表示第i幅图像的真实评分，^yi表示模型的输出评分．当2幅图像的美学质量分数相近时，极小化式(1)可能会造成结果相对排名错序．而在实际应用中，人们更希望得到对图像美学质量正确的排名．为了保证真实美学评分的排名与预测美学评分的排名一致，PAＲN网络中引入Siamese网络结构组织两路AlexNet网络．Siamese网络结构是由2个完全相同的CNN和1个代价函数构成，2个CNN共享同一组参数．网络输入1对图像I1和I2，I1、I2表达i，j分别从2个AlexNet网络输入得到2个输出，根据2幅图像的美学评分计算排名损失函数lossrank:lossrank=12N∑
图2PAＲN网络结构Fig．2StructureofPAＲN2人工特征设计本文人工提取的美学特征如表1所示，其中*为本文设计的特征．表1本文选用和设计的人工特征Table1Handcraftedfeaturesusedanddesignedinthispaper美学特征描述显著区彩度对比特征［14］f1～f6f1～f3为显著区域色调、饱和度和亮度的平均值;f4～f6为显著区域和背景区域之间平均色调、平均饱和度及平均亮度的差的平方显著区布局特征［14］f7～f15将整幅图像平分为9块，计算每块中显著区域像素的占比人脸区域特征［7］f16～f18分别计算人脸区域的亮度平均值、人脸区域与背景区域亮度之差及人脸区域的占比线条角度特征*f19～f36统计图像中线条的角度显著区清晰度对比特征*f37～f38量化图像显著区域和背景区域的清晰度指标PAＲN网络对输入图像尺寸大小有要求，图像经过裁剪、填充、变形等操作再进行特征提取，都会影响图像的构图布局和最终评估结果的准确性．除此之外，PAＲN网络输入都是整幅图像，并不关注图像的美感主导区域，更忽视该区域与背景之间关系对图像美学质量的影响．因此，本节从这2个角度出发，提取图像的美感主导区域，人工设计一系列美学特征，补充深度特征．2．1美感主导区域的选择和提取人们在评估1幅图像的美学质量时，通常会关注一些特定区域的特性．这些区域对图像主题的表达和审美的感知起着决定性的作用，主导图像本身的美感．为了获得对图像美学属性更全面的描述，选取对图像美感起主导作用的区域．由于人类视觉系统和注意力机制的共性，人们在观察一幅图像时，常会被图像的显著区域吸引．显著区域包含最能引起用户兴趣、最能表现图像内容的信息．这些信息在很?
本文编号：2564706
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2564706.html
