基于多尺度视觉注意机制的最优系列照片选择方法研究
发布时间：2021-11-12 12:49
随着智能手机、相机的普及,人们逐渐习惯通过照片记录每一个难忘的瞬间。为了确保捕捉到最佳镜头,用户通常会为同一对象或场景拍摄一系列照片。但出于节省空间的考虑,随之而来地则是用户必须从这些几乎相同的图像中手动确定保留的对象,这个过程常常耗时费力。越来越多的研究者希望计算机能够辅助用户选出相似照片中更具吸引力的照片,即找寻一种促进系列照片筛选最优图像的自动评估方法。以往的图像美学质量评价研究工作大多直接使用顶层卷积层产生的特征对图像进行分类或回归预测,这些方法仅采用神经网络有高级语义信息的特征,处理相似的系列照片倾向于产生类似的预测结果,且模型性能不佳。本文致力于将系列照片的美学质量评价工作由单纯的分类或回归任务转换为图像排序比较任务,通过将图像在美感水平上进行排序来达到美学评价的目的。基于上述背景,在本论文的工作中提出了基于多尺度视觉注意机制（Multi-Scale Visual Attention Mechanism）的最优系列照片选择方法。首先,本方法采用参数全共享的孪生卷积神经网络结构学习两幅相似图像的区分性特征,以对图像对做出相对的美学质量评估。其次,我们通过加入较低层次的特征,以...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
图１－１含有多幅图像的系列照片，每个系列中的橙色框照片是大多数人所喜欢的照片
?山东大学硕士学位论文???ｍｍｍ?？ｉ＿＿ｍ！丨丨?＊ｍｍｍｉ?ｍｍｍｍ?ｍｍｍｍ?ｍｍｍｍ?ｗｍｍｍ?ｍｍｍｍ?ｗｍｍｍ?????ｗｍｍｍ?ｍｍｍｍ?ｍｍｍｍ?襄麵《？１?ｍｍｍ?ｍｍ？．?ｗｍｍ．?ｍｍｍ?ｍｍｔ?ｍｍｍ?ｍｍｍ?ｍｍｍ?ｍｍｒｎ?ｗｍｔｍ?ｍｍｍ?ｍｍｍ??｜桑??！?２２４Ｘ２２４?｜?｜?２２４Ｘ?２２４??＊?ｆ?１?Ｊ??（ａ）全连接方式?（ｂ）局部连接方式??图２－１局部连接与全连接方式??２）权值共享（ｓｈａｒｅｄ?ｗｅｉｇｈｔｓ?ａｎｄ?ｂｉａｓｅｓ）??权值共享是卷积层的特性之一。其核心思想是使用一个卷积核与输入图像的??不同区域作卷积，来检测统计特性相同的特征。即使用同一卷积核卷积映射图像??中的所有值，不论特征在任意位置均可被捕获，可以保证特征具备位移不变性。??而使用不同卷积核对应不同的权值参数可以用来检测不同特征。如果只用了局部??连接的方法，图２－１中（ｂ）例举的方法需要５０１７６ｘ９个权值参数，而加入权值共享??方法后，使用一个３ｘ３的卷积核共有９个参数，所以现在仅需要９个权值，参数??数量进一步降低。??３）池化（ｐｏｏｌｉｎｇ）??为了处理特征信息的冗余，需要对特征的不同位置进行统计聚合，这种统计??的操作就是做池化，有时也称为下采样、降采样或欠采样。池化处理常应用于降??低特征维度，压缩数据，减少参数量，减小过拟合风险和提高模型容错性。??如图２－２所示，常用的池化形式主要有两种，一种是最大池化，一种是平均池??化，两种形式都可以看做特殊的卷积过程。如图示，两种池化的卷积核在原图的??滑动步幅全为２。平均池化的每个权重均相同，等同于对原图进行模
?山东大学硕士学位论文???Ｉｎｐｕｔ?Ｘ?／?Ｋｅｒｎｅｌ?Ｗ?Ｏｕｔｐｕｔ?Ｙ?Ｉｎｐｕｔ?Ｘ?／?Ｋｅｒｎｅｌ?Ｗ?Ｏｕｔｐｕｔ?Ｙ??／Ｃ／；ｒ??——／?ｙ—ｆＶ?°／￣７＾——／ｙ—??７．４?Ｊ??Ｆ?Ｆ??（ａ）最大池化?（ｂ）平均池化??图２－２池化的两种形式??此处展示了一个经典的卷积神经网络结构如图２－３所示，该网络由两个卷积层、??两个池化层和一个全连接层组成。复用卷积层是为了获取高级的语义特征。而在??每个卷积层后都紧跟一个池化层对特征再次提炼处理，利用这种特有组合方式衰??减特征的分辨率。最后使用全连接层来完成分类任务，获得最终的结果。卷积神??经网络本质上是一种映射，能通过大量学习自动地获得输入到输出间的映射关系。??仅通过设计卷积神经网络结构并通过一定的奖惩机制加以训练，该方法便取代了??以往需要人工建立精确数学表达式的方式，更好的完成分类回归等任务。??ｆｔ??ｈ．??＿ｔ??Ｔ－ｌＤ－ｉ－－—ｒ??ｒ??ｉ?ｃｏｎｖｏｌｕｔｉｏｎ?｜?ｐｏｏｌｉｎｇ?｜?ｃｏｎｖｏｌｕｔｉｏｎ?｜?ｐｏｏｌｉｎｇ?｜?ｆｕｌｌｙ?ｃｏｎｎｅｃｔｅｄ?｜??图２－３经典卷积神经网络结构??２．２多尺度特征融合??在输入图像转化为输出结果的过程中，图像进入卷积神经网络后会经过多个??卷积层和池化层变成不同层次的特征，其随着层数的加深会逐步扩大感受野以获??取高层语义。如图２－４中所示可以看到靠近输入端的高分率特征语义层次较低，富??含图像细节，但干扰信息较多；靠近输出端的高层特征有较强概况能力，但分辨??１３??
【参考文献】：
期刊论文
[1]一种用户偏好的美学图像推荐方法[J]. 许永波,苏士美,樊隆庆. 计算机应用研究. 2019(12)
[2]主动特征学习及其在盲图像质量评价中的应用[J]. 高飞,高新波. 计算机学报. 2014(10)
[3]结合浅景深与构图的图像质量评价[J]. 顾婷婷,郭延文,殷昆燕. 中国图象图形学报. 2013(05)
[4]图像质量评价方法研究进展[J]. 蒋刚毅,黄大江,王旭,郁梅. 电子与信息学报. 2010(01)
本文编号：3490947
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
图１－１含有多幅图像的系列照片，每个系列中的橙色框照片是大多数人所喜欢的照片
?山东大学硕士学位论文???ｍｍｍ?？ｉ＿＿ｍ！丨丨?＊ｍｍｍｉ?ｍｍｍｍ?ｍｍｍｍ?ｍｍｍｍ?ｗｍｍｍ?ｍｍｍｍ?ｗｍｍｍ?????ｗｍｍｍ?ｍｍｍｍ?ｍｍｍｍ?襄麵《？１?ｍｍｍ?ｍｍ？．?ｗｍｍ．?ｍｍｍ?ｍｍｔ?ｍｍｍ?ｍｍｍ?ｍｍｍ?ｍｍｒｎ?ｗｍｔｍ?ｍｍｍ?ｍｍｍ??｜桑??！?２２４Ｘ２２４?｜?｜?２２４Ｘ?２２４??＊?ｆ?１?Ｊ??（ａ）全连接方式?（ｂ）局部连接方式??图２－１局部连接与全连接方式??２）权值共享（ｓｈａｒｅｄ?ｗｅｉｇｈｔｓ?ａｎｄ?ｂｉａｓｅｓ）??权值共享是卷积层的特性之一。其核心思想是使用一个卷积核与输入图像的??不同区域作卷积，来检测统计特性相同的特征。即使用同一卷积核卷积映射图像??中的所有值，不论特征在任意位置均可被捕获，可以保证特征具备位移不变性。??而使用不同卷积核对应不同的权值参数可以用来检测不同特征。如果只用了局部??连接的方法，图２－１中（ｂ）例举的方法需要５０１７６ｘ９个权值参数，而加入权值共享??方法后，使用一个３ｘ３的卷积核共有９个参数，所以现在仅需要９个权值，参数??数量进一步降低。??３）池化（ｐｏｏｌｉｎｇ）??为了处理特征信息的冗余，需要对特征的不同位置进行统计聚合，这种统计??的操作就是做池化，有时也称为下采样、降采样或欠采样。池化处理常应用于降??低特征维度，压缩数据，减少参数量，减小过拟合风险和提高模型容错性。??如图２－２所示，常用的池化形式主要有两种，一种是最大池化，一种是平均池??化，两种形式都可以看做特殊的卷积过程。如图示，两种池化的卷积核在原图的??滑动步幅全为２。平均池化的每个权重均相同，等同于对原图进行模
?山东大学硕士学位论文???Ｉｎｐｕｔ?Ｘ?／?Ｋｅｒｎｅｌ?Ｗ?Ｏｕｔｐｕｔ?Ｙ?Ｉｎｐｕｔ?Ｘ?／?Ｋｅｒｎｅｌ?Ｗ?Ｏｕｔｐｕｔ?Ｙ??／Ｃ／；ｒ??——／?ｙ—ｆＶ?°／￣７＾——／ｙ—??７．４?Ｊ??Ｆ?Ｆ??（ａ）最大池化?（ｂ）平均池化??图２－２池化的两种形式??此处展示了一个经典的卷积神经网络结构如图２－３所示，该网络由两个卷积层、??两个池化层和一个全连接层组成。复用卷积层是为了获取高级的语义特征。而在??每个卷积层后都紧跟一个池化层对特征再次提炼处理，利用这种特有组合方式衰??减特征的分辨率。最后使用全连接层来完成分类任务，获得最终的结果。卷积神??经网络本质上是一种映射，能通过大量学习自动地获得输入到输出间的映射关系。??仅通过设计卷积神经网络结构并通过一定的奖惩机制加以训练，该方法便取代了??以往需要人工建立精确数学表达式的方式，更好的完成分类回归等任务。??ｆｔ??ｈ．??＿ｔ??Ｔ－ｌＤ－ｉ－－—ｒ??ｒ??ｉ?ｃｏｎｖｏｌｕｔｉｏｎ?｜?ｐｏｏｌｉｎｇ?｜?ｃｏｎｖｏｌｕｔｉｏｎ?｜?ｐｏｏｌｉｎｇ?｜?ｆｕｌｌｙ?ｃｏｎｎｅｃｔｅｄ?｜??图２－３经典卷积神经网络结构??２．２多尺度特征融合??在输入图像转化为输出结果的过程中，图像进入卷积神经网络后会经过多个??卷积层和池化层变成不同层次的特征，其随着层数的加深会逐步扩大感受野以获??取高层语义。如图２－４中所示可以看到靠近输入端的高分率特征语义层次较低，富??含图像细节，但干扰信息较多；靠近输出端的高层特征有较强概况能力，但分辨??１３??
【参考文献】：
期刊论文
[1]一种用户偏好的美学图像推荐方法[J]. 许永波,苏士美,樊隆庆. 计算机应用研究. 2019(12)
[2]主动特征学习及其在盲图像质量评价中的应用[J]. 高飞,高新波. 计算机学报. 2014(10)
[3]结合浅景深与构图的图像质量评价[J]. 顾婷婷,郭延文,殷昆燕. 中国图象图形学报. 2013(05)
[4]图像质量评价方法研究进展[J]. 蒋刚毅,黄大江,王旭,郁梅. 电子与信息学报. 2010(01)
本文编号：3490947
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3490947.html
