基于多特征融合的图像质量评价深度学习模型
发布时间：2021-06-11 20:48
在现代科学技术迅猛发展的背景下,人们对图像的要求越来越高。高清晰度和高质量的图像是现代视觉信息数字化所追求的基本目标。但是,在图像的采集、处理、传输和存储的过程中,由于采集方法、处理手段、传输介质以及存储设备的不够完善,加上采集时物体的运动性和传输过程中的噪声污染等一系列因素,给图像造成一定程度的失真。因此,图像质量的正确评价具有非常重要的应用价值,并且,图像质量评价（Image Quality Assessment,IQA）的广泛应用,对个人服务、科学研究和工程应用等相关行业的发展产生深远的影响。在传统的图像质量评价模型中,人工提取了各种视觉特征用来预测图像的视觉质量。然而,在深度学习模型中,深度特征是通过卷积神经网络自动学习的。因此,如何融合这两种特征以获得更好的图像质量评价模型是一项非常有意义的研究。在本文中,提出了一种基于多特征融合的深度学习模型（MFNet）,该模型同时考虑了人工特征和深度学习特征。人工特征提取图像的一些基本视觉特征,然后将其放在深度学习模型中,从而使模型可以进一步提取更深入的人眼视觉特性信息。在提出的模型中,除了在学习过程中提取视觉特征外,还提出了使用视觉显...
【文章来源】：青岛大学山东省
【文章页数】：47 页
【学位级别】：硕士
【部分图文】：
SSIM模型框架图
青岛大学硕士学位论文92.4基于显著性特征算法视觉显著性（VisualSaliency,VS）是指对于现实世界中的场景，人们会自动识别出场景中感兴趣的区域，并忽略不感兴趣的区域。这些人类感兴趣的区域则被称为显著性区域。视觉显著性检测是指通过计算机算法模拟人眼视觉系统中有关的视觉特性，对图像的区域进行显著性的判断，从而在图像中提取出显著性区域（即人类感兴趣的区域）[21]。在过去的十几年中，心理学家、神经生物学家和计算机科学家针对视觉显著性进行了广泛的研究，研究了图像的哪些区域将更吸引人类视觉系统的注意，且提出了人类视觉的注意力机制可以分为两个策略：自底向上和自顶向下。自底向上的方法是由图像的本质特征引起的视觉显著，它是由底层感知数据驱动的，将人的视觉注意应用到自然场景中的显著区域，通常显著区域与周围具有较强的对比度或与周围有明显不同的区域注意力[22]。因此，人们可以通过区域与区域之间的差异性来判断图像区域的显著性，而这些差异性又体现在诸如图像的颜色、亮度以及方向等图像特征方面。而自顶向下的方法是由任务经验引导到视觉注意力的，它是一种以任务为中心的突出注意力机制，并利用先验知识来预测当前图像区域的显著性。如图2.2中所示，(a)(b)表示为自底向上的方法，(c)表示自顶向下的方法。(a)自底向上(b)自底向上(c)自顶向下图2.2图像的显著性示例
青岛大学硕士学位论文12算法在LIVE数据库中展现了惊人的预测准确性，并展示了其在交叉数据集中优秀的鲁棒性。但该算法仍然存在一定的缺陷，首先将训练集中图像块的标签（质量分数）直接标定为图像的质量分数，这在日常实际中并不成立；其次直接将图像块的均值作为整体质量分数，也忽略了人眼视觉特性的因素。由于深度学习在图像质量评价中具有广阔的应用前景，也是一个充满困难和挑战的课题，因此，研究人员针对深度学习的研究，又提出了更高效更稳定的模型。例如，Hou等人将人工提取的特征向量放入具有三个隐藏层的深度置信网络中，以学习图像中的中高级信息内容[29]。Gao等人设计了一个模型，该模型使用VGGnet提取图像特征，然后计算相似度以给出最终分数[30]。Kim等人提出了一个无参考图像质量评价模型，其中训练集的标签是通过传统的全参考模型生成的（BIECON）[31]。Kim提出了一种新的深度学习框架，称为DeepQA[32]，该模型可以学习到人类的视觉敏感度，并将其与客观误差图结合起来以生成预测的质量分数。图2.3Kang等人提出的网络结构模型2.6本章小结本章针对前人在图像质量评价领域所做的研究工作进行总结，分别从结构相似性，梯度相似性，显著性特征以及深度学习四个方面来对图像质量评价的算法进行简要介绍，通过典型算法的分析，可以看出基于结构相似性的算法较为简单快捷，但评价准确性较低，而随着梯度和显著性等视觉特性的加入，质量评价结果得到进一步提高，从而进一步论证了梯度特征和显著性特征对图像质量评价预测结果的积极作用。而深度学习的使用使得评价的结果与人眼视觉主观感受保持更高的一致性。
【参考文献】：
期刊论文
[1]基于显著性图像边缘的全参考图像质量评价[J]. 闫钧华,朱可,张婉怡,汪竟成,肖勇旗. 仪器仪表学报. 2016(09)
[2]No-Reference Quality Assessment of Enhanced Images[J]. Leida Li,Wei Shen,Ke Gu,Jinjian Wu,Beijing Chen,Jianying Zhang. 中国通信. 2016(09)
[3]图像伪造中模糊操作的异常色调率取证技术[J]. 王波,孙璐璐,孔祥维,尤新刚. 电子学报. 2006(S1)
本文编号：3225257
【文章来源】：青岛大学山东省
【文章页数】：47 页
【学位级别】：硕士
【部分图文】：
SSIM模型框架图
青岛大学硕士学位论文92.4基于显著性特征算法视觉显著性（VisualSaliency,VS）是指对于现实世界中的场景，人们会自动识别出场景中感兴趣的区域，并忽略不感兴趣的区域。这些人类感兴趣的区域则被称为显著性区域。视觉显著性检测是指通过计算机算法模拟人眼视觉系统中有关的视觉特性，对图像的区域进行显著性的判断，从而在图像中提取出显著性区域（即人类感兴趣的区域）[21]。在过去的十几年中，心理学家、神经生物学家和计算机科学家针对视觉显著性进行了广泛的研究，研究了图像的哪些区域将更吸引人类视觉系统的注意，且提出了人类视觉的注意力机制可以分为两个策略：自底向上和自顶向下。自底向上的方法是由图像的本质特征引起的视觉显著，它是由底层感知数据驱动的，将人的视觉注意应用到自然场景中的显著区域，通常显著区域与周围具有较强的对比度或与周围有明显不同的区域注意力[22]。因此，人们可以通过区域与区域之间的差异性来判断图像区域的显著性，而这些差异性又体现在诸如图像的颜色、亮度以及方向等图像特征方面。而自顶向下的方法是由任务经验引导到视觉注意力的，它是一种以任务为中心的突出注意力机制，并利用先验知识来预测当前图像区域的显著性。如图2.2中所示，(a)(b)表示为自底向上的方法，(c)表示自顶向下的方法。(a)自底向上(b)自底向上(c)自顶向下图2.2图像的显著性示例
青岛大学硕士学位论文12算法在LIVE数据库中展现了惊人的预测准确性，并展示了其在交叉数据集中优秀的鲁棒性。但该算法仍然存在一定的缺陷，首先将训练集中图像块的标签（质量分数）直接标定为图像的质量分数，这在日常实际中并不成立；其次直接将图像块的均值作为整体质量分数，也忽略了人眼视觉特性的因素。由于深度学习在图像质量评价中具有广阔的应用前景，也是一个充满困难和挑战的课题，因此，研究人员针对深度学习的研究，又提出了更高效更稳定的模型。例如，Hou等人将人工提取的特征向量放入具有三个隐藏层的深度置信网络中，以学习图像中的中高级信息内容[29]。Gao等人设计了一个模型，该模型使用VGGnet提取图像特征，然后计算相似度以给出最终分数[30]。Kim等人提出了一个无参考图像质量评价模型，其中训练集的标签是通过传统的全参考模型生成的（BIECON）[31]。Kim提出了一种新的深度学习框架，称为DeepQA[32]，该模型可以学习到人类的视觉敏感度，并将其与客观误差图结合起来以生成预测的质量分数。图2.3Kang等人提出的网络结构模型2.6本章小结本章针对前人在图像质量评价领域所做的研究工作进行总结，分别从结构相似性，梯度相似性，显著性特征以及深度学习四个方面来对图像质量评价的算法进行简要介绍，通过典型算法的分析，可以看出基于结构相似性的算法较为简单快捷，但评价准确性较低，而随着梯度和显著性等视觉特性的加入，质量评价结果得到进一步提高，从而进一步论证了梯度特征和显著性特征对图像质量评价预测结果的积极作用。而深度学习的使用使得评价的结果与人眼视觉主观感受保持更高的一致性。
【参考文献】：
期刊论文
[1]基于显著性图像边缘的全参考图像质量评价[J]. 闫钧华,朱可,张婉怡,汪竟成,肖勇旗. 仪器仪表学报. 2016(09)
[2]No-Reference Quality Assessment of Enhanced Images[J]. Leida Li,Wei Shen,Ke Gu,Jinjian Wu,Beijing Chen,Jianying Zhang. 中国通信. 2016(09)
[3]图像伪造中模糊操作的异常色调率取证技术[J]. 王波,孙璐璐,孔祥维,尤新刚. 电子学报. 2006(S1)
本文编号：3225257
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3225257.html
