基于视觉感知及深度学习的立体图像质量评价研究

发布时间：2023-06-19 19:10

　　近年来,三维(Three Dimensional,3D)多媒体应用已经逐渐走进了人们的日常生活中,例如3D电影和虚拟现实应用等。人们在享受着3D图像以及视频内容带来的便利的同时,对图像和视频的内容的质量需求也越来越高。不幸的是,图像在传输过程中存在着降质的问题,因而对立体图像质量评价(Stereoscopic Image Quality Assessment,SIQA)的研究迫在眉睫。在前人的基础上,本文从人类视觉系统(Human Visual System,HVS)和深度学习方面出发,主要提出了:(1)基于立体视觉关键特性的全参考SIQA方法根据HVS立体视觉的双目特性,本文提出了一种基于立体视觉关键特性的全参考SIQA方法。首先,建立了双目融合和双目竞争效应的数学模型,分别从两种模型中提取多尺度的能量响应特征图和亮度特征图。通过对参考立体图像和失真立体图像特征图进行相似性度量得到对应的相似性度量图。最后,采用局部二值模式降低特征维度,利用支持向量回归技术对降维后的特征进行映射,得到最终客观质量分数。实验证明,该方法能与人类主观质量评价取得很好的一致性。(2)基于显著区域深度特征学习...

【文章页数】：91 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
Abstract
第一章 绪论
    1.1 课题研究背景和意义
    1.2 国内外研究历史和现状
        1.2.1 图像质量评价基础
        1.2.2 立体图像质量评价研究
    1.3 论文主要内容和组织结构
第二章 立体图像质量评价理论基础
    2.1 人类视觉系统的平面视觉感知特性
        2.1.1 人类视觉系统的生理学特性
        2.1.2 人类视觉系统的心理学特性
    2.2 人类视觉系统的立体视觉感知特性
        2.2.1 深度信息感知
        2.2.2 双目融合效应
        2.2.3 双目竞争效应
    2.3 卷积神经网络理论基础
        2.3.1 卷积神经网络概述
        2.3.2 卷积神经网络理论知识
        2.3.3 基于卷积神经网络的平面图像质量评价研究
        2.3.4 基于卷积神经网络的立体图像质量评价研究
    2.4 立体图像质量评价数据库及客观评价指标
        2.4.1 立体图像质量评价数据库
        2.4.2 立体图像质量评价性能评估指标
    2.5 本章小结
第三章 基于双目视觉关键特性全参考立体图像质量评价
    3.1 双目融合模型
        3.1.1 双目视差图计算
        3.1.2 增益控制和增益增强理论
        3.1.3 基于GC和GE理论的双目融合模型
        3.1.4 相似性度量
        3.1.5 多尺度中间亮度相似度图
    3.2 双目竞争模型
    3.3 特征降维
    3.4 回归策略
    3.5 实验结果与分析
        3.5.1 整体算法性能比较
        3.5.2 分失真类型性能比较
        3.5.3 Waterloo IVC数据库实验与结果分析
        3.5.4 算法性能直观表示
    3.6 本章小结
第四章 基于显著区域深度特征学习无参考立体图像质量评价
    4.1 深度网络模型构建的基础
        4.1.1 中间视图和局部质量分数
        4.1.2 图像预处理
        4.1.3 卷积神经网络架构
    4.2 单通道深度网络模型
        4.2.1 局部特征学习
        4.2.2 全局质量回归
    4.3 三通道深度网络模型
    4.4 实验结果与分析
        4.4.1 实验方法
        4.4.2 整体算法性能比较
        4.4.3 分失真类型性能比较
        4.4.4 局部特征预测的可视化
        4.4.5 显著性阈值的设定
        4.4.6 Waterloo IVC数据库实验与结果分析
        4.4.7 跨数据库实验
    4.5 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
作者简历



本文编号：3834953