面向3D视频的帧间错误隐藏技术研究
发布时间：2021-01-14 19:04
三维（Three Dimension,3D）视频技术既可以提供给观众“身临其境”的沉浸感,也能为用户呈现不同角度的视频画面,增强了用户的三维沉浸感和场景逼真度,是多媒体技术的重要发展方向。多路采集的3D视频信号数据量大,给传输信道带来了巨大的压力,必须对3D视频数据进行高效地压缩传输。然而,高压缩后的3D视频流在传输过程时更容易受到网络中诸多不确定因素的影响,例如,网络延迟或噪声干扰等。如果3D视频流在传输中发生数据丢失,将会导致解码图像失真,严重时可能会出现整帧图像缺失,进而引起后续一连串帧的解码失败。为了解决此类问题,必须采用可靠的差错控制技术。3D视频错误隐藏技术是在解码端利用视频帧的时空域及视点域的相关信息重建丢失的信息。如何获取3D视频中视点间、前后帧间以及帧内相关信息,并将其高效地运用到错误区域重建中是3D视频错误隐藏算法的核心问题。本学位论文分析了当前出错帧与其相近的时域连续帧及其他视点帧可能存在的相关性,着重以视频流中冗余的时空域、视点域等帧间信息为基础,重建失真的视频帧。本文的主要工作内容如下:1.提出一种基于HEVC标准的3D视频错误隐藏新算法。该算法以HBP（Hi...
【文章来源】：杭州电子科技大学浙江省
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
D视频错误传播
MPEG组建视频编码联合组JCT-VC(JointCollaborativeTeamonVideoCoding)，正式发布了新一代高效视频编码H.265/HEVC标准。随后其拓展框架MV-HEVC[35]也正式发布。相比较上一代的视频编解码标准，H.265/HEVC提高了视频的压缩效率，性能更加优异。2.13D视频编码3D视频技术目前已经广泛应用在人们生活的方方面面，最为切身感受的是3D电影的震撼视觉的冲击，仿佛身临其境，沉浸其中。如今，3D电视、3D电脑、3D投影仪等3D终端产品已经较多的应用在工业设计、医学应用、教学辅助等，可见3D视频的应用前景广阔。2.1.13D视频系统图2.13D视频系统3D视频的最终感受者都是用户，为了提升用户的体验质量，对3D视频技术来说具有较大的挑战。如图2.1所示为3D视频系统的成像过程，主要分为5个技术环节：3D视频信号采集、视频数据编码压缩、数据流传输、视频数据解码还原信号、终端显示3D视频。从视频数据的采集到展示给用户观看，这里每一过程均密切联系，不可或缺：(1)3D视频信号通过固定角度的平行摄像机拍摄同一场景得到，所以两个视点的视频图像的垂直视差为0，水平视差为摄像机角度的偏差；(2)在经过一系列的色彩校正后，编码器根据计算出的率失真代价选择不同的编码预测方式对采集的视频数据进行压缩编码，减少传输的视频数据；(3)相比于原始数据，压缩后的数据流已经大大减少了体积，通过网络信道传输到终端；(4)解码与编码相反，是编码的逆过程，需要将压缩后的比特流数据还原成视频图像；(5)解码后的视频图像通过不同的硬件播放设备显示，用户观看后评价解码质量的好坏。3D视频系统中最关键的技术环节是编码环节，因为它们决定着最终人眼观看到的视频的质量。本文将在以下小节中介绍关于3D视频编码的关键技术。
杭州电子科技大学硕士学位论文82.1.23D视频编码关键技术在3D视频信号采集阶段，由于信号量巨大，无法适应有限的网络带宽。3D视频编码的关键在于：a.将视频数据量控制在有限的信道带宽范围内；b.压缩后的视频必须保证主客观质量。3D视频编码技术是基于HEVC标准的拓展技术，在具有高压缩性能的同时依然保证视频的质量。(1)HEVC编码关键技术图2.2H.265/HEVC视频标准编码框架H.265/HEVC仍然沿用上一代的混合编码框架，但是有许多的改进之处。H.265/HEVC的标准编码框架如图2.2所示，主要步骤有：(1)对输入的视频帧进行编码块的分割，得到不同尺寸的编码单元[37]；(2)为了去除时空域的冗余，预测模块分别采用帧内预测编码和帧间预测编码。H.265/HEVC支持多种帧内预测方式和帧间预测方式；(3)原始数据和预测后的数据之间的差异为预测残差。当残差数据经过DCT变换[38]和量化后，以熵编码对量化变换系数、编码控制数据等编码，得到最终的二进制数据流。相比较H.264/AVC，H.265/HEVC标准的创新之处在于几乎对每个编码模块进行了改进，下面对其中的一些关键技术做详细介绍：1)编码预测结构H.264/AVC标准中的基本编码单元是宏块，即每个宏块是由16×16大小的像素区域构成。由于高分辨率视频业务发展的需要，这种编码单元局限性大，不再适应未来视频技术的发展。H.265/HEVC中采用了编码更加灵活的编码树单元(CodingTreeUnit,CTU)。不同于上一代标准中的宏块概念，CTU的大小可以由编码器根据视频内容的纹理进行设定。CTU的尺寸为
【参考文献】：
期刊论文
[1]应用改进的灰度共生矩阵识别木材纹理多重特征值[J]. 王清涛,杨洁. 西北林学院学报. 2019(03)
[2]基于块划分的空时域自适应差错掩盖算法[J]. 王冰,彭强,陈健. 计算机科学与探索. 2019(01)
[3]一种时空域结合的自适应错误隐藏算法[J]. 李承欣,叶锋,陈家祯,许力,林晖. 小型微型计算机系统. 2017(07)
[4]基于HEVC编解码的光场图像压缩[J]. 孙夏,石志儒. 电子设计工程. 2017(04)
[5]基于平面拟合恢复运动矢量的错误隐藏算法[J]. 李玉峰,陈瑞宁. 计算机工程与应用. 2018(02)
[6]基于视差估计的图像双向匹配[J]. 邓坚瑾,田金文. 计算机与数字工程. 2015(12)
[7]一种低复杂度立体视频错误隐藏新方法[J]. 严柯森,郁梅,陈芬. 光电子·激光. 2015(11)
[8]一种基于人眼视觉特性的视频质量评价算法[J]. 朱宏,蒋刚毅,王晓东,陈芬,郁梅,邵枫,彭宗举. 计算机辅助设计与图形学学报. 2014(05)
[9]结构相似度的立体视频错误隐藏[J]. 李晓丹,郁梅,蒋刚毅,王晓东,彭宗举,邵枫. 光电工程. 2014(04)
[10]基于多视点视频整帧丢失的自适应错误掩盖算法[J]. 张凌寒,侯春萍,周圆. 光电子.激光. 2014(03)
硕士论文
[1]基于双稀疏优化的空域错误隐藏算法研究[D]. 严静文.武汉大学 2018
[2]3D-HEVC深度图预处理与误码掩盖技术研究[D]. 王亚峰.西安电子科技大学 2014
[3]基于视觉特征的图像质量评价算法[D]. 陈玉坤.西安电子科技大学 2013
[4]多视点视频编码中错误隐藏技术的研究[D]. 项欣光.哈尔滨工业大学 2007
本文编号：2977370
【文章来源】：杭州电子科技大学浙江省
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
D视频错误传播
MPEG组建视频编码联合组JCT-VC(JointCollaborativeTeamonVideoCoding)，正式发布了新一代高效视频编码H.265/HEVC标准。随后其拓展框架MV-HEVC[35]也正式发布。相比较上一代的视频编解码标准，H.265/HEVC提高了视频的压缩效率，性能更加优异。2.13D视频编码3D视频技术目前已经广泛应用在人们生活的方方面面，最为切身感受的是3D电影的震撼视觉的冲击，仿佛身临其境，沉浸其中。如今，3D电视、3D电脑、3D投影仪等3D终端产品已经较多的应用在工业设计、医学应用、教学辅助等，可见3D视频的应用前景广阔。2.1.13D视频系统图2.13D视频系统3D视频的最终感受者都是用户，为了提升用户的体验质量，对3D视频技术来说具有较大的挑战。如图2.1所示为3D视频系统的成像过程，主要分为5个技术环节：3D视频信号采集、视频数据编码压缩、数据流传输、视频数据解码还原信号、终端显示3D视频。从视频数据的采集到展示给用户观看，这里每一过程均密切联系，不可或缺：(1)3D视频信号通过固定角度的平行摄像机拍摄同一场景得到，所以两个视点的视频图像的垂直视差为0，水平视差为摄像机角度的偏差；(2)在经过一系列的色彩校正后，编码器根据计算出的率失真代价选择不同的编码预测方式对采集的视频数据进行压缩编码，减少传输的视频数据；(3)相比于原始数据，压缩后的数据流已经大大减少了体积，通过网络信道传输到终端；(4)解码与编码相反，是编码的逆过程，需要将压缩后的比特流数据还原成视频图像；(5)解码后的视频图像通过不同的硬件播放设备显示，用户观看后评价解码质量的好坏。3D视频系统中最关键的技术环节是编码环节，因为它们决定着最终人眼观看到的视频的质量。本文将在以下小节中介绍关于3D视频编码的关键技术。
杭州电子科技大学硕士学位论文82.1.23D视频编码关键技术在3D视频信号采集阶段，由于信号量巨大，无法适应有限的网络带宽。3D视频编码的关键在于：a.将视频数据量控制在有限的信道带宽范围内；b.压缩后的视频必须保证主客观质量。3D视频编码技术是基于HEVC标准的拓展技术，在具有高压缩性能的同时依然保证视频的质量。(1)HEVC编码关键技术图2.2H.265/HEVC视频标准编码框架H.265/HEVC仍然沿用上一代的混合编码框架，但是有许多的改进之处。H.265/HEVC的标准编码框架如图2.2所示，主要步骤有：(1)对输入的视频帧进行编码块的分割，得到不同尺寸的编码单元[37]；(2)为了去除时空域的冗余，预测模块分别采用帧内预测编码和帧间预测编码。H.265/HEVC支持多种帧内预测方式和帧间预测方式；(3)原始数据和预测后的数据之间的差异为预测残差。当残差数据经过DCT变换[38]和量化后，以熵编码对量化变换系数、编码控制数据等编码，得到最终的二进制数据流。相比较H.264/AVC，H.265/HEVC标准的创新之处在于几乎对每个编码模块进行了改进，下面对其中的一些关键技术做详细介绍：1)编码预测结构H.264/AVC标准中的基本编码单元是宏块，即每个宏块是由16×16大小的像素区域构成。由于高分辨率视频业务发展的需要，这种编码单元局限性大，不再适应未来视频技术的发展。H.265/HEVC中采用了编码更加灵活的编码树单元(CodingTreeUnit,CTU)。不同于上一代标准中的宏块概念，CTU的大小可以由编码器根据视频内容的纹理进行设定。CTU的尺寸为
【参考文献】：
期刊论文
[1]应用改进的灰度共生矩阵识别木材纹理多重特征值[J]. 王清涛,杨洁. 西北林学院学报. 2019(03)
[2]基于块划分的空时域自适应差错掩盖算法[J]. 王冰,彭强,陈健. 计算机科学与探索. 2019(01)
[3]一种时空域结合的自适应错误隐藏算法[J]. 李承欣,叶锋,陈家祯,许力,林晖. 小型微型计算机系统. 2017(07)
[4]基于HEVC编解码的光场图像压缩[J]. 孙夏,石志儒. 电子设计工程. 2017(04)
[5]基于平面拟合恢复运动矢量的错误隐藏算法[J]. 李玉峰,陈瑞宁. 计算机工程与应用. 2018(02)
[6]基于视差估计的图像双向匹配[J]. 邓坚瑾,田金文. 计算机与数字工程. 2015(12)
[7]一种低复杂度立体视频错误隐藏新方法[J]. 严柯森,郁梅,陈芬. 光电子·激光. 2015(11)
[8]一种基于人眼视觉特性的视频质量评价算法[J]. 朱宏,蒋刚毅,王晓东,陈芬,郁梅,邵枫,彭宗举. 计算机辅助设计与图形学学报. 2014(05)
[9]结构相似度的立体视频错误隐藏[J]. 李晓丹,郁梅,蒋刚毅,王晓东,彭宗举,邵枫. 光电工程. 2014(04)
[10]基于多视点视频整帧丢失的自适应错误掩盖算法[J]. 张凌寒,侯春萍,周圆. 光电子.激光. 2014(03)
硕士论文
[1]基于双稀疏优化的空域错误隐藏算法研究[D]. 严静文.武汉大学 2018
[2]3D-HEVC深度图预处理与误码掩盖技术研究[D]. 王亚峰.西安电子科技大学 2014
[3]基于视觉特征的图像质量评价算法[D]. 陈玉坤.西安电子科技大学 2013
[4]多视点视频编码中错误隐藏技术的研究[D]. 项欣光.哈尔滨工业大学 2007
本文编号：2977370
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2977370.html
