多视点立体视频帧间错误隐藏研究

发布时间：2020-05-08 09:58

【摘要】：随着用户对高清三维视频需求的日益攀升,2014年国际视频编码联合工作组(JCT-VC)在基于HEVC(High Efficiency Video Coding)标准的基础上,面向三维视频编码推出了多视点视频编码标准MV-HEVC和3D-HEVC。相对于基于H.264的多视点编码标准,在保证相同解码质量的条件下,对三维视频的压缩效率提高了近一倍。这意味着更少的压缩比特率,同时也意味着一旦视频在传输中发生错误或丢包,解码恢复的视频质量将严重下降。由于多视点视频的数据相关性相较于单视点视频更高,因此对多视点立体视频传输进行有效的差错控制是视频编码与传输领域中一项必不可少的技术。多视点错误隐藏技术是在解码端利用立体/多视点视频内容在时域、空域以及视点域间存在的较强相关性对丢失块进行重建。如何准确地利用时域、空域、视点间相关性重建丢失编码单元的运动/视差矢量,且如何利用人眼双目感知特征提升重建质量是多视点立体视频帧间错误的核心问题。本文在分析MV-HEVC关键技术以及人眼立体感知模型的基础上,重点对MV-HEVC解码端的帧间错误隐藏技术进行了研究,提出了适用于MV-HEVC标准的错误隐藏新算法,主要研究工作包括:1.提出了一个基于MV-HEVC的错误隐藏算法。该算法先将受损编码单元(Coding Unit,CU)划分成静止块和运动块,对于静止块使用直接拷贝的方法即可直接恢复,而对于运动块则使用基于运动/视差补偿的方法进行恢复。在运动/视差补偿方法中:首先考虑到受损块与其相邻块深度值具有很强的相关性,根据相邻块深度值对受损块进行自适应划分;接着,对每个受损子块构建运动/视差矢量集;然后,鉴于传统块匹配准则在CU块边界匹配中的局限性,该算法结合像素平滑性和纹理结构相似性提出了新的块匹配准则CMAD。最后,根据CMAD值大小,从矢量集中选择最优的运动/视差矢量作为当前受损块的运动/视差矢量,或是使用运动/视差矢量插值法获取新的运动/视差矢量作为当前受损块的运动/视差矢量来进行丢失块重建。实验结果表明,本文算法能有效地提高丢失块的重建精度,使恢复的丢失单元较好地保持了纹理空间一致性,从而提高了出错帧的重建质量。2.提出了一个基于双目感知特性的立体视频错误隐藏算法。率先将双目恰可察觉失真(binocular just noticeable difference,BJND)模型引入MV-HEVC错误隐藏技术中。在CU尺寸划分中,该算法不仅考虑了视频自身的内容特性,还利用BJND模型以及相邻块运动/视差分布特征对重建时的编码块大小进行自适应划分。此外还将人眼对于左右视点的失真可容忍度考虑进来,提出了结合BJND模型的新匹配准则DBJND。当来自于运动/视差矢量集中的最优运动/视差矢量的重建结果大于DBJND阈值时,该算法利用视点间相关性,通过在相邻视点帧的指定范围内搜索最佳匹配块来重建当前受损块。实验结果表明,经本文算法恢复后出错帧不但取得了较高的PSNR值,还与人类的主观感知质量保持高度一致。
【图文】：

第 2 章 MV-HEVC 关键技术与错误隐藏技术随着互联网技术以及多媒体技术的快速发展，人们对于视频的清晰度，压缩率，以及立体视频的技术等都提出了很高的要求，对于以往普遍应用的 H.264 标准开始不能够满足上述人们的期待。因此国际视频编码联合工作组 JCT.VC 和 JCT.3V 开始着手定制了新一代视频编解码标准 HEVC 以及扩展的立体视频标准 MV-HEVC,3D-HEVC。新标准相比较于 H.264 标准在保证相同视频画面质量的同时，将视频压缩效率提高了一倍。 2.1 HEVC 标准关键技术分析如图 2.1 所示，新一代视频编解码标准 HEVC，MV-HEVC 仍然沿用了 H.26X 系列标准的混合编解码框架[36][37]，即预测编码加变换编码的分块编码模式；在编码模块中都引入了帧内预测、帧间预测、运动估计和运动补偿、量化变换、熵编码[38]、环路滤波[39]等技术。同时添加了并行化设计可应用于多核多进程/多线程处理，图 2.1 是 HEVC 编解码框图。

杭州电子科技大学硕士学位论文 2.1.1 编码单元以及编码树结构相比较于 H.264 标准中的宏块（16×16 的像素块），HEVC 中也有类似宏块结构概念的编码树单元（Coding Tree Unit,CTU）。每帧视频画面会被划分成大小相等的 CTU，CTU 尺寸为 64×64 的像素块，是后续预测模块、运动估计和补偿模块，变换和量化模块以及熵编码模块等的基本单元。CTU 可以按照四叉树结构递归划分为若干编码单元（Coding Units,CU），，位于同一层次的 CU 块必须为相同尺寸大小的 4 个块，CU 尺寸为 8×8~64×64 的像素块，CU 可以按照四叉树结构分解/不分解为更小的预测单元（Prediction Units，PU）和变换单元（Transform Units，TU），PU 的尺寸为 4×4~64×64 的像素块，TU 的尺寸为 4×4~32×32的像素块。CTU 块的递归划分是通过率失真准则进行自适应的划分，相比较于 H.264 标准采取的宏块的尺寸大小为固定模式，这种灵活的自适应划分方式可以很好的根据视频自身的运动、纹理特征进行划分和归类。在图像比较平坦以及背景区域，会分配较大的 CU，而在纹理复杂区域或多种运动方向区域，会分配较小的 CU，可以极大提高编码效率。图 2.2 是 CTU划分示例图，以及相对应的四叉树结构。
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN919.81

【相似文献】

相关期刊论文 前10条

1 冯星;牟玲丽;周源;雷丽红;刘英姿;凌晓;曹建国;;药理学运用立体视频技术提高双语教学质量的探讨[J];课程教育研究;2012年33期

2 孔悦;周军;谷潇;;基于时空一致性的立体视频稳像改进方法[J];电视技术;2016年11期

3 王腾飞;王晓东;胡彬彬;蒋刚毅;;交互式立体视频系统传输质量研究[J];宁波大学学报(理工版);2014年01期

4 王柏璇;刘璐;马劲梅;潘璋敏;;浅谈低成本制作3D立体视频[J];艺术科技;2015年04期

5 刘龙涛;;立体视频资源存储入库研究[J];考试周刊;2016年09期

6 温建伟;;发展立体视频技术 占领新的制高点[J];中国科技投资;2008年02期

7 晓云;;“无线立体视频”通过鉴定[J];每周电脑报;1997年44期

8 李华;苏志斌;任慧;;活态文化资源双目立体视频存储技术研究[J];中国传媒大学学报(自然科学版);2013年04期

9 庞林娟;郁梅;蒋刚毅;蒋志迪;;立体视频传输中右通道整帧丢失的错误掩盖算法[J];小型微型计算机系统;2007年10期

10 李思原;马健;尤志翔;沈礼权;安平;;立体QoE视频库构建[J];电视技术;2017年Z3期

相关会议论文 前4条

1 费跃;李福翠;郁梅;;基于自动多视点显示的立体视频错误隐藏算法[A];浙江省电子学会第七次会员代表大会暨2007学术年会论文集[C];2007年

2 王世刚;王学军;陈贺新;;MPEG-4框架的面向立体视频对象压缩编码的研究[A];第十二届中国体视学与图像分析学术会议论文集[C];2008年

3 刘爽;王世刚;陈贺新;吕源治;;基于视差和变化检测的立体视频对象的实时提取[A];第十五届全国图象图形学学术会议论文集[C];2010年

4 陈贤;张刚;赵文吉;左建章;;基于生理视觉原理的立体视频重建技术研究[A];立体图象技术及其应用研讨会论文集[C];2005年

相关重要报纸文章 前10条

1 记者 程曦　实习记者 白雪蕾;引领中国立体视频技术跨越式发展[N];新清华;2013年

2 记者　李玫 通讯员　李俊卿;立体视频研发基地落户深圳[N];深圳特区报;2006年

3 记者 赵婀娜;自主研发立体视频芯片发布[N];人民日报;2011年

4 本报记者 高靓 通讯员 程曦 白雪蕾;占领立体视频技术制高点[N];中国教育报;2013年

5 记者 丰捷;清华研发立体视频芯片“清立方”[N];光明日报;2011年

6 记者 杨晨光;清华自主研发立体视频芯片[N];中国教育报;2011年

7 自动化系;我校发布“清立方”立体视频芯片成果[N];新清华;2011年

8 汪小意;枪挑分众立体视频潜入上海[N];第一财经日报;2006年

9 李荔;立体视频芯片[N];北京科技报;2011年

10 清华大学自动化系教授 戴琼海;产业日趋成熟 2D转3D走向市场化[N];中国电子报;2010年

相关博士学位论文 前10条

1 郭锐;基于LDPC码不等错误保护的立体视频通信研究[D];浙江大学;2007年

2 张艳;立体视频质量评价关键技术研究[D];上海大学;2013年

3 卢大玮;双目立体视频图像编辑关键技术的研究[D];北京邮电大学;2017年

4 赵西满;大规模网络立体电视传输与优化技术研究[D];天津大学;2012年

5 钟睿;基于深度图修复与JND建模的立体视频编码研究[D];武汉大学;2014年

6 王宝亮;基于H.264的多视点立体视频关键技术研究[D];天津大学;2010年

7 卫津津;基于视觉信息的质量感知模型及检索方法研究[D];天津大学;2016年

8 郭大波;网格基单目和立体视频编码及相关技术研究[D];西安电子科技大学;2009年

9 吴笛;可分级的多视点立体视频编码及传输关键算法的研究[D];武汉大学;2014年

10 周圆;面向IP网络的多视点立体视频传输失真分析与建模[D];天津大学;2011年

相关硕士学位论文 前10条

1 唐杰;多视点立体视频帧间错误隐藏研究[D];杭州电子科技大学;2018年

2 赵富荣;立体视频虚拟视点生成关键技术研究[D];华中科技大学;2017年

3 王焕玲;基于双目感知的立体视频质量客观评价方法[D];天津大学;2018年

4 李翩;基于立体视频的显著性检测研究[D];华中科技大学;2018年

5 许茹;基于时空域综合特征的立体视频质量客观评价方法[D];天津大学;2017年

6 宋洋;基于视觉感知的立体视频客观质量评价研究[D];宁波大学;2015年

7 段燕娜;人类视觉特性立体视频评价模型[D];吉林大学;2013年

8 张祥意;立体视频播放与视差匹配调节技术研究与实现[D];北京邮电大学;2013年

9 王凌杰;帧内同步立体视频编码方法研究[D];上海交通大学;2012年

10 东野升云;多尺度分析与相似度的立体视频人类视觉评价模型的研究[D];吉林大学;2011年

本文编号：2654508