3D-HEVC深度图帧内预测快速编码算法

发布时间：2021-06-14 06:09

　　三维高效视频编码在产生了高效的编码效率的同时也是以大量的计算复杂性作为代价的。因此为了降低计算的复杂度,本文提出了一种基于深度学习网络的边缘检测的3D-HEVC深度图帧内预测快速算法。算法中首先使用整体嵌套边缘检测网络对深度图进行边缘检测,而后使用最大类间方差法将得到的概率边缘图进行二值化处理,得到显著性的边缘区域。最后针对处于不同区域的不同尺寸的预测单元,设计了不同的优化方法,通过跳过深度建模模式和其他某些不必要的模式来降低深度图帧内预测的模式选择的复杂度,最终达到减少深度图的编码复杂度的目的。经过实验仿真的验证,本文提出的算法与原始的编码器算法相比,平均总编码时间可减少35%左右,且深度图编码时间平均大约可减少42%,而合成视点的平均比特率仅增加了0.11%。即本文算法在可忽略的质量损失下,达到降低编码时间的目的。 

【文章来源】：光电子·激光. 2020,31(02)北大核心CSCD

【文章页数】：7 页

【部分图文】：

深度图以及其帧内最优模式的时间比例

HED网络是一种用于边缘检测的新的深度学习网络结构。它是在VGG16网络结构的基础上进行修改得到的。HED网络可以通过深度学习模型将逐像素分类转换为图像到图像的预测,即实现端到端的边缘检测。而且在完全卷积神经网络和深度监督网络的基础上,可以自动学习丰富的分级特征表示,解决边缘检测中的细节问题[1],这也正是这种方法的亮眼之处。在HED网络中,采用的是VGGNet网络架构,但是作了以下修改:将VGG网络中的最后一个阶段去掉,包括了第五个池化以及后面全部的连接层,并且将侧边输出层与VGG16网络中的每个阶段的最后一个卷积层连接在一起,即与conv1_2,conv2_2,conv3_3,conv4_3,conv5_3相连,这些卷积层中的每一个感知区间的尺寸与相应的侧边输出层相同,经过多个侧边输出层可以输出不同尺度的边缘。为了最好地利用到这些输出层的结果,增加了一个权重融合(weighted-fusion)层到网络,用来将侧边输出层得到的预测结果连接到一起并且在训练过程中学习融合权重。然后HED网络通过融合权重与侧边代价的和来对每个卷积核内的参数与融合权重使用标准随机梯度下降法来进行迭代优化[18],最终得到最后的边缘输出图。图2给出了使用HED网络得到边缘检测输出结果。通过HED网络进行边缘检测得到的边缘图实际上是一个概率图,在原始算法中会将标准的非极大值抑制的方法来进行处理得到更加细化边缘。但是,非极大值抑制方法的使用会导致结果中出现毛刺现象,在这里,对于HED网络得出的边缘概率图,我们使用最大类间方差(Otsu)算法来做下一步的处理,使其二值化为更容易进行处理的边缘结果。

步骤7:执行RMD和MPM过程,若候选模式中存在Planar或DC模式,且MPM中有DC模式,跳过DMM模式,且只对Planar或者DC模式进行率失真代价的计算,找出最优模式。否则,同样跳过DMM模式,并且对候选模式列表中的一切候选模式进行全率失真代价的计算,找到最优模式。4 实验结果与讨论

【参考文献】：
期刊论文
[1]一种改进的HED网络及其在边缘检测中的应用[J]. 焦安波,何淼,罗海波.  红外技术. 2019(01)



本文编号：3229227