多视点视频的三维重建和显示

发布时间：2016-06-27 21:24

受限于输入数据的内容信息，参考视点的巧度图和纹理图不可能覆盖场景中的所有几何结构和纹理内容。由于不同视点间的位置关系，参考视点中可见的部分信息在虚拟视点中变为不可见区域，而参考视点中被前景物体遮挡的不可见区域很有可能会在虚拟视点中变为可见区域，此时无法从参考视点中直接找到对应的有效像素点，新出现的可见区域就成为了空洞，图1.7所示为其中的一种情况。遮挡空洞问题一般出现在边缘位置附近，包括具有不同深度值的区域之间的位移，以及由于视角转换造成的图徐边缘位置的空洞区域。空洞问题在O曲反算法中普遍存在，并且由遮挡关系和视角变换造成的空洞区域面积通常都比较大，简单的图像处理方法无法应对这类问题，必须找到合理的算法来修复相应的空洞区域，才能获得高质量的虚拟视点图僚。这些问题这不仅对绘制视点的质量有着严重的影响，对用户的观看体验也造成了一定的干扰。针对这些问题的研究是本文的主要内容之一。

........

2基于超像素修复的虚拟视点绘制算法研究

2.1引言

此外化有文献提出了不同的修复方案。Zhang等人用小波变换将图像分解为结构和纹理两类不同性质的子图像，对结构部分采用基于PDE的扩散方法，对纹理部分采用基于样本块的填充方法，融合两部分来得到最终的修复结果。Wu等人提出了基于剪切波变换的图像分解后的混合修复方法，优于小波变换巧结果。则使用不同参数对低分辨率图像进行多次，然后通过超分辨率恢复来还原图像细节信息。综合来看，围像修复属于病态问题，在实脉求解过程中往往只能根据已知区域内的信息对待修复区域的内容进行预测和估计，很难获得原始图像的真实内容。因此实际效果仍有待提高，算法效率也亟待解决。

2.2像修复常用算法

根据前文的分析，反算法中主要存在的问题包括虚假轮廓、重采样、可见性和遮挡空洞等，其根源在于输入数据的局限性和对已有信息的利用不够充分。本文首先通过一种快速的深度图预处理算法来应对伪影问题，通过双向映射来处理重采样和可见性问题，最后利用深度信息和超像素分割来对空洞区域进行方向性修复，填补空洞区域。本算法充分利用了输入数据的几何结构信息和纹理信息，为算法中的各类问题提供了相应的解决方窠。算法框图如图2.3所示，输入为参考视点的纹理图和对应的深度图，输出为虚拟视点位置下的紋理图，通过绘制虚拟视点图像，可以满足不同立体显示条件下的使用需求。

3基于背景信息累计融合的视频空洞修复算法研究.........25

3.1引言....26
3.2视频预处理......27
4平板立体显示优化算法研究........37
4.1引言........38
4、2同三维空间的映射模型及畸变分析.......39
4.3视觉舒适度与视觉显著度分析.....44
5总结与展望.......55

4平板立体显示优化算法研究

4.1引言

传统的3D内容大多是在确定的观看前提下拍摄巧，无法根据不同的显示场景和不同的观看喜好做进一步的调整，当显示场景发生变化时，立体显示效果往往会大打折扣。例如用于影院播放的3D电影在3D手持没备上播放时，屏幕视差会超出观看的舒适区域，甚至导致视点间无法融合，出现多重画面。因此单一的3D片源无法在不同显示场景下播放，更无法满足不同用户的观看需求，必须找到合适的调整方式来对3D内容的显示效果进行化化。上文提到了基于纹理图加深度图格式的系统架构，这种数据输入格式使得后期的参数调整与视差优化成为可能。尽管场景的几何信息在拍摄时己经固定，例如相机间跑和会聚平面等，但是通过虚拟相机参数设计和多视点重建，显示端的立体感知体验依然可以根据个人的喜好和显示屏幕的大小来进行调整和优化。

4.2不同三维空间的映射模型及畸变分析

图4.3（C）为离轴立体相机模型，与平行式模型类似，，摄像机位于同一条直线上，间距相等，光轴互相平行。只存在水平视差，不会引入垂直视差。不同的是，在离轴式相机撰型中，CCD传感器在水平方向上进行了偏移，导致传感器中记与光成、的连线相交于空间中的一点。该点深度平面上所有空间点的视差均为零，深度平面前后则分别对应负视差和正视差。通过控制偏移量的大小来调整视差，既有田出显示屏的效果，又有凹进显示屏的效果。但是这种相机摸型存在结构复杂，价格昂贵等缺点。三种相机模型各有优劣，在具体实现中应当根据特定的显示条件来选择合理的相机模型。对于虚拟相机模型设计而言，离轴式虚拟相机模型不存在硬件问题，既没有垂直视差对人暇的影响，又包含了正负视差，满足凸出和凹进屏幕的立体显示效果，是设计虚抵栖机参数的最佳选择。

.....

5总结与展望

本文在实验室的立体显示系统平台上，重点研究面向平板立体显示器的视点内容的高质量重建和显示算法，研究工作取得了如下成果：（1）针对算法中存在的主要问题，提出了一种基于SLIC修复的虚拟视点绘制算法，提高了虚拟视点的绘制质量。通过深度图预处理算法处理边缘的不可信区域，消除虚拟视点中虚假轮廓的干扰；通过双向映射来解决可见性造成的遮挡问题和重采样造成的细小空洞问题；利用超像素的内部一致性和边缘保持性，修复图像边缘区域和不同深度层间的空洞问题。（2）针对虚拟视点视频序列中的空洞问题，提出了一种基于时空域背景信息累积融合的空洞修复方案，获得了较好的修复效果。首先对视频序列进行运动状态判断，对于摄徐机运动状态下拍摄的视频序列进行全局运动估计和补偿，联合时空域信息对背景进行累积，利用真实的内容信怠对虚拟视点视频中的空洞区域进行融合修复，结果真实可信，在时域上具有视觉一致性。

.......

参考文献（略）

本文编号：62454