光场密集子孔径图像编码方法研究

发布时间：2021-04-13 21:43

　　光场成像技术能够捕捉到环境中光线的位置和角度信息,因而可实现数字重聚焦、全景深扩展、可编辑立体成像等传统相机无法企及的创新功能。此外,由于光场图像提供了连续且细腻的运动视差,所以可为用户带来更加真实且自然的观看体验,从而降低视觉疲劳。因此,在当前公众对媒体内容新奇感及沉浸感需求迫切的背景下,光场技术将成为新一代智能视觉技术的关键支撑,同时也将推动计算摄像学领域从数字化向智能化加速跃升。然而,光场密集子孔径图像（Sub-Aperture Image,SAI）成为计算摄像学领域研究热点的同时,其庞大的数据量对数据存储与网络传输带来了巨大挑战,甚至严重制约着光场技术发展和应用。因此,如何高效地压缩光场密集子孔径图像,是解决光场技术瓶颈的关键问题。现有光场压缩方法多以子孔径图像伪序列为对象,编码过程并未充分考虑光场角度域相关性与稀疏性,因而光场数据冗余仍有大幅下降空间。针对现存问题,本文基于稀疏编码与解码重建的思路,以提高光场密集子孔径图像编码效率为目的,开展了稀疏编码与解码重建框架、深度图像估计与优化以及稀疏优化与残差增强三个方面的研究工作。主要研究内容和贡献如下:第一,针对光场子孔径图像数... 

【文章来源】：上海大学上海市 211工程院校

【文章页数】：131 页

【学位级别】：博士

【部分图文】：

光场成像系统发展历程

上海大学博士学位论文5于微透镜阵列的光场相机，Raytrix和Lytro，作为一种新型的计算相机，逐渐成为获取光场信息的主流消费级产品。该类相机与传统相机最大的区别，就在于该类相机在原有的感光元件前端放置了一层微透镜阵列，这层微透镜阵列将透过相机主透镜的光线进行再次折射并投射在感光元件上（如图1.4所示），这使光场相机不仅可以根据微透镜位置记录下入射光线的位置，还可以记录下入射光线的方向。再通过相应的数学计算，还可以对采集到的图像进行校准、标定、提取深度、后对焦、合成视点、去模糊以及视频稳定等多种应用[38-45]。根据不同的应用需要选择不同的光场数据采集手段，例如基于相机阵列的光场数据采集设备能够对场景进行宽视角采集。然而，对于实际应用而言，基于微透镜阵列的光场相机的可操作性更强。尤其对于实时应用，基于微透镜阵列光场相机可以在短时间内处理光场数据的，因此也更具有应用前景。物体主透镜微透镜阵列传感器光线图1.4基于微透镜阵列的光场相机内部结构示意图1.3.1光场图像的四维特性(a)(b)图1.5光场透镜图像。(a)光场透镜图像部分区域；(b)光场透镜图像细节放大图1.5展示了基于微透镜阵列光场相机拍摄所得到的光场图像。该类光场相

上海大学博士学位论文6机通过复用传感器采集到原始光场数据，通常需要利用Matlab的光场工具箱(LightFieldToolboxv0.4)[38]进行去马赛克和去光晕处理，最终得到光场透镜图像(lensletimage)，如图1.5(a)所示。若将图1.5(a)所示的光场透镜图像视为一幅普通的二维图像，该图像焦点在自行车的斜梁上，而其前景和背景处的轮胎均处于脱焦状态。当放大观察光场透镜图像时，能够发现它是由大量微透镜所成的圆形单元图像(ElementImage,EI)密集排布组成，如图1.5(b)所示。单元图像之间的互相关系体现了入射光线的空间位置关系，而单元图像内部像素之间的相互关系体现了入射光线的角度方向关系。单元图像光场子孔径图像光场透镜图像图1.6光场子孔径图像提取与重组过程(a)(b)(c)(d)图1.7光场子孔径图像。(a)子孔径图像阵列；(b)最左边与最右边子孔径图像的误差图像；(c)最左边子孔径图像；(d)最右边子孔径图像


本文编号：3136057