光场三维成像技术研究

发布时间：2020-02-29 08:13

【摘要】：本文的研究内容是在国家863高技术研究发展计划──多模式真三维新型显示系统与装置(2012AA011903),江苏省研究生科研创新计划项目──一种实时采集、传输的多视点自动立体显示系统(CXLX13_158)的支持下完成的。光场三维成像是近几年才被提出的一种新型三维成像技术,它不仅可以记录或重现三维物体的空间特征,也可反映物体在空间中的相互遮挡关系,是一种非常符合人们视觉习惯的三维成像技术,可广泛应用于裸眼三维显示、光场拍摄重聚焦、场景模型重建和虚拟(增强)现实等领域,具有重要的研究意义。论文系统地论述了光场三维成像技术,其中包含光场采集、光场三维显示和光场多视图像三维重建,建立了两个光场三维显示系统,并对压缩光场计算拍摄与光场多视图像三维表面重建技术展开研究。论文首先阐述了光场三维显示的原理,建立了基于柱面微透镜阵列屏和基于全息定向散射屏的两个光场三维显示系统,两个显示系统均能够实现真实场景与虚拟场景的光场三维显示。介绍了两个光场三维显示系统的基本结构、硬件组成和光场再现原理,并详细地分析了基于全息定向散射屏的光场三维显示的投影图像生成方法。提出了相机阵列光场采集图像校正方法和光场显示投影校正方法,两种方法分别解决了光场采集中视场不一致与光场显示中投影图像形变的问题。两个光场三维显示平台下的光场三维显示实验验证了所建立的光场三维显示系统的可行性。针对相机阵列光场采集方式存在的硬件成本高、体积庞大的问题,研究了一种基于掩膜的压缩光场采集与重建方法。在该方法中建立了压缩光场采集模型,分析了光场傅里叶域的成像过程,仿真得到了被编码的传感器图像。此外,详细论述了过完备光场字典的训练方法和光场重建算法,结合过完备光场字典和压缩感知理论对压缩编码图像进行了非线性优化,成功地恢复了目标光场。之后针对基于掩膜的压缩光场相机存在的掩膜设计与安装困难、视场角小和透光率低的问题,提出了基于稀疏相机阵列的压缩光场采集与恢复方法,实验从稀疏采集的光场视点图像中恢复了稠密的光场。所研究的压缩光场拍摄方法为光场采集提供了新的思路。建立了一个基于光场多视图像的实时三维表面重建系统,该系统可以实现场景的实时三维表面重建,弥补了传统二维图像无法真实体现三维场景的不足。论文对相机的成像模型和传统相机标定方法进行了阐述,并在张正友平面标定算法的基础上实现了多相机的联合标定。详细地论述了多视立体匹配中的关键技术,提出在传统平面扫描算法基础上添加多方向半全局匹配代价累积的方法实现光场多视图像的稠密匹配,提高了多视匹配的精度,使建立的实时重建系统可适用于纹理不丰富的场景。同时,为了实现高质量的实时三维表面重建,重建系统采用了基于原始对偶算法的全局优化方法并且实现了全局优化的并行计算,在保证了系统实时性的同时有效地去除了深度生成中的噪声。进行了真实场景光场多视图像的实时表面三维重建实验,实验验证了所提出的实时三维表面重建方法的正确性。特别地,实验对重建结果进行了光场三维显示,实现了光场采集、三维重建与光场三维显示的无缝集成。论文最后对研究内容进行了总结,并针对论文中存在的不足及后续的研究工作进行了展望。
【图文】：

光场,单一相,360度,采集系统

由于普通相机一次性只能捕获某一方向的光场视点图像。为了获取不同方向的光场视点图像集，可以采用时序的方式通过转盘或其他的旋转装置改变相机镜头的方向，依次对光场不同方向的视点图像进行采集。图1.1所示是浙江大学[15]建立的真实场景360度光场采集系统。采集系统中的相机被固定在转盘上，通过相机的转动，实现对三维场景不同角度的光场采集。图 1. 1 单一相机的时序 360 度光场采集系统

拍摄技术,光场,相机,数字相机

取而代之的是利用相机阵列进行四维光场的采集[16]。图1.2中所示的分别是斯坦福大学[17]，三菱研究实验室[18]和清华大学[19]的光场采集相机阵列。它们是由多个不同数量的相机构成，可以同时采集不同数量的角分辨率和空间分辨率的光场。相比于单一相机的时序光场采集，相机阵列的光场采集方式效率更高，然而采集的硬件成本也高。图 1. 2 光场相机阵列近年来，随着数字相机拍摄技术的发展，光场拍摄技术逐渐地引起了研究人员的关注，单相机光场采集技术（光场相机）随之产生。单相机光场采集技术主要分为基于非压缩光场的拍摄技术和基于压缩光场的拍摄技术两大类。1.2.2.2 基于非压缩光场的拍摄技术基于非压缩光场的拍摄技术主要包含积分成像和孔径编码成像两种。积分成像[20]是通过在传感器前增加微透镜阵列或微镜阵列实现对不同方向的光场视点图像的采集，获得光场。图1.3(a)中所示的是Adobe推出的透镜阵列镜头，在应用中将普通相机的镜头替换成该镜头，，就可实现光场拍摄；图1.3(b) 所示的是手机上的Pelican1透镜阵列相机，利用它可以实现超分辨率、高动态范围的图像采集和重聚焦等功能；图1.3(c)是斯坦福大学的Ng等人[21]提出的全光相机。此外还有Lytro2光场相机[22]
【学位授予单位】：南京航空航天大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.41

【引证文献】