基于多流卷积神经网络的光场图像深度估计算法研究
发布时间：2022-01-19 11:13
光场（LightField,LF）成像以其独特的成像原理而备受关注。传统相机拍摄的图像只能记录光线投影到二维平面的位置信息,忽略了光线传播的方向信息。通过密集微透镜组成的阵列进行采集所获得的光场,其能够记录光在传播过程中的携带四维信息,即位置信息和方向信息。根据光场的四维信息可以提取光场的宏像素图像、子孔径图像和极线平面图像（Epipolar Plane Image,EPI）,从而实现光场的可视化。利用可视化后的光场图像可以还原场景的深度,光场图像的深度估计算法大致分为四种:基于多视图的算法、基于极线平面图像（EPI）的算法、基于重聚焦的算法以及基于深度学习的算法。由于现实场景的多样性,每种深度估计算法的性能在不同程度上受到限制。考虑到在光场图像纹理较弱的区域容易出现错误的深度估计,且深度估计结果容易受到图像中噪声的影响,结合多种算法的原理和特点,本文提出了基于多流卷积神经网络的光场图像深度估计算法。首先,对光场图像进行预处理,采用单个图像超分辨（Single Image Super Resolution,SISR）算法对光场子孔径图像进行空间超分辨,以增加像素数目,然后提取中心子孔径...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
图２－１传统成像原理??
山东大学硕士学位论文??的传播方向最终到达像平面的４、４和４的位置，因此可以记录４点发出光线的方??向信息。假设整个微透镜阵列是一个２Ｄ平面，将透过单个微透镜的光线的位置记??作平面内的一对坐标，即光线的方向信息；将透过每个微透镜的光线投影在像平面??上的位置记作每条光线的另外两个坐标，即光线的位置信息。因此，通过光场成像??方式可以得到场景中的４Ｄ信息Ｗ。??无穷远?微透镜阵列?无穷远??图２－２光场成像原理??２．?２光场的参数化表征??由光场图像的获取原理可知，光场包含了光线在空间中的位置信息和方向信??息。假设这两种信息为一个分布函数，那么这个分布函数可通过光线与相机平面以??及像平面两个平行平面上的交点坐标进行参数化表征，即利用双平行平面（Ｔｗｏ－??Ｐａｒａｌｌｅｌ－Ｐｌａｎｅ，?２ＰＰ）＿模型对其进行表征，如图２－３所示。Ｌｅｖｏｙ等＿首先提出了??２ＰＰ模型，假设光线先通过相机平面ｕ－ｙ，再通过像平面ｓ－ｔ。０〇１１１打等［３１］将光??线传播方向反向表示，即光线从像平面映射到相机平面。Ｎｇ等［３２］采用ｕ?＿?表示相??机平面，表示像平面。本文统一采用拖等％提出的表征符号对光场进行描??述。??令。为该光场的２ＰＰ参数化的表达方式，ｗ?－?Ｖ平面为相机平面，；ｃ?－?ｙ平面为??像平面，Ｆ表示相机平面和像平面之间的距离，那么就表示从相机平面??专播到像平面光线的采样。相机平面坐标反映了光线的传播方向，??所以ｉｎ；控制了图像的角度分辨率，即视角；像平面上的坐标表示光线的分布??位置，所以ｘｙ控制了图像的空间分辨率，即某视角的像素。这种表达方式既包含了??该光线的入射点的位置信息，又包含了光线从
山东大学硕士学位论文??Ｕ?Ｖ?个Ｙ??Ｋｕ?＞＜．ｖ??Ｌｆ｛ｘｙｙ，ｕ，ｖ）??Ｖ／??Ｆ??？?？??相机平面?像平面??图２－３?２ＰＰ模型??令￡＞?（ｘ，?ｙ）表示像平面上的点（ｘ，?ｙ）处的光照强度，它等于点〇：，?ｙ）接收的来自??整个相机平面上光线的积分，即??ＥＦ〇ｃ，ｙ）?＝?＾?ｆｊ?ＬＦ（ｘ，ｙ，ｕ，ｖ＇）?ｃｏｓ４?０ｄｕｄｖ，?（２－１）??式中，Ｆ表示相机平面和像平面之间的距离，０表示光线和像平面之间的??角度。也就是说，采样光线并非都是垂直于像平面射入的，像平面体现了光线的入??射的角度。注意，此处提到的角度信息是指光线传播到像平面上的入射角度，并不??是指前文中提到的光线的方向信息，光线的方向信息由光线传播到相机平面的坐??标记录。??Ｌｅｖｏｙ等［３Ｑ］认为光线在自由空间传播过程中能量保持不变，因此可以忽略光??线的入射角度０对光照强度的影响。将式（２－１）简化后，点〇，＞〇处的光照强度为??＝ｊ＾ｆｆ?ｌＦ｛ｘ，ｙ，ｕ，ｖ）ｄｕｄｖ?．?（２－２）??如图２－４所示，如果像平面在距离相机平面Ｆ处，则可以直接对光场ＬＦ进行采??样。假设移动像平面，可以计算像平面和相机平面任意距离厂处的光照强度??此处厂不需要与Ｆ相同。如果使Ｆ＇?＝?ａ?■ｆ，则??ＬＦｔ｛ｘ，ｙ，ｕ，ｖ）?＝?Ｌ＾ａ．Ｆ）｛ｘ，ｙ，ｕ，ｖ）??Ｊ?（?．?Ｘ－Ｕ?ｙ－ｖ?＼??＝［ｕ＋—，ｖ?＋?—，ｕ，?ｖｊ?（２－３）??＝?ＬＦ［（１￣＾）Ｕ＋ｌ＞ｉ１￣ｌ）Ｖ?＋?ａ＞Ｕ＞Ｖ．?？??８??
本文编号：3596752
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
图２－１传统成像原理??
山东大学硕士学位论文??的传播方向最终到达像平面的４、４和４的位置，因此可以记录４点发出光线的方??向信息。假设整个微透镜阵列是一个２Ｄ平面，将透过单个微透镜的光线的位置记??作平面内的一对坐标，即光线的方向信息；将透过每个微透镜的光线投影在像平面??上的位置记作每条光线的另外两个坐标，即光线的位置信息。因此，通过光场成像??方式可以得到场景中的４Ｄ信息Ｗ。??无穷远?微透镜阵列?无穷远??图２－２光场成像原理??２．?２光场的参数化表征??由光场图像的获取原理可知，光场包含了光线在空间中的位置信息和方向信??息。假设这两种信息为一个分布函数，那么这个分布函数可通过光线与相机平面以??及像平面两个平行平面上的交点坐标进行参数化表征，即利用双平行平面（Ｔｗｏ－??Ｐａｒａｌｌｅｌ－Ｐｌａｎｅ，?２ＰＰ）＿模型对其进行表征，如图２－３所示。Ｌｅｖｏｙ等＿首先提出了??２ＰＰ模型，假设光线先通过相机平面ｕ－ｙ，再通过像平面ｓ－ｔ。０〇１１１打等［３１］将光??线传播方向反向表示，即光线从像平面映射到相机平面。Ｎｇ等［３２］采用ｕ?＿?表示相??机平面，表示像平面。本文统一采用拖等％提出的表征符号对光场进行描??述。??令。为该光场的２ＰＰ参数化的表达方式，ｗ?－?Ｖ平面为相机平面，；ｃ?－?ｙ平面为??像平面，Ｆ表示相机平面和像平面之间的距离，那么就表示从相机平面??专播到像平面光线的采样。相机平面坐标反映了光线的传播方向，??所以ｉｎ；控制了图像的角度分辨率，即视角；像平面上的坐标表示光线的分布??位置，所以ｘｙ控制了图像的空间分辨率，即某视角的像素。这种表达方式既包含了??该光线的入射点的位置信息，又包含了光线从
山东大学硕士学位论文??Ｕ?Ｖ?个Ｙ??Ｋｕ?＞＜．ｖ??Ｌｆ｛ｘｙｙ，ｕ，ｖ）??Ｖ／??Ｆ??？?？??相机平面?像平面??图２－３?２ＰＰ模型??令￡＞?（ｘ，?ｙ）表示像平面上的点（ｘ，?ｙ）处的光照强度，它等于点〇：，?ｙ）接收的来自??整个相机平面上光线的积分，即??ＥＦ〇ｃ，ｙ）?＝?＾?ｆｊ?ＬＦ（ｘ，ｙ，ｕ，ｖ＇）?ｃｏｓ４?０ｄｕｄｖ，?（２－１）??式中，Ｆ表示相机平面和像平面之间的距离，０表示光线和像平面之间的??角度。也就是说，采样光线并非都是垂直于像平面射入的，像平面体现了光线的入??射的角度。注意，此处提到的角度信息是指光线传播到像平面上的入射角度，并不??是指前文中提到的光线的方向信息，光线的方向信息由光线传播到相机平面的坐??标记录。??Ｌｅｖｏｙ等［３Ｑ］认为光线在自由空间传播过程中能量保持不变，因此可以忽略光??线的入射角度０对光照强度的影响。将式（２－１）简化后，点〇，＞〇处的光照强度为??＝ｊ＾ｆｆ?ｌＦ｛ｘ，ｙ，ｕ，ｖ）ｄｕｄｖ?．?（２－２）??如图２－４所示，如果像平面在距离相机平面Ｆ处，则可以直接对光场ＬＦ进行采??样。假设移动像平面，可以计算像平面和相机平面任意距离厂处的光照强度??此处厂不需要与Ｆ相同。如果使Ｆ＇?＝?ａ?■ｆ，则??ＬＦｔ｛ｘ，ｙ，ｕ，ｖ）?＝?Ｌ＾ａ．Ｆ）｛ｘ，ｙ，ｕ，ｖ）??Ｊ?（?．?Ｘ－Ｕ?ｙ－ｖ?＼??＝［ｕ＋—，ｖ?＋?—，ｕ，?ｖｊ?（２－３）??＝?ＬＦ［（１￣＾）Ｕ＋ｌ＞ｉ１￣ｌ）Ｖ?＋?ａ＞Ｕ＞Ｖ．?？??８??
本文编号：3596752
本文链接：https://www.wllwen.com/kejilunwen/wulilw/3596752.html
