基于帧间相似性的光场图像压缩与对象分割算法
发布时间：2021-01-28 20:53
光场图像是能够对三维场景进行表达的一种新型数据结构。一张光场图像理论上完整地记录了空间内所有光线在所有空间和角度位置下的情况,可以用于三维重建、深度估计、重聚焦等等方面。现实中已经有大量的游戏、穿戴设备等应用了光场技术,能够提供更加自然的三维仿真体验。光场图像可以由普通相机通过扫描式或阵列式结构拍摄,再或者由专门的光场相机进行拍摄。光场相机使用内置的微透镜阵列对同一场景进行多空间位置,多角度方向的拍摄,其中包含了同一场景的四维信息。与普通图像相比,其具有超大的数据量、超高的空间冗余量。光场图像在存储、可视化等等方面还有大量需要被完成的基础工作。当前主流的光场图像处理过程都需要先将其解码为伪序列。解码后的图像阵列是相邻帧具有微小变化的二维序列,按照不同的扫描方式可以将其一维化转换为伪序列。伪序列的表示使得光场的空间角度结构得到了更加清晰的展现。与一般图像集相比,这样的伪序列在帧与帧之间仅具有微小的空间角度参数变化。本文将利用这样的特性,针对光场图像压缩算法和对象分割算法两方面的具体实现来进行讨论,对帧间相似性提出相应的更为恰当的度量,以提高算法的性能。针对伪序列的压缩算法,我们使用基于视...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图１．１?Ｍ．Ｌｅｖｏｙ等提出的４维光场模型
?第１章绪?论???Ｖ?ｔ??一一?Ｌ（ｕ，ｖ，ｓ，ｔ）??图１．１?Ｍ．Ｌｅｖｏｙ等提出的４维光场模型。??数化表示为Ｌ（Ｗ，ｙ，ｓ，ｒ）。这样的模型也适用于现实中绝大部分的成像系统。??１．１．２光场图像的获取??图１．２经过后处理的原始光场图像。??根据４维光场图像的表示理论，为了记录空间光线信息，扫描式与阵列式??光场相机先后被设计出来。扫描式相机通过将普通相机架设在可移动的装置上，??移动相机的同时使用不同的相机参数并按顺序记录对应的场景信息，并通过记??录相机的位置，角度和内参获取空间，角度和固定参数。如，Ｌｅｖｏｙ等将相机架??设在有４个自由度的机械臂上，通过调整机械臂参数实现移动。这样的相机成本??较低，但样本获取时间过长，不满足４维光场函数的对单一时间的假设，无法捕??捉动态的场景。并且，装置的实现复杂，不足以进行生活中的应用。阵列式相机??则在同一时间不同空间角度位置设立相机组进行采样，这样会使结构更加紧凑??但成本较高，作为代表的有斯坦福大学的阵列相机组。现行主流的光场相机如??Ｌｙｔｒｏ相机等是基于阵列式的，但其并非通过多相机拍摄，而通常是在单相机内??部的成像元件前插入微透镜阵列代替多相机排列采样的方式，达到４维采样的??目的。这样的相机结构进一步降低了多相机拍摄的成本，同时相机参数也更加容??易控制。Ｌｙｔｒｏ相机是一款商业级的光场相机，第一版于２０１２年发布，由主透镜??和微透镜阵列共同组成镜头，使用了基于光场的重聚焦技术使拍摄过程免于对??焦。Ｒａｙｔｒｉｘ公司也开发了一系列商业级的光场相机，其精度和价格均高于Ｌｙｔｒｏ??２??
和码率分配策略。［８］在上述工作的基础上，根据普通视频序列的层次编码结构，??扩展出２维空间上的层次编码结构，并进一步据此给出了参考帧的选择方法。??３＿?ＪＰＥＧ?Ｐｌｅｎｏ?标准??ＪＰＥＧ在２０１５年推出了?ＪＰＥＧ?Ｐｌｅｎｏ标准来处理光场图像的压缩。ＪＰＥＧ?Ｐｌｅｎｏ??本身包括４个部分，光场数据的压缩处于第２部分，旨在标准化光场编码技术和??元数据格式，使得其能够处理光场应用上的如相机校准等问题。该标准不仅针对??纹理，也会对视差和深度信息提供相应的编码和解码工具。如图１．３所示，ＪＰＥＧ??Ｄ印ｔｈ?Ｍａｐ?Ｖ?４Ｄ?Ｐｒｅｄｉｃｔｉｏｎ??Ｉ￣＾Ｘ?Ｍｏｄｅ?￣＼??Ｃａｍｅｒａ?」ｐ?＾???１?ＪＰＥＧ?Ｐｌｅｎｏ??Ｐａｒａｍｅｔｅｒｓ?Ｉ?１?—?Ｆｉｌｅ?Ｆｏｒｍａｔ??，１?４Ｄ?Ｔｒａｎｓｆｏｒｍ?一????Ｌｉｇｈｔ?Ｆｉｅｌｄ?－１Ｔ?［?Ｍｏｄｅ?［??图１．３?ＪＰＥＧ?Ｐ丨ｅｎｏ中光场编码器的结构。??Ｐｌｅｎｏ的光场编码器使用原始光场（Ｌｉｇｈｔ?Ｆｉｅｌｄ），深度图（Ｄｅｐｔｈ?Ｍａｐ）和相机参数??（Ｃａｍｅｒａ?Ｐａｒａｍｅｔｅｒｓ）对光场图像进行编码，并提供了?４维预测编码（４Ｄ?Ｐｒｅｄｉｃｔｉｏｎ??Ｍｏｄｅ）和４维变换编码（４Ｄ?Ｔｒａｎｓｆｏｒｍ?Ｍｏｄｅ）两种模式。如１．４所不，和视频序??列层次编码思想类似，４维预测模式先将ｖｉｅｗ按照空间位置划分为不同层次的??子集，高层子集中的帧使用相邻的低层子集中的帧根据深度图的变换结果作为??参考（Ｒｅｆｅｒｅｎｃｅ?Ｖｉｅｗ?Ｃｏｄｉｎｇ）。变换结果再根据最优线性预测进行ｖｉｅｗ的融
本文编号：3005676
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图１．１?Ｍ．Ｌｅｖｏｙ等提出的４维光场模型
?第１章绪?论???Ｖ?ｔ??一一?Ｌ（ｕ，ｖ，ｓ，ｔ）??图１．１?Ｍ．Ｌｅｖｏｙ等提出的４维光场模型。??数化表示为Ｌ（Ｗ，ｙ，ｓ，ｒ）。这样的模型也适用于现实中绝大部分的成像系统。??１．１．２光场图像的获取??图１．２经过后处理的原始光场图像。??根据４维光场图像的表示理论，为了记录空间光线信息，扫描式与阵列式??光场相机先后被设计出来。扫描式相机通过将普通相机架设在可移动的装置上，??移动相机的同时使用不同的相机参数并按顺序记录对应的场景信息，并通过记??录相机的位置，角度和内参获取空间，角度和固定参数。如，Ｌｅｖｏｙ等将相机架??设在有４个自由度的机械臂上，通过调整机械臂参数实现移动。这样的相机成本??较低，但样本获取时间过长，不满足４维光场函数的对单一时间的假设，无法捕??捉动态的场景。并且，装置的实现复杂，不足以进行生活中的应用。阵列式相机??则在同一时间不同空间角度位置设立相机组进行采样，这样会使结构更加紧凑??但成本较高，作为代表的有斯坦福大学的阵列相机组。现行主流的光场相机如??Ｌｙｔｒｏ相机等是基于阵列式的，但其并非通过多相机拍摄，而通常是在单相机内??部的成像元件前插入微透镜阵列代替多相机排列采样的方式，达到４维采样的??目的。这样的相机结构进一步降低了多相机拍摄的成本，同时相机参数也更加容??易控制。Ｌｙｔｒｏ相机是一款商业级的光场相机，第一版于２０１２年发布，由主透镜??和微透镜阵列共同组成镜头，使用了基于光场的重聚焦技术使拍摄过程免于对??焦。Ｒａｙｔｒｉｘ公司也开发了一系列商业级的光场相机，其精度和价格均高于Ｌｙｔｒｏ??２??
和码率分配策略。［８］在上述工作的基础上，根据普通视频序列的层次编码结构，??扩展出２维空间上的层次编码结构，并进一步据此给出了参考帧的选择方法。??３＿?ＪＰＥＧ?Ｐｌｅｎｏ?标准??ＪＰＥＧ在２０１５年推出了?ＪＰＥＧ?Ｐｌｅｎｏ标准来处理光场图像的压缩。ＪＰＥＧ?Ｐｌｅｎｏ??本身包括４个部分，光场数据的压缩处于第２部分，旨在标准化光场编码技术和??元数据格式，使得其能够处理光场应用上的如相机校准等问题。该标准不仅针对??纹理，也会对视差和深度信息提供相应的编码和解码工具。如图１．３所示，ＪＰＥＧ??Ｄ印ｔｈ?Ｍａｐ?Ｖ?４Ｄ?Ｐｒｅｄｉｃｔｉｏｎ??Ｉ￣＾Ｘ?Ｍｏｄｅ?￣＼??Ｃａｍｅｒａ?」ｐ?＾???１?ＪＰＥＧ?Ｐｌｅｎｏ??Ｐａｒａｍｅｔｅｒｓ?Ｉ?１?—?Ｆｉｌｅ?Ｆｏｒｍａｔ??，１?４Ｄ?Ｔｒａｎｓｆｏｒｍ?一????Ｌｉｇｈｔ?Ｆｉｅｌｄ?－１Ｔ?［?Ｍｏｄｅ?［??图１．３?ＪＰＥＧ?Ｐ丨ｅｎｏ中光场编码器的结构。??Ｐｌｅｎｏ的光场编码器使用原始光场（Ｌｉｇｈｔ?Ｆｉｅｌｄ），深度图（Ｄｅｐｔｈ?Ｍａｐ）和相机参数??（Ｃａｍｅｒａ?Ｐａｒａｍｅｔｅｒｓ）对光场图像进行编码，并提供了?４维预测编码（４Ｄ?Ｐｒｅｄｉｃｔｉｏｎ??Ｍｏｄｅ）和４维变换编码（４Ｄ?Ｔｒａｎｓｆｏｒｍ?Ｍｏｄｅ）两种模式。如１．４所不，和视频序??列层次编码思想类似，４维预测模式先将ｖｉｅｗ按照空间位置划分为不同层次的??子集，高层子集中的帧使用相邻的低层子集中的帧根据深度图的变换结果作为??参考（Ｒｅｆｅｒｅｎｃｅ?Ｖｉｅｗ?Ｃｏｄｉｎｇ）。变换结果再根据最优线性预测进行ｖｉｅｗ的融
本文编号：3005676
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3005676.html
