基于NRSFM的动态场景三维重建方法研究

发布时间：2022-01-10 08:19

　　从二维图像序列中恢复出物体的三维结构信息和运动信息一直以来都是三维重建领域的一个热点问题。现实世界中很多物体都是非刚性的,这些非刚性体的运动信息除了旋转和平移之外,还具有“变形”这一特征,这意味着物体每一帧的结构都发生了变化,因此,通过运动信息求解非刚性体三维结构的问题变得相对复杂。近年来,虽然很多学者都针对这一难题展开了研究并且提出了一些方法,但是仍然存在以下两个问题:1、其重建对象大都是稀疏的特征点,并不能够模拟物体复杂的非刚性变形以及恢复其细节信息,局限性较大并且应用范围较小;2、该方法图像序列获取的方式是相机单侧采集,其恢复出来的仅仅是目标物体单个方向的结构信息,三维信息并不完整。基于上述问题,本文采用 NRSFM（Non-Rigid Structure From Motion）方法得到人体单侧稠密点云,并融合SMPL（Skinned Multi-Person Linear）模型开展对动态人体序列完成三维重建的研究。具体地:（1）图像序列中稠密像素点的匹配。作为NRSFM算法的第一步,图像序列帧间像素点匹配的结果直接会影响到三维重建的效果。针对相机连续采集的一组人体运动的图像序... 

【文章来源】：陕西科技大学陕西省

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图２－１三维运动在二维平面内的投影??－

存在移动和变形。经典的光流问??题都是试图对每一对连续的帧独立地估计图像中点位移的向量常本章以图像序列为对??象，选取其中一帧作为参考模板，通常是第一帧，然后通过提出的“多帧方法”估计参??考帧中每个可见点在整个图像序列中的二维轨迹。该方法利用时间信息可以预测特定帧??中不可见点的位置，从而可以减小由于自遮挡或者外部遮挡所带来的影响，同时，该方??法无论对于刚性体匹配，还是对于在三维空间中存在移动和变形的非刚性体的匹配都适??用。??ｕ（ｘ；ｌ）?Ｕ（ｘ；２）?ｕ（ｘ；Ｆ）??图３－１多帧图像配准??Ｆｉｇ．３－１?Ｍｕｌｔｉ?－?ｆｒａｍｅ?ｉｍａｇｅ?ｒｅｇｉｓｔｒａｔｉｏｎ??３．１．１低阶轨迹空间??Ｂｒｅｇｌｅｒ等人首次提出了“非刚性低阶形状模型”，即非刚性物体随时间变化的三维??形状可以表示为一个低阶形状基的线性组合１ＴＩＭＩ。接着，Ａｋｈｔｅｒ等人提出了?“非刚性体的??基轨迹模型”，该模型与上述模型存在“对偶”关系，即非刚性物体随时间变化的三维??形状可以表示为一个低阶轨迹基的线性组合。于是，类比这两种模型，本章利用物体在??二维图像中点的“轨迹高度相关”这一特性来解决多帧光流问题，通过假设轨迹在一个??低维线性子空间附近来建立这个性质的模型，该模型不仅适用于刚性体，同样适用于存??在变形运动的非刚性体。因此，本章将二维轨迹解释为三维基形状的线性组合的投影，??１５??

??基于ＮＲＳＦＭ的动态场景三维重建方法研究???无穷时，本方法所提出的软约束就变成了硬约束，光流ｗ〇；？）就会被再参数化表示为：??［％（？）及⑶??，＝ｉ?（３－３２）??运动基的系数为不可知变量。在这种情况下，矢量值图像的能量函数可以改写为：??Ｅｈ?＝?＼Ｙ｝＾ｘ＋ＱｎＬ（ｘ＼ｎ）－＼＾ｓｉＡｙＬ＾ｘ）Ｍｘ??ｑ?ｎ?＾＝ｉ??其中，ａ为２ｘ?Ａ的矩阵，对应于第ｎ帧的轨迹基矩阵Ｑ的两行。??３．７实验与分析??３．?７．?１人脸表情变化实验??为了验证上述算法的有效性，本节以一组人脸表情变化的图像序列来进行实验＿。??图３－２为人脸表情变化的图像序列，图３－３为彩色光流编码图，图３－４为图像序列的光流??图结果。??＾?ｆｐ?＾?＾??寻，，，二、；ｌ?＇?彳??＾?＾?＾?；＞?？??阁３－２人脸表情变化图像序列??Ｆｉｇ．３－２?Ｔｈｅ?ｉｍａｇｅ?ｓｅｑｕｅｎｃｅ?ｏｆ?ｆａｃｉａｌ?ｅｘｐｒｅｓｓｉｏｎ?ｃｈａｎｇｅｓ??■?Ｊｌ??图３－３彩色光流编码??Ｆｉｇ．３－３?Ｆｌｏｗ?ｃｏｌｏｒ?ｃｏｄｉｎｇ??２３??


本文编号：3580375