基于单目视频的三维人体运动重建
发布时间：2021-03-07 14:20
人们希望计算机具有像人类一样理解现实世界的能力,而人体运动作为现实世界中最常见的视觉内容之一,是机器视觉研究的经典研究对象。运动重建作为高层应用的基础算法,通过从图像、视频中恢复出关节点坐标、旋转角度等信息来表示人体运动,在机器人感知与模拟、行为分析、虚拟现实等领域具有广阔的应用前景。在人工智能的推动下,二维运动重建已经被工业界所使用,但是世界是三维的,二维的人体表达无法精确的恢复人体姿态,为了更好地理解人体运动,更具有挑战性的三维人体运动重建成为了近年来的研究热点。现有的三维人体运动重建的方法,主要分为两大类:基于不同维度数据映射的方法,人体模型参数预测的方法。然而,这些方法都存在以下问题:难以利用人体关节间的层级连接关系;缺乏时序上人体模型一致性,不同预测帧之间仅仅传递了坐标信息;三维人体关节坐标难以标注,在有限数据集上训练所产生的过拟合,使得算法在真实场景下的表现并不理想。针对这些问题,本文提出一种基于单目视频的三维人体运动重建方法,通过设计出的双通路神经网络结构,同时预测出基于固定的人体骨架及所对应的关节旋转、全局坐标及脚步接触信号;将正向运动学的过程模拟在神经网络中,能够将单...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１．?ＣＯＣＯ数据集中的人体关节点标注??
山东大学硕士学位论文??目前，有许多基于关节坐标为姿态表示的方法。在动作识别领域，首先对提??取出的坐标序列提取特征并进行聚类，取得了良好的效果，也己经广泛运用在视??频监控、安防领域中；基于坐标点的方法，虽然不能直接驱动机器人的运动，但??在通过ｒｉｇｇｉｎｇ?（装备）和反向运动学演算后，也能驱动模型的运动；在人体运动??重建中，因为坐标位置的数据丰富且处于流程的终节点，人们也往往使用其计算??损失函数。??但是，仅仅由坐标表示的人体姿态，存在信息缺失的问题。例如手朝上和手??朝下做同一个动作，在不同的情境下代表了不同的行为。同时在动画制作领域，??这样的问题尤为严重。当使用视觉方法提取出三维坐标点后，反向运动学（ＩＫ）??将其转换为关节中的旋转。然而，正由于坐标位置到旋转中的二义性，见图２－２，??关节间躯干的自旋转无法正确的恢复，也将其迁移到人体模型得到理想的结果。??因此在这些更加要求更高的任务中，关节坐标并不能成为一个可依赖的数据结构，??这也是本文选用旋转的主要原因之一。??ｆ＼?ｆ＼?ｆ＼??遽滅?４?Ａ??图２－２．关节坐标位置表示方法中的二义性：同样的关节坐标可以代表不同的旋转??同时，关节坐标在计算的过程中是无规则的，不同的关节之间并不互相约束。??在网络预测的过程中，每一个关节点的期望坐标会散落在整个搜索空间中。使得??网络训练难度变大，也很难具有普适性。??２．２．２关节旋转??关节旋转作为另一种人体姿态的方式，广丨之运用在工业界中，国际上流行的??９??
。??在存储和使用过程中，也通常是这些数据转换为旋转信息来表示运动。以ＢＶＨ??文件格式为例，格式主要分为两部分：??？人体骨架的拓扑结构。人体的各个关节具有连接关系，以尾脊椎为根节??点，通过层形结构将不同的关节组合在一起，然后使用ＯＦＦＳＥＴ?（偏差??值）来描述关节与关节之间的相对位置关系，从而得到初始姿态。??？运动过程中每一桢的关节旋转信息。当初始姿态确立之后，通过旋转的??方式对每个关节进行位置的调整。其中，表示旋转的常用方式包括欧拉??角、旋转矩阵及四元数。??如图２－３所不，在使用的过程中，每一桢的旋转会应用到初始姿态（Ｔ－ｐｏｓｅ）??上形成人体姿态。使用旋转最好的优点在于信息的完整性和符合运动学常识和。??旋转不仅能够精确的表示每个关节的状态，避免了自旋转的歧义；更原生的将不??同关节之间的信息联通了起来，父节点的状态会影响子节点的结果，而子节点的??误差累积，也会反馈到父节点上。同时在动画领域，虚拟模型是由旋转所驱动的，??因此以旋转所表示的姿态可以很轻易的迁移到虚拟角色上进行使用。??ｆ?ｉ?４響?響零??１．＾?１?．．．?４?＾??Ｉ?１?ｆ?１?Ｊ?ｔ??ｉ＃?暴?ｊ＊屬??图２－３．将旋转运动到Ｔ－ｐｏｓｅ上的正向运动学过程??其中，旋转的不同方式也有不同的特点。旋转矩阵利用矩阵的乘法改变以点??为向量的方向，但是存储空间大，计算时占用内存大；欧拉角将旋转分为ＸｙＺ三??个方向分别旋转，但是会产生万向节死锁的问题，是指两个旋转轴重合所产生的??的自由度丢失问题；四元数是人们在做运动处理的过程中常常使用到的旋转表示??结构，在三维空间中的任何旋转，都可以利用绕过某个轴（ｘ，ｙ，
本文编号：3069263
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１．?ＣＯＣＯ数据集中的人体关节点标注??
山东大学硕士学位论文??目前，有许多基于关节坐标为姿态表示的方法。在动作识别领域，首先对提??取出的坐标序列提取特征并进行聚类，取得了良好的效果，也己经广泛运用在视??频监控、安防领域中；基于坐标点的方法，虽然不能直接驱动机器人的运动，但??在通过ｒｉｇｇｉｎｇ?（装备）和反向运动学演算后，也能驱动模型的运动；在人体运动??重建中，因为坐标位置的数据丰富且处于流程的终节点，人们也往往使用其计算??损失函数。??但是，仅仅由坐标表示的人体姿态，存在信息缺失的问题。例如手朝上和手??朝下做同一个动作，在不同的情境下代表了不同的行为。同时在动画制作领域，??这样的问题尤为严重。当使用视觉方法提取出三维坐标点后，反向运动学（ＩＫ）??将其转换为关节中的旋转。然而，正由于坐标位置到旋转中的二义性，见图２－２，??关节间躯干的自旋转无法正确的恢复，也将其迁移到人体模型得到理想的结果。??因此在这些更加要求更高的任务中，关节坐标并不能成为一个可依赖的数据结构，??这也是本文选用旋转的主要原因之一。??ｆ＼?ｆ＼?ｆ＼??遽滅?４?Ａ??图２－２．关节坐标位置表示方法中的二义性：同样的关节坐标可以代表不同的旋转??同时，关节坐标在计算的过程中是无规则的，不同的关节之间并不互相约束。??在网络预测的过程中，每一个关节点的期望坐标会散落在整个搜索空间中。使得??网络训练难度变大，也很难具有普适性。??２．２．２关节旋转??关节旋转作为另一种人体姿态的方式，广丨之运用在工业界中，国际上流行的??９??
。??在存储和使用过程中，也通常是这些数据转换为旋转信息来表示运动。以ＢＶＨ??文件格式为例，格式主要分为两部分：??？人体骨架的拓扑结构。人体的各个关节具有连接关系，以尾脊椎为根节??点，通过层形结构将不同的关节组合在一起，然后使用ＯＦＦＳＥＴ?（偏差??值）来描述关节与关节之间的相对位置关系，从而得到初始姿态。??？运动过程中每一桢的关节旋转信息。当初始姿态确立之后，通过旋转的??方式对每个关节进行位置的调整。其中，表示旋转的常用方式包括欧拉??角、旋转矩阵及四元数。??如图２－３所不，在使用的过程中，每一桢的旋转会应用到初始姿态（Ｔ－ｐｏｓｅ）??上形成人体姿态。使用旋转最好的优点在于信息的完整性和符合运动学常识和。??旋转不仅能够精确的表示每个关节的状态，避免了自旋转的歧义；更原生的将不??同关节之间的信息联通了起来，父节点的状态会影响子节点的结果，而子节点的??误差累积，也会反馈到父节点上。同时在动画领域，虚拟模型是由旋转所驱动的，??因此以旋转所表示的姿态可以很轻易的迁移到虚拟角色上进行使用。??ｆ?ｉ?４響?響零??１．＾?１?．．．?４?＾??Ｉ?１?ｆ?１?Ｊ?ｔ??ｉ＃?暴?ｊ＊屬??图２－３．将旋转运动到Ｔ－ｐｏｓｅ上的正向运动学过程??其中，旋转的不同方式也有不同的特点。旋转矩阵利用矩阵的乘法改变以点??为向量的方向，但是存储空间大，计算时占用内存大；欧拉角将旋转分为ＸｙＺ三??个方向分别旋转，但是会产生万向节死锁的问题，是指两个旋转轴重合所产生的??的自由度丢失问题；四元数是人们在做运动处理的过程中常常使用到的旋转表示??结构，在三维空间中的任何旋转，都可以利用绕过某个轴（ｘ，ｙ，
本文编号：3069263
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3069263.html
