基于单目视觉的人体三维姿态估计

发布时间：2020-04-06 12:16

【摘要】：随着图像传感器技术的发展,基于图像的人体动作分析已成为当前计算机视觉和数据挖掘领域的热门课题。人体三维姿态估计作为后续动作分析和理解的重要前提,通过从图像中估计人体关键点的坐标、旋转角度等参数,对人体在三维空间中的姿态进行重建,在运动分析、虚拟现实、影视制作等领域有着十分可观的应用前景。本文主要研究基于单目视觉的人体三维姿态估计问题,该问题可分为从图像中抽取人体二维位姿和利用二维位置坐标估计三维姿态两个步骤,考虑现有二维人体姿态估计方案已相对成熟,因此本文具体针对已知二维人体位置条件下,人体在空间中深度姿态信息的重建。人体姿态在时间维度上具有较高的连续性和相关性,因此本文首先基于人体二维姿态的时序数据,利用Sequence to Sequence框架和LSTM单元,实现了基于时间序列的人体三维姿态估计模型。之后通过引入注意力机制,以及结合人体关节点的加速度数据特征对模型进行改进,最终在TotalCapture数据集上的平均误差为39.03 mm,预测精度较改进前提升6.3%。实验证明该改进能够有效降低模型的预测误差,并提升模型在人体远端节点上的预测准确度。神经网络模型的鲁棒性严重依赖于训练数据集的规模和覆盖程度,而现有三维标注数据集场景和动作较为单一,因此本文针对人体三维姿态估计的无监督学习方法进行研究。基于生成对抗式网络结构,借助生成器和判别器的竞争和博弈,以及三维姿态和二维成像结果之间的联系,通过对人体三维姿态的估计结果进行结合仰角和平面旋转的随机投影,实现了能够仅使用二维标注数据集训练的无监督模型。同时为了更直观的评估模型效果,本文结合现有二维姿态估计算法,完成了基于单目图像的人体三维姿态估计的模型可视化工作。
【图文】：

哈尔滨工业大学工程硕士学位论文来进行重建，其中 = × ，N 为人体为特征的骨架模型的表示方法将人体和动作参数化模型的分析来描述人体的运动，可以精确表示人体因而常用于描述较为精细的人体运动[25]，在医学领为广泛的应用。人体姿态估计的任务即定位图像或肘部、手腕等，该任务将图像中的人体姿态信息从体动作理解和分析等更深层次的问题奠定了基础。姿态分析而不涉及与周围环境的交互，同时人体在坐标系的选取，因此本文主要研究人体在三维空间关节点作为人体骨骼结构模型的根节点后，重建以位姿信息。

MPJPE 作为人体三维姿态估计的误差度量，即计算每个关节点预测值间的欧式空间距离，，并对其计算平均值，该种度量方法具有明确的物能够在空间上直观的表现出预测值与真值之间的误差，具有较高的可需要特别注意的是 MPJPE 是在每个关节点与根节点(通常是骨盆)进行后进行计算的。图像传感器数据及其处理 摄像机模型及其坐标系介绍图像传感器的基本原理与人类视觉大体相似，发射源发出的光线经空被物体反射并通过透镜到达图像采集器，这种现象被描述为针孔摄像来自真实世界的物体的光线通过摄像机的针孔，在图像平面形成倒立方便描述，针孔摄像机模型改为选用针孔前方的虚拟图像平面作为参 2-2，虚拟图像的位置位于称为光轴的水平线上，光轴与图像平面的形被称为投影点，摄像机的焦距则被定义为图像平面与针孔即光心的距
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP212

【相似文献】

相关期刊论文 前10条

1 陶丽君;;基于随机森林的实时头部姿态估计方法[J];计算机光盘软件与应用;2013年06期

2 马瑾;陈立潮;张永梅;;基于分类的头部姿态估计算法的研究[J];科技情报开发与经济;2006年02期

3 廖海斌;邱益鸣;陈庆虎;;基于稀疏表示的人脸姿态估计研究[J];电视技术;2015年13期

4 赵松;潘可;张培仁;;典型相关分析在人脸姿态估计中的应用[J];小型微型计算机系统;2009年05期

5 刘勇;;一种基于监督流形学习的头部姿态估计方法[J];电子制作;2013年07期

6 邱丽梅;胡步发;;基于仿射变换和线性回归的3D人脸姿态估计方法[J];计算机应用;2006年12期

7 陈永康;宋亚男;何嘉俊;徐荣华;黄栩滨;;基于深度学习的动物姿态估计和状态评估研究[J];电子世界;2019年05期

8 鲁鑫;高敬东;李开龙;;不同姿态表示方法下的姿态估计分析[J];舰船科学技术;2018年05期

9 牛晓霞;;基于三维模型的人脸姿态估计[J];微处理机;2014年06期

10 Ying CAI;Meng-long YANG;Jun LI;;基于深度卷积网络的多分类法在头部姿态估计中的应用(英文)[J];Frontiers of Information Technology & Electronic Engineering;2015年11期

相关会议论文 前10条

1 吕丹;孙剑峰;李琦;王骐;;基于激光雷达距离像的目标姿态估计[A];黑龙江、江苏、山东、河南、江西 五省光学（激光）联合学术‘13年会论文（摘要）集[C];2013年

2 张科备;王大轶;王有懿;;一种航天器星体和快反镜两级姿态估计方法[A];第37届中国控制会议论文集（C）[C];2018年

3 姚红;任元;王卫杰;;立方星无陀螺姿态估计UKF滤波算法仿真研究[A];第二十届中国系统仿真技术及其应用学术年会论文集（20th CCSSTA 2019）[C];2019年

4 牟忠凯;隋立芬;甘雨;黄贤源;;观测噪声为有色噪声的UKF姿态估计算法[A];第二届中国卫星导航学术年会电子文集[C];2011年

5 马献德;陈强;孙振国;张文增;;水轮机叶片坑内修焊机器人姿态估计算法[A];第十五次全国焊接学术会议论文集[C];2010年

6 叶蓬;刘方;;一种基于李群的目标姿态估计方法[A];全国第二届信号处理与应用学术会议专刊[C];2008年

7 李啸炜;刘越;王涌天;郑伟;;一种使用M估计祛除特征野点的健壮性方法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年

8 贾英宏;刘勇;徐世杰;;航天器两自由度扫描镜图象运动补偿技术研究[A];全国第十二届空间及运动体控制技术学术会议论文集[C];2006年

9 谭波;李勋;黄荣辉;张欣;李聪;王红雨;;三轴自稳云台智能控制仿真研究[A];2017智能电网发展研讨会论文集[C];2017年

10 吴中红;石章松;傅冰;刘健;;MAVs多源信息融合无迹姿态估计方法[A];第四届中国指挥控制大会论文集[C];2016年

相关重要报纸文章 前1条

1 清华大学 李迎春;多姿态人脸图像的估计及合成[N];计算机世界;2006年

相关博士学位论文 前10条

1 徐鲁辉;基于标签分布的头部姿态估计算法研究及其应用[D];华中师范大学;2019年

2 张亚庆;面向视频监控场景的目标空间结构语义感知[D];浙江大学;2018年

3 崔锦实;基于三维模型的关节式物体姿态估计与跟踪方法研究[D];清华大学;2004年

4 刘袁缘;自然环境下头部姿态估计方法的研究与应用[D];华中师范大学;2015年

5 胡春龙;基于人脸图像的头部姿态估计与年龄估计方法研究[D];华中科技大学;2014年

6 李成龙;基于RGB-D数据的头部姿态估计研究[D];山东大学;2017年

7 李娜;面向人机交互的单目视频三维人体姿态估计研究[D];浙江大学;2008年

8 吕丹;基于点法向量姿态估计的激光雷达距离像目标识别算法研究[D];哈尔滨工业大学;2016年

9 孟柳;基于视觉的复杂场景中运动目标检测与跟踪算法研究[D];北京邮电大学;2016年

10 刘菲;伞降小型飞行器初始转平飞过程姿态估计与融合算法研究[D];北京理工大学;2015年

相关硕士学位论文 前10条

1 袁鹏泰;多人姿态估计算法研究及应用[D];南京航空航天大学;2019年

2 冯韬;基于单目视觉的人体三维姿态估计[D];哈尔滨工业大学;2019年

3 张楠;基于点法向量的激光雷达目标三维姿态估计算法研究[D];哈尔滨工业大学;2019年

4 梁大卫;基于深度学习的行人姿态估计与重识别算法研究[D];西安电子科技大学;2019年

5 姜绪;基于点云注意力模型的手部姿态估计方法研究[D];大连理工大学;2019年

6 夏盼;面向智能车主动安全的行人姿态估计[D];电子科技大学;2019年

7 方鹏飞;基于卷积神经网络框架的室内物体目标检测和姿态估计[D];杭州师范大学;2019年

8 李听枫;子类敏感卷积神经网络研究：目标检测与姿态估计[D];上海交通大学;2018年

9 戚杭州;仿人机械手设计与手姿态估计研究[D];南京大学;2019年

10 华国光;复杂场景下的多人实时姿态估计[D];河北工程大学;2019年

本文编号：2616498