基于对抗学习的人体姿态估计研究

发布时间：2021-10-28 19:15

　　人体姿态估计主要是通过图像分析手段提取人体的关节点定位信息的过程,作为计算机视觉领域的基础研究之一,在人机交互、智能监控、姿态分析等领域具有重要的应用价值,例如通过人体姿态估计能够有效帮助解决现实生活中诸如养老看护和城市安防领域的人员监控问题,极大地保障广大群众的人身安全。近年来,随着计算机硬件能力的提升和深度学习等相关理论的发展,越来越多的研究者开始尝试基于卷积神经网络的人体姿态估计方法并取得了较大的进展。然而,由于现实生活中人体姿态的复杂性,目前的人体姿态估计仍然存在着一些需要解决的问题,如人体关节点受遮挡、复杂背景影响、人体视角多变等造成的生成人体姿态不合理以及部分困难关节点检测不佳问题,此外,绝大部分方法在提高关节点检测精度的同时,往往忽略了模型的运算量对人体姿态估计方法实用性的影响。针对以上问题,本文进行了相应的研究。（1）针对目前常见的人体姿态估计方法存在的生成人体姿态不合理的问题,受到生成对抗网络通过对抗学习拉近生成数据与真值标签之间的分布距离,进而提高生成器数据生成表现能力的启发,本文对比研究了基于不同生成对抗网络结构的人体姿态估计方法,通过对抗学习策略引导人体姿态估计... 

【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校

【文章页数】：93 页

【学位级别】：硕士

【部分图文】：

DeepPose网络结构

2人体姿态估计相关理论21并且不需要额外人工生成关节点的真值热力图。图2-13基于热图聚合的坐标回归网络Figure2-13CoordinateregressionnetworkbasedonheatmapaggregationCarreira[7]等人设计了一种基于迭代误差反馈的人体姿态估计模型实现关节点的回归与优化，该方法对输入与输出空间中的结构信息建模，模型并不直接输出目标关节点坐标，而是在前馈过程中预测当前的坐标估计偏差并反馈迭代修正预测值从而实现坐标的优化调整。图2-14基于迭代误差反馈的人体姿态估计模型Figure2-14Humanposeestimationmodelbasedoniterativeerrorfeedback模型训练分为多个阶段，首先通过预先设计好的关节点误差公式(,)teyy和已知初始关节点坐标0y和真值关节点坐标y计算得到每个阶段的输入关节点坐标信息123(y,y,y,...)，然后将每个阶段得到的输入关节点坐标通过映射函数g()处理，实现输入关节点坐标到关节点热图的映射，并与原始图片拼接后一同输入模型f()中，最终生成相应的关节点坐标偏差。通过计算并反向传播每个阶段每轮迭代生成的关节点偏差与预先设定好的关节点误差之间的损失函数，模型最终将会学习到输入关节点与真实关节点之间误差信息。每个阶段中，关节点优化回归固定一小步（约为20个像素），当关节点坐标接近真实坐标时，优化偏差将变为之前偏差的缩放量进而实现更为精细的关节点坐标调整。相较于传统的多阶段回归关节点坐标的方法，如DeepPose[6]等，这种分步回归的方法每次选取总误差的一部分作为本阶段的迭代目标，使得网络能够更加精细的逼近短程坐标。在测试阶段，模型仍然需要通过多阶段回归得到最终的关节点预测结果，首先设定一个初始的关节点坐标，将其转换为关节点热图后与原始图片拼接送入训

2人体姿态估计相关理论21并且不需要额外人工生成关节点的真值热力图。图2-13基于热图聚合的坐标回归网络Figure2-13CoordinateregressionnetworkbasedonheatmapaggregationCarreira[7]等人设计了一种基于迭代误差反馈的人体姿态估计模型实现关节点的回归与优化，该方法对输入与输出空间中的结构信息建模，模型并不直接输出目标关节点坐标，而是在前馈过程中预测当前的坐标估计偏差并反馈迭代修正预测值从而实现坐标的优化调整。图2-14基于迭代误差反馈的人体姿态估计模型Figure2-14Humanposeestimationmodelbasedoniterativeerrorfeedback模型训练分为多个阶段，首先通过预先设计好的关节点误差公式(,)teyy和已知初始关节点坐标0y和真值关节点坐标y计算得到每个阶段的输入关节点坐标信息123(y,y,y,...)，然后将每个阶段得到的输入关节点坐标通过映射函数g()处理，实现输入关节点坐标到关节点热图的映射，并与原始图片拼接后一同输入模型f()中，最终生成相应的关节点坐标偏差。通过计算并反向传播每个阶段每轮迭代生成的关节点偏差与预先设定好的关节点误差之间的损失函数，模型最终将会学习到输入关节点与真实关节点之间误差信息。每个阶段中，关节点优化回归固定一小步（约为20个像素），当关节点坐标接近真实坐标时，优化偏差将变为之前偏差的缩放量进而实现更为精细的关节点坐标调整。相较于传统的多阶段回归关节点坐标的方法，如DeepPose[6]等，这种分步回归的方法每次选取总误差的一部分作为本阶段的迭代目标，使得网络能够更加精细的逼近短程坐标。在测试阶段，模型仍然需要通过多阶段回归得到最终的关节点预测结果，首先设定一个初始的关节点坐标，将其转换为关节点热图后与原始图片拼接送入训

【参考文献】：
期刊论文
[1]基于生成对抗网络的视频监控图像增强方法研究[J]. 郝韵.  公安海警学院学报. 2019(06)
[2]基于生成对抗网络的无人机图像去模糊方法[J]. 裴慧坤,颜源,林国安,江万寿.  地理空间信息. 2019(12)
[3]基于深度学习的人体姿态估计方法综述[J]. 邓益侬,罗健欣,金凤林.  计算机工程与应用. 2019(19)
[4]生成对抗网络在计算机视觉领域中的应用研究[J]. 高伟,郭永峰,徐德衡.  价值工程. 2019(22)
[5]基于生成对抗网络的数字图像修复技术[J]. 李雪瑾,李昕,徐艳杰.  电子测量与仪器学报. 2019(01)
[6]基于生成对抗网络的图片风格迁移[J]. 许哲豪,陈玮.  软件导刊. 2018(06)
[7]二维人体姿态估计研究进展[J]. 韩贵金,沈建冬.  西安邮电大学学报. 2017(04)
[8]一种基于图结构模型的人体姿态估计算法[J]. 韩贵金,朱虹.  计算机工程与应用. 2013(14)



本文编号：3463223