基于深度学习的多人人体姿态估计
发布时间：2021-08-09 15:44
在灾害、战场等复杂环境下,救援机器人需自动对受伤人员进行动作识别与状态分析,因此对复杂图像中的人体关节点和肢体进行检测,即人体姿态估计有着重要的意义。目前,基于深度学习的室外复杂环境下多人人体姿态估计技术发展迅速,但在搜救应用中还存在许多困扰,例如救援环境恶劣,背景复杂无法得到清晰、高质量的人员图像;人员姿态受环境所限,身体同一肢体呈现出不同的外观;多人交错在一起,肢体存在遮挡、重叠,人体的肢体完整性下降;救援环境属于陌生环境,没有人体姿态的相关先验知识,单人或多人人体的各个肢体可能存在于图像的任意区域,导致模型检测时需要大面积搜索图像内容等等。本文以建立基于深度学习的多人人体姿态估计模型为主要目的,在国内外人体姿态估计研究现状的基础上研究了相关理论基础。搭建了复杂环境图像的人体姿态特征提取网络,对其特征进行提取;其次利用关节点检测网络对所得特征进行关节点估计和聚类;随后采用部件亲和力场（PAFs）对关节点对匹配形成肢体特征,将匹配好的肢体和关节点存入不同的集合中;最后利用匈牙利算法和人体肢体框架构建成完整的人体姿态模型。在常用的人体姿态估计数据集基础上,选择LSP和MS COCO数据...
【文章来源】：天津职业技术师范大学天津市
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
救援机器人
天津职业技术师范大学硕士学位论文-2-备。受伤人员的图像信息具有内容丰富、获取速度容易和快速的特点，使得机器视觉（ComputerVision，CV）技术在陆地救援机器人中十分常见。在视觉搜寻过程中涉及到机器视觉的图像分类、目标检测、目标位姿判断与估计等多个信息的加工和处理内容。在实际的救援过程中，受伤人员的视觉信息容易受到室外恶劣环境的影响，尤其是受到图像背景和受伤人员姿态（单人或者多人肢体存在遮挡）的干扰难以获取有效的图像，导致姿态估计解不唯一（如图1-3所示），不能准确、稳定的对伤员的姿态估计。为了解决机器视觉如何在复杂环境下准确找出受伤人员，开发可以有效抵抗室外环境的干扰，提高受伤人员姿态估计的效率，并有一定鲁棒性的多人人体姿态估计模型对于当前救援机器人的发展具有重要的意义。图1-3多人人体检测示意图因此，本文提出基于深度学习的多人人体姿态估计，重点对室外多人人体姿态进行估计，开发出一套可以在室外较为恶劣的环境下能够准确估计出多人人体姿态的网络模型。1.3国内外发展现状人体姿态估计是将人体的肢体和关节点从图像或视频中检测出来，输出人体肢体和关
天津职业技术师范大学硕士学位论文-4-②多阶段分布回归Carreira[9]等人设计了迭代误差反馈的人体姿态估计模型（IterativeErrorFeedback.IEF）。作者提出了一个通用的框架，以关节点的二维坐标作为迭代对象，通过从输入和输出的联合空间训练特征提取器，对输入和输出空间中丰富的结构化信息进行建模。文章引入了自上向下的反馈机制，不直接预测目标输出，而是在前馈过程中，预测当前估计的偏差并反馈迭代修正预测值，IEF结构图如图1-5所示。图1-5IEF结构图2）基于热图检测的方法由于CoordinateNet网络存在：一方面网络回归值是检测到的每个关键点相对于图像中真值坐标的一个偏置值（offset），当网络经过多层的回归后会出现因为长距离偏置使得偏置误差值越来越小，最终导致网络在训练时收敛十分困难，并且网络此时的检测误差较大，另一方面网络提供的监督信息比较少，使得整个网络达到收敛的速度较慢。因此研究人员做出了基于热图（Heatmap）检测的模型，简称HeatmapNet。HeatmapNet既可以表达基于概率分布的标签模型(GroundTruth)，又可以表达人体肢体之间的关联信息。图像中的关节点位置使用概率表达，即每个关节点的所在的像素位置会有一个相应的概率值，离关节点真实坐标越近，像素点的对应的概率就会越接近1，反之接近于0，可以使用多元高斯模型[10]将二维坐标转换成热图形式的标签，使用热图形式参与网络训练可以为每个关节点提供监督信息，有助于模型能够较快的收敛，同时热图可以更直观的获得关节点在图像中的位置。两种方法的处理过程如下图1-6、7所示。目前基于热图检测的模型取得的效果最好，应用也最为广泛。根据网络模型学习获取关节点结构关系方式的不同，HeatmapNet可以分为显式添加结构先验和隐式学习结构两种。
【参考文献】：
期刊论文
[1]基于条件先验人体模型的人体姿态估计[J]. 赵勇,巨永锋. 计算机工程与应用. 2018(16)
[2]基于改进CNN和加权SVDD算法的人体姿态估计[J]. 韩贵金. 计算机工程与应用. 2018(24)
本文编号：3332347
【文章来源】：天津职业技术师范大学天津市
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
救援机器人
天津职业技术师范大学硕士学位论文-2-备。受伤人员的图像信息具有内容丰富、获取速度容易和快速的特点，使得机器视觉（ComputerVision，CV）技术在陆地救援机器人中十分常见。在视觉搜寻过程中涉及到机器视觉的图像分类、目标检测、目标位姿判断与估计等多个信息的加工和处理内容。在实际的救援过程中，受伤人员的视觉信息容易受到室外恶劣环境的影响，尤其是受到图像背景和受伤人员姿态（单人或者多人肢体存在遮挡）的干扰难以获取有效的图像，导致姿态估计解不唯一（如图1-3所示），不能准确、稳定的对伤员的姿态估计。为了解决机器视觉如何在复杂环境下准确找出受伤人员，开发可以有效抵抗室外环境的干扰，提高受伤人员姿态估计的效率，并有一定鲁棒性的多人人体姿态估计模型对于当前救援机器人的发展具有重要的意义。图1-3多人人体检测示意图因此，本文提出基于深度学习的多人人体姿态估计，重点对室外多人人体姿态进行估计，开发出一套可以在室外较为恶劣的环境下能够准确估计出多人人体姿态的网络模型。1.3国内外发展现状人体姿态估计是将人体的肢体和关节点从图像或视频中检测出来，输出人体肢体和关
天津职业技术师范大学硕士学位论文-4-②多阶段分布回归Carreira[9]等人设计了迭代误差反馈的人体姿态估计模型（IterativeErrorFeedback.IEF）。作者提出了一个通用的框架，以关节点的二维坐标作为迭代对象，通过从输入和输出的联合空间训练特征提取器，对输入和输出空间中丰富的结构化信息进行建模。文章引入了自上向下的反馈机制，不直接预测目标输出，而是在前馈过程中，预测当前估计的偏差并反馈迭代修正预测值，IEF结构图如图1-5所示。图1-5IEF结构图2）基于热图检测的方法由于CoordinateNet网络存在：一方面网络回归值是检测到的每个关键点相对于图像中真值坐标的一个偏置值（offset），当网络经过多层的回归后会出现因为长距离偏置使得偏置误差值越来越小，最终导致网络在训练时收敛十分困难，并且网络此时的检测误差较大，另一方面网络提供的监督信息比较少，使得整个网络达到收敛的速度较慢。因此研究人员做出了基于热图（Heatmap）检测的模型，简称HeatmapNet。HeatmapNet既可以表达基于概率分布的标签模型(GroundTruth)，又可以表达人体肢体之间的关联信息。图像中的关节点位置使用概率表达，即每个关节点的所在的像素位置会有一个相应的概率值，离关节点真实坐标越近，像素点的对应的概率就会越接近1，反之接近于0，可以使用多元高斯模型[10]将二维坐标转换成热图形式的标签，使用热图形式参与网络训练可以为每个关节点提供监督信息，有助于模型能够较快的收敛，同时热图可以更直观的获得关节点在图像中的位置。两种方法的处理过程如下图1-6、7所示。目前基于热图检测的模型取得的效果最好，应用也最为广泛。根据网络模型学习获取关节点结构关系方式的不同，HeatmapNet可以分为显式添加结构先验和隐式学习结构两种。
【参考文献】：
期刊论文
[1]基于条件先验人体模型的人体姿态估计[J]. 赵勇,巨永锋. 计算机工程与应用. 2018(16)
[2]基于改进CNN和加权SVDD算法的人体姿态估计[J]. 韩贵金. 计算机工程与应用. 2018(24)
本文编号：3332347
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3332347.html
最近更新
教材专著
