基于人体关键点检测的动作识别算法研究

发布时间：2021-01-30 18:48

　　人体动作识别在智能时代有着广泛的应用,而人体关键点检测是动作识别领域中的热门课题。然而基于人体关键点的动作识别领域仍存在一些待解决的问题。其一,通过二维图像难以获取准确的人体关键点信息,因此本文提出了一种基于目标分割网络的人体关键点检测方法,以提高人体关键点的检测精度;其二,传统方法难以寻找人体关键点和动作类别之间的映射关系,因此本文通过设计一个全连接神经网络以提取该映射关系,以实现准确的动作分类。具体的研究内容总结如下:（1）针对主流方法中存在检测精度与实时性之间的矛盾,本文提出了基于改进Mask RCNN的人体关键点检测方法。使用Mask RCNN网络结构中的掩模分支为关键点生成高质量的预测掩模结果,从而准确地定位人体关键点位置。实验结果表明,该方法解决了自顶向下方法在多人场景中存在的漏检问题,也避免了自底向上方法带来的关键点匹配错误问题。（2）对人体关键点检测算法进行了三方面的优化改进:其一,针对网络生成的人物目标感兴趣区域位置与真实值偏差大的问题,本文提出使用K-means聚类方法来改进锚点候选框尺寸的初始化方式,使生成的感兴趣区域尺寸能够更好地覆盖人物目标;其二,针对人物密集... 

【文章来源】：杭州电子科技大学浙江省

【文章页数】：82 页

【学位级别】：硕士

【部分图文】：

OpenPose算法流程示意图[32]

杭州电子科技大学硕士学位论文14图2.4关键点匹配错误现象示意图2.2主流数据集简介2.2.1人物目标检测数据集目前学术界主流的行人检测数据集主要有Caltech和INRIA[41]。其中Caltech数据集主要使用车载摄像头采集道路交通行人数据，人物距离较远，人物数量稀疏且人的尺寸非常校但是，本文做人物目标区域检测是为了进一步做详细的人体关键点检测以及动作识别，所以需要的是清晰的近景人物图像，因此没有使用目前主流的行人检测数据集Caltech，而使用了人物目标更加清晰且人物在图像中占比更大的INRIA数据集，该数据集包含尺寸不同、场景不同的行人图片如图2.5所示，且该数据集有正样本和负样本(不包含行人的样本)之分。图2.5INRIA数据集样本图片示意图

杭州电子科技大学硕士学位论文152.2.2人体关键点检测数据集随着人体姿态识别、行为识别等一系列视觉研究任务的快速发展，目前国际上也出现越来越多的人体关键点检测数据集，为了更好的对比本文提出的改进方法对算法性能的影响，并与主流人体关键点检测算法进行对比，本文选用了三种目前主流的人体关键点检测数据集，分别是LSP、MPII和MSCOCO。本小节将对三类数据集进行简要的介绍。LSP是一个单人人体关键点检测数据集，该数据集包含2000幅标注了单人人体关键点的图片，该数据集主要采集了一些运动员的动作。LSP数据集的图片主要来源于图片分享网站Flickr，并将图片中的人物目标都进行缩放，缩放到150像素大小，从而使人物大小突出。数据集为每个人标注了14个人体关键点，且该数据集人物服装色彩丰富、场景变化丰富。MPII同时包含单人关键点检测和多人关键点检测两类数据集[42]。该数据集包含2万多张图片，人物数目超过4万个，对于每个人物标注出了16个人体关键点位置，该数据集的图像内容主要来自于视频网站YouTube，针对的场景主要是人类的日常生活场景。但是，该数据集没有提供相应的验证集，因此本文从训练集数据中分离出2958个人物目标作为验证集，保留剩下的人物作为训练集进行训练。图2.6MSCOCO人体关键点示意图动作识别数据集MSCOCO数据集是一个针对目标检测、语义分割、关键点检测等多项视觉任务的庞大数据集[43]，数据量十分的庞大，其中关于人体关键点检测的训练集包括2万张人物图片、2.5万个人体关键点，为每个人物分别标注出18个关键点坐


本文编号：3009405