基于卷积神经网络的多人骨架提取算法研究

发布时间：2020-06-15 01:41

【摘要】：人体的骨架提取是计算机视觉研究领域中非常重要的研究方向。随着计算机硬件水平的日益提高、计算能力指数级的增强,使得当前在图像处理方面有了长足的进步,因此在计算机上处理分析人体动作的需求也日渐增多。人体骨架提取技术是分析行为动作的基础,此技术具有非常重要的实际应用价值,如在监控领域希望预先判断出一个人的动作是否具有危险性;在体育、舞蹈等领域希望通过计算机进行人体动作打分来作为比赛参考标准。近年来,随着大数据与人工智能的发展,许多领域的问题转用深度学习卷积神经网络的方法来进行研究。对于人体骨架的提取也大多由传统方法转为使用卷积神经网络的方法。在实际应用中,多人的场景大于单人的场景,多人骨架的提取更具有研究价值。本文基于卷积神经网络在静态图片和视频两个方向阐述了提取多人人体骨架的方案,具体研究内容如下:1.在静态图片的多人骨架提取上,本文探讨了自上而下与自底向上方法的区别,并采用自底向上的方法对图片进行识别,在关节点特征的提取上采用热力图来表示人体关节点。随后采用改进的亲和域向量方法来寻找关节点之间的关系,优化关节点之于人体的匹配。最后基于改进的残差网络作为基础模型,采用MPII数据集上的数据进行训练,得到识别效果。2.在基于视频的多人骨架提取上,本文采用两种识别方案。在第一个方案中,对于之前静态图片识别方案的基础上加以改进,采用基于RNN的方法去学习帧于帧之间关节点的联系,并探讨了 RNN改进模型GRU对识别的影响,最终得到视频的识别结果;在第二个方案中单帧图片中采用Faster R-CNN的方法检测人体框,并在每个人体框中检测各个人体的骨架图,最终使用IOU跟踪方法寻找视频中帧于帧之间的关系优化识别效果。两种方法的训练数据集均采用PoseTrack,最终对两者的识别率与识别效率进行对比。
【学位授予单位】：西安理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183
【图文】：

框架图,卷积,姿态,框架

图 1-1 卷积姿态机网络框架Fig. 1-1 Convolution gesture machine network framework图 1-2 Hourglass 模块Fig. 1-2 Hourglass module长时间在单人骨架提取方案上的探索与逐渐成熟，渐渐研究的重心开始往多案上进行，而在现实应用中，多人的骨架提取方案更加的贴合实际，也是此际项目非常重要的因素。对于多人骨架提取主要分为自顶向下于自底向上两016 年 Pishchulin 提出的 DeepCut[37]创新性的研究了多人骨架提取方案，通过法取得了良好的识别效果，接下来多篇论文[38-40]在此基础上进行改进，在准

模块图,模块,骨架提取,自顶向下

4图 1-2 Hourglass 模块Fig. 1-2 Hourglass module时间在单人骨架提取方案上的探索与逐渐成熟，渐渐研究的重心开上进行，而在现实应用中，多人的骨架提取方案更加的贴合实际，项目非常重要的因素。对于多人骨架提取主要分为自顶向下于自底6 年 Pishchulin 提出的 DeepCut[37]创新性的研究了多人骨架提取方取得了良好的识别效果，接下来多篇论文[38-40]在此基础上进行改进取得了长足的进步。而在自顶向下领域，通过把多人提取的方案简究也取得了很好的成果，比如 2017 年提出的局部提取方法[41]，Ma提出的级联金字塔模型[43]等。法基本都是基于图片去做骨架提取，而基于视频的人体骨架提取现

【相似文献】