基于深度学习的2D平面多人人体姿态识别

发布时间：2021-04-11 20:18

　　人体姿态识别技术已经成为当今计算机视觉领域的重要研究内容,应用场景渗透到了日常生活中的方方面面。人体姿态识别（Human Pose Recognition）是指对数字图像或视频中人体关键部位和主要关节点进行识别,是人体动作识别和行为分析的基础与前提。人体姿态识别技术发展越来越快,但也面临着众多挑战。例如光照条件、背景复杂、人体自身遮挡和物体间遮挡等常见情况的发生阻碍着姿态识别研究的进展。基于深度学习的人体姿态识别因为其堆叠的卷积神经网络对大量数据集进行提取的特征具有高度抽象性与普适性,相较于传统的基于图像结构的方法有较好的泛化性与鲁棒性,应对光照条件差、背景复杂、人体部位遮挡等问题有较好的表现,但也存在模型结构复杂、模块相对冗余、实时性存在改进空间等面向实际应用的问题。因此,在自然环境下实现高精度且具有实时性的姿态识别仍面临巨大挑战。本文针对2D平面图像与视频中的人体姿态识别问题,提出了改进的OpenPose模型,更好地优化了精度与实时性之间的关系,充分地发挥了残差网络作为主干网络地优势,并通过观察关节点运动的规律,将关节点识别结果简单地应用于人体动作分类场景上,解决了自然图像中的人体... 

【文章来源】：天津职业技术师范大学天津市

【文章页数】：92 页

【学位级别】：硕士

【部分图文】：

LSP数据集与标注信息[40]

图2-2 表示DeepPose模型粗略识别阶段,输入图像大小为640x450x3,DeepPose网络输入图像尺寸因考虑到计算量问题调整为220x220x3,模型结构中以Alexnet模型为基本框架,其中蓝色矩形框表示卷积层（层内包括卷积的大小与数量,55x55x58：卷积核大小宽55高55,卷积核数量为48个）,橘色矩形框表示全连接层（层内包括神经元个数）,输出(xi,yi)表示初始阶段网络预测的左手腕关节点位置。初始阶段(initial stage)粗略的得到关节点的大概位置,它是基于整幅图像进行上下文推理的。通常数据集中的图片原始尺寸较大,所以输入到网络的时候会对图像进行下采样,这样网络细节提取的难度加大,优化关节点的位置相对不够精确。为了得到更好的精确率,作者训练了一个级联的姿态回归器。图2-3表示DeepPose模型优化精修阶段,以精修阶段中的第一个阶段为例,输入图像是初始阶段的输出图像,使用已经预测到的关键点来切出基于这个关键点的邻域图像（黄色矩形框）,这个子图像将被用于接下来的网络输入,同时将子图重置为200x200尺寸大小使得网络获取更高分辨率的图像,最终达到更好的精确率。模型结构与粗略识别阶段相同,(xis1,yis1)表示(xi,yi)经过放大重置后的关节点位置坐标,输出(xire,yire)表示精修阶段网络预测的左手关节点位置。图2-3 DeepPose模型优化精修阶段

图2-2 DeepPose模型粗略识别阶段步骤5. 图2-4 表示DeepPose模型训练过程简述。与用于分类问题的卷积神经网络训练过程类似,仅是将分类损失修改成回归损失。图中表达了粗略识别阶段得到的红色预测点,经过优化精修阶段得到的蓝色关节点,向着绿色关节点所代表的真实位置不断靠近的过程。

【参考文献】：
期刊论文
[1]融合HOG和颜色特征的人体姿态估计新算法[J]. 沈建冬,陈恒.  计算机工程与应用. 2017(21)
[2]基于HOG和颜色特征融合的人体姿态估计[J]. 韩贵金,朱虹.  模式识别与人工智能. 2014(09)
[3]人体动作行为识别研究综述[J]. 李瑞峰,王亮亮,王珂.  模式识别与人工智能. 2014(01)
[4]人体步态特征生物识别方法研究[J]. 张军.  天津工程师范学院学报. 2010(04)
[5]动作识别与行为理解综述[J]. 徐光祐,曹媛媛.  中国图象图形学报. 2009(02)

博士论文
[1]人体生物特征的综合分析与应用[D]. 刘欢喜.上海交通大学 2010

硕士论文
[1]视频监控中人体动作识别关键技术研究[D]. 渠畅.北方工业大学 2019



本文编号：3131895