基于深度学习的人体姿态估计关键技术研发

发布时间：2021-05-24 15:30

　　人体姿态估计是计算机视觉中的一个重要研究领域,在人们对体验感、新鲜感、安全感不断追求的当前,人体姿态估计及其应用具有极大的商业效益和人文意义。本研究课题着眼于由Mask R-CNN图像分割算法而延伸的经典姿态估计算法,针对算法实际应用存在的问题进行相应改进,从而提高骨骼关节点检测与识别的准确性和鲁棒性。为了达到研究目的,本文针对数据库和实际应用中图像,通过深度学习技术,定位并辨识图像中人眼、手肘、盆骨、脚踝等各个关节点,并辅以对应连接,从而以人体关节点骨架的形式表征人体状态。本文主要工作如下:（1）改进了基于全卷积网络的姿态估计方法。对于Mask R-CNN算法中得到的感兴趣区域特征图,首先将其输入到卷积层中得到特征图（记为特征图一）;然后利用基于注意力残差模块和数据旁路的支路算法（记为支路一）、基于混合空洞卷积的FCN支路算法（记为支路二）进行更深的特征提取和融合;再将两支路的结果叠加后输入至小型FCN中进行姿态估计。其中,为了最大化支路模块网络中所有层之间的信息流,在支路一的输入处,将两个注意力残差模块进行前后级联并进行像素级别的叠加,配合数据旁路连通网路中的前后层,使得网络中每一... 

【文章来源】：南京邮电大学江苏省

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景及意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状
        1.2.1 基于模型的人体姿态估计
        1.2.2 非模型的人体姿态估计
    1.3 本文的主要工作与安排
第二章 相关背景知识介绍
    2.1 卷积神经网络理论基础
    2.2 评价指标
        2.2.1 MS COCO数据集介绍
        2.2.2 评价指标
    2.3 人体姿态估计中的特征提取
        2.3.1 特征提取理论基础
        2.3.2 特征提取网络设计
    2.4 面临的主要问题和挑战
    2.5 本章小结
第三章 基于改进关节点分支的人体姿态估计
    3.1 基于Mask R-CNN人体姿态估计算法的整体框架
    3.2 基于全卷积网络的人体姿态估计
        3.2.1 全卷积网络结构
        3.2.2 全卷积网络的优点和不足
    3.3 基于改进全卷积网络的人体姿态估计
        3.3.1 网络框架
        3.3.2 注意力残差模块
        3.3.3 跳跃连接特征融合
        3.3.4 混合空洞卷积
    3.4 实验结果及分析
        3.4.1 环境搭载和训练细节
        3.4.2 性能对比和分析
        3.4.3 人体姿态估计结果示例
    3.5 本章小结
第四章 基于改进区域生成网络的人体姿态估计
    4.1 基于区域生成网络的人体姿态估计
        4.1.1 区域生成网络
        4.1.2 区域生成网络的不足
    4.2 基于改进的区域生成网络的人体姿态估计
        4.2.1 网络框架
        4.2.2 预测锚框模块
        4.2.3 特征自适应模块
        4.2.4 多任务损失函数
    4.3 实验结果及分析
        4.3.1 环境搭载和训练细节
        4.3.2 人体姿态估计对比分析
    4.4 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
附录1 攻读硕士学位期间申请的专利
致谢


【参考文献】：
期刊论文
[1]可穿戴式人体姿态检测系统设计[J]. 胡小华,李向攀,祁洋阳,冷昊,韩建海,郭冰菁.  电子技术应用. 2017(09)
[2]基于深度学习的大数据空气污染预报[J]. 尹文君,张大伟,严京海,张超,李云婷,芮晓光.  中国环境管理. 2015(06)

硕士论文
[1]基于深度学习的多姿态人脸识别算法研究[D]. 肖芳.电子科技大学 2019
[2]基于人体姿态估计算法的辅助运动训练系统的研究[D]. 张东梅.北京邮电大学 2016



本文编号：3204423