人体姿态估计与姿态距离度量学习方法研究

发布时间：2020-11-04 08:39

　　 人体姿态估计,泛指以接触或非接触式传感器所获取的运动加速度、图像、视频等数据为基础,计算人体骨架或关节点位置的技术。随着计算机图形学、计算机视觉、模式识别及人机交互等领域技术的发展,人体姿态估计及姿态距离度量学习,已广泛地应用于动作识别、动作仿真、视频监控分析、行为检索等方面,并成为计算机视觉、模式识别及人机交互等领域的重要研究内容。非接触式人体姿态估计方法,按照输入数据通常可分为基于彩色图像的方法和基于深度图像的方法。前者以可见光图像为数据基础,容易受到背景、光照、遮挡等因素的影响;后者以结构光或飞行时间法获取的场景景深为数据基础,虽然在一定程度上避免了可见光图像受环境光照等因素影响的困扰,但由于深度图像存在噪声、空洞、特征不明显等数据缺陷。基于深度图像的人体姿态估计仍是模式识别领域极具挑战性的研究课题。此外,传统的基于骨架点信息的人体姿态距离度量学习方法,通常以人体骨架点的欧氏距离模型或稀疏模型为基础,且需要大量人工标注的相似/不相似的人体姿态数据对作为训练数据。然而,考虑到运动人体动作行为的复杂性,以及部分人体动作数据库含有大量的噪声数据或低置信度数据,传统的欧氏距离模型或稀疏模型难以精确刻画运动人体的姿态相似度。基于上述问题,本文以面向深度图像、彩色与深度图像融合的高精度人体姿态估计为目标,研究了深度图像像素特征表示、彩色与深度图像特征融合、无监督人体姿态距离度量学习等方法,并研发完成了人体运动感知计算系统。本文的主要工作包括以下几方面:1.针对传统面向深度图像的人体姿态估计方法中像素特征刻画不准确问题,提出了基于深度差与测地距离融合特征的深度图像人体姿态估计模型。传统基于深度图像的姿态估计通常将像素对的深度差特征与随机决策森林分类器结合,而深度差特征虽然计算简单,但只是像素对之间局部相对深度属性的描述,难以准确描述具有复杂形变、自遮挡、高噪声等特点的非刚性人体部件间的连接关系。本文提出的联合特征与深度图像超像素相结合,描述了像素的上下文信息,减少了噪声和非均匀深度数据的干扰,不仅保证了特征提取和随机决策森林(RDF)的训练效率,而且提高了人体部位的分类精度。论文同时还提出基于RDF的部位分类与基于聚类特征的稀疏回归相结合的位姿估计框架,将超像素融合特征与组件聚类中心的特征结合在一起,在不同质量和分辨率的数据集上的结果表明了方法的鲁棒性、高效性和准确性。2.针对传统面向彩色与深度图像融合的姿态估计方法中特征融合问题,提出了基于Dempster-Shafer外观-形状融合模型的彩色-深度图像人体姿态估计方法。传统基于彩色-深度图像的姿态估计方法将HOG、SIFT、轮廓描述子等特征作为彩色图像骨架点特征,将深度差或其他深度图像特征算子作为深度图像骨架点特征,将特征进行拼接后通过训练评分模型实现人体姿态估计,这种特征融合手段难以精确地将可见光图像与深度图像的特性进行高效互补。可见光图像与深度图像这两个不同信息源提供的图像特征,一般都是片面、不精确、不完整的,甚至有可能是完全矛盾的。本文提出的Dempster-Shafer外观-形状融合模型,借助Dempster-Shafer概率融合理论,将彩色图像信息源与深度图像信息源的HOG特征与轮廓特征以不确定性模型进行融合,充分利用了可见光图像与深度图像的信息源特征的互补性,实现了面向RGB-D数据的高效人体姿态估计。3.针对传统的人体姿态距离度量学习需要大量标记样本、学习模型不精确问题,提出了基于多层次稀疏模型的无监督人体姿态距离度量学习模型。考虑到人体姿态的相似程度具有多层次特性,即:由头部、手脚肢端及躯干构成的粗略姿态,以及由手腕、手肘、肩部、脚腕、膝盖等构成的精细姿态,该多层次稀疏模型将各个姿态数据进行分层次稀疏表示,并学习保持该稀疏表示下残差向量在相应的姿态度量最小,以此保持人体姿态在不同尺度意义下的相似距离。与现有基于学习的人体姿态距离度量的方法相比的实验结果表明,本文所提出的无监督模型无需任何带标签的姿态数据,学习的姿态距离度量在现有的动作序列姿态检索方面取得较高的检索精度。4.设计与实现了人体运动感知计算系统。该系统通过模块化设计把数据采集、人体部位标定、姿态估计及结果展示等功能集成到一个平台中,为人体运动感知的相关研究提供了一个集成化的环境。作为高精度体感仪器项目的应用平台,验证了该系统的实用性。实验表明了本文所提出的人体姿态估计算法的准确性、高效性,所提出的姿态距离度量学习模型的可行性、有效性。
【学位单位】：北京工业大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41;TP181
【部分图文】：

图 1-1 人体姿态估计及人体距离度量的应用[41]Figure 1-1 Applications of human pose estimation and human pose distance metric[41]1.2 人体模型及特征表达人体结构是一种由多个肢体和关节组成的复杂非刚性系统，因此，人体姿态估计是一项非常具有挑战性的任务。Marinoiu 等人[25]研究“人”是如何感知三维姿态的空间结构，以及这些感知如何能与“人”运动的空间连接起来。为了实现这一方向，他们采集了一个包含人体图像的数据集，并判断人是如何准确地重构3D 姿态的。该数据集不仅标定了二维（2D）和三维（3D）的真实姿态，还同步记录了人眼在展示不同人体图像时的移动。他们发现在实验室环境中，人在定位3D 姿态的准确性方面的优势并不比现有的计算机视觉算法更明显。基于模型（Model-based）的人体姿态估计方法采用人体模型，引入人体先验信息来克服这些困难。最常见的 3D 人体模型是几何体骨架或网格模型，图 1-2中显示了其中较为常见的形体模型（Shape model）。这些模型都具有人体运动链（kinematic）的特性，而形体模型也定义了外观特征，常用圆柱体和截锥体模型

北京工业大学工学博士学位论文计方法，而 Helten 等人[42]对深度空间下的方法进行了分析；按照输入的形式可以分为单帧图像的估计和运动序列的估计，进一步可以分为单帧单视点的图像、单帧多视点的图像、单视点的动作序列和多视点的动作序列的估计方法；按照估计推断方法分为生成式(Generative approaches)、判别式（Discriminative approaches）和混合的方法（Hybrid approaches），如图 1-3 所示。

图 1-4 深度获取设备对深度图像质量的影响[106]Figure 1-4 The effect of deep acquisition equipment on the depth image quality.2 基于判别式方法的姿态估计别式方法是通过从深度图像中提取具有良好表征能力的特征描述符，并利回归来得到人体姿态的一类方法。Kinect 系统[5][6][112]使用基于大规模数据别学习来获取人体姿态，其通过使用随机决策森林（Random decisios, RDF），来对像素进行分类，然后使用 Mean-Shift 聚类算法来获取最终的态。虽然 Kinect 在娱乐领域上已经取得了相当的成功，但是由于相机提度信息有明显噪声，其姿态估计的精度仍然只是娱乐领域可接受的范围ick 等人[112]在使用深度差特征的基础上，建立霍夫森林（Hough forests）来像素直接进行回归。Hernández-Vela 等人[113]使用图割（Graph-cut）优化改善 Shotton 方法中[5]每个像素的分类。Jung 等人[105]提出了一种利用随机来对每个骨架点的初始位置方向进行迭代计算的方法，在时间效率上取得的改进。Kim 等人[114]使用超像素来减少像素处理的时间，并使用 SVM 来
【相似文献】

相关期刊论文 前10条

1 韩贵金;沈建冬;;二维人体姿态估计研究进展[J];西安邮电大学学报;2017年04期

2 蔡鹏;孔德慧;尹宝才;霍奕;;基于肢体调整的人体姿态估计[J];系统仿真学报;2015年10期

3 喻东山,徐捷,孙旦晖,曾彦英,高小宁,蒋晓军;利培酮对人体姿态平衡的效应[J];中国行为医学科学;2005年03期

4 东方伊人;四种常见的人体姿态[J];现代技能开发;1996年02期

5 李崤河;刘进锋;;二维人体姿态估计研究综述[J];现代计算机;2019年22期

6 苏延超;艾海舟;劳世竑;;图像和视频中基于部件检测器的人体姿态估计[J];电子与信息学报;2011年06期

7 郑毅;李凤;张丽;刘守印;;基于长短时记忆网络的人体姿态检测方法[J];计算机应用;2018年06期

8 李庆武;席淑雅;王恬;马云鹏;周亮基;;结合位姿约束与轨迹寻优的人体姿态估计[J];光学精密工程;2017年04期

9 谭冠政;叶华;陈敏杰;;基于频率筛分的无监督人体姿态特征提取与识别研究[J];测控技术;2017年09期

10 王筱兰;徐捷;喻东山;成为荣;;氯丙嗪与利培酮对人体姿态平衡效应的对照研究[J];四川精神卫生;2006年03期

相关博士学位论文 前10条

1 张雯晖;人体姿态估计与姿态距离度量学习方法研究[D];北京工业大学;2019年

2 赵林;面向复杂监控环境的人体运动分析方法[D];西安电子科技大学;2017年

3 马淼;视频中人体姿态估计、跟踪与行为识别研究[D];山东大学;2017年

4 李弟平;基于视频的人体姿态检测与运动识别方法[D];中南大学;2012年

5 陈聪;基于人体姿态序列提取和分析的行为识别[D];华南理工大学;2012年

6 欧阳毅;单目视频中人体运动建模及姿态估计研究[D];浙江大学;2012年

7 李佳;多视角三维人体运动捕捉的研究[D];北京交通大学;2013年

8 张殿勇;基于人体模型构建的无标识运动捕捉关键技术研究[D];北京交通大学;2014年

9 叶青;无标记人体运动捕捉技术的研究[D];北京邮电大学;2014年

10 李毅;单目视频人体运动分析技术研究[D];南京大学;2013年

相关硕士学位论文 前10条

1 熊紫华;基于深度学习的人体姿态估计研究[D];华中科技大学;2019年

2 郑岳智;基于卷积神经网络的人体姿态估计方法研究[D];华中科技大学;2019年

3 许志强;基于深度学习的实时人体姿态估计系统[D];燕山大学;2019年

4 朱靖;基于卷积神经网络的二维人体姿态估计研究[D];杭州电子科技大学;2019年

5 周亚辉;基于跨阶段深度网络的人体姿态分析[D];合肥工业大学;2019年

6 汤林;拥挤条件下的人体姿态检测算法研究[D];重庆邮电大学;2019年

7 侯珊珊;基于卷积神经网络的人体姿态估计[D];华北理工大学;2019年

8 周朋肖;基于人体姿态估计的队列评分系统的设计与实现[D];电子科技大学;2019年

9 季月鹏;基于视频人体姿态估计的高尔夫挥杆动作比对分析研究[D];南京邮电大学;2019年

10 赵昱文;基于深度学习的视频中的人体姿态估计[D];宁夏大学;2019年

本文编号：2869886