基于深度图像序列的三维人手运动跟踪技术研究

发布时间：2017-07-19 16:25

  本文关键词：基于深度图像序列的三维人手运动跟踪技术研究

  更多相关文章： 三维人手跟踪 深度图像 粒子滤波 差分进化 粒子群优化 OSG

【摘要】：通过计算机视觉手段来对人手运动进行分析是一个重要的研究课题,其研究内容包括人手检测、人手运动状态估计和行为识别,涉及图像处理、计算机视觉、计算机图形学、模式识别和人工智能等多个学科领域。人手运动的视觉分析具有广阔的应用前景,其研究成果可以应用于虚拟现实、三维动画、机器人模仿学习、高级人机交互、运动生物力学等多个领域。本文主要研究人手运动状态估计问题,即从视觉观测估计出人手的全局位姿和各局部关节角度的状态。人手运动状态的估计是人手运动分析的核心问题,是对人的行为进行准确识别的基础。本文中的运动状态估计问题针对的是一个视频图像序列,在人手运动具有连贯性的假设下,通过状态转移模型的引入,将针对单帧的运动状态估计问题转化为时间序列上的一个运动跟踪问题。通过计算机视觉来进行多关节人手运动跟踪是十分具有挑战性的,其开发受困于多个复杂因素。高维的状态空间给全局最优的搜索带来了困难,导致了庞大的计算量；人手运动过程中频繁发生的自遮挡,会导致观测的歧义性,造成人手状态概率密度的多峰分布,加大全局最优的搜索难度；人手运动跟踪的状态转移过程和观测过程均是非线性的,这要求跟踪算法必须具有解决非线性问题的能力。一个有效的人手运动跟踪方案必须解决以下关键问题：(1)构建有效的匹配误差函数。匹配误差函数用于描述人手姿态向量与观测特征之间的匹配程度,它的构建是人手运动跟踪的基础,直接决定跟踪过程中全局最优的搜索难度。好的匹配误差函数能够有效平滑全局最优附近的局部极小值,降低全局最优的搜索难度。(2)开发有效的搜索方法。高维的状态空间和多峰的概率分布对搜索方法的寻优能力提出了很高的要求,搜索方法必须有较快的收敛速度,同时又必须具备一定的鲁棒性,能够跳出局部极小值,最终找到全局最优。围绕上述问题,国内外的研究者们进行了大量的研究,然而,目前为止的研究成果还难以同时满足人手运动跟踪实时性、准确性和鲁棒性的要求,离实际应用还有一段距离。本文以深度图像序列作为观测输入,基于改进的粒子滤波算法,对无标记三维人手运动跟踪的相关技术进行了研究。具体来讲,本文完成的主要工作包括以下几个方面：(1)建立了作为三维人手运动跟踪基础的人手模型和观测模型。本文建立了26自由度的人手运动学模型,并根据解剖学因素对其施加了运动学约束。为平衡模型精确度和计算复杂度,本文以基本几何基元建立了人手形状模型。本文采用Kinect深度相机来获取系统观测输入,采用深度特征信息与区域特征信息融合的方法构建了人手姿势假设对应的模型特征图像和观测特征图像之间的匹配误差函数,建立了观测模型。(2)针对粒子滤波在高维空间中进行粒子采样的困难,将群体智能优化方法集成到粒子滤波中,利用其强大的全局优化能力改善粒子滤波样本分布,提出了两种具体的三维人手跟踪算法。第一种算法将差分进化与粒子滤波结合,利用差分进化对当前观测下的匹配误差的优化来驱动粒子向高似然概率区域运动；第二种算法将一种现有的粒子群优化粒子滤波算法应用于高维空间中的人手运动跟踪,并针对人手高维空间中的早熟收敛问题,同时采用模拟退火思想和局部随机化技术对算法进行收敛性改进。实验证明,这两种算法均能够有效鲁棒地跟踪三维人手运动,第二种跟踪算法的跟踪精度略优于第一种算法。(3)通过采用同时为人手和物体建模的方法,研究了人手与物体交互过程的跟踪。在现实世界的许多场景中,人手的活动通常是交互性的。其中,最常见的是人手与物体的交互。物体的存在增加了人手运动分析的复杂性,而另一方面,物体上下文所携带的有用信息会对人手运动的识别和估计起到促进作用。本文采用基于模型的方法来跟踪人手与物体的交互过程,同时为人手与物体建立三维模型和运动模型,并同时跟踪三维空间中人手与物体的运动。本文采用单一深度图像序列作为观测输入建立了观测模型,采用改进的粒子群优化粒子滤波作为跟踪算法,最终形成的跟踪方法能有效跟踪人手与物体的交互过程。(4)根据本文所提出的结合群体智能优化与粒子滤波的跟踪算法的特点,在充分了解图形引擎OpenSceneGraph(OSG)内部渲染流程和多线程模型的基础上,通过采用离屏渲染技术,开发了两种基于OSG的三维人手跟踪原型系统：单虚拟相机系统和多虚拟相机系统。在粒子滤波框架下,单虚拟相机系统只创建一个虚拟相机用于匹配误差计算,OSG每帧运行时通过该虚拟相机只为一个粒子计算匹配误差；而多虚拟相机系统则为粒子集中的每个粒子分别创建一个对应的虚拟相机,OSG每帧运行时为一整代粒子计算其各自对应的匹配误差。
【关键词】：三维人手跟踪 深度图像 粒子滤波 差分进化 粒子群优化 OSG
【学位授予单位】：山东大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要11-14
• Abstract14-17
• 第1章 绪论17-33
• 1.1 课题背景及意义17-18
• 1.2 研究目标和研究难点18-20
• 1.2.1. 研究目标18-19
• 1.2.2. 研究难点19-20
• 1.3 人手运动跟踪研究现状20-28
• 1.3.1. 人手建模20-23
• 1.3.2. 特征提取及匹配23-24
• 1.3.3. 人手姿态估计方法24-28
• 1.4 关键问题分析28-29
• 1.4.1. 有效匹配误差函数的构建28
• 1.4.2. 有效搜索方法的开发28-29
• 1.5 论文主要工作29-30
• 1.6 论文组织与安排30-33
• 第2章 跟踪系统框架与相关模型33-45
• 2.1 跟踪系统整体框架33-34
• 2.2 系统相关模型34-43
• 2.2.1. 三维人手模型35-38
• 2.2.2. 观测模型38-43
• 2.2.3. 状态转移模型43
• 2.3 小结43-45
• 第3章 基于改进粒子滤波的人手运动跟踪算法45-69
• 3.1 跟踪过程的状态空间描述46-47
• 3.2 粒子滤波算法47-48
• 3.3 标准粒子滤波算法的主要问题48-49
• 3.4 针对高维跟踪的粒子滤波改进方案49-50
• 3.4.1. 状态空间降维49
• 3.4.2. 结合局部优化49-50
• 3.5 基于群体智能优化的改进粒子滤波算法50-59
• 3.5.1. 结合差分进化的改进粒子滤波算法51-54
• 3.5.2. 改进的粒子群优化粒子滤波算法54-59
• 3.6 实验结果及讨论59-68
• 3.6.1. 合成序列实验60-64
• 3.6.2. 真实序列实验64-68
• 3.7 小结68-69
• 第4章 人手与物体交互过程的跟踪69-83
• 4.1 相关工作70-72
• 4.1.1. 人手与物体交互过程的识别70
• 4.1.2. 人手与物体交互过程的跟踪70-72
• 4.2 系统相关模型与跟踪算法72-74
• 4.2.1. 相关模型72-73
• 4.2.2. 跟踪算法73-74
• 4.3 实验及讨论74-81
• 4.3.1. 真实序列实验74-77
• 4.3.2. 合成序列实验77-81
• 4.4 小结81-83
• 第5章 基于多线程渲染引擎的原型系统实践83-101
• 5.1 RTT与离屏渲染技术84-86
• 5.1.1. 像素缓存对象PBO84-85
• 5.1.2. 帧缓存对象FBO85-86
• 5.2 多线程渲染引擎OSG86-94
• 5.2.1. OSG概述86-87
• 5.2.2. OSG基本渲染流程87-91
• 5.2.3. OSG多种线程模型91-94
• 5.3 基于OSG的原型系统开发94-98
• 5.3.1. 单虚拟相机系统94-95
• 5.3.2. 多虚拟相机系统95-98
• 5.4 实验结果及讨论98
• 5.5 小结98-101
• 结论与展望101-105
• 结论101-102
• 创新点102-103
• 展望103-105
• 参考文献105-119
• 攻读博士期间发表论文及参与课题119-121
• 致谢121-123
• 外文论文123-141
• 附件141

【参考文献】

中国期刊全文数据库 前7条

1 冯志全;杨波;李毅;王中华;郑艳伟;;以改善精度为目标的人手跟踪方法研究[J];计算机研究与发展;2008年07期

2 陈睿,刘国翌,赵国英,张俊,李华;基于序列蒙特卡罗方法的3D人体运动跟踪[J];计算机辅助设计与图形学学报;2005年01期

3 冯志全;孟祥旭;;一种强跟踪滤波器及其在人手跟踪中的应用[J];计算机辅助设计与图形学学报;2006年07期

4 王文中;王兆其;邓小明;夏时洪;邱显杰;;基于局部先验模型的单目视频人体运动跟踪[J];计算机辅助设计与图形学学报;2011年09期

5 沈建锋;杨文明;廖庆敏;;结合部件分割和粒子滤波的3D人体运动跟踪[J];计算机辅助设计与图形学学报;2012年02期

6 于雪松;赵巍;刘鹏;唐降龙;;基于混合跟踪模型的室内步行人体3D运动估计[J];自动化学报;2010年06期

7 李毅;孙正兴;陈松乐;李骞;;基于退火粒子群优化的单目视频人体姿态分析方法[J];自动化学报;2012年05期

中国博士学位论文全文数据库 前1条

1 崔锦实;基于三维模型的关节式物体姿态估计与跟踪方法研究[D];清华大学;2004年

，

本文编号：563787