基于深度数据的人体动作分割与识别

发布时间：2017-04-07 23:21

  本文关键词：基于深度数据的人体动作分割与识别，由笔耕文化传播整理发布。

【摘要】：人体动作的分割和识别一直是计算机视觉领域一个重要的课题。在人机交互、视频监控自动化、游戏控制系统等应用场景下,准确的动作识别都是整个系统中至关重要的一环。相较于单纯的二维视频数据,如今三维数据保留了以前缺失的“z轴”信息,因此深度数据在动作识别上拥有明显的优势。另一方面,对视频流进行动作分割也是一个颇有难度的任务,目前绝大部分已提出的基于深度视频的动作识别算法均是基于已经人工划分好的视频片段来进行的,我们通过对这些片段数据的训练,往往可以得到很高的动作识别准确率,但是当应用场景换到实时的视频流下,就难维持很高的准确率了。在本文中,我们提出了几套能够分割视频流中连续人体动作并分别识别的解决方案。我们使用的数据为人体三维深度数据(Kinect捕获),具体表现形式为人体骨架节点位置和深度图像帧。这两种类型的数据均包含了丰富的信息以助于我们从视频中提取特征,但同时数据中也包含了不少噪音。对于骨架节点,我们主要计算它们之间的空间位置关系；对于深度图像帧,我们基于Depth Motion Map (DMM),以及扩展后的DMM金字塔(DMM-Pryamid)进行多种特种提取操作。此外我们针对相应特征分别使用了传统的sVM分类器,二维／三维卷积神经网络,循环神经网络来进行训练和识别。对于动作分割,我们提出了两种方法,其一为基于概率分布差(Probability-Distribution-Difference, PDD)的动态动作边界探测框架；另一项为基于maximum subarray search的时间平滑化方法。上述的分割算法均为在线算法,可以处理实时的深度视频流。我们在多个领域内广泛使用的数据集上完成了多项实验,并且与现今其它方法相比,我们的方法在准确率、性能等关键指标上具有优势。
【关键词】：动作识别 动作分割 深度图像 机器学习 深度学习
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要4-5
• Abstract5-10
• 第一章 绪论10-14
• 1.1 研究背景10-11
• 1.2 国内外研究现状11-12
• 1.3 论文工作与内容安排12-14
• 第二章 基于深度数据的人体动作分割与识别综述14-22
• 2.1 动作识别14-19
• 2.1.1 人体模型特征14-15
• 2.1.2 图像模型特征15
• 2.1.3 局部特征15
• 2.1.4 具体方法介绍15-19
• 2.2 动作分割19-21
• 2.2.1 边界检测20
• 2.2.2 滑动窗口20-21
• 2.3 本章小结21-22
• 第三章 基于DMM-HOG与PDD的动作分割与识别方法22-32
• 3.1 基于视频片段的识别23-25
• 3.1.1 骨架节点特征23-24
• 3.1.2 DMM-HOG24
• 3.1.3 基于SVM的分类器集合24-25
• 3.2 在完整视频上的分割25-27
• 3.2.1 PDD定义25
• 3.2.2 边界检测策略25-27
• 3.3 实验结果与讨论27-31
• 3.3.1 识别准确率27-28
• 3.3.2 分割实验结果28-31
• 3.4 本章小结31-32
• 第四章 基于DMM-Pyramid和卷积神经网络的动作识别方法32-42
• 4.1 基于2D-CNN的深度模型33-37
• 4.1.1 DMM-Pyramid33-34
• 4.1.2 CNN模型34-36
• 4.1.3 进一步提升识别准确率的策略36-37
• 4.2 基于3D-CNN的深度模型37-38
• 4.2.1 DMM的分割和堆叠37
• 4.2.2 CNN模型37-38
• 4.3 实验结果与讨论38-41
• 4.3.1 MSR Action3D数据集38-40
• 4.3.2 在MSR Gesture3D数据集上的手势识别40-41
• 4.4 本章小结41-42
• 第五章 基于循环神经网络的动作分割与识别方法42-52
• 5.1 循环神经网络43-45
• 5.1.1 模型简述43-44
• 5.1.2 在时域上的后向传播44-45
• 5.2 排序特征45-47
• 5.2.1 骨架节点特征45-46
• 5.2.2 深度序列特征46-47
• 5.3 在线动作识别47-48
• 5.4 实验结果与讨论48-50
• 5.4.1 数据集48
• 5.4.2 实验结果48-50
• 5.5 本章小结50-52
• 第六章 总结与展望52-54
• 参考文献54-60
• 攻读硕士学位期间完成的学术成果60-61
• 致谢61-62

【相似文献】

中国期刊全文数据库 前10条

1 胡雅琴;;动作识别技术及其发展[J];电视技术;2013年S2期

2 倪世宏,史忠科,谢川,王彦鸿;军用战机机动飞行动作识别知识库的建立[J];计算机仿真;2005年04期

3 程祥;;人体动作识别的研究[J];电脑知识与技术;2006年20期

4 黄飞跃;徐光yP;;视角无关的动作识别[J];软件学报;2008年07期

5 徐光yP;曹媛媛;;动作识别与行为理解综述[J];中国图象图形学报;2009年02期

6 黄丽鸿;高智勇;刘海华;;基于脉冲神经网络的人体动作识别[J];现代科学仪器;2012年02期

7 周艳青;王磊;;基于视觉的人体动作识别综述[J];山东轻工业学院学报(自然科学版);2012年01期

8 曹琨;;基于检索表的实时动作识别技术研究[J];中外企业家;2014年05期

9 刘博;安建成;;基于关键姿势的人体动作识别[J];电视技术;2014年05期

10 王燕;张绍武;凌志刚;潘泉;;基于图嵌入线性拓展方法的人体动作识别研究[J];计算机仿真;2008年10期

中国重要会议论文全文数据库 前7条

1 袁飞;程韬波;周松斌;肖先文;;基于加速度特征的可拓动作识别方法[A];广州市仪器仪表学会2009年学术年会论文集[C];2010年

2 黄飞跃;徐光yP;;自然的人体动作识别[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

3 叶喜勇;陶霖密;王国建;邸慧军;;视角无关的人体躯干动作识别[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

4 黄艳欢;叶少珍;;连续动作分割综述[A];第十四届全国图象图形学学术会议论文集[C];2008年

5 董力赓;陶霖密;徐光yP;;头部姿态和动作的识别与理解[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

6 朱岩;赵旭;刘允才;;基于稀疏编码和局部时空特征的人体动作识别[A];第十五届全国图象图形学学术会议论文集[C];2010年

7 席旭刚;金燕;朱海港;高云园;;基于小波包熵和支持向量机的手部肌电信号动作识别[A];2013年中国智能自动化学术会议论文集（第五分册）[C];2013年

中国重要报纸全文数据库 前2条

1 本报记者 陈丹;人与机器的“对话”[N];科技日报;2010年

2 ;凌空敲键盘？无线计算机手套问世[N];中国计算机报;2004年

中国博士学位论文全文数据库 前10条

1 谌先敢;现实环境下的人体动作识别[D];武汉大学;2012年

2 陈渊博;视频序列中的人体动作识别[D];北京邮电大学;2015年

3 陈萌;基于李代数高斯表示的动作识别方法研究[D];华中科技大学;2016年

4 李拟s，

本文编号：291570