基于深度信息的人体动作识别

发布时间：2020-09-07 19:37

　　 人体动作识别在计算机视觉领域一直都是一个重要且具有挑战性的课题。因为其在安全监控、虚拟现实、智能人机交互等很多领域广泛的应用,正受到研究者和工业界越来越多的重视。人体动作识别传统的模型通常是基于像素值的视频数据,容易受到背景、光照等条件的影响,存在识别精度不高、实际应用难度大等问题。而近期出现的深度商用传感器为这个课题开启了新的机遇。本文基于动作序列的深度信息,利用深度传感器采集到的人体主要关节的三维位置信息进行动作识别。在本文中,我们提出了一整套人体动作识别的模型框架。整个框架分为两大部分:基于深度信息的特征提取和分类器模型的构造。在特征提取部分,尽管传感器采集到的数据是人体关节三维坐标,相比像素值已经是一种更高层次的且具有显著物理意义的特征,但是这种数据仅仅包含了人体姿态特征。而人体动作序列作为一种描述人体运动的时间序列,提取的特征应该能够反映人体的运动信息和时域上的变化信息。所以,在人体运动特征提取上,我们同时利用了人体姿态、运动速度、加速度信息构建了能够更好反映关节空间运动特征的描述子。在另一方面,我们使用了图像空间特征提取经典模型空间域金字塔匹配(Spatial Pyramid Matching)的变体——时域金字塔匹配模型来构建时域特征,从不同尺度更好地描述了运动序列的时域变化。分类器模型构造部分包含了本文最重要的两点突破点和创新点:基于多例学习的关键帧提取,以及将时域特征作为隐状态构造出的结构化支持向量机(Struct SVM)。在研究中我们观察到,一类动作和另一类动作会共享很多类似的运动状态,将一类动作序列中的所有帧都标记为该动作类别进行训练是不合理的;同时我们在识别一类动作时,可以仅通过其中的几帧关键动作识别出动作类别,由此可以说明提取关键帧对于动作识别的必要性和重要性。我们提出了一种基于多例学习的迭代支持向量机的算法,从动作序列中提取出了关键帧用于模型训练。而在另一方面,对每一帧进行时域信息提取时,需要选择一定长度的时间窗口,在其他模型中,通常使用交叉验证的方式选定一个最优的常数。相似地,在时间窗口内提取时域特征时,传统的时域金字塔模型使用固定的等分的方式分割时间域。但我们认为这些参数反映的是当前帧的运动状态,不能对所有帧都选用一个常数来处理,而在本文中,我们将这几个参数作为隐变量,使用隐元结构化支持向量机(Latent Struct SVM),在训练分类超平面的同时,对每一帧都学习该帧对应的最优窗口长度和时域分割点,建立了能更好表达动作信息、更有判别力的特征。最后在实验部分,分别通过离线和在线实验较为全面地验证了我们提出的模型的正确性和有效性。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2015
【中图分类】：TP391.41

【相似文献】

相关期刊论文 前10条

1 胡雅琴;;动作识别技术及其发展[J];电视技术;2013年S2期

2 倪世宏,史忠科,谢川,王彦鸿;军用战机机动飞行动作识别知识库的建立[J];计算机仿真;2005年04期

3 程祥;;人体动作识别的研究[J];电脑知识与技术;2006年20期

4 黄飞跃;徐光yP;;视角无关的动作识别[J];软件学报;2008年07期

5 徐光yP;曹媛媛;;动作识别与行为理解综述[J];中国图象图形学报;2009年02期

6 黄丽鸿;高智勇;刘海华;;基于脉冲神经网络的人体动作识别[J];现代科学仪器;2012年02期

7 周艳青;王磊;;基于视觉的人体动作识别综述[J];山东轻工业学院学报(自然科学版);2012年01期

8 曹琨;;基于检索表的实时动作识别技术研究[J];中外企业家;2014年05期

9 刘博;安建成;;基于关键姿势的人体动作识别[J];电视技术;2014年05期

10 王燕;张绍武;凌志刚;潘泉;;基于图嵌入线性拓展方法的人体动作识别研究[J];计算机仿真;2008年10期

相关会议论文 前7条

1 袁飞;程韬波;周松斌;肖先文;;基于加速度特征的可拓动作识别方法[A];广州市仪器仪表学会2009年学术年会论文集[C];2010年

2 黄飞跃;徐光yP;;自然的人体动作识别[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

3 叶喜勇;陶霖密;王国建;邸慧军;;视角无关的人体躯干动作识别[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

4 黄艳欢;叶少珍;;连续动作分割综述[A];第十四届全国图象图形学学术会议论文集[C];2008年

5 董力赓;陶霖密;徐光yP;;头部姿态和动作的识别与理解[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

6 朱岩;赵旭;刘允才;;基于稀疏编码和局部时空特征的人体动作识别[A];第十五届全国图象图形学学术会议论文集[C];2010年

7 席旭刚;金燕;朱海港;高云园;;基于小波包熵和支持向量机的手部肌电信号动作识别[A];2013年中国智能自动化学术会议论文集（第五分册）[C];2013年

相关重要报纸文章 前2条

1 本报记者 陈丹;人与机器的“对话”[N];科技日报;2010年

2 ;凌空敲键盘？无线计算机手套问世[N];中国计算机报;2004年

相关博士学位论文 前10条

1 谌先敢;现实环境下的人体动作识别[D];武汉大学;2012年

2 陈渊博;视频序列中的人体动作识别[D];北京邮电大学;2015年

3 刘翠微;视频中人的动作分析与理解[D];北京理工大学;2015年

4 任海兵;非特定人自然的人体动作识别[D];清华大学;2003年

5 成娟;基于表面肌电和加速度信号融合的动作识别和人体行为分析研究[D];中国科学技术大学;2013年

6 邓小宇;面向智能视频监控的前景提取和动作识别技术研究[D];浙江大学;2012年

7 邓利群;三维人体动作识别及其在交互舞蹈系统上的应用[D];中国科学技术大学;2012年

8 曹雏清;面向多方式人际交互的肢体动作识别研究[D];哈尔滨工业大学;2012年

9 吴心筱;图像序列中人的姿态估计与动作识别[D];北京理工大学;2010年

10 蔡美玲;三维人体运动分析与动作识别方法[D];中南大学;2013年

相关硕士学位论文 前10条

1 张思亮;体感交互系统的人体动作识别研究[D];华南理工大学;2015年

2 应锐;基于关键帧及原语的人体动作识别研究[D];复旦大学;2014年

3 陈凌琛;基于Kinect的动作识别研究及在教学中的应用[D];昆明理工大学;2015年

4 张孙培;基于关节数据和极限学习机的人体动作识别[D];南京理工大学;2015年

5 邱春明;基于运动幅度变化率的视频人体动作识别[D];河北大学;2015年

6 康钦谋;视频人体动作识别算法研究[D];电子科技大学;2015年

7 刘海军;基于时空流形学习的人体动作识别[D];电子科技大学;2014年

8 梁燕;交互应用中的实时动作识别[D];北京理工大学;2015年

9 冷晶晶;基于光编码技术的人员入侵智能报警系统[D];西安石油大学;2015年

10 马叶涵;基于Kinect的办公健康分析系统的设计与实现[D];哈尔滨工业大学;2015年

本文编号：2813752