基于多模态特征的人体运动识别系统

发布时间：2017-09-11 12:05

  本文关键词：基于多模态特征的人体运动识别系统

  更多相关文章： 人体运动识别 骨架特征 深度特征 多模态

【摘要】：不管是在现实生活中还是在科研领域内,人体运动识别都起着至关重要的作用。其研究成果可以应用于多个领域,如：安保系统、智能家居、体感交互等等。随着技术的发展与革新,用于研究人体运动识别的体感设备层出不穷,如：kinect、psmove、wii等等。同时,科研工作者们也不遗余力地提出各种各样的方法对采集到的运动数据进行处理与分析,然后对这些运动数据进行识别。本文对---基于骨架和深度特征的人体运动识别---进行了研究,提出了一种基于多模态的人体运动识别方法,并且同时实现了运动数据采集系统和人体运动识别系统。本文主要完成了以下面3个方面的工作：第一,本文提出了躯体特征融合分类器(Bodypart Feature Fusion Classifier);第二,本文提出了一种新的人体运动识别方法即基于多模态特征以及骨架数据置信度的人体运动识别方法。通常在有遮挡的情况下,人体骨架特征会严重失真,从而导致识别结果受到了严重的影响,此时如果我们使用深度信息作为补充,则将会大大提高识别的准确率；第三,本文实现了运动数据采集系统和人体运动识别系统。首先我们通过kinect获得三维人体骨架信息和深度信息,然后我们分别对这些信息进行处理,得到骨架特征和深度特征,最后使用支持向量机进行分类从而得到识别结果。本文提出的分类器会自动计算并更新骨架特征和深度特征的权重,更加充分地利用了人体各模态的信息,提高了识别的准确率。本文提出的方法考虑到了现有很多识别方法的不足,并且兼顾了不同模态数据之间的互补性,同时拥有骨架识别和深度识别的优点,从而进一步提高了识别的准确率。所以我们的工作意义深远,并且为其他科研工作者以后的工作做好了铺垫。
【关键词】：人体运动识别 骨架特征 深度特征 多模态
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要5-6
• Abstract6-13
• 第1章 绪论13-16
• 1.1 课题背景13-14
• 1.2 本文工作14
• 1.3 本文组织结构14-15
• 1.4 本章小结15-16
• 第2章 运动识别相关的研究综述16-33
• 2.1 运动目标检测技术17-21
• 2.1.1 背景差分方法18-19
• 2.1.2 基于统计的运动目标检测19-21
• 2.1.3 基于光流的运动目标检测21
• 2.2 人体跟踪技术21-25
• 2.2.1 基于模型的人体跟踪22-24
• 2.2.2 基于特征的人体跟踪技术24-25
• 2.3 运动识别25-29
• 2.3.1 基于视频数据的运动识别25-27
• 2.3.2 基于深度数据的运动识别27-29
• 2.4 基于骨架数据的运动识别29-31
• 2.5 本章小结31-33
• 第3章 多模态特征的提取33-40
• 3.1 骨架特征的提取33-35
• 3.2 深度特征的提取35-39
• 3.3 本章小结39-40
• 第4章 基于多模态特征的运动识别40-54
• 4.1 本章算法流程40-41
• 4.2 基于躯体特征融合分类器的运动识别算法41-46
• 4.3 实验结果46-52
• 4.4 本章小结52-54
• 第5章 运动采集识别系统54-65
• 5.1 系统框架54-57
• 5.2 系统功能模块57-63
• 5.2.1 运动数据采集系统57-61
• 5.2.2 运动识别系统61-63
• 5.3 实验结果63-64
• 5.4 本章小结64-65
• 第6章 总结与展望65-67
• 6.1 总结65-66
• 6.2 展望66-67
• 参考文献67-71
• 攻读硕士学位期间主要的研究成果71-72
• 致谢72

【相似文献】

中国期刊全文数据库 前10条

1 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期

2 保罗·范登侯汶;杨颖;;多模态论辩话语重构:以美国广播公司一则新闻为例[J];国际新闻界;2013年04期

3 王学东;胡宋敏;谢辉;丁帅;曹高辉;;多模态网络主题资源聚合与实证研究[J];情报科学;2014年07期

4 胡壮麟;;谈多模态小品中的主体模态[J];符号与传媒;2011年01期

5 张薇;徐筱秋;;基于云教育平台的多模态输入优化模型建构[J];校园英语(教研版);2012年05期

6 郭志斌;;网络环境下的新闻听力多模态教学模式[J];新闻爱好者;2010年14期

7 ;《妈祖文化的多模态语篇研究》简介[J];莆田学院学报;2011年01期

8 王瑜;穆志纯;徐正光;;多模态生物特征识别技术进展综述[J];计算机应用与软件;2009年02期

9 胡阿旭;陈贵萍;于洪志;;多模态语音实验室在语言研究中的应用[J];西北民族大学学报(自然科学版);2012年01期

10 黄戎;肖超;;多模态策略在复杂控制过程中的应用(英文)[J];机床与液压;2012年24期

中国重要会议论文全文数据库 前10条

1 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究（第十四辑）[C];2014年

2 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

4 赵贤;;多模态基底系统性质研究[A];2010年全国应用逻辑研讨会会议论文集[C];2010年

5 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年

6 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

7 康志峰;;口译中多模态的AA研究[A];第十四届全国科技翻译研讨会论文汇编[C];2011年

8 黄俊辉;李文政;李学军;;基于多模态医学影像数据的计算机辅助医疗设计与肿瘤精确治疗[A];中国肿瘤内科进展 中国肿瘤医师教育（2014）[C];2014年

9 孟祥亮;史元春;杨欣;;基于分层原语的多模态输入统一访问接口[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 郭华东;王为民;朱博勤;;多模态传感器辐射模态数据在SZ-4飞船模拟验证研究[A];全国国土资源与环境遥感技术应用交流会论文文集[C];2004年

中国重要报纸全文数据库 前2条

1 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年

2 罗绵卫 王建成;中国航天科工高分专项实现零突破[N];中国航天报;2011年

中国博士学位论文全文数据库 前10条

1 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年

2 侯涛;多信息融合滤波的多模态智能控制在高速列车速度控制中的研究[D];兰州交通大学;2015年

3 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年

4 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年

5 潘鸣威;多模态视角下的口语交际能力：重构与探究[D];上海外国语大学;2011年

6 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年

7 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年

8 王洋;多模态图像检索技术[D];中国科学技术大学;2013年

9 张志坚;多模态生物特征识别融合算法的研究[D];中国科学技术大学;2008年

10 刘亚楠;多模态特征融合和变量选择的视频语义理解[D];浙江大学;2010年

中国硕士学位论文全文数据库 前10条

1 刘洁;大学英语课堂中的多模态话语对学生多元识读能力的影响[D];西南大学;2015年

2 邵荣;牛津版高中英语教材的多模态语篇分析[D];西南大学;2015年

3 王玉竹;中美报刊政治漫画的批评性多模态话语分析[D];西南大学;2015年

4 周德英;基于多模态互动意义的公益广告研究[D];华南理工大学;2015年

5 蒋迪;计划生育宣传画的多模态语篇分析[D];天津商业大学;2015年

6 宋康利;概念整合理论视角下平面广告中的多模态隐喻研究[D];湖南工业大学;2015年

7 张君艳;中国文化网主页的多模态话语分析[D];华中师范大学;2015年

8 凌霄;基于多模态话语分析的平面商业广告英汉翻译研究[D];广东外语外贸大学;2015年

9 杨晓倩;多模态语篇分析[D];宁夏大学;2015年

10 葛欣;中职英语物流词汇多模态教学模式探究[D];闽南师范大学;2015年

，

本文编号：830602