多模态人体行为识别技术研究

发布时间：2017-10-29 01:23

  本文关键词：多模态人体行为识别技术研究

  更多相关文章： 人体行为识别 多模态数据 稀疏表达 稀疏编码 字典学习 数据驱动 运动捕获 人体运动数据 特征选择 主动学习 低秩矩阵填充

【摘要】：随着近年来各式新型传感器(如微软的Kinect)的不断问世,多模态人体行为识别研究逐渐成为计算机视觉领域内一个新的研究热点。相关研究成果可以广泛应用到智能视频监控、互动娱乐、视频内容的分析与检索等应用中。本文按照多模态数据预处理、特征提取与选择、人体行为识别这三个主要步骤,围绕多模态人体行为识别这一主题开展一系列研究工作,取得以下成果：首先,在多模态数据处理方面,针对三维人体运动数据补全和去噪问题,分别提出三种新算法。提出一种采用l1稀疏表达的缺失标记点预测方法,将传统三维人体运动数据标记点缺失问题转化为寻找已观测到部分姿态数据的稀疏表达最优化问题。为了缓解训练数据集容量有限的问题,提出一种表达系数加权更新算法,用于对训练数据集进行定时动态更新,有效地提高了预测算法的稳定性。提出一种数据驱动的鲁棒人体运动数据去噪算法,挖掘人体运动数据中存在的时空运动模式和结构性稀疏特性。与其他数据驱动算法比较,该算法不需要对训练数据集进行特意挑选,在实际应用中更易于使用。大量的模拟和真实噪声数据的对比测试表明,该算法始终优于其他现有方法,输出的人体运动更加稳定可靠。提出一种非数据驱动的人体运动数据增强算法,在一个统一框架下同时解决人体运动数据增强所涉及到的数据补全和数据去噪两个子问题。在构建算法目标函数时,不仅考虑人体运动数据的低秩结构特性和时序平稳特性,而且将数据中噪声因素也考虑进来。为了优化求解该目标函数,提出一种基于增广拉格朗日乘子算法的迭代优化方法,实现对目标函数的快速优化求解。此外,提出一个可信数据检测方法用来提高整个数据处理过程的自动化程度和提升算法性能。大量对比实验验证了本文所提算法在缺失数据补全和数据去噪两个问题上的有效性。接着,在特征提取与选择上,提出一种自适应无监督多视图特征选择算法,用于从原始高维异构多视图特征中选择出一组具有区分性的紧凑特征子集作为特征表达。该方法成功地解决了现有特征选择算法是针对单视图(单特征)设计构造的,不能直接处理多视图特征数据,无法充分利用不同视图之间关联性的问题。同时,提出一种局部回归最优化设计的主动学习算法,用于主动地对未标注的多模态数据样本进行选择,从而有效提高算法模型性能。在基于相关反馈的社交图像检索应用中,本文所提算法优于其他对比算法。最后,在人体行为识别上,提出一种保持语义一致性的多模态特征融合与行为识别算法和一种多骨架特征融合与选择算法。前者依据同一RGB-D数据样本中不同模态数据包含相同的人体运动语义信息的特点,挖掘和利用不同模态数据之间存在的较强关联性和互补性信息,从多模态中底层特征学习得到高层语义特征表达,用于多模态人体行为识别。后者从三维人体骨架数据中提取多种具有区分性特征表达,运用特征融合与选择算法得到更具区分性的紧凑特征表达。在公共数据集上的大量对比实验发现：该算法不仅所需计算量和存储量少,而且识别准确率接近或高于已有研究工作。
【关键词】：人体行为识别 多模态数据 稀疏表达 稀疏编码 字典学习 数据驱动 运动捕获 人体运动数据 特征选择 主动学习 低秩矩阵填充
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要3-5
• Abstract5-19
• 1 绪论19-29
• 1.1 研究背景19-23
• 1.2 研究问题及挑战23-25
• 1.3 本文贡献25-27
• 1.4 本文结构27-28
• 1.5 本章小结28-29
• 2 多模态人体行为识别相关技术综述29-48
• 2.1 多模态数据的预处理技术29-42
• 2.1.1 视频图像数据的预处理30-33
• 2.1.2 深度图像数据的预处理33-36
• 2.1.3 三维人体运动数据的预处理36-42
• 2.2 多模态数据特征选择技术42-43
• 2.3 多模态人体行为识别技术43-47
• 2.4 本章小结47-48
• 3 三维人体运动数据增强技术48-106
• 3.1 研究动机与相关工作48-53
• 3.2 基于11稀疏表达的缺失标记点预测算法53-62
• 3.2.1 L1-SRMMP算法53-57
• 3.2.2 RCWU算法57
• 3.2.3 实验结果57-62
• 3.3 基于数据驱动的鲁棒人体运动数据去噪算法62-81
• 3.3.1 符合说明64
• 3.3.2 数据预处理64-67
• 3.3.3 采用鲁棒字典学习的运动字典构造67-69
• 3.3.4 基于鲁棒结构性稀疏编码的人体运动去噪69-73
• 3.3.5 运动序列重建73
• 3.3.6 实验结果73-81
• 3.4 基于时序平稳与低秩结构的三维人体运动数据增强算法81-102
• 3.4.1 TSMC算法模型83-88
• 3.4.2 可信数据检测方法88-91
• 3.4.3 优化求解算法91-94
• 3.4.4 实验结果94-102
• 3.5 本章小结102-106
• 4 多模态数据特征选择技术106-124
• 4.1 研究背景与相关工作106-109
• 4.2 AUMFS算法109-117
• 4.2.1 符号说明109
• 4.2.2 目标函数109-114
• 4.2.3 优化求解方法114-117
• 4.3 实验结果117-120
• 4.4 本章小结120-124
• 5 多模态数据样本选择技术124-138
• 5.1 研究背景124-126
• 5.2 相关工作126-127
• 5.3 LROD算法127-131
• 5.3.1 局部回归函数127-130
• 5.3.2 目标方程130-131
• 5.4 KLROD算法131-133
• 5.4.1 优化求解132-133
• 5.5 实验133-135
• 5.5.1 一个模拟数据例子133-134
• 5.5.2 社交图像检索实验设计134-135
• 5.6 本章小结135-138
• 6 多模态人体行为识别技术138-179
• 6.1 保持语义内容一致性的多模态特征融合与行为识别139-154
• 6.1.1 研究动机与相关工作139-142
• 6.1.2 算法模型142-147
• 6.1.3 快速人体行为识别147-149
• 6.1.4 实验结果149-154
• 6.2 基于多骨架特征融合与选择的视点无关人体行为识别154-177
• 6.2.1 研究动机及相关工作154-157
• 6.2.2 多骨架特征构造与提取157-162
• 6.2.3 多特征融合与选择162-167
• 6.2.4 优化求解方法167-169
• 6.2.5 实验结果169-177
• 6.3 本章小结177-179
• 7 总结与展望179-183
• 7.1 本文工作总结179-181
• 7.2 未来工作展望181-183
• 参考文献183-210
• 攻读博士学位期间主要的研究成果210-214
• 致谢214-215

【相似文献】

中国期刊全文数据库 前10条

1 刘相滨,向坚持,王胜春;人行为识别与理解研究探讨[J];计算机与现代化;2004年12期

2 李宁;须德;傅晓英;袁玲;;结合人体运动特征的行为识别[J];北京交通大学学报;2009年02期

3 张伟东;陈峰;徐文立;杜友田;;基于阶层多观测模型的多人行为识别[J];清华大学学报(自然科学版);2009年07期

4 吴联世;夏利民;罗大庸;;人的交互行为识别与理解研究综述[J];计算机应用与软件;2011年11期

5 申晓霞;张桦;高赞;薛彦兵;徐光平;;一种鲁棒的基于深度数据的行为识别算法[J];光电子.激光;2013年08期

6 郑胤;陈权崎;章毓晋;;深度学习及其在目标和行为识别中的新进展[J];中国图象图形学报;2014年02期

7 曾青松;余明辉;贺卫国;李玲;;一种行为识别的新方法[J];昆明理工大学学报(理工版);2009年06期

8 谷军霞;丁晓青;王生进;;基于人体行为3D模型的2D行为识别[J];自动化学报;2010年01期

9 李英杰;尹怡欣;邓飞;;一种有效的行为识别视频特征[J];计算机应用;2011年02期

10 王新旭;;基于视觉的人体行为识别研究[J];中国新通信;2012年21期

中国重要会议论文全文数据库 前7条

1 苗强;周兴社;於志文;倪红波;;一种非觉察式的睡眠行为识别技术研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

2 齐娟;陈益强;刘军发;;基于多模信息感知与融合的行为识别[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

3 方帅;曹洋;王浩;;视频监控中的行为识别[A];2007中国控制与决策学术年会论文集[C];2007年

4 黄紫藤;吴玲达;;监控视频中简单人物行为识别研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

5 安国成;罗志强;李洪研;;改进运动历史图的异常行为识别算法[A];第八届中国智能交通年会优秀论文集——智能交通与安全[C];2013年

6 王忠民;曹栋;;坐标转换在移动用户行为识别中的应用研究[A];2013年全国通信软件学术会议论文集[C];2013年

7 刘威;李石坚;潘纲;;uRecorder:基于位置的社会行为自动日志[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

中国重要报纸全文数据库 前4条

1 李晨光;导入CIS要注意什么？[N];河北经济日报;2001年

2 农发行鹿邑支行党支部书记 行长 刘永贞;发行形象与文化落地农[N];周口日报;2007年

3 东林;行为识别新技术让监控没有“死角”[N];人民公安报;2007年

4 田凯　徐蕊 李政育 信木祥;博物馆安全的国际经验[N];中国文物报;2014年

中国博士学位论文全文数据库 前10条

1 邵延华;基于计算机视觉的人体行为识别研究[D];重庆大学;2015年

2 仝钰;基于条件随机场的智能家居行为识别研究[D];大连海事大学;2015年

3 冯银付;多模态人体行为识别技术研究[D];浙江大学;2015年

4 何卫华;人体行为识别关键技术研究[D];重庆大学;2012年

5 吴秋霞;复杂场景下的人体行为识别[D];华南理工大学;2012年

6 于成龙;基于视频的人体行为识别关键技术研究[D];哈尔滨工业大学;2014年

7 王亮;基于判别模式学习的人体行为识别方法研究[D];哈尔滨工业大学;2011年

8 付朝霞;基于视频流的人体目标检测与行为识别研究[D];中北大学;2013年

9 赵海勇;基于视频流的运动人体行为识别研究[D];西安电子科技大学;2011年

10 石欣;基于压力感知步态的运动人体行为识别研究[D];重庆大学;2010年

中国硕士学位论文全文数据库 前10条

1 陈钰昕;基于时空特性的人体行为识别研究[D];燕山大学;2015年

2 任亮;智能车环境下车辆典型行为识别方法研究[D];长安大学;2015年

3 金泽豪;并行化的人体行为识别方法研究与实现[D];华南理工大学;2015年

4 王呈;穿戴式多传感器人体日常活动监测系统设计与实现[D];南京理工大学;2015年

5 王露;基于稀疏时空特征的人体行为识别研究[D];苏州大学;2015年

6 于静;基于物品信息和人体深度信息的行为识别研究[D];山东大学;2015年

7 章瑜;人体运动行为识别相关方法研究[D];南京师范大学;2015年

8 赵扬;家庭智能空间下基于行走轨迹的人体行为理解[D];山东大学;2015年

9 王晓龙;基于轨迹分析的暴力行为识别算法研究[D];上海交通大学;2015年

10 张伟;智能空间下基于非视觉传感器数据的人体行为识别方法研究[D];山东大学;2015年

，

本文编号：1110808