基于计算机视觉的人体行为识别研究

发布时间：2017-08-23 05:28

  本文关键词：基于计算机视觉的人体行为识别研究

  更多相关文章： 行为识别 特征融合 核方法 降维 运动能量

【摘要】：人体行为识别(Human Action Recognition,HAR)是计算机视觉与模式识别领域内一个新兴的研究方向,目前已经在诸如视频监控、视频检索和异常行为检测等领域展现出极其广泛的应用前景。另外,对HAR的研究也间接的促进了步态识别、人脸识别和表情分析等问题的研究。然而,当前该领域的研究中存在着如下的问题:(1)单个特征表达能力不足;(2)当前行为识别研究主要是基于可见光成像的,而针对红外成像的行为识别的研究较少;(3)红外成像纹理缺失及边缘的不显著使得许多表达模型的有效性不足;(4)部分算法流程过于复杂,进而影响到识别系统的实时性。因此,为了有效的克服这些因素的不利影响,研究高效的行为识别算法一直是国内外研究的热点。本论文主要分析和探讨了人体行为的描述及建模,多特征融合构建,特征融合过程中融合策略的选取,复杂特征的约减及分类器的设计等,进而对基于计算机视觉的人体行为的表达与识别展开研究,取得的主要成果如下:(1)研究了基于融合特征的人体行为识别方法。为克服单个行为表达方法有效性上的不足,提出了一种基于剪影和光流信息的多特征融合行为表达方法:方向剪影光流直方图(HOSOOF,Histogram of Oriented Silhouette and Oriented Optical Flow)。该方法首先利用背景差分提取运动显著区域,然后提取运动显著区域的方向剪影直方图(HOS)和方向光流直方图(HOOF),提出一种表达层融合策略,构建融合特征HOSOOF结合支持向量机(SVM)识别人体行为,有效提高了人体行为识别的正确率。实验以广泛使用的公开行为数据集Weizmann为研究对象,正确识别率达到99.8%以上,验证了所构建融合特征HOSOOF的有效性。另外还考察了基于相同的融合特征结合不同分类器对识别性能的影响。(2)研究了基于稠密轨迹特征的红外成像的人体行为识别方法。提出并构建了基于稠密轨迹的多尺度融合特征(DTFF,Dense Trajectory-based Fusion Feature)来表达红外人体行为。该方法首先通过稠密采样获得输入行为视频的稠密轨迹(DT),以此计算基于稠密轨迹的3个描述子:方向梯度直方图(HOG)、光流直方图(HOF)和运动边界描述子(MBH);再采用词袋库模型和表现较好的表达层融合策略,构建了融合特征DTFF;最终作为k-NN分类器的输入,以IADB红外行为库为测试数据集,得到高达96.7%以上的正确识别率,明显优于其他方法。同时,验证了所提出融合特征(DTFF)及识别方法与其他方法相比,克服了常规单尺度及单个行为表达方法在面对红外成像纹理缺失及边缘不显著时有效性不足的问题。(3)针对当前许多行为识别方法流程复杂的问题,研究了对影响行为序列整体表达的关键问题,分析并探讨了基于模板匹配思想的人体行为识别方法,从而针对人体行为的视频片段在3D行为序列空间中通过滤波器组直接进行运动能量分解,提出了基于运动能量模板(MET,Motion Energy Template)的行为识别方法,可以避免诸如目标定位和分割等预处理操作;然后使用MET特征并结合SVM,在Weizmann和KTH人体行为数据库上进行相关测试;同时对选用不同特征降维方法、不同分类方法获得的实验结果(例如VEI模型、动态模板法和局部运动模式等)进行对比实验,结果表明本方法在识别率方面具有明显的比较优势。(4)更进一步,针对MET计算量较大且特征维数较高的问题,提出了基于MET简化模型(SMET)和多类相关向量机(m RVM)的人体行为识别方法。该方法首次在特征池化阶段使用两层8叉树最大池化方法(Max-pooling)简化了MET模型,并首次将m RVM和基于滤波器组的运动能量分解方法结合起来,应用到人体识别领域。在Weizmann人体行为数据库上进行了测试,识别率虽然比MET模型下降了1.1%,但仍取得了有竞争力的98.9%的识别效果,同时大幅减少了特征维数。基于以上结果,本文系统的研究了基于计算机视觉的人体行为识别问题。将上述成果应用到具体人体行为识别系统中,必将对系统性能产生积极影响。此外,它们对其他的动态场景理解及运动分析等技术的发展也具有重要的参考价值。
【关键词】：行为识别 特征融合 核方法 降维 运动能量
【学位授予单位】：重庆大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 中文摘要3-5
• 英文摘要5-11
• 1 绪论11-19
• 1.1 课题研究的背景和意义11-13
• 1.2 本文研究内容13-17
• 1.3 论文结构17-19
• 2 人体行为识别的研究现状和基本理论19-43
• 2.1 人体行为研究现状19-21
• 2.2 人体行为表征21-31
• 2.2.1 基于人体建模 (Body modelling methods)22-23
• 2.2.2 局部特征 (Local feature methods)23-24
• 2.2.3 全局表达方法 (Global representation methods)24-29
• 2.2.4 多特征融合方法 (Multi-feature fusion methods)29-31
• 2.3 特征选择及降维31-35
• 2.3.1 特征选择原则及策略31-32
• 2.3.2 降维技术32-35
• 2.4 分类技术35-40
• 2.4.1 判别式模型 (Discriminative Models)36-38
• 2.4.2 产生式模型 (Generative Models)38-39
• 2.4.3 其他分类器技术39-40
• 2.5 主要研究难点及发展趋势40-41
• 2.6 本章小结41-43
• 3 融合剪影和光流特征的人体行为识别43-63
• 3.1 引言及问题提出43-44
• 3.2 融合特征HOSOOF的构建44-50
• 3.2.1 剪影 (Silhouette Extraction)45-46
• 3.2.2 光流特征 (Optical flow)46-47
• 3.2.3 特征融合47-50
• 3.3 支持向量机行为分类50-60
• 3.3.1 统计学习理论50-52
• 3.3.2 支持向量机52-54
• 3.3.3 实验和分析54-60
• 3.4 本章小结60-63
• 4 基于稠密轨迹融合特征的红外成像人体行为识别63-75
• 4.1 引言及问题提出63-64
• 4.2 稠密轨迹特征构建64-68
• 4.2.1 稠密采样64-65
• 4.2.2 稠密轨迹65-67
• 4.2.3 特征提取67-68
• 4.3 表达层特征融合68-69
• 4.4 行为分类69-70
• 4.5 实验和分析70-72
• 4.6 本章小结72-75
• 5 基于MET模型的人体行为识别75-91
• 5.1 引言及问题提出75-77
• 5.2 MET模型构建77-82
• 5.2.1 SOME特征构建：滤波78-80
• 5.2.2 SOME卷相似度度量：模板匹配80-81
• 5.2.3 MET特征向量构建：3D Max-pooling81-82
• 5.3 实验及分析82-89
• 5.3.1 Weizmann数据集实验82-85
• 5.3.2 KTH行为数据集实验85-89
• 5.4 本章小结89-91
• 6 基于SMET和m RVM的人体行为识别91-103
• 6.1 引言及问题提出91-92
• 6.2 SMET模型构建92-95
• 6.3 多类相关向量机模型95-98
• 6.3.1 m RVM的数学描述95-98
• 6.3.2 基于m RVM的行为分类98
• 6.4 实验与分析98-102
• 6.5 本章小结102-103
• 7 总结与展望103-107
• 7.1 论文总结103-105
• 7.2 后续工作展望105-107
• 致谢107-109
• 参考文献109-125
• 附录125-126
• A. 作者在攻读博士学位期间发表的论文目录125-126
• B. 作者在攻读博士学位期间主持或参与的科研项目126

【参考文献】

中国期刊全文数据库 前5条

1 高赞;张桦;蔡安妮;;动作识别算法的评估策略探讨[J];光电子.激光;2012年06期

2 史东承;冯占君;;视频中人体行为分析[J];吉林大学学报(信息科学版);2014年05期

3 赵海勇;刘志镜;张浩;;基于模板匹配的人体日常行为识别[J];湖南大学学报(自然科学版);2011年02期

4 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期

5 王泰青;王生进;丁晓青;;基于最大互信息区域跟踪的人体行为检测算法[J];自动化学报;2012年12期

中国博士学位论文全文数据库 前2条

1 赵琼;基于视频和三维动作捕捉数据的人体动作识别方法的研究[D];中国科学技术大学;2013年

2 李新科;桥梁拉索表面缺陷图像检测关键技术的研究[D];重庆大学;2014年

中国硕士学位论文全文数据库 前2条

1 于丹丹;局部化光流估计方法研究[D];哈尔滨工业大学;2011年

2 陈文强;基于动作属性分类器的行为识别研究[D];西南大学;2014年

，

本文编号：723266