视频序列中人体行为的特征提取与识别方法研究

发布时间：2021-11-03 00:21

　　基于视频序列的行为识别（以下简称行为识别）是计算机视觉领域研究的热点课题之一,具有十分重要的理论研究价值和广阔的应用前景。由于人体行为的复杂性和多样性,目前仍有两方面的问题亟待解决,一是类内与类间的不确定性导致对相似行为的识别混淆程度较高;二是长视频序列中存在不规律的可预测性,特别是当主体行为由多个子行为共同构成时,子行为的分布状态对识别效果的影响较大。对此,本文主要从特征提取与行为分类两方面进行研究,本文的主要成果包括以下方面:1.提出了基于局部时空协方差矩阵特征的行为识别算法。传统的特征级联可以视作特征向量在单一维度上的简单堆叠,这种特征融合方式通常无法对时空域特征的关联性作出准确描述。为此,论文通过在局部范围内,对空域梯度特征与时域梯度特征作协方差矩阵融合,增强了外观信息与行为信息在同一时刻的联合表达能力,提高了特征的判别性,这对行为识别具有重要意义。但协方差矩阵属于黎曼空间,无法使用传统的欧氏空间的度量方式进行量化,通过研究发现运用对数欧氏运算可以将黎曼空间下的协方差矩阵映射至欧氏向量空间。实验证实了协方差矩阵融合特征明显优于传统的级联特征。2.提出了基于低秩稀疏联合表达的行为... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：132 页

【学位级别】：博士

【部分图文】：

UCFSports数据集的样本帧

第一章绪论图1-4UCFSports数据集的样本帧图1-5ADL数据集的样本帧600个视频序列。2.ActivityofDailyLiving(ADL)数据集ADL数据集[72]由罗切斯特大学的Messing等人提供，共包含150个行为视频，由5个行为主体在厨房环境中执行10类日常行为，且均为单人与物品之间的交互行为，包括接电话(Answering-phone)、拨电话(Dialing-phone)、查电话簿(Checkingphone-book)、喝水(Drinking)、吃零食(Eating-snack)、用餐具(Usingsilverware)、切香蕉(Choppingbanana)、剥香蕉(Peelingbanana)、吃香蕉(Eatingbanana)、写白板(Writingwhiteboard)，背景固定且由静态摄像机记录。视频没有尺度变化，其特点在于：每类动作视频长度变化较大，分布从几百帧到上千帧都有，如图1-4所示。视频帧的分辨率为1280×720。3.UCFSports数据集UCFSports数据集[73]由佛罗里达大学计算机视觉研究中心提供，该数据集来源于网络，共包含10种行为，分别为跳水(Diving)、打高尔夫球(Golfswinging)、踢腿(Kicking)、举重(Lifting)、骑马(Horse-riding)、跑步(Running)、滑板运动(Skateboarding)、鞍马运动(Swingingatthebench)、高低杠运动(Swingingatthehighbar)和散步(Walking)。UCFSports数据库共有150个行为视频，但数量分布不均，最少的“举重”视频仅有5个，最多的“散步”行为有21个，且场景变化很大，拍摄视角灵活，是具备一定挑战性的行为数据集，如图1-5所示。13

UCF101数据集的样本帧

【参考文献】：
期刊论文
[1]基于视觉的人体动作识别综述[J]. 胡琼,秦磊,黄庆明.  计算机学报. 2013(12)
[2]基于视觉的人的运动识别综述[J]. 杜友田,陈峰,徐文立,李永彬.  电子学报. 2007(01)



本文编号：3472667