基于深度学习的在线人体动作分析

发布时间：2020-07-19 01:10

【摘要】：在线视频动作分析是计算机视觉中的一个重要研究课题,在视觉监控、人机交互和机器人智能导航等领域有着广泛的应用。与离线视频动作分析在动作被完全捕获后再进行识别不同,在线动作分析的目的是在动态中尽可能早的检测动作发生的状态,对即将发生或正在发生的事件做出准确、快速的响应,以提供更好的实用价值。本文针对在线人体动作识别分析进行探索研究,主要研究内容包括视频动作识别、时序动作检测和重复动作计数三个方面。针对视频动作识别任务,本文分别基于BN-Inception(Inception with Batch Normalization)网络建模表示动作外观特性的空间特征和基于C3D(3-Dimensoinal Convolutional)网络建模包含动作上下文信息时空特征,提取鲁棒性的动作特征表示;然后对多分类识别,分别使用基于一对多的LSVM分类器和基于softmax loss搭建的分类网络训练分类模型,完成在线人体动作的识别任务,并验证其有效性。针对时序动作检测任务,为了准确的识别视频中动作类别及发生的起始和结束时间,本文提出了基于动作时间语义连续性规则优化候选时间片段的方法。首先按照动作时间语义连续性规则对同一尺度和不同尺度的滑动窗口进行整合;然后,对整合结果重新获取分类置信分数,通过非极大值抑制(NMS)消除不准确检测。该方法突破了滑动窗口固定的限制,可以产生任意长度的动作时间片段,并抑制了冗余检测,使得检测结果更符合预期。针对重复动作计数任务,与以往传统方法只能处理静态和平稳周期运动不同,本文首次采用深度ConvNets提取的空间和时空特征获取重复动作的运动规律:首先对高维人体动作特征进行PCA算法降维,获取表现动作时序运动特性的主成分;然后基于傅里叶变换,通过分段阈值滤波去除噪声、平滑运动轨迹,完成无约束视频的无监督重复动作计数任务。实验结果表明,该方法对真实场景的动态和非平稳视频中的重复动作分析同样有效,对处理复杂的现实场景视频数据具有一定的鲁棒性。在实际应用场景中,在线视频动作分析不仅考虑识别准确性,同时还要求时间效率。本文对该工作进行在线测试分析,结果表明当在线获取当前帧和当前帧之前的479帧作为一次检测输入时,处理速度达到最优值,比实际输入时长快2.93倍。表明了在线视频分析的有效性,为该任务的实际应用打下了理论基础。
【学位授予单位】：济南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

图 1.1 视频分析与输出结果本文研究内容主要分为以下几个方面：（1）基于深度 ConvNets 的动作特征表示为了获取鲁棒的视频动作特征，本文分别基于 BN-Inception 网络建模动作空间

口腔护理动作实例

Thumos14数据集实例

【相似文献】

相关期刊论文 前10条

1 安宇;;试论舞蹈的起源学说[J];戏剧之家;2018年17期

2 徐磊;;浅谈舞蹈对学生品德素质的培养[J];中华少年;2017年21期

3 张英波;;基于人体动作行为的运动训练系统组构[J];山东体育科技;2014年01期

4 崔景秋;;浅谈舞蹈审美应具备的基本知识[J];小说评论;2011年S1期

5 刘婷;;人体动作隐喻化的认知特点[J];安徽理工大学学报(社会科学版);2007年02期

6 常燕;潘一匡;张春田;;用于人体动作分析的一种电视录像解析系统[J];电视技术;1989年06期

7 张成亮;苗海委;张立;曹健;张晓东;;人体动作仿生随动机器人[J];电脑迷;2016年04期

8 张英波;;人体动作模式的稳定性与灵活性[J];中国体育教练员;2012年03期

9 李文莉;;人体动作隐喻的模式及认知图式分析[J];涪陵师范学院学报;2007年01期

10 杨燕;;服装设计中人体动作适应性实验方法的研究─官能评价、脑波、唾液浓度的测定─[J];生物技术世界;2015年02期

相关会议论文 前9条

1 张倩;郑丽;卢洋;李林;郭秀艳;;人体动作远距离规则的内隐学习[A];第二十一届全国心理学学术会议摘要集[C];2018年

2 罗逸苇;姜明;;用Vicon系统进行人体动作的运动分析[A];第十一届全国运动生物力学学术交流大会论文汇编（摘要）[C];2006年

3 黄少莉;;谈聋儿的舞蹈教学[A];中国心理卫生协会残疾人心理卫生分会第四届学术交流会论文集[C];2002年

4 黄少莉;;谈聋儿的舞蹈教学[A];中国心理卫生协会残疾人心理卫生分会第四届学术交流会论文集[C];2002年

5 宋启来;;不同专项运动员伸膝动作动力过程的专项特征[A];第五届全国运动生物力学学术会议论文摘要[C];1985年

6 洪友廉;;人体动作的计算机模拟和人体教学模型[A];运动生物力学研究方法[C];1986年

7 叶喜勇;陶霖密;王国健;;基于动作理解的隐式交互[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

8 王国栋;陆阿明;王芳;;中等强度跑至疲劳过程中人体动作结构及表面肌电变化研究[A];第九届全国体育科学大会论文摘要汇编(3)[C];2011年

9 严波涛;高新友;张伯强;段文杰;;人体动作能量转换和效率问题研究的方法学探讨[A];第七届全国体育科学大会论文摘要汇编（二）[C];2004年

相关重要报纸文章 前10条

1 刘皓然;日本“黑科技”：给人类造尾巴[N];环球时报;2019年

2 陈莉萍 浙江省平阳县文化广电新闻出版局艺术创作室，副研究馆员;浅谈社会舞蹈的“社会性”特征及发展现状[N];音乐生活报;2011年

3 周惠斌;选购服装注重六性[N];大众科技报;2004年

4 记者 韩惠;用VR改变生活[N];淮北日报;2019年

5 宁在兰;爬山虽好 小心膝盖[N];卫生与生活报;2008年

6 山东艺术学院舞蹈学院2010级研究生 苗慧晶;现代亦传统[N];中国艺术报;2011年

7 南方日报记者 蒲荔子 实习生 温友丽;舞蹈在于创造熟悉的陌生[N];南方日报;2010年

8 卢成芳;3D体感技术的三大核心环节[N];人民邮电;2015年

9 吕艺生 北京舞蹈学院;舞蹈:立足于人体自身的艺术[N];中国社会科学报;2012年

10 胡晶莹;小议“情景舞蹈”[N];中国艺术报;2009年

相关博士学位论文 前7条

1 江焯林;基于计算机视觉的人体动作检测和识别方法研究[D];华南理工大学;2010年

2 姜鸣;基于体感网的人体动作监测识别的研究[D];大连理工大学;2012年

3 杨江峰;基于视频的人体动作分析与识别的研究[D];电子科技大学;2015年

4 赵琼;基于视频和三维动作捕捉数据的人体动作识别方法的研究[D];中国科学技术大学;2013年

5 李阳;局部时空特征及部件的视频人体动作识别方法研究[D];重庆大学;2015年

6 孙宏宇;基于无线网络信号传播特征的三种感知问题研究[D];吉林大学;2017年

7 肖玲;无线体域网中人体动作监测与识别若干方法研究[D];湖南大学;2014年

相关硕士学位论文 前10条

1 张成权;基于Kinect骨骼信息的人体动作识别方法研究[D];安庆师范大学;2019年

2 王师广;基于深度学习的人体动作检测[D];电子科技大学;2019年

3 吴艳春;基于深度学习的在线人体动作分析[D];济南大学;2019年

4 吴煌;基于骨骼数据的人体动作识别方法研究[D];安庆师范大学;2018年

5 张松;基于深度相机的人体动作评价方法[D];杭州电子科技大学;2018年

6 岳国玉;基于WiFi信号的室内人体动作检测研究及应用[D];郑州大学;2018年

7 潘浩;基于WiFi的人体动作识别方法研究[D];湖南大学;2018年

8 张龙飞;基于Kinect的人体动作比对分析系统[D];郑州大学;2018年

9 刘晓丽;基于运动特征与形状特征的人体动作识别系统[D];华北水利水电大学;2018年

10 李可利;人体动作数据分析算法[D];哈尔滨工业大学;2018年

本文编号：2761675