基于关注度LSTM的动作提议和行为识别

发布时间：2021-10-14 23:46

　　行为分析的目的是从视频中检测和识别正在发生的行为,使得计算机系统能够理解行为并对场景进行进一步的语义描述。然而,海量视频数据的背后蕴含的是参差不齐的视频内容,这无疑给视频行为分析带来了巨大的挑战与压力。当前已有的各种分析模型虽然能够较好地对视频中的行为进行分析和识别,但是仍然存在一定的局限性:行为分析模型多数局限于底层特征,难以表达行为发生的具体过程;复杂的背景噪声和光照条件的变化,使得视频中包含了大量的背景冗余信息;视频时长的长短不一使得视频中包含了大量与行为分析不太相关的冗余帧。对此,本文通过行为分析任务基本特征,结合循环神经网络的信息依赖特性,在长短期记忆网络中引入时空关注度机制,挖掘时空语境信息,探索行为表达过程,并且能够提取视频中关键帧的显著性区域,提取有效信息,强化行为表达。针对上述问题,本文主要工作如下:（1）针对当前大多数行为分析仍然包含大量的噪声信息以及无法从认知角度理解行为的表达过程,本文在长短期记忆网络中引入关注度机制,挖掘行为时空语境线索,关注时空有效信息,提高行为分析效率。（2）针对当前大多数的动作提议研究方法的效率低下及步骤繁琐等问题,本文提出基于空间关注度... 

【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

行为分析过程

图 2.2 卷积神经网络的卷积和池化过程Fig 2.2 Convolution and pooling in convolutional neural network2.2.2 卷积神经网络特点卷积神经网络有两个重要思想帮助提升机器学习算法的性能：局部连接（localconnectivity）和参数共享（parameter sharing）。传统的神经网络层使用单独的参数利用矩阵相乘来描述输入单元和输出单元的关系，这意味着每个输出单元与输入单元都进行交互。然而，卷积神经网络具有局部连接的特性，通过使核的大小小于输入的大小来实现。在处理图像时，输入图像可能具有成千上万的像素，使用全连接会增加大量的参数量，是不切实际的。然而，局部连接有助于滤波器学习捕获重要的图像特征而不用学习全局模式所对应的权重，这既降低了模型的内存需求，又提高了统计效率。参数共享是指在多个位置使用相同的权重，是一种用于减少与模型相关的自由参数数量的方案。传统神经网络中，权重矩阵的每个元素在计算层的输出时仅使用一次，它乘以输入的一个元素，然后再也不会重新访问。卷积神经网络中，核的每个成员用于输入的每个位置，卷积运算使用的参数

卷积的输出是一个序列，其中输出的每个元素是几个数。参数共享的思想体现在每个时刻的卷积核是相同的。循环网络共享参数，输出的每个元素都是先前输出的函数，使用先前输出的生成新的输出。了简化说明，我们将 RNN 称为对包含向量 x (t )的序列进行操作，其引t的范围为 1 到 。时间步长索引不一定是指现实世界中的时间流序列中的位置。RNN 还可以应用于图像等跨域两个维度的空间数据于涉及时间的数据时，将整个序列提供给网络之前就可以观察到整以建立在时间上向后的连接。环神经网络结构及特点节使用计算图的思想来阐述循环神经网络，将输入和参数映射到输进行展开并作出解释，展开计算图的方式进一步论证了深度网络中如图 2.3 所示，为 RNN 的循环结构及其展开的计算图，从图中可以络在每个时刻都有输出并且在隐单元之间建立循环连接。

【参考文献】：
期刊论文
[1]人的视觉行为识别研究回顾、现状及展望[J]. 单言虎,张彰,黄凯奇.  计算机研究与发展. 2016(01)
[2]复杂场景下的人体行为识别研究新进展[J]. 雷庆,陈锻生,李绍滋.  计算机科学. 2014(12)
[3]单目视觉下目标三维行为的时间尺度不变建模及识别[J]. 王蒙,戴亚平,王庆林.  自动化学报. 2014(08)
[4]基于视觉的人体动作识别综述[J]. 胡琼,秦磊,黄庆明.  计算机学报. 2013(12)



本文编号：3437038