基于时空信息的人体行为识别
发布时间：2021-08-13 05:57
人体行为识别技术融合了计算机视觉、数字图像处理、人体运动学等多学科知识,对其研究可以促进相关学科共同发展。同时其在人机交互、无人驾驶、智能机器人、智能监控等领域有着广泛的应用和巨大的经济价值。由于人体行为识别技术兼具理论意义与现实意义,其已成为计算机视觉领域中最为活跃的研究主题之一。准确的获取时空信息是人体行为识别的关键所在。目前主流的行为识别方法存在局限性,如不能提取最显著的空间信息,不能消除背景变化的对识别准确度的影响等。此外,当前方法还存在着提取时间信息时只关注于“帧间运动”或“视频全局运动”的问题。本文为解决上述问题,重点研究如何获准确的提取时空信息,提出了两种基于时空信息的人体行为识别方法:针对当前行为识别模型提取时间信息时易受背景干扰及不能提取最显著的空间信息的问题,本文提出了运动人体关注推理模型。该模型受人脑初级视觉皮层启发,使用时间通路和空间通路分别提取视频中的时间信息与空间信息。结合Focus Block、卷积神经网络和长短记忆时间网络的优点从视频序列中提取时间信息,结合卷积神经网络与全局最大池化操作提取视频中最为显著的空间信息,时间信息与空间信息提取出来后经过拼接层...
【文章来源】：湘潭大学湖南省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
iDT和DT算法特征采样示例
3图1.1坐姿的MEI(左)和MHI(右)特征除全局特征外，行为特征也可以用基于局部特征描述子的网格来描述，将一个网格中所包含的局部邻域像素视为一个特征块，这样就减少了时间和空间的局部变化的影响。在经典行为识别的iDT[6]算法中，和DT[7]算法一致主要采用了HOG特征（HistogramofOrientedGradient），HOF特征(HistogramsofOrientedOpticalFlow)和MBH特征(MotionBoundaryHistograms)这三种局部特征，如图1.2[7]所示。HOG,即方向梯度直方图，其为一种应用于物体检测的特征。通过对网格中梯度的方向进行计算和统计，由此生成的直方图即为HOG特征。在实际任务中，观测目标在相机成像平面的大小会随着其距相机的远近而变化，光流特征的维度也会因此而产生变化，同时由于背景噪声、尺度变化和目标运动方向均会对光流的计算产生较大影响。因此，有必要寻找一种既能在时域内描述动作信息，又能对目标尺度大小和运动方向鲁棒的基于光流的特征描述方法[8]，基于此需求提出了HOF特征。HOF与HOG类似，其通常用于行为识别任务中。通过对光流的方向分布进行加权统计，获得的光流方向直方图即为HOF特征。通过分别将x方向上与y方向上的光流图分别看作普通的灰度图像，进一步在x方向上与y方向上光流图的梯度直方图即为MBH特征。简单地说MBH特征就是分别在图像的x和y方向光流图像上计算出来的HOG特征。图1.2iDT和DT算法特征采样示例
目前主流基于神经网络的行为识别方法主要由基于双流神经网络、3D卷积神经网络、LRCN、此三种经典方法的演变或改良方法[17-22]。近两年来基于注意力的行为识别方法也进入了人们的视线。基于双流卷积神经网络的行为识别近年来，卷积神经网络（CNN，ConvolutionalNeuralNetworks）被广泛用于检测、分类、分割等计算机视觉任务中[23]。这些都是针对于静态图像的任务，其只能提取空间信息并不能很好的提取视频序列中的时间信息。因此，KarenSimonyan[24]等人通过采取分别用两个卷积网络分别训练视频帧和计算得来的光流图，如图1.3所示，分别获取视频中的空间信息和时间信息。此法很好的解决了视频中时间信息获取的难点，但缺点是光流图的计算太耗时间，且用于训练光流图的神经网络对设备的计算要求较高。图1.3双流卷积神经网络结构
【参考文献】：
期刊论文
[1]基于动作主视图和LSTM网络模型的人体行为识别[J]. 盛敏,李兰. 安庆师范大学学报(自然科学版). 2020(01)
[2]高效3D密集残差网络及其在人体行为识别中的应用[J]. 李梁华,王永雄. 光电工程. 2020(02)
[3]基于长短时记忆网络及变体的跌倒检测和人体行为识别系统[J]. 熊昕,郑杨娇子,张上. 信息通信. 2020(02)
[4]基于双通道C3D的基建现场人体异常行为识别[J]. 吴冬梅,卢静,蒋瑜. 信息技术与信息化. 2020(01)
[5]基于神经网络的人体动态行为智能识别方法[J]. 贾双成,杨凤萍. 科技通报. 2020(01)
[6]基于深度学习的人体行为识别算法[J]. 韩雪平,吴甜甜. 数学的实践与认识. 2019(24)
[7]全卷积神经网络研究综述[J]. 章琳,袁非牛,张文睿,曾夏玲. 计算机工程与应用. 2020(01)
[8]基于深度卷积网络与空洞卷积融合的人群计数[J]. 盛馨心,苏颖,汪洋. 上海师范大学学报(自然科学版). 2019(05)
[9]注意力机制改进卷积神经网络的遥感图像目标检测[J]. 李红艳,李春庚,安居白,任俊丽. 中国图象图形学报. 2019(08)
[10]一种融合全局时空特征的CNNs动作识别方法[J]. 王珂,武军,周天相,李瑞峰. 华中科技大学学报(自然科学版). 2018(12)
硕士论文
[1]基于LSTM的人体行为识别方法研究[D]. 韩丽丽.北京交通大学 2019
[2]基于强化学习的手语视频翻译[D]. 张之昊.中国科学技术大学 2019
[3]用于家用安防机器人的人体检测、跟踪和身份识别系统[D]. 王琛.北京工业大学 2017
[4]基于局部特征编码的人体再识别[D]. 李君楠.上海交通大学 2016
[5]视频人体行为识别中的特征编码[D]. 王先中.上海交通大学 2015
本文编号：3339888
【文章来源】：湘潭大学湖南省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
iDT和DT算法特征采样示例
3图1.1坐姿的MEI(左)和MHI(右)特征除全局特征外，行为特征也可以用基于局部特征描述子的网格来描述，将一个网格中所包含的局部邻域像素视为一个特征块，这样就减少了时间和空间的局部变化的影响。在经典行为识别的iDT[6]算法中，和DT[7]算法一致主要采用了HOG特征（HistogramofOrientedGradient），HOF特征(HistogramsofOrientedOpticalFlow)和MBH特征(MotionBoundaryHistograms)这三种局部特征，如图1.2[7]所示。HOG,即方向梯度直方图，其为一种应用于物体检测的特征。通过对网格中梯度的方向进行计算和统计，由此生成的直方图即为HOG特征。在实际任务中，观测目标在相机成像平面的大小会随着其距相机的远近而变化，光流特征的维度也会因此而产生变化，同时由于背景噪声、尺度变化和目标运动方向均会对光流的计算产生较大影响。因此，有必要寻找一种既能在时域内描述动作信息，又能对目标尺度大小和运动方向鲁棒的基于光流的特征描述方法[8]，基于此需求提出了HOF特征。HOF与HOG类似，其通常用于行为识别任务中。通过对光流的方向分布进行加权统计，获得的光流方向直方图即为HOF特征。通过分别将x方向上与y方向上的光流图分别看作普通的灰度图像，进一步在x方向上与y方向上光流图的梯度直方图即为MBH特征。简单地说MBH特征就是分别在图像的x和y方向光流图像上计算出来的HOG特征。图1.2iDT和DT算法特征采样示例
目前主流基于神经网络的行为识别方法主要由基于双流神经网络、3D卷积神经网络、LRCN、此三种经典方法的演变或改良方法[17-22]。近两年来基于注意力的行为识别方法也进入了人们的视线。基于双流卷积神经网络的行为识别近年来，卷积神经网络（CNN，ConvolutionalNeuralNetworks）被广泛用于检测、分类、分割等计算机视觉任务中[23]。这些都是针对于静态图像的任务，其只能提取空间信息并不能很好的提取视频序列中的时间信息。因此，KarenSimonyan[24]等人通过采取分别用两个卷积网络分别训练视频帧和计算得来的光流图，如图1.3所示，分别获取视频中的空间信息和时间信息。此法很好的解决了视频中时间信息获取的难点，但缺点是光流图的计算太耗时间，且用于训练光流图的神经网络对设备的计算要求较高。图1.3双流卷积神经网络结构
【参考文献】：
期刊论文
[1]基于动作主视图和LSTM网络模型的人体行为识别[J]. 盛敏,李兰. 安庆师范大学学报(自然科学版). 2020(01)
[2]高效3D密集残差网络及其在人体行为识别中的应用[J]. 李梁华,王永雄. 光电工程. 2020(02)
[3]基于长短时记忆网络及变体的跌倒检测和人体行为识别系统[J]. 熊昕,郑杨娇子,张上. 信息通信. 2020(02)
[4]基于双通道C3D的基建现场人体异常行为识别[J]. 吴冬梅,卢静,蒋瑜. 信息技术与信息化. 2020(01)
[5]基于神经网络的人体动态行为智能识别方法[J]. 贾双成,杨凤萍. 科技通报. 2020(01)
[6]基于深度学习的人体行为识别算法[J]. 韩雪平,吴甜甜. 数学的实践与认识. 2019(24)
[7]全卷积神经网络研究综述[J]. 章琳,袁非牛,张文睿,曾夏玲. 计算机工程与应用. 2020(01)
[8]基于深度卷积网络与空洞卷积融合的人群计数[J]. 盛馨心,苏颖,汪洋. 上海师范大学学报(自然科学版). 2019(05)
[9]注意力机制改进卷积神经网络的遥感图像目标检测[J]. 李红艳,李春庚,安居白,任俊丽. 中国图象图形学报. 2019(08)
[10]一种融合全局时空特征的CNNs动作识别方法[J]. 王珂,武军,周天相,李瑞峰. 华中科技大学学报(自然科学版). 2018(12)
硕士论文
[1]基于LSTM的人体行为识别方法研究[D]. 韩丽丽.北京交通大学 2019
[2]基于强化学习的手语视频翻译[D]. 张之昊.中国科学技术大学 2019
[3]用于家用安防机器人的人体检测、跟踪和身份识别系统[D]. 王琛.北京工业大学 2017
[4]基于局部特征编码的人体再识别[D]. 李君楠.上海交通大学 2016
[5]视频人体行为识别中的特征编码[D]. 王先中.上海交通大学 2015
本文编号：3339888
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3339888.html
最近更新
教材专著
