基于光流和深度运动图的人体动作识别算法研究
发布时间：2021-08-22 08:24
在人体行为识别领域,国内外对视频类的动作识别算法研究如火如荼。虽然,目前对静止图像识别的研究取得了很大的成功,但是对视频类的动作识别研究仍然是一个具有挑战性的课题。本文针对彩色信息（RGB视频帧）中缺乏不易受光照等环境因素影响的深度信息,并对沿着视线方向的动作缺乏识别能力的问题,提出一种基于光流和深度运动图（Depth Motion Map,DMM）的人体动作识别算法。其主要研究内容如下:（1）本文将深度序列在三个正交的笛卡尔平面上的进行投影,从而有获取DMM特征,以表示一个动作的运动特征。另外,为了减小类内变异性,本文将DMM调整为固定的尺寸,并且把每个DMM的固定尺寸设置为所有尺寸平均值的一半。由于所提出的特征描述符具有高维数,采用了核熵成分分析（Kernel Entropy Component Analysis,KECA）进行降维,最后将处理后的DMM特征作为本文深度流网络通道的输入。（2）本文利用长短期记忆网络（Long Short Term Memory networks,LSTMs）对长序列历史信息进行控制和记忆具有明显优势的特点,设计了一种LSTMs网络结构。本文LSTM...
【文章来源】：海南大学海南省 211工程院校
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
Kinect的整体结构
基于光流和深度运动图的人体动作识别算法研究8音频处理：通过一组分布在Kinect设备两侧的四元麦克风阵列，可以捕捉到设备有效接收范围内的各种信息。2.1.2Kinect传感器的工作原理Kinect传感器在待测的三维空间里，通过发射结构光并进行编码来捕捉该三维空间深度信息。Kinect设备上的红外投影机所发射出的红外激光，会在三维空间或物体表面上形成不同大小的激光散斑，再通过红外COMS摄像头接收不同大小散斑所反射的红外激光，最后，通过散斑之间的关联产生相应的峰值。进而计算出三维空间或物体的深度值。Kinect摄像机成像模型如图2所示，三维空间坐标zyx),,(和深度图的像素坐标dvu),,(的对应关系为公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相机在两轴X，Y上的焦距，),(yxcc指摄像机的光圈中心。Kinect相机的不同视角变换可以看作三维空间的旋转，如图3所示：图2Kinect摄像机成像模型Fig.2Kinectcameraimagingmodel图3Kinect摄像机视角变化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度图像数据的获取
基于光流和深度运动图的人体动作识别算法研究8音频处理：通过一组分布在Kinect设备两侧的四元麦克风阵列，可以捕捉到设备有效接收范围内的各种信息。2.1.2Kinect传感器的工作原理Kinect传感器在待测的三维空间里，通过发射结构光并进行编码来捕捉该三维空间深度信息。Kinect设备上的红外投影机所发射出的红外激光，会在三维空间或物体表面上形成不同大小的激光散斑，再通过红外COMS摄像头接收不同大小散斑所反射的红外激光，最后，通过散斑之间的关联产生相应的峰值。进而计算出三维空间或物体的深度值。Kinect摄像机成像模型如图2所示，三维空间坐标zyx),,(和深度图的像素坐标dvu),,(的对应关系为公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相机在两轴X，Y上的焦距，),(yxcc指摄像机的光圈中心。Kinect相机的不同视角变换可以看作三维空间的旋转，如图3所示：图2Kinect摄像机成像模型Fig.2Kinectcameraimagingmodel图3Kinect摄像机视角变化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度图像数据的获取
【参考文献】：
期刊论文
[1]基于深度LSTM与双流融合网络的行为识别[J]. 马翠红,毛志强,崔金龙,王毅. 计算机工程与设计. 2019(09)
[2]多视角深度运动图的人体行为识别[J]. 刘婷婷,李玉鹏,张良. 中国图象图形学报. 2019(03)
[3]有效视频帧时间序池化的人体行为识别算法[J]. 鹿天然,于凤芹,陈莹. 计算机工程. 2018(12)
[4]基于视觉的人体行为识别算法研究综述[J]. 陈煜平,邱卫根. 计算机应用研究. 2019(07)
[5]结合有序光流图和双流卷积网络的行为识别[J]. 李庆辉,李艾华,王涛,崔智高. 光学学报. 2018(06)
[6]基于深度学习的区域生态安全时空模拟与预测[J]. 陈工,李琦,金玲艳,梁贺明,Hamed Karimian,莫玉琴. 地球信息科学学报. 2017(07)
[7]基于加速度信号和进化RBF神经网络的人体行为识别[J]. 卢先领,王洪斌,徐仙. 模式识别与人工智能. 2015(12)
硕士论文
[1]基于图像序列的光流估计算法优化与实现[D]. 孙万祺.北京邮电大学 2019
本文编号：3357385
【文章来源】：海南大学海南省 211工程院校
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
Kinect的整体结构
基于光流和深度运动图的人体动作识别算法研究8音频处理：通过一组分布在Kinect设备两侧的四元麦克风阵列，可以捕捉到设备有效接收范围内的各种信息。2.1.2Kinect传感器的工作原理Kinect传感器在待测的三维空间里，通过发射结构光并进行编码来捕捉该三维空间深度信息。Kinect设备上的红外投影机所发射出的红外激光，会在三维空间或物体表面上形成不同大小的激光散斑，再通过红外COMS摄像头接收不同大小散斑所反射的红外激光，最后，通过散斑之间的关联产生相应的峰值。进而计算出三维空间或物体的深度值。Kinect摄像机成像模型如图2所示，三维空间坐标zyx),,(和深度图的像素坐标dvu),,(的对应关系为公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相机在两轴X，Y上的焦距，),(yxcc指摄像机的光圈中心。Kinect相机的不同视角变换可以看作三维空间的旋转，如图3所示：图2Kinect摄像机成像模型Fig.2Kinectcameraimagingmodel图3Kinect摄像机视角变化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度图像数据的获取
基于光流和深度运动图的人体动作识别算法研究8音频处理：通过一组分布在Kinect设备两侧的四元麦克风阵列，可以捕捉到设备有效接收范围内的各种信息。2.1.2Kinect传感器的工作原理Kinect传感器在待测的三维空间里，通过发射结构光并进行编码来捕捉该三维空间深度信息。Kinect设备上的红外投影机所发射出的红外激光，会在三维空间或物体表面上形成不同大小的激光散斑，再通过红外COMS摄像头接收不同大小散斑所反射的红外激光，最后，通过散斑之间的关联产生相应的峰值。进而计算出三维空间或物体的深度值。Kinect摄像机成像模型如图2所示，三维空间坐标zyx),,(和深度图的像素坐标dvu),,(的对应关系为公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相机在两轴X，Y上的焦距，),(yxcc指摄像机的光圈中心。Kinect相机的不同视角变换可以看作三维空间的旋转，如图3所示：图2Kinect摄像机成像模型Fig.2Kinectcameraimagingmodel图3Kinect摄像机视角变化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度图像数据的获取
【参考文献】：
期刊论文
[1]基于深度LSTM与双流融合网络的行为识别[J]. 马翠红,毛志强,崔金龙,王毅. 计算机工程与设计. 2019(09)
[2]多视角深度运动图的人体行为识别[J]. 刘婷婷,李玉鹏,张良. 中国图象图形学报. 2019(03)
[3]有效视频帧时间序池化的人体行为识别算法[J]. 鹿天然,于凤芹,陈莹. 计算机工程. 2018(12)
[4]基于视觉的人体行为识别算法研究综述[J]. 陈煜平,邱卫根. 计算机应用研究. 2019(07)
[5]结合有序光流图和双流卷积网络的行为识别[J]. 李庆辉,李艾华,王涛,崔智高. 光学学报. 2018(06)
[6]基于深度学习的区域生态安全时空模拟与预测[J]. 陈工,李琦,金玲艳,梁贺明,Hamed Karimian,莫玉琴. 地球信息科学学报. 2017(07)
[7]基于加速度信号和进化RBF神经网络的人体行为识别[J]. 卢先领,王洪斌,徐仙. 模式识别与人工智能. 2015(12)
硕士论文
[1]基于图像序列的光流估计算法优化与实现[D]. 孙万祺.北京邮电大学 2019
本文编号：3357385
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3357385.html
