基于深度图像和骨骼数据的行为识别
发布时间：2020-12-11 11:08
伴随着计算机技术的飞速发展,人体行为识别逐渐成为计算机视觉研究领域的热点。目前相关行为识别技术已经广泛应用于监控、视频游戏、人机交互、医疗保健等方面。早期人体行为识别大量采用基于彩色RGB图像的识别方法,但受光照等诸多因素,对识别结果影响较大。利用深度相机得到的深度图像和骨骼数据可以很好地解决诸如光照问题,同时对背景颜色的变化不敏感,大量采用上述数据进行人体行为识别的方法被提出,促进了行为识别的发展。深度相机可以获得RGB图像和深度图,同时从深度图中提取骨骼数据。为了利用更多深度图像和骨骼数据的动作信息提高动作识别率,本文基于深度相机提取的骨骼数据和深度图像对人体动作识别方法进行以下研究,提出了以下两种人体行为识别算法。第一,提出一种改进的基于深度图像和骨骼数据的动作识别方法,该方法使用深度图像序列生成运动历史点云并提取全局特征,同时从三维骨骼信息中提取人体骨骼关节点的相对位移特征和相对距离特征,使用VLAD算法归一化生成骨骼特征。对得到的点云特征和骨骼特征进行特征融合,构建出一种多模特征融合的动作识别方法。在MSR-Action3D和UTKinect-Action3D两个数据集进行实...
【文章来源】：中国民航大学天津市
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
路边监控摄像头
中国民航大学硕士学位论文2（3）医疗辅助在新型流感的重创下，为了避免医护人员被感染，人体行为识别在医疗辅助上也有许多应用场景。通过分析老人的动作或者身体状态，判断出老人是否出现危险，自动识别出需要帮助的病人并及时向护士发送信号，使病人在危难之间的关键时刻得到有效的救治，避免因护士没有及时关注到病人病情恶化，造成病人未及时获得救助进而产生严重后果。同时可以利用检测技术，对病人是否戴口罩进行检测，如果没有，则发出警告。这些应用都可以大大减轻医护人员的负担，提高护士的工作效率。（4）人机交互人机交互方面。近年来，基于不同数据的人体动作分类的研究越来越多，出现了基于不同数据源：深度图或RGB视频的3D人体关节的人体动作分类的方法以及特征表示方法。受益于这些技术的发展，游戏和人机交互等应用蓬勃发展。例如，人机交互，游戏控制和智能监视。图1-2展示的是人机交互场景。图1-2人机交互场景1.2国内外研究现状Johansson[3]教授在70年代的motionlightdisplays实验成功引起了大家的关注。随着计算机技术的高科技快速发展，使得越来越多的学者开始深入研究动作识别进行。进入21世纪后，国内外高校实验室都非常重视对人体行为识别的研究。每年的重大科研进展都记录在著名学术会议比如CVPR、ICCV和著名国际期刊比如TPAMI、IJCV。早期基于RGB数据的动作识别[4-9]涉及复杂的照明条件和杂乱的背景，随着成像技术在实时捕获深度信息方面的快速发展，人们越来越关注利用深度传感器生成的深度数据解决
每个框架上的骨架关节由修改的球面坐标系内的3D关节位置（HOJ3D）的直方图表示。这些HOJ3D聚集成视觉词，其时间演化由离散隐马尔可夫模型（HMM）建模。Oreifej等人[15]将时空骨骼关节作为信息最丰富的骨骼关节序列。在每个时刻，选择与当前动作高度相关并且信息量最大的骨架关节来表示当前整体骨骼。Vemulapalli等人[16]使用3D空间中的旋转和平移来模拟各种骨架关节之间的3D几何关系，然而其手工提取的特征无法有效地模拟复杂的时空分布。1.2.3基于深度学习的识别方法近些年来，深度学习在模式识别领域的应用越来越广泛，图1-3所示为深度学习识别动作流程。图1-3深度学习识别动作流程Simonyan[17]等人提出了一个双流CNN结合空间和时间网络的架构。他们利用每个帧作为空间网络的输入并进行累积帧间光流作为时间网络的输入。wang等人[18]作为深度运动图（DMM）的投影深度图之间的累积运动，DMM用作CNN的输入来进行动作分类。这些方法将动作序列转换为图像。尽管效率很高，但这些算法大大压缩原始数据，导致丢失不同的时空信息。Wang等在三个正交平面上投影骨架关节的局部坐标。在每个平面上将骨骼关节的2D轨迹形成彩色图像，其中时间标签和关节标签被映射到颜色。生成的图像直接反映关节的局部坐标，并隐含地涉及时间演变和关节标签。Du等人[19]根据物理连接在每个帧中连接骨架关节，并使用每个关节的三个分量(x,y,z)作为每个像素的相应三个分量(R,G,B)。生成的图像直接反映时间演变和关节标签，隐含地涉及骨架关节的局部坐标。
【参考文献】：
期刊论文
[1]一种基于RGB-D特征融合的人体行为识别框架[J]. 毛峡,王岚,李建军. 计算机科学. 2018(08)
[2]局部分布信息增强的视觉单词描述与动作识别[J]. 张良,鲁梦梦,姜华. 电子与信息学报. 2016(03)
[3]简单细胞方位选择性感受野组织形成的神经网络模型[J]. 杨谦,齐翔林,汪云九. 中国科学C辑:生命科学. 2000(04)
硕士论文
[1]基于3D激光点云的无人车城市环境SLAM问题研究[D]. 李玉.北京理工大学 2016
本文编号：2910425
【文章来源】：中国民航大学天津市
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
路边监控摄像头
中国民航大学硕士学位论文2（3）医疗辅助在新型流感的重创下，为了避免医护人员被感染，人体行为识别在医疗辅助上也有许多应用场景。通过分析老人的动作或者身体状态，判断出老人是否出现危险，自动识别出需要帮助的病人并及时向护士发送信号，使病人在危难之间的关键时刻得到有效的救治，避免因护士没有及时关注到病人病情恶化，造成病人未及时获得救助进而产生严重后果。同时可以利用检测技术，对病人是否戴口罩进行检测，如果没有，则发出警告。这些应用都可以大大减轻医护人员的负担，提高护士的工作效率。（4）人机交互人机交互方面。近年来，基于不同数据的人体动作分类的研究越来越多，出现了基于不同数据源：深度图或RGB视频的3D人体关节的人体动作分类的方法以及特征表示方法。受益于这些技术的发展，游戏和人机交互等应用蓬勃发展。例如，人机交互，游戏控制和智能监视。图1-2展示的是人机交互场景。图1-2人机交互场景1.2国内外研究现状Johansson[3]教授在70年代的motionlightdisplays实验成功引起了大家的关注。随着计算机技术的高科技快速发展，使得越来越多的学者开始深入研究动作识别进行。进入21世纪后，国内外高校实验室都非常重视对人体行为识别的研究。每年的重大科研进展都记录在著名学术会议比如CVPR、ICCV和著名国际期刊比如TPAMI、IJCV。早期基于RGB数据的动作识别[4-9]涉及复杂的照明条件和杂乱的背景，随着成像技术在实时捕获深度信息方面的快速发展，人们越来越关注利用深度传感器生成的深度数据解决
每个框架上的骨架关节由修改的球面坐标系内的3D关节位置（HOJ3D）的直方图表示。这些HOJ3D聚集成视觉词，其时间演化由离散隐马尔可夫模型（HMM）建模。Oreifej等人[15]将时空骨骼关节作为信息最丰富的骨骼关节序列。在每个时刻，选择与当前动作高度相关并且信息量最大的骨架关节来表示当前整体骨骼。Vemulapalli等人[16]使用3D空间中的旋转和平移来模拟各种骨架关节之间的3D几何关系，然而其手工提取的特征无法有效地模拟复杂的时空分布。1.2.3基于深度学习的识别方法近些年来，深度学习在模式识别领域的应用越来越广泛，图1-3所示为深度学习识别动作流程。图1-3深度学习识别动作流程Simonyan[17]等人提出了一个双流CNN结合空间和时间网络的架构。他们利用每个帧作为空间网络的输入并进行累积帧间光流作为时间网络的输入。wang等人[18]作为深度运动图（DMM）的投影深度图之间的累积运动，DMM用作CNN的输入来进行动作分类。这些方法将动作序列转换为图像。尽管效率很高，但这些算法大大压缩原始数据，导致丢失不同的时空信息。Wang等在三个正交平面上投影骨架关节的局部坐标。在每个平面上将骨骼关节的2D轨迹形成彩色图像，其中时间标签和关节标签被映射到颜色。生成的图像直接反映关节的局部坐标，并隐含地涉及时间演变和关节标签。Du等人[19]根据物理连接在每个帧中连接骨架关节，并使用每个关节的三个分量(x,y,z)作为每个像素的相应三个分量(R,G,B)。生成的图像直接反映时间演变和关节标签，隐含地涉及骨架关节的局部坐标。
【参考文献】：
期刊论文
[1]一种基于RGB-D特征融合的人体行为识别框架[J]. 毛峡,王岚,李建军. 计算机科学. 2018(08)
[2]局部分布信息增强的视觉单词描述与动作识别[J]. 张良,鲁梦梦,姜华. 电子与信息学报. 2016(03)
[3]简单细胞方位选择性感受野组织形成的神经网络模型[J]. 杨谦,齐翔林,汪云九. 中国科学C辑:生命科学. 2000(04)
硕士论文
[1]基于3D激光点云的无人车城市环境SLAM问题研究[D]. 李玉.北京理工大学 2016
本文编号：2910425
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2910425.html
