基于多元特征融合的人体复杂动作识别算法研究
发布时间：2020-12-08 03:45
动作识别是计算视觉领域的主要研究内容之一,复杂动作的准确理解对于服务机器人、增强现实和视频监控领域具有重要作用。现有技术在徒手动作识别方面已经取得了长足的进步,但对于手持物体的复杂动作识别问题,由于遮挡、手和物体铰连等影响,尚不能达到理想效果。为解决这一问题,本文基于彩色、深度数据和肌电数据,对人体3D骨架特征、肌肉状态特征和交互物体特征分别进行了研究,并在此基础上提出了基于多元特征融合的人体复杂动作识别算法,具体研究内容如下:(1)提出了一种基于3D骨架和肌肉状态的多模态特征融合的动作识别方法。针对复杂的手持物体、非手持物体动作,分别提取了骨架局部聚合描述子特征和肌电局部聚合描述子特征,进而构建了多粒度特征来表述复杂人体动作,并利用多核学习方法使用不同核函数将两类特征进行融合并完成动作识别。(2)提出了一种基于形状特征的物体识别方法。首先对物体轮廓提取重心、圆度、形状上下文等66维特征,随后使用基于K近邻、决策树、概率神经网络、模糊规则和随机森林的特征选择方法对原始特征集进行选择获得5个差异化最优特征子集以训练差异化模型。在局部分类器融合阶段,在5个特征子集上使用同种分类算法训练出5...
【文章来源】：燕山大学河北省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图2-2两种基于骨架数据的动作识别框架
的发展，Faster-RCNN通过区域建议法生成候选框，然后使用神经网络对候选区域提取特征并分类[56]。此后，研究者通常使用深度神经网络来图像中的物体定位问题。然而在人-物交互场景中，物体大概率出现在手部周围。这是因为双手作为人与环境交互的主要媒介，必然会与环境物体进行接触。因此，在人-物交互场景中，利用物体大概率分布在手部附近这一先验知识，物体位置确定的难度大大降低。复杂动作识别中的物体定位技术需要获取给定RGB数据中将与手部交互的物体位置及物体外接矩形框。通常在复杂动作物体识别中有两种框架，如图2-3所示。图2-3复杂动作识别中两种物体定位框架在人-物交互场景中，图2-3中的两种框架都利用物体大概率分布在人体周围这一先验知识较为简单的实现对物体的的定位和框选，且两种框架都使用RGB-D数据和骨架数据。在获得对齐的深度图像和骨骼数据后，框架一通过提取局部占用模式(LocalOccupancyPattern，LOP)特征实现对物体的定位，如文献[48,57]。首先以人体每个骨骼关节点三维坐标为中心建立一个立方体，并将整个立方体分为若干个小立方体。随后利用骨骼数据与深度数据对齐关系将立方体区域映射至深度图像中，并计算该立方体内深度像素落入每个小立方体的统计值，以获取该区域内深度值的分布情况。至此，通过对每个关节点周围提取LOP特征粗略捕获了每个关节点邻域深度分布。最后，使用阈值对所有关节点LOP特征数值进行比较以判断距离物体最近的
第2章复杂动作识别相关算法基础理论-15-关节点位置，并在深度图像上根据该LOP区域的轮廓计算物体重心。而物体的框选则在物体重心确定后，使用固定的大小外接框对物体进行框眩然而，固定大小的外接框往往只能框选部分物体或包含多余背景信息，不利于后续准确的物体特征提龋与框架一使用固定大小进行物体框选不同，框架二则是通过分割的方法自适应获取物体轮廓随后再进行物体框选，因此该框架得到的物体外接矩形框能较为准确的包裹物体，如文献[49]。首先在对齐的深度图像中以手部关节点位置为种子点进行区域增长，以种子点为基础，通常根据像素差值对周围8个方向邻域内像素进行合并，通过设置合适的合并终止条件完成区域增长。在深度图像获取物体的轮廓后，通常计算该轮廓的重心和外接矩形框作为物体的重心和外接矩形框并映射至彩色图像中，该框架物体框选结果的优劣主要依赖于区域增长的结果。两种框架优点缺点各不相同。框架一通过将骨骼点的LOP特征与所设阈值判断物体位置，相比使用区域增长分割方法，该框架获得的物体位置更加鲁棒，但使用固定大小的框进行物体框选往往只能获得物体的部分区域。框架二物体位置及外接矩形框是否准确基于区域增长算法的结果及深度图像是否能较为完整的捕获物体轮廓。在深度图像质量高、区域增长算法种子点选在物体区域内并且停止生长条件合适时，物体的位置及外界矩形框通常非常准确，但该框架容易受到噪声影响导致结果不准确。2.2.2物体识别相关技术图2-4复杂动作识别中两种物体识别框架物体识别现有框架在特征提取阶段可以分为基于手工特征的物体识别框架和基于深度学习的物体识别框架，如图2-4所示。基于手工特征的物体识别框架包含两个阶段，即特征提取和物体分类。在特征提
【参考文献】：
期刊论文
[1]基于曲率估计的运动平滑性度量算法[J]. 丁伟利,高晓阳,苏玉萍,李小俚. 高技术通讯. 2015 (Z1)
博士论文
[1]基于深度学习机制的人与物体交互活动识别技术[D]. 白琳.北京理工大学 2015
[2]基于表面肌电信号的人体动作识别与交互[D]. 张旭.中国科学技术大学 2010
硕士论文
[1]基于颜色与形状特征融合的物体识别方法研究[D]. 韦琪.东北师范大学 2019
[2]基于Kinect的人的行为识别研究[D]. 刘从文.东南大学 2016
本文编号：2904395
【文章来源】：燕山大学河北省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图2-2两种基于骨架数据的动作识别框架
的发展，Faster-RCNN通过区域建议法生成候选框，然后使用神经网络对候选区域提取特征并分类[56]。此后，研究者通常使用深度神经网络来图像中的物体定位问题。然而在人-物交互场景中，物体大概率出现在手部周围。这是因为双手作为人与环境交互的主要媒介，必然会与环境物体进行接触。因此，在人-物交互场景中，利用物体大概率分布在手部附近这一先验知识，物体位置确定的难度大大降低。复杂动作识别中的物体定位技术需要获取给定RGB数据中将与手部交互的物体位置及物体外接矩形框。通常在复杂动作物体识别中有两种框架，如图2-3所示。图2-3复杂动作识别中两种物体定位框架在人-物交互场景中，图2-3中的两种框架都利用物体大概率分布在人体周围这一先验知识较为简单的实现对物体的的定位和框选，且两种框架都使用RGB-D数据和骨架数据。在获得对齐的深度图像和骨骼数据后，框架一通过提取局部占用模式(LocalOccupancyPattern，LOP)特征实现对物体的定位，如文献[48,57]。首先以人体每个骨骼关节点三维坐标为中心建立一个立方体，并将整个立方体分为若干个小立方体。随后利用骨骼数据与深度数据对齐关系将立方体区域映射至深度图像中，并计算该立方体内深度像素落入每个小立方体的统计值，以获取该区域内深度值的分布情况。至此，通过对每个关节点周围提取LOP特征粗略捕获了每个关节点邻域深度分布。最后，使用阈值对所有关节点LOP特征数值进行比较以判断距离物体最近的
第2章复杂动作识别相关算法基础理论-15-关节点位置，并在深度图像上根据该LOP区域的轮廓计算物体重心。而物体的框选则在物体重心确定后，使用固定的大小外接框对物体进行框眩然而，固定大小的外接框往往只能框选部分物体或包含多余背景信息，不利于后续准确的物体特征提龋与框架一使用固定大小进行物体框选不同，框架二则是通过分割的方法自适应获取物体轮廓随后再进行物体框选，因此该框架得到的物体外接矩形框能较为准确的包裹物体，如文献[49]。首先在对齐的深度图像中以手部关节点位置为种子点进行区域增长，以种子点为基础，通常根据像素差值对周围8个方向邻域内像素进行合并，通过设置合适的合并终止条件完成区域增长。在深度图像获取物体的轮廓后，通常计算该轮廓的重心和外接矩形框作为物体的重心和外接矩形框并映射至彩色图像中，该框架物体框选结果的优劣主要依赖于区域增长的结果。两种框架优点缺点各不相同。框架一通过将骨骼点的LOP特征与所设阈值判断物体位置，相比使用区域增长分割方法，该框架获得的物体位置更加鲁棒，但使用固定大小的框进行物体框选往往只能获得物体的部分区域。框架二物体位置及外接矩形框是否准确基于区域增长算法的结果及深度图像是否能较为完整的捕获物体轮廓。在深度图像质量高、区域增长算法种子点选在物体区域内并且停止生长条件合适时，物体的位置及外界矩形框通常非常准确，但该框架容易受到噪声影响导致结果不准确。2.2.2物体识别相关技术图2-4复杂动作识别中两种物体识别框架物体识别现有框架在特征提取阶段可以分为基于手工特征的物体识别框架和基于深度学习的物体识别框架，如图2-4所示。基于手工特征的物体识别框架包含两个阶段，即特征提取和物体分类。在特征提
【参考文献】：
期刊论文
[1]基于曲率估计的运动平滑性度量算法[J]. 丁伟利,高晓阳,苏玉萍,李小俚. 高技术通讯. 2015 (Z1)
博士论文
[1]基于深度学习机制的人与物体交互活动识别技术[D]. 白琳.北京理工大学 2015
[2]基于表面肌电信号的人体动作识别与交互[D]. 张旭.中国科学技术大学 2010
硕士论文
[1]基于颜色与形状特征融合的物体识别方法研究[D]. 韦琪.东北师范大学 2019
[2]基于Kinect的人的行为识别研究[D]. 刘从文.东南大学 2016
本文编号：2904395
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2904395.html
最近更新
教材专著
