基于惯性传感器的人体动作识别技术研究
发布时间：2020-12-28 03:59
联合作战仿真训练通过采用相关的建模理论与方法,设计仿真模型来模拟特定的兵力对象和作战环境进而支持军事作战训练,这种训练方式将在未来的部队训练中发挥至关重要的作用。受训人员使用作战仿真系统进行训练的过程基本上都是通过人机交互的方式来完成的,良好交互体验所带来的沉浸感对于仿真训练效果的提升是至关重要的。传统的交互方式使受训者的精力过多地放在鼠标键盘的操作上,交互不真实,训练效率低。而使用动作捕捉与识别技术,将用户肢体的运动作为一种重要的输入通道,结合虚拟现实技术打造的虚拟训练场可以带来更好的训练沉浸感,进而提升训练效果。基于可穿戴传感器的人体动作捕捉与识别系统相较于基于外部传感器（如深度相机）的识别系统可以使用户获得更大的活动空间以及更高的自由度,且对动作的识别效果不会受到光照,遮挡等外部因素的干扰,与虚拟现实技术有更高的契合度。本文面向基于可穿戴惯性传感器的人体动作识别,使用深度学习方法构建并训练分类器,以深度Long Short Term Memory（LSTM）网络作为主体框架,从神经网络信息传递、特征提取和最终的分类决策三个角度对网络进行改进,解决了深层网络的梯度消失问题,识别过程...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
激活函数tanh及其导数从图3.2可以看出激活函数tanh的导数tanh1，在整个训练过程的大部分情
国防科技大学研究生院硕士学位论文第34页数据，这样向其他应用迁移不会受到太多限制。人类的动作可以根据粒度划分为多个层，例如动作原子层（例如抬起右手），动作层（例如行走）和活动层（例如喝咖啡）。这个数据集也同时满足了我们在更高层次上建模的期望。使用可穿戴传感器和环境传感器的人类动作识别Opportunity数据集是用于基础人类活动识别算法研究的数据集。该数据集包括来自四个Subject的动作，每个Subject有六个不同的Run。每个Subject的前五个记录被称为日常生活活动（ADL），包括自然情况下日常活动的动作。剩下的一个记录叫做DrillRun，要求用户执行脚本化的动作序列。场景中的动作分别在不同级别上进行了注释。在本文中，我们使用了OpportunityChallenge[80]中所使用的相同子集来训练和测试我们的模型。我们针对第一个Subject所有ADL和DrillSessions以及Subject2和Subject3的ADL1，ADL2和DrillSessions的数据训练模型。我们最终评估针对Subject2和Subject3的由ADL4和ADL5组成的测试集的分类性能。Subject2和Subject3的ADL3数据集留待验证。在传感器设置方面，我们遵循OpportunityChallenge的设置指南，仅考虑数据集中的可穿戴传感器。这包括缝制在一个定制的运动夹克中的5个商用的具有RS485网络结构的XSense惯性测量单元（IMU），位于每只脚上的2个商用InertiaCube3惯性传感器（图3.7，左）和位于肢体上的12个蓝牙加速度传感器（图3.7，右）。每个IMU由3D加速度计，3D陀螺仪和3D磁传感器组成，提供多模态传感器信息。每个传感器轴被视为单独的通道，产生尺寸为113个通道的输入空间。图3.7Opportunity数据集中使用的可穿戴传感器的放置位置注：左图为惯性测量单位放置位置;右图为3轴加速度计放置位置[80]。
慷?魇?堇吹贸龇掷嘟峁???墙峁??示我们的网络依然可以获得良好的性能。我们猜测这可能是由于较长的动作可能由几个较短的特征组成，这使得即使我们没有整个动作的完整视图，我们的网络也能够对动作进行分类。从实验中我们得出针对此数据集而言，随着序列长度的增加，识别性能没有明显的变化。每个实验中最好的精度和最好的F1得分值在0.895到0.905之间。我们在对比试验中依然选择了500ms的序列长度，并遵循OpportunityChallenge实验的设置指南，以便我们的深度ResidualLSTM网络可以与其他方法更公平地进行性能比较。图3.9增加残差层中的单元数量网络识别能力变化之前提到，在我们的网络中输入层和输出层之间存在残差层（内部具有残差连接的隐藏层）。我们还描述了深度R-LSTM网络中使用的残差层数的影响。图3.9的结果表明，增加残差层中的LSTM单元数量会增加网络在该数据集上的性能，但是当单元数量超过一定数值时，曲线趋于平缓。同时需要注意的是，训练时间也随着残差层中的单元数量的增加而增加。所以我们必须对系统性能和训练时间做出评估，并找出权衡取舍。从图3.9中我们可以看到，当单元数超过100时，网络性能几乎没有提高，但是，在实际训练中其所需要的训练时间却会显著增加。最后，基于识别能力和计算性能两方面的权衡我们将单元的数量设置为128。（b）性能比较在过去的几年中，各种各样的不同分类技术被用在Opportunity数据集上，表3.2是对这些分类技术的一个综合列表。在OpportunityChallenge中的这些技术都基于相同的滑动窗口，其唯一区别是分类器的设计和特征的提取方式。
【参考文献】：
期刊论文
[1]虚拟现实的人机交互综述[J]. 张凤军,戴国忠,彭晓兰. 中国科学:信息科学. 2016(12)
[2]人体动作捕捉技术综述以及一种新的动作捕捉方案陈述[J]. 李晓丹,肖明,曾莉. 中国西部科技. 2011(15)
[3]作战仿真技术综述[J]. 黄柯棣,刘宝宏,黄健,曹星平,尹全军,郭刚,张琦,张传富,刘云生. 系统仿真学报. 2004(09)
[4]人机交互技术综述[J]. 方志刚. 人类工效学. 1998(03)
博士论文
[1]结合深度网络与概率图的连续动作识别方法研究[D]. 雷军.国防科技大学 2017
本文编号：2943088
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
激活函数tanh及其导数从图3.2可以看出激活函数tanh的导数tanh1，在整个训练过程的大部分情
国防科技大学研究生院硕士学位论文第34页数据，这样向其他应用迁移不会受到太多限制。人类的动作可以根据粒度划分为多个层，例如动作原子层（例如抬起右手），动作层（例如行走）和活动层（例如喝咖啡）。这个数据集也同时满足了我们在更高层次上建模的期望。使用可穿戴传感器和环境传感器的人类动作识别Opportunity数据集是用于基础人类活动识别算法研究的数据集。该数据集包括来自四个Subject的动作，每个Subject有六个不同的Run。每个Subject的前五个记录被称为日常生活活动（ADL），包括自然情况下日常活动的动作。剩下的一个记录叫做DrillRun，要求用户执行脚本化的动作序列。场景中的动作分别在不同级别上进行了注释。在本文中，我们使用了OpportunityChallenge[80]中所使用的相同子集来训练和测试我们的模型。我们针对第一个Subject所有ADL和DrillSessions以及Subject2和Subject3的ADL1，ADL2和DrillSessions的数据训练模型。我们最终评估针对Subject2和Subject3的由ADL4和ADL5组成的测试集的分类性能。Subject2和Subject3的ADL3数据集留待验证。在传感器设置方面，我们遵循OpportunityChallenge的设置指南，仅考虑数据集中的可穿戴传感器。这包括缝制在一个定制的运动夹克中的5个商用的具有RS485网络结构的XSense惯性测量单元（IMU），位于每只脚上的2个商用InertiaCube3惯性传感器（图3.7，左）和位于肢体上的12个蓝牙加速度传感器（图3.7，右）。每个IMU由3D加速度计，3D陀螺仪和3D磁传感器组成，提供多模态传感器信息。每个传感器轴被视为单独的通道，产生尺寸为113个通道的输入空间。图3.7Opportunity数据集中使用的可穿戴传感器的放置位置注：左图为惯性测量单位放置位置;右图为3轴加速度计放置位置[80]。
慷?魇?堇吹贸龇掷嘟峁???墙峁??示我们的网络依然可以获得良好的性能。我们猜测这可能是由于较长的动作可能由几个较短的特征组成，这使得即使我们没有整个动作的完整视图，我们的网络也能够对动作进行分类。从实验中我们得出针对此数据集而言，随着序列长度的增加，识别性能没有明显的变化。每个实验中最好的精度和最好的F1得分值在0.895到0.905之间。我们在对比试验中依然选择了500ms的序列长度，并遵循OpportunityChallenge实验的设置指南，以便我们的深度ResidualLSTM网络可以与其他方法更公平地进行性能比较。图3.9增加残差层中的单元数量网络识别能力变化之前提到，在我们的网络中输入层和输出层之间存在残差层（内部具有残差连接的隐藏层）。我们还描述了深度R-LSTM网络中使用的残差层数的影响。图3.9的结果表明，增加残差层中的LSTM单元数量会增加网络在该数据集上的性能，但是当单元数量超过一定数值时，曲线趋于平缓。同时需要注意的是，训练时间也随着残差层中的单元数量的增加而增加。所以我们必须对系统性能和训练时间做出评估，并找出权衡取舍。从图3.9中我们可以看到，当单元数超过100时，网络性能几乎没有提高，但是，在实际训练中其所需要的训练时间却会显著增加。最后，基于识别能力和计算性能两方面的权衡我们将单元的数量设置为128。（b）性能比较在过去的几年中，各种各样的不同分类技术被用在Opportunity数据集上，表3.2是对这些分类技术的一个综合列表。在OpportunityChallenge中的这些技术都基于相同的滑动窗口，其唯一区别是分类器的设计和特征的提取方式。
【参考文献】：
期刊论文
[1]虚拟现实的人机交互综述[J]. 张凤军,戴国忠,彭晓兰. 中国科学:信息科学. 2016(12)
[2]人体动作捕捉技术综述以及一种新的动作捕捉方案陈述[J]. 李晓丹,肖明,曾莉. 中国西部科技. 2011(15)
[3]作战仿真技术综述[J]. 黄柯棣,刘宝宏,黄健,曹星平,尹全军,郭刚,张琦,张传富,刘云生. 系统仿真学报. 2004(09)
[4]人机交互技术综述[J]. 方志刚. 人类工效学. 1998(03)
博士论文
[1]结合深度网络与概率图的连续动作识别方法研究[D]. 雷军.国防科技大学 2017
本文编号：2943088
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2943088.html
