基于虚拟化身的增强现实交互技术研究及应用
发布时间：2021-07-28 11:26
随着增强现实技术的进步,增强现实场景中的交互技术逐渐成为下一代人机交互的发展方向之一。在增强现实多人交互系统中,为了实现用户与虚拟交互对象的交互,系统为每一位用户分别建立虚拟化身,虚拟化身作为用户在系统中的代理,代替用户与虚拟交互对象实现交互,并完成交互任务。论文以作战训练为应用背景,基于虚拟化身运动建模技术对作战训练场景下的交互语义识别与交互意图理解开展了研究。通过分析人体骨骼结构与运动特性,建立层次化的虚拟化身骨骼模型。在虚拟化身姿态标定的同时采用骨骼长度推算算法,建立精准的虚拟化身模型。虚拟化身运动建模技术,主要通过基于惯性传感器的人体姿态感知和基于光学传感器的人体定位方法实现。在此基础上,采用了基于多空间位置约束的虚拟化身运动重定向算法,避免了虚拟化身运动失真现象的产生。针对增强现实场景中的作战训练交互,阐述了交互语义与交互意图定义,并对8种人体交互动作进行交互语义映射。为了识别作训人员交互动作,对人体交互动作数据进行采集与预处理,采用三层双向LSTM模型对其进行学习与识别。根据作训人员交互序列数据,基于由先验知识构建的经典贝叶斯网络,实现对作训人员交互意图进行理解。在此基础上...
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
增强现实作战训练图
硕士学位论文基于虚拟化身的增强现实交互技术研究及应用92.1.3多人交互系统体系架构针对增强现实多人交互系统架构进行研究，按照层次化设计，系统架构如下图2.2所示：业务层基础层平台层UnityAR单兵分系统仿真对抗分系统军事仿真平台QT虚拟兵力生成交互反馈动作捕捉姿态解算交互意图理解交互语义识别数据层NatNet虚实空间对准运动重定向算法姿态标定算法骨骼长度推算交互语义识别空间定位WindowsDelta3D分队战术训练应用层单兵技能训练交互意图理解图2.2增强现实多人交互系统架构图1.基础层基础层由操作系统、图形库、数据库等组成，本系统基于Windows操作系统构建。该层为系统提供基础支持框架，底层相关类库包含NatNetSDK、QT和Delta3D。NatNet是一个网络软件开发工具包，可用于跨网络接收NaturalPoint数据。它允许将实时或记录的动作捕捉数据从跟踪服务器（例如Motive）流式传输到各种客户端应用程序中。使用该SDK，可以开发自定义客户端应用程序，以接收包含实时跟踪信息的数据包，并将远程命令发送到连接的服务器。NatNet将UDP协议与点对点单播或IP多播结合使用，以发送和接收数据。具有6个方向自由度的刚体跟踪数据可以输出到文本，也可以通过自定义NatNet
硕士学位论文基于虚拟化身的增强现实交互技术研究及应用114.业务层业务层是在数据层和服务层的支撑下，由本项目研发的模型、软件或系统，包括增强现实单兵分系统、仿真对抗分系统、作战评估分系统和基础网络环境。5.应用层应用层支撑增强现实作战训练过程中的单兵技能训练和分队战术训练。单兵技能训练是单兵规模的仿真对抗，以训练单兵的各项战斗技能为目的；分队战术训练是分队规模的仿真对抗，以训练分队长战术布置和队员战术执行能力为目的。2.2系统主要硬件设备介绍本研究提出的增强现实多人交互系统硬件设备，如图2.3所示。本研究使用多套MEMS惯性传感器感知人体运动姿态。光学系统提供了人体的实时定位坐标，而不是原始视频数据，大大降低了计算的复杂性。PC端一方面实时接收解算惯性传感器与光学系统的数据，另一方面将人体交互动作映射为交互语义发送至HoloLens，完成作训人员与虚拟交互对象之间的语义交互。相机MEMS惯性传感器HoloLens虚拟交互对象光学标记点图2.3增强现实多人交互系统硬件设备示意图2.2.1MEMS惯性传感器人体动作捕捉根据工作原理分为机械电动式、声学式、光学式和电磁式。机械电动式通常体积较大且笨重，不满足灵活便捷要求；声学式动作捕捉系统存在较大延时和滞后，噪声干扰较大，要求声源与接收器之间没有障碍物；光
【参考文献】：
期刊论文
[1]基于协同LSTM神经网络的人体行为识别研究[J]. 朱连章,陈殿明,郭加树,张红霞. 计算机技术与发展. 2018(12)
[2]基于长短时记忆网络的人体姿态检测方法[J]. 郑毅,李凤,张丽,刘守印. 计算机应用. 2018(06)
[3]基于极性转移和双向LSTM的文本情感分析[J]. 陈葛恒. 信息技术. 2018(02)
[4]TensorFlow平台上基于LSTM神经网络的人体动作分类[J]. 杨煜,张炜. 智能计算机与应用. 2017(05)
[5]沉浸式分队战术训练仿真平台关键技术研究[J]. 张永亮,赵广超. 军事运筹与系统工程. 2017(01)
[6]国外军用训练模拟技术发展分析[J]. 田赤军,李艳雷,唐成,耿化品. 战术导弹技术. 2015(04)
[7]虚拟环境的用户意图捕获[J]. 程成,赵东坡,卢保安. 中国图象图形学报. 2015(02)
[8]中国成年人人体尺寸数据相关性研究[J]. 呼慧敏,晁储芝,赵朝义,张欣,冉令华. 人类工效学. 2014(03)
[9]用于战术意图识别的动态序列贝叶斯网络[J]. 葛顺,夏学知. 系统工程与电子技术. 2014(01)
[10]增强现实技术及其在军事装备和模拟训练中的应用研究[J]. 陈玉文. 系统仿真学报. 2013(S1)
博士论文
[1]面向操作指引的增强现实系统研究[D]. 谢天.浙江大学 2013
[2]目标导向的关节结构运动控制方法研究[D]. 胡利安.华中科技大学 2013
[3]基于语义关联模型的虚拟装配工艺规划支撑技术研究[D]. 朱洪敏.上海交通大学 2012
[4]基于语义交互和动态重构的兵棋推演系统概念框架及其关键技术研究[D]. 彭春光.国防科学技术大学 2010
[5]虚拟环境中基于语义的三维交互技术研究及应用[D]. 王亮.中国科学技术大学 2008
[6]面向人机工程仿真分析的人体生物力学模型[D]. 徐孟.浙江大学 2006
[7]基于多Agent的计算机生成兵力建模与仿真[D]. 尹全军.国防科学技术大学 2005
[8]基于角色和面向智能主体的协同虚拟环境的研究[D]. 余春艳.浙江大学 2004
[9]面向用户意图的智能人机交互[D]. 关志伟.中国科学院软件研究所 2001
硕士论文
[1]基于语义的用户意图领域多分类算法分析[D]. 姜超.武汉大学 2018
[2]面向设备作业虚拟仿真的人体动作和手势识别交互技术研究[D]. 朱幸尔.浙江大学 2018
[3]面向电子沙盘自然交互的人体运动跟踪系统[D]. 高杰.南京理工大学 2018
[4]航天测发任务中的人体运动跟踪及交互技术的研究[D]. 刘鹏.南京理工大学 2017
[5]面向航天测发任务的虚拟手交互技术研究[D]. 陈娜.南京理工大学 2017
[6]基于动作捕捉传感器的人体日常行为识别研究[D]. 张新荣.哈尔滨工业大学 2015
[7]基于惯性传感器的动作捕捉系统研究与设计[D]. 汪俊.中国科学技术大学 2015
[8]基于国际人体测量学数据的虚拟人建模技术研究[D]. 戚福洲.西南交通大学 2014
[9]虚拟地理环境中基于语义的三维交互技术研究[D]. 魏勇.解放军信息工程大学 2012
[10]面向低压配电仿真的虚拟化身技术的研究和实现[D]. 张萌.南京理工大学 2008
本文编号：3307826
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
增强现实作战训练图
硕士学位论文基于虚拟化身的增强现实交互技术研究及应用92.1.3多人交互系统体系架构针对增强现实多人交互系统架构进行研究，按照层次化设计，系统架构如下图2.2所示：业务层基础层平台层UnityAR单兵分系统仿真对抗分系统军事仿真平台QT虚拟兵力生成交互反馈动作捕捉姿态解算交互意图理解交互语义识别数据层NatNet虚实空间对准运动重定向算法姿态标定算法骨骼长度推算交互语义识别空间定位WindowsDelta3D分队战术训练应用层单兵技能训练交互意图理解图2.2增强现实多人交互系统架构图1.基础层基础层由操作系统、图形库、数据库等组成，本系统基于Windows操作系统构建。该层为系统提供基础支持框架，底层相关类库包含NatNetSDK、QT和Delta3D。NatNet是一个网络软件开发工具包，可用于跨网络接收NaturalPoint数据。它允许将实时或记录的动作捕捉数据从跟踪服务器（例如Motive）流式传输到各种客户端应用程序中。使用该SDK，可以开发自定义客户端应用程序，以接收包含实时跟踪信息的数据包，并将远程命令发送到连接的服务器。NatNet将UDP协议与点对点单播或IP多播结合使用，以发送和接收数据。具有6个方向自由度的刚体跟踪数据可以输出到文本，也可以通过自定义NatNet
硕士学位论文基于虚拟化身的增强现实交互技术研究及应用114.业务层业务层是在数据层和服务层的支撑下，由本项目研发的模型、软件或系统，包括增强现实单兵分系统、仿真对抗分系统、作战评估分系统和基础网络环境。5.应用层应用层支撑增强现实作战训练过程中的单兵技能训练和分队战术训练。单兵技能训练是单兵规模的仿真对抗，以训练单兵的各项战斗技能为目的；分队战术训练是分队规模的仿真对抗，以训练分队长战术布置和队员战术执行能力为目的。2.2系统主要硬件设备介绍本研究提出的增强现实多人交互系统硬件设备，如图2.3所示。本研究使用多套MEMS惯性传感器感知人体运动姿态。光学系统提供了人体的实时定位坐标，而不是原始视频数据，大大降低了计算的复杂性。PC端一方面实时接收解算惯性传感器与光学系统的数据，另一方面将人体交互动作映射为交互语义发送至HoloLens，完成作训人员与虚拟交互对象之间的语义交互。相机MEMS惯性传感器HoloLens虚拟交互对象光学标记点图2.3增强现实多人交互系统硬件设备示意图2.2.1MEMS惯性传感器人体动作捕捉根据工作原理分为机械电动式、声学式、光学式和电磁式。机械电动式通常体积较大且笨重，不满足灵活便捷要求；声学式动作捕捉系统存在较大延时和滞后，噪声干扰较大，要求声源与接收器之间没有障碍物；光
【参考文献】：
期刊论文
[1]基于协同LSTM神经网络的人体行为识别研究[J]. 朱连章,陈殿明,郭加树,张红霞. 计算机技术与发展. 2018(12)
[2]基于长短时记忆网络的人体姿态检测方法[J]. 郑毅,李凤,张丽,刘守印. 计算机应用. 2018(06)
[3]基于极性转移和双向LSTM的文本情感分析[J]. 陈葛恒. 信息技术. 2018(02)
[4]TensorFlow平台上基于LSTM神经网络的人体动作分类[J]. 杨煜,张炜. 智能计算机与应用. 2017(05)
[5]沉浸式分队战术训练仿真平台关键技术研究[J]. 张永亮,赵广超. 军事运筹与系统工程. 2017(01)
[6]国外军用训练模拟技术发展分析[J]. 田赤军,李艳雷,唐成,耿化品. 战术导弹技术. 2015(04)
[7]虚拟环境的用户意图捕获[J]. 程成,赵东坡,卢保安. 中国图象图形学报. 2015(02)
[8]中国成年人人体尺寸数据相关性研究[J]. 呼慧敏,晁储芝,赵朝义,张欣,冉令华. 人类工效学. 2014(03)
[9]用于战术意图识别的动态序列贝叶斯网络[J]. 葛顺,夏学知. 系统工程与电子技术. 2014(01)
[10]增强现实技术及其在军事装备和模拟训练中的应用研究[J]. 陈玉文. 系统仿真学报. 2013(S1)
博士论文
[1]面向操作指引的增强现实系统研究[D]. 谢天.浙江大学 2013
[2]目标导向的关节结构运动控制方法研究[D]. 胡利安.华中科技大学 2013
[3]基于语义关联模型的虚拟装配工艺规划支撑技术研究[D]. 朱洪敏.上海交通大学 2012
[4]基于语义交互和动态重构的兵棋推演系统概念框架及其关键技术研究[D]. 彭春光.国防科学技术大学 2010
[5]虚拟环境中基于语义的三维交互技术研究及应用[D]. 王亮.中国科学技术大学 2008
[6]面向人机工程仿真分析的人体生物力学模型[D]. 徐孟.浙江大学 2006
[7]基于多Agent的计算机生成兵力建模与仿真[D]. 尹全军.国防科学技术大学 2005
[8]基于角色和面向智能主体的协同虚拟环境的研究[D]. 余春艳.浙江大学 2004
[9]面向用户意图的智能人机交互[D]. 关志伟.中国科学院软件研究所 2001
硕士论文
[1]基于语义的用户意图领域多分类算法分析[D]. 姜超.武汉大学 2018
[2]面向设备作业虚拟仿真的人体动作和手势识别交互技术研究[D]. 朱幸尔.浙江大学 2018
[3]面向电子沙盘自然交互的人体运动跟踪系统[D]. 高杰.南京理工大学 2018
[4]航天测发任务中的人体运动跟踪及交互技术的研究[D]. 刘鹏.南京理工大学 2017
[5]面向航天测发任务的虚拟手交互技术研究[D]. 陈娜.南京理工大学 2017
[6]基于动作捕捉传感器的人体日常行为识别研究[D]. 张新荣.哈尔滨工业大学 2015
[7]基于惯性传感器的动作捕捉系统研究与设计[D]. 汪俊.中国科学技术大学 2015
[8]基于国际人体测量学数据的虚拟人建模技术研究[D]. 戚福洲.西南交通大学 2014
[9]虚拟地理环境中基于语义的三维交互技术研究[D]. 魏勇.解放军信息工程大学 2012
[10]面向低压配电仿真的虚拟化身技术的研究和实现[D]. 张萌.南京理工大学 2008
本文编号：3307826
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3307826.html
最近更新
教材专著
