虚拟环境中自然交互技术的研究及其应用

发布时间：2021-09-07 19:59

　　随着人机交互、虚拟现实、增强现实和物联网等新技术的出现,传统鼠标和键盘在这些情况下无法满足交互需求。这些新技术的应用环境特征更偏向用户与系统使用简单和高效的自然交互。目前人机自然交互技术主要存在高效的自然交互、用户在场景中的移动与导航、多模态协同交互等关键技术问题。基于计算机视觉的手势、姿势、人脸等识别与交互是自然交互技术的研究热点,本文提出基于深度神经网络的手势识别技术解决自然手势交互问题;提出基于HOG和SVM算法的人脸识别技术与基于Kinect的姿势检测解决自然移动与导航问题;在Unity3D与C#的开发环境下,设计并实现了虚拟现实环境下的自然交互系统;最后通过虚拟空间配置的应用论证了本文所提出的技术方案。本文具体包括以下四方面的工作。（1）采用Kinect Studio录制手势、姿势样本,采集的样本在Visual Gesture Builder（VGB）中进行训练,完成手势和姿势的检测并将其应用于虚拟环境的交互和导航;基于深度神经网络利用Object detection API在Pycharm中完成手势的训练,然后将其检测结果应用于虚拟空间配置中与家具的自然交互,提高了手势识别... 

【文章来源】：广东工业大学广东省

【文章页数】：88 页

【学位级别】：硕士

【部分图文】：

D空间Fig.2-23Dspace

图 2-2 3D 空间Fig.2-2 3D space首先选择所需数据流，从原始数据中产生的数据流是深度、红外数据以及身体身。然后录制剪辑，以抓取手势为例，站在合适的位置匀速做抓取动作，本文抓手势每个剪辑做 5 组（图 2-3 a））。录制完毕可在 Play 界面回放（图 2-3 b））。

图 2-4 格式转换Fig.2-4 Format conversion.2.2 基于 Visual Gesture Builder 的手势训练本文采用 Visual Gesture Builder 实现手势训练，其动作识别依托于 Adabo法，通过样本训练得到手势的分类器和特征集，并以此为基础识别出人体动作训练和识别框架如图 2-5 所示。生成弱分类器生成若分类器集获取手势特征集分割数据

【参考文献】：
期刊论文
[1]基于HMM的虚拟场景控制手势识别研究[J]. 张玉军,孟晓军,白漫涛.  电子设计工程. 2018(24)
[2]多通道融合的虚拟实验环境设计[J]. 张硕,杨贤,何汉武.  实验室研究与探索. 2018(12)
[3]基于手势识别的智能家居系统[J]. 任小康,葛化亚,丁星,李道全.  电脑知识与技术. 2018(27)
[4]新一代人机交互:自然用户界面的现状、类型与教育应用探究——兼对脑机接口技术的初步展望[J]. 徐振国,陈秋惠,张冠文.  远程教育杂志. 2018(04)
[5]基于计算机视觉的手势识别人机交互技术[J]. 杨益平,闵啸.  电子技术与软件工程. 2018(12)
[6]基于神经网络及虚拟现实技术的智能手势识别研究[J]. 刘敏.  长春师范大学学报. 2018(06)
[7]基于Kinect的动态手势识别[J]. 王兵,董洪伟,张明敏,潘志庚.  传感器与微系统. 2018(02)
[8]仿生机械灵巧手的手指设计[J]. 马翔宇,杨武成,李阿为.  重庆理工大学学报(自然科学). 2017(11)
[9]支持自然交互的虚拟跑步机系统的设计和实现[J]. 潘志庚,刘从晋,葛莹莹,袁庆曙.  系统仿真学报. 2017(11)
[10]GL-RBF优化的数据手套手势识别算法[J]. 李东洁,李洋洋,杨柳.  哈尔滨理工大学学报. 2017(04)

博士论文
[1]虚拟现实自然交互环境下用户认知的数学表达及其可视化评估[D]. 杨贤.广东工业大学 2018



本文编号：3390164