基于优化查询的手部交互技术研究

发布时间：2020-10-29 14:31

　　 基于虚拟现实的飞行模拟器通过软件构建不同机型驾驶舱虚拟环境实现一个训练平台完成多种飞行任务的训练,使用、维护成本低。该类模拟机驾驶舱中采用虚拟头盔显示视景,由于虚拟头盔对外界视觉的阻隔,手部交互受到阻碍,成为制约基于虚拟现实模拟器发展的瓶颈问题。在人机交互技术领域,基于视觉的手部交互技术凭借其良好的舒适性和自然性被广泛研究和应用。但基于视觉的方法容易受到外部环境和自身因素的干扰,影响交互过程的性能。本文主要研究交互过程中的手部跟踪和手势识别,通过分析交互过程中的特点以及存在的问题,提出一种基于优化查询的手部交互技术来提高跟踪和识别过程的鲁棒性。手部跟踪属于目标跟踪研究的范畴,跟踪环境的复杂性和目标变化的多样性给稳定、实时的跟踪带来了诸多挑战。本文在相关滤波框架下提出一种基于多特征优化查询的目标跟踪算法。利用多源特征训练滤波器,提高对环境和自身变化的适应性。对多个滤波响应结果,提出使用Pareto-Optimality优化查询方法对结果进行融合,得到最优跟踪结果。同时针对跟踪器可能出现的错误,提出一种基于关键点匹配的目标重检测机制。结合实时更新的融合时空信息的关键点数据库,在判断跟踪失败的情况下对目标进行全局检测并对跟踪结果进行纠正,防止错误在滤波跟踪模型中的积累。与多种跟踪算法在多种属性场景下的对比实验验证了本文跟踪算法的鲁棒性。手势识别的过程中,由于人手自由度高,手势在单视点下容易出现自遮挡或者同一手势变体之间差异过大的问题,给准确识别手势带来困难。因此本文提出一种以深度学习网络为基础的正交双视点手势识别框架。利用深度网络提取特征,并提出一种降维融合方法将网络提取的浅层和深层卷积特征结合起来,提高特征鲁棒性。同时分别对两个视点下的手势图像进行识别得到分类概率向量,再结合Pareto-Optimality方法对分类结果进行优化,得到最终的识别结果。实验证明,融合多层的卷积特征和双视点识别框架能有效提高手势识别准确率。
【学位单位】：南京航空航天大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：V216.7;TP391.9
【部分图文】：

第二章 基于优化查询的手部交互总体框架手部交互过程特点分析文研究内容主要包括手部跟踪和手势识别两大部分。其中手部跟踪属于目标跟觉的跟踪方法容易受环境变化、目标自身变化、设备性能等多方面影响，同时要考虑算法速度等实际问题。而手势识别属于目标识别领域，由于人手的灵活体较多，增加了识别难度。手部跟踪过程特点及问题标跟踪是针对运动的物体在视频序列中，根据目标初始化信息对后续的每一帧推断的过程。其任务是在视频中的每一帧都定位出所跟踪对象位置并提供完整广泛地应用在军事和民用领域，如无人飞行器、精确制导、智能交通系统、人机交实等。本文研究的手部跟踪是目标跟踪在实际场景中的应用，同不断推陈出新方法一样，手部跟踪始终面对着跟踪鲁棒性和实时性这两大挑战。

图 2. 2 单一视点下手势自遮挡导致的“同形异构”现象导致的不同手势形状外观接近，增加识别困难外，同一不用角度的条件下采集的图像也会存在很大差异。图 现的差异。图 2. 3 同一手势不同角度下的形态变化自由度，能在空间一定范围内旋转。上图中是同一手势度旋转所采集的图像序列。可以看到手势在连续旋转的角度不断累积，可能会导致同一手势的二维图像存在巨的手势图像所示。这同样给手势的准确识别带来了不小架总体设计

图 2. 2 单一视点下手势自遮挡导致的“同形异构”现象自遮挡导致的不同手势形状外观接近，增加识别困难外，同一种手势者或者不用角度的条件下采集的图像也会存在很大差异。图 2.3 对比度下呈现的差异。图 2. 3 同一手势不同角度下的形态变化很高的自由度，能在空间一定范围内旋转。上图中是同一手势绕三维相同角度旋转所采集的图像序列。可以看到手势在连续旋转的过程中当旋转角度不断累积，可能会导致同一手势的二维图像存在巨大的差束时的手势图像所示。这同样给手势的准确识别带来了不小的挑战互框架总体设计
【相似文献】

相关期刊论文 前10条

1 穆宝良;王利;;计算机视觉下的实时手势识别技术及其应用[J];科学技术创新;2019年35期

2 翟朋辉;王静怡;;一种简易手势识别装置[J];山东工业技术;2019年12期

3 惠丹;;基于深度学习算法的可穿戴设备手势识别系统设计[J];信息技术与网络安全;2019年09期

4 杨蕊;米文辉;;手势识别装置的设计与实现[J];信息与电脑(理论版);2019年18期

5 钟习;陈益强;于汉超;杨晓东;胡子昂;;融合情境感知信息的超声波手势识别方法[J];计算机辅助设计与图形学学报;2018年01期

6 王健;朱恩成;黄四牛;任华;;基于深度学习的动态手势识别方法[J];计算机仿真;2018年02期

7 杨欣怡;李双;;基于手势识别的智能电视交互专利技术综述[J];科技创新与应用;2018年24期

8 宋昆哲;闫晓虎;田乐;王奇俊;刘珂;;基于多点特征提取的手势识别的研究[J];科技创新与应用;2018年25期

9 丁伟利;胡艳玲;申亚辉;刘洪海;;基于虚拟试验箱的康复手势识别算法研究[J];高技术通讯;2017年03期

10 袁博;查晨东;;手势识别技术发展现状与展望[J];科学技术创新;2018年32期

相关博士学位论文 前10条

1 徐军;基于计算机视觉的手势识别及人机交互技术的应用研究[D];东南大学;2018年

2 佴威至;手势交互中的手势识别算法及交互参数研究[D];北京理工大学;2017年

3 Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年

4 卫文韬;肌电手势识别中的多流融合和多视图深度学习方法研究[D];浙江大学;2018年

5 周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年

6 顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年

7 万军;动态手势识别中的时空特征表示和字典优化研究[D];北京交通大学;2014年

8 成可立;数据驱动的虚拟试衣系统若干关键技术研究[D];浙江大学;2016年

9 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年

10 覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年

相关硕士学位论文 前10条

1 金珂;基于深度信息的复杂场景下手势识别关键技术研究[D];上海交通大学;2018年

2 郭锦辉;手势识别及其在人机交互系统中的应用[D];华南理工大学;2019年

3 代雨锟;基于可穿戴数据手套的手势识别方法研究[D];华南理工大学;2019年

4 王宇杰;基于MEMS-IMU的手势识别[D];哈尔滨工业大学;2019年

5 王威;智能试衣镜关键技术研究[D];华侨大学;2018年

6 罗昆;基于神经网络的交警动态手势识别方法研究与实现[D];东华理工大学;2019年

7 杨刚;基于Wi-Fi的手部动作识别算法研究[D];西北大学;2019年

8 刘峰;手势识别毫米波雷达硬件的设计与实现[D];重庆邮电大学;2018年

9 袁菲;基于Kinect的手势识别系统设计与应用[D];西安科技大学;2018年

10 张雅琪;基于Kinect的手势识别研究及应用[D];电子科技大学;2019年

本文编号：2861034