用于悬浮显示的手势交互系统设计与实现

发布时间：2020-08-09 05:06

【摘要】：悬浮显示是一种新的无介质空气成像三维显示技术,这种新的显示方式效果十分震撼,拥有广泛的应用前景,然而传统的人机交互方案已经不在适用于这种新的显示技术。针对这一现状,本论文设计并实现了一种用于悬浮显示的手势交互系统。该系统能够识别用户的手势,并通过手势进行交互,为悬浮显示提供了一种自然、友好的人机交互方案。论文的主要研究内容和创新点如下:1)利用Leap Motion控制器实现了三维自由手势识别,分析了自由手势交互和手势分类等问题,对常用交互手势做出了定义,并且可以通过接口扩展新的手势。2)建立了Leap Motion交互空间和悬浮显示空间的映射关系,并且可以通过配置参数来适应各种悬浮设备。3)为悬浮显示实现了手势交互系统,该系统提供了一种自然的人机交互方式,实现了6 DOF三维自由手势交互和GUI手势交互。使用者可以利用熟悉的手势进行人机交互,而不必操作任何手持设备,提高了交互体验。4)在Unity3D平台中为手势交互实现了事件系统,使得手势交互系统可以兼容Unity3D的UGUI,让基于手势交互的应用开发变得更加方便和简单。本论文的研究成果为悬浮显示的人机交互提供了解决方案,解决了悬浮显示的人机交互难题,具有实际工程意义。文中对自由手势识别的研究为自然人机交互提供了理论依据,丰富了自然人机交互的研究成果。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP212.9;TN27
【图文】：

示意图,手势识别,示意图

行人机交互的新方案，文献｜１Ｇ］则将数据手套应用到了三维虚拟环境交互当中。逡逑基于生物传感器的手势识别设备通过ｓＥＭＧ邋（表面肌电信号）ｌｎ，１２Ｉ原理来实逡逑现手势识别。如图１－１所示，当人的手指运动时，会牵动小臂肌肉的收缩与舒张，逡逑从而导致小臂肌肉的肌电变化，通过生物传感器捕捉这一肌电信号的变化就可以逡逑计算出手的状态和手指的运动过程［｜３，１４］。２０１３年Ｔｈａｌｍｉｃ实验室发明Ｍｙｏ［１５’１６］逡逑臂环，内置肌肉运动传感器，可以检测小臂表面肌电信号并转换成其他电子设备逡逑可以识别的信号，并通过蓝牙传输，在无人机控制和医疗等方面取得了广泛应用。逡逑国内的比奇创新最新发布的ＤＴｉｎｇ臂环通过八通道电极片采集手臂肌电信号来逡逑识别手指和手腕的状态，同时增加了陀螺仪采集手势的动态数据，并通过蓝牙将逡逑结果发送给其他设备。广泛应用于ＶＲ，机器人控制，桌面手势操控，智能电视逡逑等领域。基于ｓＥＭＧ的手势识别的一项非常重要的应用是在医学领域，利用表面逡逑肌电信号实现手势识别

原理图,逆反射,原理

逆反射悬浮成像的原理是利川逆反射屏进行悬浮成像。逆反射屏足－种特殊逡逑的反射平面，根据光线反射定理，在光滑平而上光线的入射方向和反射方向是对逡逑称的。而逆反射屏可以将光线沿着入射方向进行反射，如图２－１邋（ａ）所示，因此逡逑得名逆反射屏。利用逆反射诉和中．向投射屏，可以将显示器的图像投影到空气屮，逡逑使观看者产生图像悬浮于空中的感觉，逆反射成像原理如图２－１邋（ｂ）所示。逡逑单向投射屏逡逑＼逦／邋ｙ逦漂浮阁像＾逡逑＼逦／逦＂＼逦逦逦７＾４＝逆反射屏逡逑反射屏逦逆反射屏逦－．．．．．Ｉ－１逡逑品示屏逡逑（ａ）逆反射屏逦（ｂ）逆反射悬浮成像逡逑图２－丨逆反射悬浮成俅原理逡逑基于逆反射原理的悬浮显示有两个不足之处：一是悬浮图像的大小和位置会逡逑随着观看者距离屏幕的远近和观看角度而发生变化，站在最佳观察距离范围内才逡逑能获得最好的观看体验；二是逆反射结构并不像理想中那样完全逆向的反射光线，逡逑事实上现实中的逆反射结构往往都会产生杂散光，杂散光越强烈，对悬浮图像清逡逑７逡逑

影像,成像原理,光线,积分

中一个点发出的光线经过连续反射和折射后在空间中的另一点重新汇聚成该点，逡逑从而在空间中的另一个地方重现原来的图像，实现悬浮成像，光线积分成像原理逡逑如图２－２所示。逡逑悬浮影像逦；逡逑图２－２光线积分成像原理逡逑悬浮显示器一般由显示屏、光学元件、玻璃盖板、机柜等组成，为了减少环逡逑境光线干扰，提高清晰度，玻璃盖板一般选用深色玻璃，机柜也做了密封处理，逡逑机柜的材质为亚克力板，在屏幕前方留有Ｌｅａｐ邋Ｍｏｔｉｏｎ的安装孔位。相比于普通逡逑的二维显示，悬浮显示技术能够在空气中成像，视觉效果十分震撼。与光场成像逡逑三维显示技术相比，悬浮成像不会损失图像分辨率。其他三维显示技术如旋转三逡逑维成像或全息金字塔等，用户都不能触摸到图像，而在悬浮显示成像中，用户可逡逑以亲手触摸到图像，非常安全。相比于ＶＲ，悬浮显示成像是真实的，而且用户逡逑不需要佩戴任何头戴设备

【相似文献】