显示表面上多触点手势研究

发布时间：2020-08-22 15:58

【摘要】：多触点交互是一种新型的触摸交互方式,允许用户在显示表面上使用一个或多个手指(或其它指点方式,如光笔)同时通过触摸操作显示对象。多触点交互增加了输入信道带宽和自由度,不但具有传统触摸交互的直接操纵的特点,还能够通过语义更丰富的多触点手势提供自然、高效、直观的交互方式。本文围绕多触点交互展开研究,以多触点手势的识别与理解为主要研究内容,取得了以下研究成果: 1.提出了一套基于多模态交互原语的手势理解模型。通过分析显示表面上多触点手势交互的特点,总结了多触点手势理解过程中的关键问题。在此基础上,本文建立了手势理解模型,对多触点输入按照从“触点”、“轨迹”、“轨迹组”、“手势”到“命令”的递进层次进行抽象归纳,为手势引擎的设计与实现提供理论依据。 2.设计实现了多触点手势引擎uGesture。该引擎对底层硬件提供的触点轨迹信息进行分析识别,将其转换为面向应用的具有交互语义的手势命令。uGesture能够简化多触点交互应用的开发,鼓励代码重用,并通过系统级的规范,使应用程序具有统一的交互风格。论文对多触点手势理解中的关键问题,包括可扩展手势集、并发输入支持、用户身份绑定、二义性冲突消解、操作朝向表示等方面进行了深入研究,弥补了同类工作的不足。 3.在大幅面多用户交互桌面系统uTable上,基于多触点手势引擎uGesture开发了四个典型验证应用: WIMP系统鼠标模拟、基于手势的游戏控制、交互绘画艺术教育系统和虚拟沙盘系统,全面展现了显示表面多触点手势交互的效能,并验证了利用uGesture开发交互程序带来的便捷性。
【学位授予单位】：清华大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP334.3
【图文】：

事件序列

2章相关研究图2.3 iPhone的触摸事件序列是固定的，但实际上在不同的输入状态下不同按键接受触摸的区域大小是不同的。当用户已经输入“tsinghu”的情况下，基于语言模型，下一个字母是“a”的概率要大于“s”的概率，因此字母“a”键的实际交互面积会自动调整到比其周围按键稍大，从而提高了用户输入的准确率。由于iPhone屏幕尺寸的限制，其上的手势设计都比较简单[44]且为单用户（手机是个人设备）。因而系统提供的手势识别功能非常弱，除了双击操作可以通过点击计数进行判断外，iPhone不提供其它手势的识别

输入信号,触点,物体识别,形状

Surface除了可以获得触点位置信息外，还可得到触点形状、方向等丰富信息（见图2.4）。此外，Surface还支持基于标签(tag)和接触面形状(blob)的物体识别。图2.4 Microsoft Surface的输入信号Surface的开发环境基于Windows Vista和WPF，并提供一套为多触点交互17

输入处理,核心层,编程接口,手势

(Manipulation events)。图2.5 Microsoft Surface核心层编程接口的输入处理结构在核心层，系统仅提供旋转(Rotate)、缩放(Scale)、移动(Translate)三种手势的识别功能。展示层 (Presentation Layer) 接口: 以控件的形式提供手势支持，控件自动对在其上操作的手势进行处理，并触发相应事件。除核心层提供的三种手势外，一些控件还对拖动(Drag)、扔(Flick)、移动(Move)进行响应。无论采用哪种方式，系统手势集合均无法进行扩展。Surface硬件和底层算法提供了高质量的输入信息，开发者可获得比其它平台更丰富的触点信息，甚至可以直接获得摄像头采集到的原始图像，但其开发工具对输入的高层语义挖掘不够深入

【共引文献】