基于多点触摸系统的手势库架构研究

发布时间：2020-06-28 14:40

【摘要】：当今多点触摸设备尤其是输入输出一体的多点触摸屏幕已经成为新一代计算机输入设备发展的趋势。多点触摸系统旨在于克服传统单点触摸设备的劣势,使输入过程更加多样化、人性化,更加符合人手自然的操作习惯以及降低对复杂操作进行快捷键记忆的难度。要达到这一目的,除了需要多点触摸硬件支持以外,可能还要有具有相当鲁棒性、扩展性、符合人机特性的手势库支持。设计这样的手势库需要有两方面的支持:一方面需要一个能够反映手势库开发过程中实现层面需求的手势库分类作为架构的基础,另一方面又需要一个对所开发的手势库进行可用性验证的测试方法。为此,本文结合了基于用户定义的手势库分类方式,归纳并提出了一个与手势库的实现相适应的方法——基于实现的综合分类法,同时通过这个分类方法指导设计了基于ActionScript 3.0和XNA开发平台的手势库实现方案与流程。为了验证手势库的可用性并探讨适合进行手势库可用性测试的方法,本文为一个在3D交互式场景中应用的多点触摸手势库设计了一系列测试任务,通过进行对参试者的完成任务的情况进行观察、记录、分析和讨论,得出对手势库进行综合可用性评估的结论,并期望对今后手势库的开发和改进起到促进作用。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP334.3
【图文】：

工作模型,来源,图片,多点

图 3-2 TUIO 协议的工作模型（图片来源：www.tuio.org）它主要包含了一组通用的协议（即 TUIO 协议）和相关的 API。TUIO 协议是一个建立在 UDP 通信基础上的简单协议，通过 TUIO 协议可以对触摸屏交互情况进行描述，包括对触摸事件和触摸对象的状态。TUIO 协议对这些控制数据进行编码，由基于计算机视觉的追踪应用程序发送到各客户端，由各客户端对协议数据进行解码。由于多点触摸信号在系统中主要通过 TCP 协议来传输，因此要使用TUIO 协议一般还需要配合一个 UDP 与 TCP 协议相互转换的桥梁： OSC（OpeningSound Control）,OSC 不仅是可以控制音乐设备，还可以用于一切实现它的平台。TUIO 应用非常广泛，NUI group 的 Community Core Vision 就是一个典型的应用TUIO 协议的多点触摸捕捉程序。为了方便使用，Community Core Vision 也内置了 OSC。除了 TUIO 协议以外，TUIO 还包含了一个辅助多点触摸应用开发的 API，这

【参考文献】