基于声学感知的细粒度手势输入技术的研究

发布时间：2021-12-15 23:22

　　近年来,凭借新颖的功能和轻巧的外观,新型智能设备在我们日常生活中变得越来越流行。很多人开始使用它们来打电话、发信息甚至玩游戏。然而,正是因为其小巧的特性,也为人机交互特别是文本输入带来了挑战。尽管目前已经有很多方法被提出来解决这一问题,但是他们都有着不同方面的缺点,比如需要联网、易受环境噪音干扰、泄露用户隐私以及需要用户佩戴特定设备等。基于此,我们展开了基于声学感知的细粒度手势输入技术的研究,用户无需携带任何其他设备即可利用此技术在空气中书写,系统可以自动进行手指动作识别,进而完成文本输入。此技术突破了传统利用屏幕点按的交互方式限制,不受屏幕大小、用户差异、噪声干扰和网络状况的影响,只要设备配备了扬声器和麦克风即可使用。不同于此前的其他研究,此技术基于手指运动对声音影响的物理原理进行了建模,创新地利用信号处理和图像处理技术提取出每个手势的本质区别特征,因此不需要用户预先进行数据训练,减少了不必要的使用成本,提高了系统的可扩展性。同时我们设计了鲁棒的连续手势检测方法,可以有效地对抗环境干扰,系统在用户连续输入的情况下也可以精确地定位出手势信号的起点和终点。此外,我们还设计了基于贝叶斯推断... 

【文章来源】：深圳大学广东省

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

传统设备键盘输入示意图

基于声学感知的细粒度手势输入技术的研究3目前的人机交互技术主要有以下几类：1.2.1基于键盘触控的输入技术长期以来，传统个人电脑的操作交互和信息输入主要依靠键盘和鼠标来完成。随着触摸屏幕技术的普及，人们把键盘虚拟化为软键盘，并用触摸点按屏幕来代替鼠标，大大减小了设备的体积。因此屏幕触控与软键盘（虚拟键盘）逐渐成为了智能手机、平板电脑等移动智能设备最常用的交互和信息输入方式，如图1-1所示。然而，随着新型设备的进一步发展，它们的体积越来越小，对应地其屏幕的面积也越来越校比如华为智能手表HUAWEIWatch2的屏幕大小只有1.2英寸[29]，如图1-2所示。这些新型智能设备依旧延续了传统的交互模式，在系统里预装了软键盘。但是因为屏幕太小，在进行触控时指尖会同时触碰到多个按键，几乎无法使用。软键盘（特别是Qwerty全键盘）至少需要一定面积的屏幕才可以支持，否则会造成频繁的误触，使用效率就会明显下降。除此之外，大量的新型智能终端比如智能眼镜、智能手环以及头戴式智能设备（HMDs）等可穿戴设备往往并不配备屏幕，无法使用软键盘和触控点按来完成操作；智能空调、智能电视等智能家居由于其非移动的使用特点，不适合频繁地直接对其进行触控。图1-1传统设备键盘输入示意图图1-2HUAWEIWatch2及其屏幕键盘

基于声学感知的细粒度手势输入技术的研究41.2.2基于语音识别的输入技术语音识别相对于键盘输入具备非接触的优点，不需要很大的屏幕尺寸，逐渐替代键盘成为了新型智能设备的主要交互方式，很多公司的产品中都内置了语音助手，比如苹果公司的Siri[30]和微软的Cortana[31]已广泛应用在其生产的智能设备中（如图1-3所示）。语音助手可以通过分析用户语音中包含的指令来对设备进行控制与文本输入。随着自然语言处理与深度学习技术的发展，语音识别技术已经取得了很大的突破，“科大讯飞”等公司的语音识别技术已经达到了很高的准确率。但这种方法的缺点也是显而易见的。一方面为了提高识别率和实现深层次的语义理解，设备往往需要联网在云端计算再返回识别结果，这样在离线的情况下准确度便会降低。另一方面，语音很容易受到环境噪声的干扰，在嘈杂的环境（如地铁、车站等）中几乎无法使用。同时语音识别在公众场合中使用时很容易无意间泄露个人的敏感信息（如密码、地址以及联系方式等）。1.2.3基于射频信号的输入技术基于射频信号的输入技术主要基于Wi-Fi信号、射频识别（RFID）、超高频信号（如60GHz）[32]、可见光（Visiblelight）[16]等几类。图1-3Siri和Cortana图1-4基于Wi-Fi信号的输入技术


本文编号：3537333