基于声音侧信道的微手势识别方法研究

发布时间：2020-07-16 00:13

【摘要】：随着移动终端设备的普及,移动设备操作界面小,操作繁琐等问题亟待解决,如何高效地与移动设备交互越来越重要。手势作为一种人类通用的交互方式,可以在日常生活中直接清晰地表达人们的意图,已经成为人机交互界的热点。其中基于声音侧信道的手势识别技术由于其不需要额外设备和普适性等特点倍受关注。现有的基于声音侧信道的手势识别技术,需要检测多普勒频移用以识别不同的手势,但对于手势的幅度和速度均有一定要求。实际生活中,微手势更加符合人类使用习惯,但微手势由于其幅度小、反射能量微弱等问题,导致现有方法检测不到多普勒频移。因此,如何检测出如此微弱的频移以及在移动设备上对手势进行追踪与识别是极具挑战的课题。本文提出新的方法用以解决微手势能量微弱导致无法检测频移的问题,并在移动设备上构建新的物理映射模型用以追踪手势轨迹,本文主要研究内容和贡献包括。首先,提出一种无需额外设备的微手势识别系统,可以准确地跟踪和识别手指运动。为实现这一目标,通过在内置扬声器和麦克风之间建立声音侧信道链路,将智能手机等移动设备转换为主动式声纳系统。声音侧信道不会被人感知,对移动终端正常功能不会产生干扰,并且由于其波长短可以更显著的放大频移,所以本文采用声音侧信道用以感知手势运动。其次,由于反射能量微弱和手指移动速度慢,现有方法无法准确检测多普勒频移。为此,本文提出了一种微手势多普勒频移检测方法,它由两个步骤组成,第一步通过基于对称阈值方法检测频移事件,第二步通过基于傅里叶拟合方法检测频移数值。最后,在移动设备上提出了物理映射模型用以追踪手势轨迹,并且对粒子滤波方法进行简化,模拟手势初始位置。获得手势轨迹之后,引入Canny算法和Hu-moment特征算法对手势轨迹进行特征提取,匹配最终手势结果。通过实验证明本文的微手势识别系统在动态环境中的高精度和鲁棒性。
【学位授予单位】：燕山大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.3
【图文】：

声音,信道

侧信道通信周知，人类声音的一般频率带宽为 50Hz~11kHz，人类耳朵对于声0Hz~20kHz[39]。为了支持各种基于音频的应用，例如语音交互，商盖从 20Hz 到 20kHz 的整个频率带宽。因此，所有商业移动设备均率低于 20 kHz 的声波信号。实际上，大多数商业移动设备使用低直接切断超过 20kHz 的声音信号。人类年龄的增长，对于声波的分辨率也会降低，17KHz 以下的声如图 2-1 所示，声音侧信道的带宽分布在 17KHz 至 20KHz，在这声波只会被一部分的婴儿和宠物所感知，对于成年人没有任何影映出这个范围之内的信道几乎不会被商业设备用到，因为使用者声音，并且现有的音乐所播放的频率范围也远远低于这个声音侧

多普勒频移,示例,声波信号

receiversource ，这个变化的值 f 就是物理现象所展示的多普source v是移动源相对于观察源的径向速度变化，wavev 则是声波即 340m/s。sourcef 则是扬声器发送声音的频率。，扬声器和麦克风均处于静止不动的状态。不断移动的是使用气和手机机身传播的大部分声波信号不会受到手指动作影响移动导致的频移信号会与未受影响的声波信号混叠。这类多2-11)计算。fvvvvsoundradsoundradsoundreceivedf1/1/ 示的是手部相对于麦克风的径向移动速度，如图 2-3 b)和 c)所移动或者做不同的手势会呈现不同的多普勒频移，系统可以移用以计算手指所做动作的轨迹。

手势,频移,不同速度

第 2 章声音侧信道及其信号处理2.4.2 频域特征检测现有的多普勒频移检测方法，首先对原始信号处理完之后，再进行短时傅里叶变换得到频域上的信号频谱特征。然后，通过检测频谱特征确定频移事件的发生。假如扬声器同时只发送了一个周期性的信号，并没有混杂其他频率，或者同时发送的信号频率间隔较大，如图 2-4 蓝色线所示。

【相似文献】