基于跨模态深度学习的可穿戴设备手势识别方法设计与实现

发布时间：2023-04-01 02:41

　　近年来,智能手表等可穿戴设备的快速发展催生了一系列新型的应用,提高了人们的生活质量,例如在健康领域已经有了运动计步、心率监测和睡眠监测等应用,人们的生活与可穿戴设备越来越密不可分。常见的与可穿戴设备进行交互的方式有两种,一种是通过触摸屏幕进行交互,另一种是通过语音进行交互。基于触摸屏的交互方式存在一些问题,例如触摸屏的尺寸较小,用户不但容易按错还可能会出现视觉疲劳。基于语音的交互方式也存在一些问题,例如使用场景限制、环境噪声干扰和缺乏隐私保护等。为此,本文提出了一种新型可穿戴的设备手势识别方法AirGesture用于实现手势交互,有效解决了触摸屏交互和语音交互的问题,改善了用户与可穿戴设备的交互体验。主要贡献包括如下三个部分:(1)本文提出了一种基于跨模态深度学习的动态手势信号转换方法。通过卷积神经网络将手势动作产生的惯性传感数据(加速度、角速度)转换为手势轨迹数据(目标点的时序位置坐标),实现对动态手势轨迹的跨模态追踪。该方法可以应用于在人机交互过程中需要对手势轨迹进行追踪的场景。(2)针对需要对动态手势进行分类的情况,本文提出了一种基于多模态深度学习的动态手势信号分类方法。在对手势...

【文章页数】：88 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 研究现状及存在问题
    1.3 研究内容及主要贡献
        1.3.1 研究内容
        1.3.2 主要贡献
    1.4 本文结构和组织
    1.5 本章小结
第2章 相关工作
    2.1 手势识别方法
        2.1.1 基于视觉的手势识别方法
        2.1.2 基于无线信号的手势识别方法
        2.1.3 基于超声波的手势识别方法
        2.1.4 基于惯性传感数据的手势识别方法
    2.2 跨模态深度学习
    2.3 本章小结
第3章 基于跨模态深度学习的动态手势识别方法设计
    3.1 AirGesture系统框架
    3.2 数据预处理模块设计
    3.3 手势轨迹追踪模块设计
        3.3.1 关键关节点位置计算
        3.3.2 手势轨迹推导
    3.4 手势轨迹分类模块设计
        3.4.1 手势类别概率计算
        3.4.2 手势类别概率校准
    3.5 手势解析模块设计
    3.6 本章小结
第4章 基于跨模态深度学习的动态手势识别方法实现
    4.1 AirText系统框架
    4.2 手势识别
        4.2.1 数据预处理模块实现
        4.2.2 食指轨迹追踪模块实现
        4.2.3 字母类别估计模块实现
    4.3 单词推荐
        4.3.1 候选单词搜索
        4.3.2 候选单词排序
    4.4 本章小结
第5章 实验评估
    5.1 实验环境
    5.2 数据采集
    5.3 评估指标
        5.3.1 单词错误率
        5.3.2 字母错误率
        5.3.3 文本输入速度
    5.4 实验结果
        5.4.1 轨迹追踪精度对比
        5.4.2 手势分类准确率对比
        5.4.3 不同输入法单词错误率对比
        5.4.4 AirText通用性分析
        5.4.5 AirText性能增益分析
        5.4.6 AirText鲁棒性分析
        5.4.7 AirText时延与能耗分析
    5.5 本章小结
第6章 总结与展望
    6.1 工作总结
    6.2 未来展望
参考文献
攻读硕士学位期间主要的研究成果
致谢



本文编号：3776297