面向非特定人的中国手语词识别研究

发布时间：2023-01-12 18:21

　　手语是听障人群的日常交流方式。手语识别将手语翻译成文本或语音进行输出,极大地促进了聋哑人群与其他人群之间的交流。同时,手语识别是人机交互系统发展的一个重要领域,在智能交互时代具有重要的现实意义。因此,本文针对非特定人的中国手语词识别研究不仅具有丰富的理论意义,而且拥有广阔的应用前景。首先,阐述了手语识别技术的国内外研究现状,介绍了卷积神经网络（Convolutional Neural Network,CNN）和循环神经网络（Recurrent Neural Network,RNN）的理论基础,研究了基于深度学习的手语识别方法,并设计了基于深度学习的手语识别系统。其次,针对手语识别中存在手语词间的混淆干扰、时空关联性不强的问题,本文提出一种基于长短期时空特征的手语词识别方法。该方法首先将手语数据进行预处理,然后将残差结构引入到三维卷积神经网络（Three Dimension Convolutional Neural Network,3DCNN）中提取手语序列的短期时空特征,接着利用卷积长短时记忆（Convolutional Long Short Term Memory,ConvLSTM）... 

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
注释表
第1章 绪论
    1.1 课题研究背景及意义
    1.2 国内外研究现状
    1.3 技术研究难点
    1.4 主要研究内容
    1.5 章节安排
第2章 基于深度学习的手语识别理论基础与系统设计
    2.1 卷积神经网络
        2.1.1 网络特点
        2.1.2 网络层
    2.2 循环神经网络
        2.2.1 网络特点
        2.2.2 网络原理
        2.2.3 基本类型
    2.3 手语识别的研究与系统设计
        2.3.1 基于3DCNN的手语识别研究
        2.3.2 基于CNN-RNN的手语识别研究
        2.3.3 手语识别系统的总体框架设计
    2.4 本章小结
第3章 基于长短期时空特征的手语词识别
    3.1 模型框架
    3.2 预处理
    3.3 特征提取
        3.3.1 残差网络
        3.3.2 深度残差三维卷积神经网络
    3.4 时序建模
        3.4.1 LSTM网络
        3.4.2 ConvLSTM网络
    3.5 手语分类器
    3.6 模型的训练
    3.7 实验结果与分析
        3.7.1 实验数据
        3.7.2 参数设置
        3.7.3 实验结果分析
    3.8 本章小结
第4章 基于时空注意力的手语词识别
    4.1 模型框架
    4.2 注意力机制概述
        4.2.1 注意力机制的应用
        4.2.2 注意力机制原理
    4.3 基于时空注意力的手语词识别
        4.3.1 空间注意力网络
        4.3.2 时间注意力网络
        4.3.3 模型的训练
    4.4 实验结果与分析
        4.4.1 准确性分析
        4.4.2 可视化分析
    4.5 本章小结
第5章 中国手语词识别系统实现与分析
    5.1 中国手语词识别系统总体框架
    5.2 中国手语词识别系统平台搭建
        5.2.1 硬件设备
        5.2.2 软件平台
    5.3 实验分析
        5.3.1 自制数据集
        5.3.2 迁移学习
        5.3.3 特定人与非特定人实验
        5.3.4 功能测试
    5.4 本章小结
第6章 总结与展望
    6.1 全文工作总结
    6.2 展望
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果


【参考文献】：
期刊论文
[1]我国手语使用状况的调查研究[J]. 刘艳虹,顾定倩,程黎,魏丹.  语言文字应用. 2013(02)
[2]基于SRN/HMM的非特定人连续手语识别系统[J]. 方高林,高文,陈熙霖,王春立,马继勇.  软件学报. 2002(11)

硕士论文
[1]基于Kinect的非特定人连续中国手语识别[D]. 冯欣.山东大学 2018



本文编号：3730267