基于Kinect的动态中国手语识别

发布时间：2022-11-07 18:58

　　听障人士占我国人口总数的5%,手语对他们来说是交流情感不可或缺的一种语言。但未学习过手语的人无法理解手语的含义,限制了听障人士走出家门、与人交谈的机会,因此对动态中国手语词汇进行识别和理解有助于为听障人士搭建无障碍交流平台,对社会文明进步有着重要意义和应用价值。手语分为静态手语和动态手语,与静态手语相比,动态手语具有手部轨迹运动和手型变化的特点。本文利用Kinect传感器作为硬件采集平台对动态中国手语词汇的识别进行研究,借助Kinect获取彩色图像、深度图像以及骨骼点跟踪,设计了一种利用运动轨迹和手型变化相结合的手语识别方案。本文首先给出一种结合卡尔曼滤波与区域生长法的改进手部跟踪与分割算法,根据手部骨骼点坐标自适应地截取包含部分手和背景的区域,并统计该区域的深度直方图。选取直方图中靠近摄像头的点作为区域生长种子点,得到同时符合肤色区域和深度值的手部区域。对分割区域应用距离变换得到手心坐标,并将其作为卡尔曼滤波跟踪的测量值,对跟踪骨骼点坐标重新校正。当双手出现相互遮挡的情况时,利用多目标椭圆拟合假设区分双手的跟踪点,最终实现手部区域的准确跟踪与精准分割。然后对手部运动轨迹进行归一化处理... 

【文章页数】：89 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 目前存在的问题
    1.4 论文的主要研究内容和章节安排
        1.4.1 论文的主要研究内容
        1.4.2 论文的章节安排
2 手部区域的分割与跟踪
    2.1 手部区域分割方法
        2.1.1 基于肤色的分割
        2.1.2 基于深度信息的分割
        2.1.3 彩色与深度摄像头定标
        2.1.4 结合肤色和深度信息的分割
    2.2 手部区域跟踪方法
        2.2.1 基于目标模型建模法跟踪
        2.2.2 相关滤波法跟踪
        2.2.3 基于搜索法跟踪
    2.3 卡尔曼滤波与区域生长法结合的手部改进跟踪算法
        2.3.1 卡尔曼滤波跟踪
        2.3.2 改进的结合区域生长法分割结果的卡尔曼滤波跟踪
        2.3.3 当双手接触和遮挡时的跟踪点预测
    2.4 实验结果与分析
    2.5 本章小结
3 基于轨迹的手语识别
    3.1 数据集简介
    3.2 轨迹数据预处理
        3.2.1 手语起止点的确定
        3.2.2 轨迹归一化
        3.2.3 坐标系间转换
    3.3 基于轨迹的动态手语识别算法
        3.3.1 动态时间规整算法
        3.3.2 支持向量机
        3.3.3 以DDTW为核函数的SVM
    3.4 基于不同特征的手语轨迹识别实验对比与分析
        3.4.1 基于不同识别算法的对比实验
        3.4.2 基于不同轨迹特征的对比实验
    3.5 本章小结
4 基于深度运动图的手型识别
    4.1 深度运动图
        4.1.1 深度运动图的生成
        4.1.2 加权提取的深度运动图
    4.2 提取深度运动帧中关键手型的方法
    4.3 手型识别算法
        4.3.1 极限学习机
    4.4 手型特征提取与编码
        4.4.1 方向梯度直方图特征
        4.4.2 局部二值模式特征
        4.4.3 特征编码
    4.5 实验结果与分析
    4.6 本章小结
总结与展望
参考文献
致谢
作者简历及攻读硕士学位期间的科研成果


【参考文献】：
期刊论文
[1]大规模连续中国手语数据集的创建与分析[J]. 袁甜甜,赵伟,杨学,胡彬.  计算机工程与应用. 2019(11)
[2]目标跟踪算法综述[J]. 孟琭,杨旭.  自动化学报. 2019(07)
[3]时间序列数据挖掘中的动态时间弯曲研究综述[J]. 李海林,梁叶,王少春.  控制与决策. 2018(08)
[4]基于多线索的运动手部分割方法[J]. 阮晓钢,林佳,于乃功,朱晓庆,Ouattara Sie.  电子与信息学报. 2017(05)
[5]基于深度图像与骨骼数据的行为识别[J]. 陆中秋,侯振杰,陈宸,梁久祯.  计算机应用. 2016(11)
[6]基于Kinect的指尖检测与手势识别方法[J]. 谈家谱,徐文胜.  计算机应用. 2015(06)
[7]基于深度图像信息的手语识别算法[J]. 杨全,彭进业.  计算机应用. 2013(10)
[8]人类肤色识别中高斯模型的应用[J]. 宗苏.  中小企业管理与科技(下旬刊). 2011(12)
[9]移动背景下运动目标检测与跟踪技术研究[J]. 孙斌,黄神治.  电子测量与仪器学报. 2011(03)
[10]试论自然手语和文法手语的几个问题[J]. 吴铃.  中国特殊教育. 2005(09)

硕士论文
[1]基于非特定人群实时手语识别系统的研究[D]. 郭鑫鹏.南京航空航天大学 2018



本文编号：3704226