基于Kinect的实时手语识别技术研究

发布时间：2018-07-01 07:39

  本文选题：动态手语识别 + Kinect　； 参考：《南京航空航天大学》2016年硕士论文

【摘要】：手势识别是当前计算机视觉领域的热点问题之一。手语作为一种特殊的手势,是聋人与聋人、聋人与健听人之间进行交流的“语言”。对手语进行自动识别,不仅可以创建聋人与健听人之间的无障碍交流平台,同时也可以提高计算机的感知能力,增加人机交互方式。本文使用体感摄像头Kinect,它可以返回深度信息,同时具备对人体骨骼进行识别定位的功能,本文正是利用Kinect这一特点,实现对动态手语的识别。动态手语可以利用手势轨迹曲线加关键手型的方式进行描述,但事实上大多数手语通过轨迹曲线的匹配即可完成识别。因此本文提出了一种对动态手语进行分级匹配的识别策略。一级匹配通过对轨迹曲线的相似性度量完成;若通过一级匹配可以得到识别结果,那么识别过程可以结束,否则进入二级匹配,即再对手语的关键手型做识别。由此,首先引入卡尔曼滤波对Kinect检测到的手部位置进行校正,同时利用Kinect返回的深度信息并结合卡尔曼滤波提出了一种手部区域的精确分割算法;然后提出了一种曲线的归一化算法,用以消除不同手语者的动作、时间差异,同时还提出一种基于轨迹曲线密度的关键帧检测算法,并从关键帧中提取手型特征,完成对手语的特征描述;最后,在一级匹配中,结合关键帧信息,对DTW算法做了优化改进,使之更加适用于手势轨迹曲线的相似性度量,二级匹配采用模板匹配的方式对关键手型的组合做识别。以上述算法为基础,使用C#为开发工具,本文设计完成了一个实时的动态手语识别系统,该系统可以实现对60个常用动态手语的识别,且可以面向非特定人群。
[Abstract]:The recognition of dynamic sign language is realized by using Kinect .
【学位授予单位】：南京航空航天大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
，

本文编号：2087041