基于信道状态信息的中国手语孤立词识别方法研究

发布时间：2020-12-21 14:57

　　手语识别是通过计算机技术将手语动作转换成文字或声音的技术,对辅助聋哑人与非手语人群的正常交流具有重要意义。现有的手语识别方法主要分为基于传感器和基于计算机视觉的手语识别,硬件依赖度高、设计部署要求高、维护成本高。在手语识别中,孤立词是构建连续句子的基础和前提。论文利用手语动作对无线信号传播信道产生的影响,提出基于信道状态信息的中国手语孤立词识别方法。主要研究内容包括以下四个方面。首先,提出利用小波变换和主成分分析的去噪方法并结合插值进行无线信号预处理,消除环境和商用设备内部状态改变引起的噪声,克服硬件设备造成的采样缺陷并保留所有子载波的细节特征。其次,提出基于多数据流异常检测的动作分割方案,综合分析所有数据流进行精细动作和相似动作的分割和融合,并提取融合序列的时域特征。再次,对比分析应用现有的基于信道状态信息的动作识别分类方法进行手语孤立词识别,首次采用极限学习机作为基于无线信号的无设备感知细粒度动作分类器,满足手语孤立词识别对准确性和实时性的要求。最后,分别在会议室和实验室环境中采集不同手语动作下的信道状态信息数据,对识别方法进行验证和性能评估。实验结果显示,两种环境下本文方法的识别... 

【文章来源】：燕山大学河北省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

数据手套和表面肌电传感器

虽然表面肌电传感器相比于数据手套，成本更低、舒适度更高，但是由于其结构限制，无法获取大尺度的手臂动作，如抬手、挥手等，所以可识别的手语相对有限。基于传感器的识别系统利用可穿戴设备，如数据手套、表面肌电传感器及一助设备，可以获取手部的精细动作和时序信息，识别准确率通常比较高，但由本高、穿戴不舒适、行动受限等缺点，使其无法大规模推广应用。.2.2 基于计算机视觉的手语识别方法基于计算机视觉的方法要求被识别对象面对摄像头做出不同的手语动作，通像头捕获动作的运动轨迹、手指特征等信息[6]52。早期的研究[17,18]主要是使用单像头采集平面图像，然而手是在三维空间中运动的，且动作容易遮挡摄像头，研究人员开始使用多个摄像头获取不同维度的运动图像[19,20]。随着 Kinect、Leap Motion 和 RealSense 等新型体感外设（如图 1-2 所示）的出现于计算机视觉的手语识别获得更进一步的发展。

CSI与RSSI的类比[38]

【参考文献】：
期刊论文
[1]威廉姆·斯多基和他的手语语言学研究评介[J]. 国华.  中国特殊教育. 2006(02)
[2]中国手语和汉语双语教育初探[J]. 杨军辉.  中国特殊教育. 2002(01)

博士论文
[1]基于肌电模式的中国手语识别研究及康复应用探索[D]. 李云.中国科学技术大学 2013

硕士论文
[1]融合表面肌电和运动传感器信息的中国手语手势识别技术研究[D]. 杨喜东.中国科学技术大学 2016
[2]基于信道状态信息的室内移动检测和定位技术研究[D]. 高溪.燕山大学 2015



本文编号：2930021