基于骨架特征的汉语字母手语识别研究

发布时间：2021-09-25 10:27

　　我国听障人群约占世界听障人群的20%,并逐年增加。中国手语是我国听障人群与外界交流的重要辅助工具。手指语是手语的一部分,指式数量不多,易学易记。因此,本文以汉语字母手语为研究对象,基于计算机视觉,研究了不同背景下的汉语字母手语,并对手势图像的骨架提取、骨架描述子的提出和识别分别进行了研究。本文的主要研究内容是基于骨架特征的汉语字母手语识别,首先对手势进行提取,其次,在提取的手势二值图像的基础上,提出了改进的基于距离变化的手势骨架提取方法使提取的骨架具有连通性;然后,提出了改进不变矩用于对手势骨架进行描述;最后,利用概率神经网络对得到的手势骨架不变矩的值进行分类,达到识别手势的目的。总结起来,本文主要从以下两个方面展开研究工作:（1）提出了一种结合距离变换与形态学分水岭算法的手势骨架提取方法。该方法利用距离场和分水岭算法获得包含手势骨架的骨架潜在图,利用主动轮廓线模型确定骨架端点,通过A*算法对冗余骨架进行修剪,得到最终的骨架。实验结果证明,该方法获得的骨架不仅解决了基于距离变换的骨架提取方法提取的骨架存在的不连通的问题,而且保证了骨架的单像素性,符合目标的拓扑结构。（2）提出了一种改进... 

【文章来源】：武汉科技大学湖北省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

LeapMotion传感器

武汉科技大学硕士学位论文113.1基于肤色的手势分割本文在得到手势图像之后，先对手势图像进行色彩空间转换，由RGB色彩空间转换为YCbCr色彩空间，转换效果如图3.2所示：图(a)是RGB色彩空间下的图像，图(b)是转换至YCbCr色彩空间之后的效果图。图3.2转换色彩空间对比图色彩空间转换之后，利用色彩空间上的色度相似性对手势进行分割。色度上的相似性计算过程如下。假设肤色满足二维高斯模型：M=(m,C)(3.1)其中，m为色度的均值，表示为m=E(x)(3.2)其中，x为样本像素在YCbCr色彩空间的值，C为色度的协方差矩阵。判断一个像素是否属于肤色像素的概率的计算过程如下：11()()2121()2TxSxpxeS=(3.3)公式(3.3)中，S是协方差矩阵，为均值或方差。在得到手势肤色概率图之后，用OTSU法进行分割处理，从而得到手势图像的

武汉科技大学硕士学位论文12二值图像；得到二值图像之后，对图像进行区域统计，然后根据面积大小进行过滤，过程如下：假设图像中不同连通域的面积分别为1S、2S、…、nS，面积阈值为S，若iS(i=1,2,...,n)iSS(3.4)那么i所对应的区域的像素值0255iiP=或P=(3.5)上述过程为“几何滤波”过程。转换色彩空间之后，采用了两种肤色分割方法：基于YCbCr色彩空间的Cb，Cr范围筛选法和色彩相似度方法，其中，Cb，Cr范围筛选法是根据给定的Cb和Cr的范围，判断像素点是否属于肤色像素，这种方法的缺点在于，容易受光线的影响，并且如果手部颜色发生变化，也会对分割结果产生影响，会造成误分割，如果手势太多且手部颜色分布广泛，需要频繁地修改给定的Cb，Cr范围。在得到分割结果图后，对结果图进行了处理，分别采用了三种方法：直接形态学处理；经过一次几何滤波之后，再用形态学进行处理；连续两次用几何滤波进行处理，再用形态学方法进行处理。处理效果如图3.3所示：图3.3手势提取过程效果图


本文编号：3409555