基于Harris角点检测和光流的手势识别算法的研究

发布时间：2018-01-05 10:36

本文关键词：基于Harris角点检测和光流的手势识别算法的研究　出处：《吉林大学》2017年硕士论文　论文类型：学位论文

【摘要】：随着信息数字化时代的到来,人们通过技术来解放自己的双手,将更多的事情交给机器人来做。为了能够和机器良好的沟通,越来越多的研究人员投身于人机交互这一热门领域中来。在PC时代,人机交互.的主要方式主要是由鼠标、键盘等外部输入设备完成,虽然十分精准,但是随着多媒体技术的发展和人们不同领域的需求增多,其使用的局限性也愈发明显。而在传统交互方式之外,手势作为一种最常用、最自然、最基础、可行性最高的交互方式,逐渐成为出现在人机交互领域的研究人员的视野中。为了识别一个手势,可以根据他的形状、相对位置等信息来进行判断,但是这样可以识别出来的手势的数量较少,使用领域十分局限,不能满足现在多元化人机交互的要求,因此可以通过记录指尖的移动轨迹,进而完成后续更丰富的识别工作。本文提出了一种基于Harris角点检测和光流的指尖轨迹跟踪算法,可以在较为复杂的背景下定位出指尖并跟踪,记录其运行轨迹,从而进行手势识别。要利用指尖轨迹实现手势识别首要任务是先确定指尖的位置,指尖定位的精度直接决定了整个系统的精度,因此是极为重要的第一步。本文中,指尖定位分为手部区域提取、Harris角点检测、伪特征点移除以及指尖定位这四个主要部分。因为手部皮肤的颜色在YCbCr颜色空间中具有良好的聚类性,因此在此颜色空间里,用二维高斯概率模型将手部区域从复杂的背景中提取出来。因为指尖部分的像素灰度的变化较快,因此对提取出来的二值化图像做Harris角点检测,便可得到指尖候选点。由于指尖附近的点都会被化为候选点,因此需要根据一定的约束条件,取出伪特征点,保留真正需要的特征点。最后根据位置信息,依靠重心和凸包的辅助,挑选出最后的指尖点。在找到指尖点以后,第二步就是对其进行跟踪。根据指尖的位置和亮度恒定的假设,推算出该指尖点在下一帧图片里的具体位置。由于光流法(Lucas-Kanade)在只在短位移的条件下表现较好,与实际情况有出入。因此,为了提高算法的鲁棒性,需要引入金字塔迭代的算法,使之能应用于较大位移的情况中。最后一步是手势识别,提取指尖运动轨迹的特征向量,如长宽、面积、起始位置等信息等,与模板库进行匹配,达到识别的目的。本文详细介绍了指尖定位、跟踪以及匹配过程中各个模块中的算法,提出了一种基于Harris角点检测和光流的手势识别算法,无论手指朝向何处,都能从较复杂的背景中提取出指尖位置,记录其运行轨迹,提取特征向量进行手势识别。测试结果表明,手势识别的准确率达到82.2%,为基于手势识别的人机交互系统打下一定的基础。
[Abstract]:This paper proposes a fingertip trajectory tracking algorithm based on Harris corner detection and light flow . This paper presents a gesture recognition algorithm based on Harris corner detection and optical flow , which can extract fingertip position from a complex background , record its running track and extract feature vector for gesture recognition . The results show that the accuracy of gesture recognition is 82.2 % , which lays a foundation for human - machine interaction system based on gesture recognition .

【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】