基于单个RGB摄像头的虚拟键盘系统研究

发布时间：2020-04-09 20:36

【摘要】：随着虚拟现实技术的快速发展,人机交互正在从传统基于物理外设的模式逐步转变为人机直接交互的虚拟模式。本文就从人机交互中最常见的键盘接口出发,研究适合室内场景下使用的利用单个RGB摄像头作为输入的虚拟键盘系统。但当前,基于计算机视觉的诸多人机交互虚拟应用在手部区域识别准确率、指尖点提取精度、对背景环境鲁棒性、用户易用性等方面仍有进一步完善的空间。因此,研究一套完整的、高精度的、贴近用户日常使用习惯的虚拟键盘系统变得十分具有现实意义。本文主要在以下两个方面展开了研究。一方面,对于虚拟键盘最为重要的指尖提取方法,传统算法存在着适用场景过于简单、提取精度不高、容易受手部姿态干扰等问题。本文在已有的基于指尖轮廓的K余弦算法的基础上进行了适当改进,对手部极限姿态下易产生误判点簇的情况进行了考虑。结合误判点具有的曲率低、纵坐标小的特征对其进行了剔除,然后利用无监督学习的K-means聚类算法对指尖点簇进行聚类,得到的簇中心作为真正采用的指尖点坐标,使得传统指尖提取算法更适合本文提出的第二种虚拟键盘的使用场景。另一方面,对于如何实现虚拟键盘系统,主要是如何实现按键位置的定位和击键事件的判定这两个模块给出了两种不同的实现思路。一种借助了键盘纸外设,利用键盘纸对键盘位置进行标定,坐落在键位内的指尖点通过击键判定算法控制键位击键;另一种则完全依靠用户手势控制,利用手部的HOG特征作为手势样本的特征,然后采用线性核的SVM分类器对用户的三种手势进行识别,用以控制虚拟键盘的行,用户的指尖点索引控制键位的列,击键判定工作则依靠指尖点纵坐标标定实现。此外,对每一种实现本文从不同角度进行了性能分析,并与已有方法进行了比较。本文通过基于单个RGB摄像头的虚拟键盘系统的研究对未来基于计算机视觉的人机交互系统进行了展望,希望能对未来完全虚拟现实化的人机交互系统研究有一定的参考价值和现实意义。
【图文】：

颜色空间,RGB空间,三原色,日常生活

理解工作打下了坚实的基础[17]。很明显，本课题研究的统，目的就是要理解用户手部运动姿态的含义，是很明显理技术息息相关。算法各样的肤色提取算法，首先要了解颜色空间的概念。，经常会遇到像素的概念，它是一个被颜色空间约束的百种，常见的有 RGB 空间、CYM 空间、HSV 空间、Y是专用于某一特定领域，并不具有普适性，但有时它们色空间中，在 RGB 空间、YCrCb 空间和 HSV 空间下进下的肤色提取

高光,子空间,颜色饱和度,肤色模型

图 2.2 高光情况下子空间下人类肤色的分布状况[29已经尽力将亮度与色度进行了区分，但分量此 Hsu 团队将椭圆肤色模型分三种光照情况进行了{ ，， ≤ ≤ { ( ) ( ) ， { ( ) ( ) ，的肤色提取线性空间，而是一个倒立的圆锥型空间，空间中 H～360 ；S 代表着颜色饱和度（Saturation），表示颜色
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP391.9;TP334.23

【相似文献】