基于机器视觉的嵌入式虚拟键盘研究

发布时间：2017-09-09 06:14

  本文关键词：基于机器视觉的嵌入式虚拟键盘研究

  更多相关文章： 机器视觉 虚拟键盘 前景分割 指尖检测

【摘要】：随着虚拟现实技术的发展,人机交互的方式从传统的键盘、鼠标变为三维立体交互,虚拟键盘通过摄像头检测手指在三维空间内的运动来判断用户的输入,能够较好的切合虚拟现实应用场景的要求。目前的虚拟键盘主要采用红外摄像头加红外激光辅助定位的方案实现,这种方案虽然原理较为简单,但是容易受到环境光线中的红外线干扰,严重的情况下可能导致系统无法使用。针对这个问题,本文设计并实现了一套基于机器视觉的嵌入式虚拟键盘系统,采用双目摄像头检测代替红外激光辅助定位方案。论文主要研究工作包括三个部分:1)虚拟键盘系统的框架设计。硬件方面,系统以ARM作为核心处理器。ARM对双目摄像头采集到的图像进行处理后,再将结果返回给电脑。软件方面,系统程序采用MVC结构模型,将程序的数据存取、交互界面和控制逻辑三者进行分离,分别封装在不同的模块中,降低了程序的耦合度。2)虚拟键盘系统所用算法的研究与改进。首先,提出了一种融合椭圆肤色模型和平均背景模型的改进前景分割算法,实现了对手部前景区域的提取。然后,通过结合Y坐标值判断,对现有的基于K向量的单指尖检测算法中存在的不稳定性进行了改进,并提出了一种基于凸包检测和K向量的改进多指尖检测算法,该算法通过计算手部轮廓相近凸包顶点的K向量值来判断指尖点的位置坐标。最后,采用双目测距原理计算指尖点的深度信息,用于判断手指是否按下。3)虚拟键盘系统的实现。在Linux+Qt开发环境下,采用C++和OpenCV编程,通过多线程技术和V4L2框架实现了双目摄像头的同步采集,利用指尖的位置和深度信息完成了键盘按键的定位和指尖状态的识别,实现了基于机器视觉的嵌入式虚拟键盘的功能。实验结果表明本文设计的虚拟键盘系统能够实时检测用户手指的运动,并且能够有效地减小环境光线的干扰,具有良好的准确度。
【关键词】：机器视觉 虚拟键盘 前景分割 指尖检测
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41;TP334.23
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-17
• 1.1 论文研究背景及意义10-13
• 1.1.1 虚拟键盘研究背景10-11
• 1.1.2 机器视觉研究背景11-12
• 1.1.3 论文研究意义12-13
• 1.2 虚拟键盘国内外研究现状13-16
• 1.2.1 国内研究现状13-14
• 1.2.2 国外研究现状14-16
• 1.3 论文主要工作和章节安排16-17
• 第二章 虚拟键盘系统框架概述17-26
• 2.1 系统整体框架设计17-18
• 2.2 系统硬件选型18-20
• 2.3 系统软件框架设计20-25
• 2.3.1 系统软件开发环境介绍20-21
• 2.3.2 系统软件框架介绍21-25
• 2.4 本章小结25-26
• 第三章 手部前景分割算法研究26-44
• 3.1 前景分割算法概述26-27
• 3.2 常用的前景分割算法介绍27-39
• 3.2.1 运动目标检测算法27-34
• 3.2.2 肤色检测算法34-39
• 3.3 融合椭圆肤色模型和平均背景模型的改进前景分割算法39-43
• 3.3.1 高斯滤波和图像形态学处理40-42
• 3.3.2 改进前景分割算法的实现42-43
• 3.4 本章小结43-44
• 第四章 指尖信息检测44-60
• 4.1 指尖位置检测44-52
• 4.1.1 单指尖检测算法44-48
• 4.1.2 多指尖检测48-52
• 4.2 指尖深度检测52-59
• 4.2.1 双目测距原理简介52-53
• 4.2.2 摄像头标定原理简介53-57
• 4.2.3 基于MATLAB的摄像头标定实现57-58
• 4.2.4 指尖深度检测实验效果58-59
• 4.3 本章小结59-60
• 第五章 嵌入式虚拟键盘的实现60-68
• 5.1 双目摄像头的打开60-61
• 5.2 键盘逻辑的判断61-64
• 5.2.1 键盘按键定位62
• 5.2.2 指尖状态识别62-64
• 5.3 键盘模拟与嵌入式移植64-66
• 5.3.1 模拟键盘事件64-65
• 5.3.2 嵌入式系统移植65-66
• 5.4 虚拟键盘性能测试66-67
• 5.5 本章小结67-68
• 总结与展望68-69
• 参考文献69-72
• 攻读硕士学位期间取得的研究成果72-73
• 致谢73-74
• 答辩委员会对论文的评定意见74

【相似文献】

中国期刊全文数据库 前10条

1 ;虚拟键盘[J];文明;2012年03期

2 孟祥和;何向真;曹晖;;基于民族文字的在线虚拟键盘实现技术[J];长春工程学院学报(自然科学版);2012年02期

3 蔡睿妍;;激光虚拟键盘的设计与实现[J];激光与红外;2012年08期

4 小痛;;虚拟键盘密码保护神[J];电脑迷;2009年21期

5 ;触感美——联想i817[J];大众数码;2007年08期

6 汪忠德;红外虚拟键盘的设计构想[J];计算机工程;2004年06期

7 官金安;陈亚光;;脑控双页虚拟键盘的设计与性能分析[J];中国临床康复;2006年09期

8 高翔;张晓静;;一种基于激光虚拟键盘按键定位的方法(英文)[J];Journal of Measurement Science and Instrumentation;2014年02期

9 李振伟;张德众;;离线建模法在虚拟键盘中的应用[J];电子设计工程;2013年18期

10 刘晓威;张金;李洋;成媛媛;;视频虚拟键盘中的按键自定义问题研究[J];计算机应用与软件;2012年06期

中国重要会议论文全文数据库 前1条

1 赵秀才;赵锐;贺温安;;基于LabWindows/CVI的虚拟键盘中文输入设计[A];2011中国仪器仪表与测控技术大会论文集[C];2011年

中国重要报纸全文数据库 前8条

1 刘喜喜;蓝牙虚拟键盘[N];中国计算机报;2007年

2 记者 孙静;此HiPhone非彼iPhone[N];中国电脑教育报;2008年

3 陈琳;个人化手机,高潮迭起[N];第一财经日报;2008年

4 ;手机售后服务调查报告[N];电脑报;2014年

5 ;CeBIT 2004数码新品一览[N];电脑报;2004年

6 符郁;手机改变我们什么？[N];经济观察报;2004年

7 顾钢;德国实用技术集锦（二）[N];科技日报;2004年

8 本报记者 王晓映;谷歌抢先苹果发布智能手表 可穿戴设备渐成智能新宠[N];通信信息报;2014年

中国硕士学位论文全文数据库 前7条

1 李鹏翔;基于机器视觉的嵌入式虚拟键盘研究[D];华南理工大学;2016年

2 王芳;基于微型投影及视觉感知的虚拟键盘技术研究[D];杭州电子科技大学;2015年

3 卢亮;基于嵌入式STM32的半虚拟键盘[D];华南理工大学;2014年

4 李振伟;基于图像处理的半虚拟键盘的研究[D];华南理工大学;2013年

5 石艳玲;红外虚拟键盘技术研究[D];华北工学院;2004年

6 程险峰;手机虚拟键盘输入法界面交互语意研究[D];湖南大学;2012年

7 林隽;基于PKI的网上银行身份认证及加密设计与实现[D];西安科技大学;2010年

，

本文编号：818766