基于视觉与语音的新型鼠标研究

发布时间：2020-11-05 11:51

　　 普通鼠标是一种手动的传统交互方式,满足不了特殊人群的需求,譬如手臂残疾的人和游戏爱好者就期望采用多种交互方式来操作PC。随着图像、视觉核心算法的发展,语音识别的理论和应用研究的进展,再加上CCD、CMOS图像传感器制造工艺的成熟,为基于视觉与语音的鼠标实现提供了条件。 本文主要的研究是基于视觉与语音的新型鼠标。首先对各种视觉跟踪算法的实现方法进行探讨。在充分了解各种算法优缺点的基础上,系统采用鼻子特征跟踪的方法来作为鼠标的光标移动,采用眼睛睁合判断的方法作为鼠标按键的操作,用HALCON视觉处理软件对各算法进行仿真,并在Visual Basic中调用HALCON库函数加以实现。另外,鼠标按键的操作还可选用语音识别的方式来实现,文中用MATLAB仿真实现了DTW(动态时间规整)算法,该算法训练方法简单,计算量小,适合于本系统的设计。采用Visual Basic与Matlab混编的方式在Visual Basic中调用创建的COM组件,实现语音识别的功能,进行性能测试。将视觉跟踪模块与语音识别模块结合起来,根据基于视觉与语音鼠标的体系结构进行设计,编写全部程序进行系统的整体调试,调试成功后进行预定的实验,记录实验结果。将视觉与语音技术应用于鼠标中,在国内还没有人开发研究,这无疑很有研究的价值,具有一定的市场潜力。 从完成的设计表明,基于视觉与语音的方案可以完成鼠标的基本功能,而且可以适用于特殊人群。但本系统还处于研究设计阶段,还不够完善,后续工作将主要围绕算法性能的提高,程序的优化以及其他一些细节问题作进一步的改善、测试。
【学位单位】：东华大学
【学位级别】：硕士
【学位年份】：2008
【中图分类】：TP334.2
【部分图文】：

边 边缘检测 测测Hysteresis一小 resholdddEEEdges--haageeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee图4一2用HALCON取得人脸特征流程图才一丫味厂若人、:商尹哟!:__一「/\铆写川瓜，厂、\\11︵比户\、、////-户、产-}夕毛冷洛、咨/，护一宁厂/夕:、卜犷，共一厂力一、刀/\一一砂//图4一3用Halcon仿真取得人脸特征步骤

基于视觉与语音的新型鼠标研究位时，人脸姿态的会不断改变。根据不同姿4中不同姿态的人脸变化。从中可以看出鼻子脸范围或背景中具有唯一性，且特征变化小毛而言变化较小。实验也验证了鼻子特征在鼻子特征跟踪可以实现鼠标光标的定位。j门之匕弓、二‘二一只—一、

基于视觉与语音的新型鼠标研究在进行光标定位时，人脸姿态的会不断改变。根据不同姿态的人脸重复以上操作，得到图4一4中不同姿态的人脸变化。从中可以看出鼻子特征的变化，图中可知鼻子特征在人脸范围或背景中具有唯一性，且特征变化小。相比于其他部位如眼睛、嘴巴、眉毛而言变化较小。实验也验证了鼻子特征在不同的照明条件变化很小。因此采用鼻子特征跟踪可以实现鼠标光标的定位。j门之匕弓、二‘二一只—一、:只)、产丈只二，吞、哎次、碑沼:念‘‘沁口O、.屯‘，~_廿不二妞乃一/‘丁二’‘鑫口/一‘"导一~吕夸咯扮一-一~舟傀‘~~曰..二、J·吞户产’\乡奋_、代万一图44不同姿态的人脸中鼻子特征要提取人脸中的鼻子特征，可以在鼻子附近取一个区域，本文使用的摄像头分辨率为320*240，取得图片大小为320*240，这里首先以点(166
【相似文献】

相关期刊论文 前10条

1 ;鼠标也要Touch 微软Explorer Touch鼠标[J];微电脑世界;2011年08期

2 张默;;阳刚之气——华硕兰博基尼鼠标WX-Lamborghini[J];消费电子;2011年09期

3 ;带上笑脸 快乐出发 摩天手G31无线鼠标[J];电脑迷;2011年14期

4 ;鼠标 时尚的代言 罗技M325无限鼠标 蓝孔雀[J];微电脑世界;2011年08期

5 ;异“鼠”天开[J];黄金时代;2008年04期

6 张楚君;;软硬功夫先后上 一只鼠标三条命[J];电脑爱好者;2011年05期

7 ;鼠标模拟器[J];电脑迷;2011年16期

8 ;前景看好的笔式鼠标[J];生意通;2011年09期

9 ;无线得省心——2.4GHz鼠标怎么买[J];电脑爱好者;2011年05期

10 激淡;;像不像蓝影版IE3?——体验微软舒适蓝影6000鼠标[J];微电脑世界;2011年07期

相关博士学位论文 前9条

1 张阳;仿人眼的结构原理和关键视觉技术研究[D];浙江大学;2011年

2 席志红;全方位视觉技术及其在智能移动机器人等领域的应用研究[D];哈尔滨工程大学;2006年

3 王鹏;基于运动视觉技术的钢球表面缺陷检测[D];哈尔滨理工大学;2008年

4 齐龙;基于多光谱视觉的稻瘟病检测技术研究[D];吉林大学;2009年

5 唐新星;具有立体视觉的工程机器人自主作业控制技术研究[D];吉林大学;2007年

6 王彪;计算机视觉技术在低空突防与精确打击中的应用研究[D];南京航空航天大学;2005年

7 赵战;新媒介视觉语言研究[D];西安美术学院;2012年

8 管群;VR-GIS技术在岩土工程中的应用[D];四川大学;2002年

9 黄志奇;可穿戴计算机可用性的关键问题研究[D];电子科技大学;2009年

相关硕士学位论文 前10条

1 张健;无线鼠标跌落碰撞过程的仿真研究[D];哈尔滨工业大学;2009年

2 李飞;基于视觉与语音的新型鼠标研究[D];东华大学;2008年

3 王碧英;计算机指点装置的操作可控性和稳定性分析[D];浙江大学;2005年

4 吴祺;基于视觉技术的陈展交互设计与实现[D];浙江大学;2010年

5 宋颖;基于激励工程的新型鼠标的设计[D];天津大学;2005年

6 吕荣华;真应力—真应变测试系统优化及实验研究[D];哈尔滨工业大学;2007年

7 王鵾;基于计算机双目视觉技术的人体康复系统的研究[D];昆明理工大学;2005年

8 徐齐;逆向工程技术在产品造型设计中的应用与研究[D];湖南工业大学;2007年

9 刘梦薇;当代品牌展销店建筑设计研究[D];哈尔滨工业大学;2008年

10 刘方年;印制板光学自动找正钻孔机研究与开发[D];重庆大学;2006年

本文编号：2871601