基于深度学习的手势识别技术研究

发布时间：2020-05-09 01:01

【摘要】：手势交流作为人们日常生活交流的常见形式,已成为人机交互的重要组成部分。随着人们对手势识别的准确性以及应用场景的丰富性越来越高的要求,基于单目相机的手势识别受到更为广泛的关注。由于手势存在形变大、自身遮挡、背景复杂等问题,本文基于单目相机拍摄的手势图像,使用深度学习技术,探索提高手势识别准确率的方法。为了解决上述问题,本文设计了结合手指姿态估计的深度学习手势识别框架。该框架共包含两部分:首先,本文设计和实现了一个深度学习模型——HandPoseNet,用于从图像中精确地恢复手指姿态。本课题使用置信图表示手指位置,对于输入的手势图像,通过HandPoseNet生成对应的置信图。本文在三个手指姿态估计数据集上进行训练,得到一个可靠的适用于多场景的HandPoseNet模型。然后,结合训练好的HandPoseNet模型,本文设计和实现了多模态深度融合网络,将原始图像与HandPoseNet模型得到的手指姿态作为融合网络的输入,进行手势识别。与现有多模态方法不同的是,本文的手指姿态通过姿态估计模型自动得到,融合框架本质上只使用了彩色图像作为输入。为了充分利用双模态数据之间的互补性,本文设计了两种多模态深度融合方法,并在多个基准数据集上进行实验。实验结果表明,结合姿态估计进行手势识别的方法可以有效提高手势识别的准确率。
【图文】：

图３．２结合手指姿态估计的手势识别框架逡逑

图３．３邋ＡＳＬ各类手势示意图逡逑该数据集中不同的手势之间可能存在较大相似性，增加了识别的难度，如图逡逑
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP181

【相似文献】

相关期刊论文 前10条

1 翟朋辉;王静怡;;一种简易手势识别装置[J];山东工业技术;2019年12期

2 钟习;陈益强;于汉超;杨晓东;胡子昂;;融合情境感知信息的超声波手势识别方法[J];计算机辅助设计与图形学学报;2018年01期

3 王健;朱恩成;黄四牛;任华;;基于深度学习的动态手势识别方法[J];计算机仿真;2018年02期

4 杨欣怡;李双;;基于手势识别的智能电视交互专利技术综述[J];科技创新与应用;2018年24期

5 宋昆哲;闫晓虎;田乐;王奇俊;刘珂;;基于多点特征提取的手势识别的研究[J];科技创新与应用;2018年25期

6 丁伟利;胡艳玲;申亚辉;刘洪海;;基于虚拟试验箱的康复手势识别算法研究[J];高技术通讯;2017年03期

7 袁博;查晨东;;手势识别技术发展现状与展望[J];科学技术创新;2018年32期

8 罗于恒;王洋;刘伟;;一种非接触式的手势识别装置[J];科技与创新;2018年21期

9 孙竟豪;;基于深度学习的手势识别研究[J];计算机产品与流通;2018年09期

10 于汉超;杨晓东;张迎伟;钟习;陈益强;;凌空手势识别综述[J];科技导报;2017年16期

相关会议论文 前10条

1 祝远新;徐光佑;黄浴;林学;俞志和;;一个基于表观的孤立手势识别系统[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

2 张宏源;袁家政;;基于视觉的手势识别新方法综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

3 邓智方;袁家政;;基于深度学习的视觉手势识别综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

4 丁勇;苏坪;潘超群;沈石松;;毫米波非接触式手势识别雷达[A];2019年全国微波毫米波会议论文集（上册）[C];2019年

5 郑颖;姚登峰;鲍泓;乔良;;基于机器学习的手势识别研究进展[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

6 管珊珊;张益农;;基于Kinect的手势识别研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

7 易晓;秦圣峰;康金胜;;基于手势识别技术的快速三维建模(英文)[A];第十届中国科协年会论文集（三）[C];2008年

8 郑颖;李培峰;罗恒杰;徐成;鲍泓;;交警手势识别的研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

9 沈世宏;李蔚清;;基于Kinect的体感手势识别系统的研究[A];第八届和谐人机环境联合学术会议（HHME2012)论文集CHCI[C];2012年

10 李腾;郭文成;;基于手势识别的车载音乐控制仪的设计[A];“装备中国”2016年“滨海杯”高端装备工业设计大赛论文集[C];2016年

相关重要报纸文章 前10条

1 实习生 张燕;挥手玩“苹果”的高三男孩[N];中国青年报;2011年

2 本报记者 王伟;巨头看上的“手势识别”能照进现实吗？[N];中国电子报;2019年

3 记者 郝晓明;国内首套手势识别智能无人飞行系统亮相[N];科技日报;2017年

4 本报记者 喻思娈;操作手机，挥挥手就行[N];人民日报;2017年

5 本报记者 董添;谷歌申请手势识别专利引关注[N];中国证券报;2017年

6 倪明 段郴群;谷歌等巨头布局手势识别市场[N];企业家日报;2017年

7 肖思思;TCL新型数字家电可进行手势识别[N];中国税务报;2007年

8 华凌;首个无电池手势识别系统有望替代触摸屏[N];科技日报;2014年

9 本报记者 张晓丽;未来智能家电真能一“手”掌控[N];辽宁日报;2014年

10 记者 张潇;“创新，，让学习不仅仅止于课本”[N];西安日报;2015年

相关博士学位论文 前10条

1 徐军;基于计算机视觉的手势识别及人机交互技术的应用研究[D];东南大学;2018年

2 Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年

3 卫文韬;肌电手势识别中的多流融合和多视图深度学习方法研究[D];浙江大学;2018年

4 周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年

5 顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年

6 万军;动态手势识别中的时空特征表示和字典优化研究[D];北京交通大学;2014年

7 成可立;数据驱动的虚拟试衣系统若干关键技术研究[D];浙江大学;2016年

8 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年

9 覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年

10 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年

相关硕士学位论文 前10条

1 林佰凤;基于Kinect的手势识别及其应用研究[D];沈阳建筑大学;2017年

2 郭凯;基于单目视觉的静态手势识别研究及应用[D];天津理工大学;2019年

3 廖毅雄;基于深度学习的手势识别及人体行为识别算法研究[D];北京邮电大学;2019年

4 雷蕾;基于粒子群优化算法和自生成神经网络的手势识别研究[D];太原理工大学;2018年

5 王苏振;基于深度学习的手势识别技术研究[D];浙江大学;2019年

6 王蕊;基于IOS的摄影摄像辅助教学系统的设计与实现[D];河北科技大学;2019年

7 许平;基于Kinect体感交互技术的电子哈哈镜系统设计[D];安徽大学;2019年

8 彭星;面向智能服务机器人的手势识别技术研究[D];深圳大学;2018年

9 徐诗艺;基于计算机视觉的动态手势识别研究[D];西南石油大学;2018年

10 韩笑;基于视觉和几何特征的静态手势识别的研究[D];天津工业大学;2019年

本文编号：2655325