基于CNN的空间结构感知与虚实交互技术研究

发布时间：2020-06-17 17:26

【摘要】：随着增强现实(Argument Reality,AR)和机器视觉的发展,单一的二维场景和落后的交互手段已经不能满足用户日益增长的体验感需求。AR的本质是将渲染出的虚拟物体叠加在相机拍摄的真实世界图层之上,虚拟物体是三维的,而相机拍摄的图像是二维的,这导致了二者无法完美叠加,从而显示上存在错位,晃动等视觉错误,用户体验感差。其次,传统交互手段无法满足AR交互需求,借助数据手套或手柄需要额外辅助设备,缺乏自然性,发展受到制约。现阶段增强现实设备(如Kinect)成本高,且户外无法使用,用户交互需要借助手柄,没有广泛的适用性。因此,为了实现AR轻量化和自然化,本文结合最近几年发展快速的同时定位与地图重建技术(SLAM)和计算机视觉中神经网络技术。进行了如下研究:1.使用单目视觉方法进行点云和平面重建。视觉SLAM方法通过对极几何,在多帧图像间可以确定出待测点深度信息,从而重建出三维点云。选择合适特征点算法,实现三维点云获取,并改进视觉SLAM中视觉里程计部分,使用IMU模块对视觉SLAM中快速运动易丢失现象进行改进,最终构建出带有深度信息的三维点云。将点云通过KD树管理查找,使用最小二乘法拟合出平面。2.通过卷积神经网络训练进行手势识别。卷积神经网络能够对多尺度特征实现提取,在图像识别领域有很好效果,因此使用卷积神经网络进行手势识别,使用MobileNet神经网络架构代替普通卷积神经网络,具有计算速度快,硬件需求小的优势,并且可以在手机端实现。用SVM分类器代替卷积神经网络中的Softmax分类器,将全连接层训练得到的特征提取出来后,使用SVM分类器进行二次训练,得到一个识别精度高和泛化能力强的识别模型,提升神经网络识别效果。实验表明,使用改进后的视觉SLAM可以稳定且快速的单目视觉重建出稀疏点云,结合点云信息可以提取出空间平面信息,同时实现空间结构识别。使用改进后的MobileNet架构训练CNN,进行手势识别,可以有效减少计算量,实现AR轻量化和自然化。
【学位授予单位】：内蒙古科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP391.9;TP183
【图文】：

0 填充后卷积，可以有效利用全部信息，但一定程度上会失真 下图为有效卷积，将部分边缘信息舍弃，保留真实图像信息 图2.4 卷积过程示例池化层也称为下采样层，通过对图像中像素处理，也就是对每个特征图进行下采样，使得特征图简化，降低特征图维度，简化神经网络计算，另一方面压缩特征图像提取出主要特征，使特征图具有尺度不变性，降低如倾斜，旋转等位移对特征图的影响 下采样层进行采样工作，只缩小输入特征图尺度，并不影响输出图个数，相当于进行一

图2.5 Relu 函数图像一个完整的神经网络一般包含一个输入层，多个卷积层和池化层，多个激活函数，和一个全连接层，其中全连接层也称为输出层，激活函数也称为激活层 根据其使用的分类方法不同有着不同的效果 图2.6 为手写文字经典卷积神经网络Le-net5 架构

【相似文献】

相关期刊论文 前10条

1 穆宝良;王利;;计算机视觉下的实时手势识别技术及其应用[J];科学技术创新;2019年35期

2 翟朋辉;王静怡;;一种简易手势识别装置[J];山东工业技术;2019年12期

3 惠丹;;基于深度学习算法的可穿戴设备手势识别系统设计[J];信息技术与网络安全;2019年09期

4 杨蕊;米文辉;;手势识别装置的设计与实现[J];信息与电脑(理论版);2019年18期

5 钟习;陈益强;于汉超;杨晓东;胡子昂;;融合情境感知信息的超声波手势识别方法[J];计算机辅助设计与图形学学报;2018年01期

6 王健;朱恩成;黄四牛;任华;;基于深度学习的动态手势识别方法[J];计算机仿真;2018年02期

7 杨欣怡;李双;;基于手势识别的智能电视交互专利技术综述[J];科技创新与应用;2018年24期

8 宋昆哲;闫晓虎;田乐;王奇俊;刘珂;;基于多点特征提取的手势识别的研究[J];科技创新与应用;2018年25期

9 丁伟利;胡艳玲;申亚辉;刘洪海;;基于虚拟试验箱的康复手势识别算法研究[J];高技术通讯;2017年03期

10 袁博;查晨东;;手势识别技术发展现状与展望[J];科学技术创新;2018年32期

相关会议论文 前10条

1 祝远新;徐光佑;黄浴;林学;俞志和;;一个基于表观的孤立手势识别系统[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

2 张宏源;袁家政;;基于视觉的手势识别新方法综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

3 邓智方;袁家政;;基于深度学习的视觉手势识别综述[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

4 丁勇;苏坪;潘超群;沈石松;;毫米波非接触式手势识别雷达[A];2019年全国微波毫米波会议论文集（上册）[C];2019年

5 郑颖;姚登峰;鲍泓;乔良;;基于机器学习的手势识别研究进展[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

6 管珊珊;张益农;;基于Kinect的手势识别研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

7 易晓;秦圣峰;康金胜;;基于手势识别技术的快速三维建模(英文)[A];第十届中国科协年会论文集（三）[C];2008年

8 郑颖;李培峰;罗恒杰;徐成;鲍泓;;交警手势识别的研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年

9 沈世宏;李蔚清;;基于Kinect的体感手势识别系统的研究[A];第八届和谐人机环境联合学术会议（HHME2012)论文集CHCI[C];2012年

10 王鼎衡;赵广社;李国齐;邓磊;;基于张量链压缩的卷积神经网络及手势识别应用研究[A];2018中国自动化大会(CAC2018)论文集[C];2018年

相关重要报纸文章 前10条

1 实习生 张燕;挥手玩“苹果”的高三男孩[N];中国青年报;2011年

2 本报记者 王伟;巨头看上的“手势识别”能照进现实吗？[N];中国电子报;2019年

3 记者 郝晓明;国内首套手势识别智能无人飞行系统亮相[N];科技日报;2017年

4 本报记者 喻思娈;操作手机，挥挥手就行[N];人民日报;2017年

5 本报记者 董添;谷歌申请手势识别专利引关注[N];中国证券报;2017年

6 倪明 段郴群;谷歌等巨头布局手势识别市场[N];企业家日报;2017年

7 肖思思;TCL新型数字家电可进行手势识别[N];中国税务报;2007年

8 华凌;首个无电池手势识别系统有望替代触摸屏[N];科技日报;2014年

9 本报记者 张晓丽;未来智能家电真能一“手”掌控[N];辽宁日报;2014年

10 记者 张潇;“创新，让学习不仅仅止于课本”[N];西安日报;2015年

相关博士学位论文 前10条

1 徐军;基于计算机视觉的手势识别及人机交互技术的应用研究[D];东南大学;2018年

2 佴威至;手势交互中的手势识别算法及交互参数研究[D];北京理工大学;2017年

3 Isack Emmanuel Bulugu;基于高阶局部自相关的特征提取方法及其在手势识别中的应用[D];中国科学技术大学;2018年

4 卫文韬;肌电手势识别中的多流融合和多视图深度学习方法研究[D];浙江大学;2018年

5 周航;基于计算机视觉的手势识别系统研究[D];北京交通大学;2008年

6 顾立忠;基于表观的手势识别及人机交互研究[D];上海交通大学;2008年

7 万军;动态手势识别中的时空特征表示和字典优化研究[D];北京交通大学;2014年

8 成可立;数据驱动的虚拟试衣系统若干关键技术研究[D];浙江大学;2016年

9 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年

10 覃文军;基于视觉信息的手势识别算法与模型研究[D];东北大学;2010年

相关硕士学位论文 前10条

1 张哲;基于优化查询的手部交互技术研究[D];南京航空航天大学;2019年

2 张僮潼;基于FPGA的卷积神经网络手势识别系统设计[D];哈尔滨工业大学;2019年

3 黎佳明;采用RGBD图像的三维手势识别算法研究[D];国防科技大学;2017年

4 伍杰;基于视觉的实时手势识别方法研究[D];大连理工大学;2019年

5 张迪;基于机器学习的手势识别技术研究[D];南京邮电大学;2019年

6 程康;基于RFID技术的动态手势识别及其交互应用研究[D];南京邮电大学;2019年

7 张姝;基于地址事件表示信号的动态手势识别方法[D];西安电子科技大学;2019年

8 齐相达;基于时空模型的多模态动态手势识别[D];西安电子科技大学;2019年

9 姜杰文;基于手势识别的协作机器人人机交互系统设计[D];大连理工大学;2019年

10 陈宏峰;面向手势识别的表面肌电信号采样率与特征提取方法研究[D];浙江工业大学;2019年

本文编号：2717917