基于目标跟踪和语音交互的增强现实系统设计

发布时间：2021-01-08 01:13

　　随着计算机技术发展,增强现实技术（Augmented Reality,简称AR）迎来新的机遇,但目前的增强现实应用大都是将虚拟的模型简单地叠加到现实场景视频画面之上,虚拟模型在大小和形状上与现实场景中的物体保持一致,不能感知到真实场景中的对象。本文研究采用目标检测技术和双目视觉技术,将现实场景中特定对象的位置信息及时采集到应用中,让虚拟对象跟随特定对象运动,增加了应用的真实性趣味性。为了加强增强现实应用的人机交互能力,本文借助远程语音识别引擎,将本地语音命令录入并通过网络上传至服务器,并进行语音识别,将语音识别技术集成到增强现实应用中,使得人机交互便捷高效。针对目标检测技术,研究基于可变部件模型（DPM）的目标检测算法。该算法使用的基本特征为改进的HOG特征,融合了符号梯度和无符号梯度的信息,进行了适当简化,保留了有用信息,又简化了计算。特征金字塔实现了对目标的多尺度检测。采用根模型和部件模型的组合检测方式,允许目标有适当的变形。针对目标位置测量,研究采用双目测距技术,经过相机成像、镜头畸变、参数标定和视差匹配等流程,提出基于边缘特征的改进SGBM算法,求得目标的三维坐标,构建软件平台... 

【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校

【文章页数】：85 页

【学位级别】：硕士

【部分图文】：

谷歌眼镜

西南交通大学硕士研究生学位论文第2页1.2国内外研究现状增强现实设备具有高效、丰富和便捷等特点，被认为会取代智能手机，成为下一代交互平台，将世界联系的更加紧密[10]，成为未来万物互联的物联网世界中重要的一环。1.2.1国外研究现状增强现实技术源于国外，发展程度快得多。2012年4月，Google的秘密实验室小组开发了一款头戴式设备，采用特殊设计，将投影出来的场景反射到视网膜，实现虚实结合[11]。图1-1谷歌眼镜该设备功能十分丰富，日常的沟通交流、文件处理和游戏娱乐都可以实现。具体的结构包括摄像头、一个光线调节多边形棱柱和搭载这些部件的镜框，如图1-1所示。工作时，虚拟数字内容从一个极小的发射装置发出，经过平面反射和透镜折射到穿戴者的视网膜上，形成一块虚拟屏幕，将虚拟内容展现到他的身前。图1-2波音线束组装

西南交通大学硕士研究生学位论文第3页增强现实设备这种实时高效的显示功能具有极大的应用潜力。如图1-2所示，在飞机的线束安装插接过程中，它可以通过实时地渲染出某处线路的分布情况和连接顺序，指导工人快速地完成工作，省去大量指导文件的查阅[12]，降低了操作难度。据统计，波音公司利用该技术成功缩短操作周期0.25，降低失误率0.5，取得了很好的效果。主要的头戴式增强现实设备还有Meta和微软的HoloLens，图1-3为来自加州圣马特奥的Meta公司发布的最新产品。Meta可以实现徒手的简单交互，虽然成像质量一般，但可以提供90°的可视角度(FOV)[13]。Meta的宗旨是为现实世界披上一层数字外衣。他们希望让自己的产品接替2D现实器，引领一种全新的3D显示方式。图1-3Meta2眼镜微软作为计算机技术的领导者，对这种拥有巨大潜力的技术自然不会错过，发布了HoloLens系列产品。2017年开始登陆中国市场并开售，它发展的不快，却是目前性能最高的混合现实设备，已经涉及到了工程、设计、医药和建筑等方面的应用[14]。图1-4MicrosoftHoloLens


本文编号：2963611