基于HoloLens增强现实的关键技术研究与实现

发布时间：2024-04-20 11:21

　　增强现实系统关键技术包括虚拟现实融合、三维配准、实时交互,其中核心在于目标对象的检测定位,即三维配准。随着大数据、硬件技术的不断发展,大量的实验证明,相比以人为设计并提取特征点的传统机器学习方法,以卷积神经网络为核心的深度学习技术大大提高了图像检测的效率和精度,广泛应用于各行各业。针对增强现实系统中关键技术的精度效率要求以及交互方式要求,本文在以下方面进行了研究与实现:(1)为了实现数据的普遍性,从背景、照明,对象大小、拍摄角度等多方面考虑,针对常见的实验室设备,自制数据集并标定,同时利用翻转、缩放、裁剪等数据增强方法来扩充数据集以获取更好的训练拟合,利用自身训练的网络模型,与Faster R-CNN网络进行比对,依据实验结果选出更优的目标检测网络。(2)在目标检测模型返回的边界框的基础上,设计出一种结合射线碰撞、计算边框的方法,对检测目标进行物理空间定位,为叠加模型提供空间坐标,并从主观和客观角度最终评价检测模型。(3)对前期制作的3D设备模型进行不同方法的贴图渲染,设计烘焙移植方法来选出最好结果以适应增强现实设备的计算力。(4)综合以上三点,利用Voice、Gesture、Gaze...

【文章页数】：87 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 课题的研究背景和意义
    1.2 国内外研究现状
    1.3 研究内容和论文结构
第2章 目标检测和增强现实技术简介
    2.1 目标检测技术
        2.1.1 传统算法
        2.1.2 卷积神经网络
        2.1.3 CNN模型
    2.2 增强现实关键技术
        2.2.1 跟踪注册技术
        2.2.2 三维显示技术
        2.2.3 人机交互技术
    2.3 本章小结
第3章 目标检测模型的研究与实现
    3.1 数据建立与处理
        3.1.1 数据处理及优化
        3.1.2 数据集标定
    3.2 改进的Faster RCNN模型
        3.2.1 Faster R-CNN框架
        3.2.2 区域建议网络
        3.2.3 改进后Faster R-CNN网络训练
    3.3 微软视觉服务模型训练
    3.4 实验结果与分析
        3.4.1 实验相关信息说明
        3.4.2 实验结果对比
    3.5 本章小结
第4章 空间定位与交互技术研究与实现
    4.1 HoloLens中的SLAM技术
        4.1.1 基于单目视觉的SLAM
        4.1.2 基于RGB-D类的SLAM
    4.2 目标空间定位
    4.3 模型的制作与渲染
        4.3.1 3DS MAX三维建模
        4.3.2 V-Ray渲染器
        4.3.3 贴图烘焙
    4.4 交互方式
        4.4.1 基于凝视的交互方式
        4.4.2 基于手势的交互方式
        4.4.3 基于语音的交互方式
    4.5 实验结果与分析
        4.5.1 目标空间定位实验
        4.5.2 3D模型的渲染烘焙实验
        4.5.3 交互方式实验
    4.6 本章小结
第5章 AR检测定位交互系统的设计与实现
    5.1 功能划分
    5.2 模块设计与实现
    5.3 模块连接与系统集成
    5.4 实验结果与分析
    5.5 本章小结
总结与展望
致谢
参考文献
攻读硕士学位期间发表的论文及科研成果



本文编号：3959335