增强现实电子沙盘协同交互技术研究与实现

发布时间：2021-04-21 00:25

　　随着时代的进步和科技的快速发展,军事电子沙盘也向着多样化、智能化、个性化的方向发展。在现代信息化联合作战条件下,作战人员需要能够进行高效的会商研讨、协同作业,这对电子沙盘态势展现的直观性、交互操作的便捷性以及协同研讨的高效性提出了更高的要求。传统的电子沙盘借助触屏、红外遥控等技术实现对沙盘的操控,存在成本高、转移不便且交互方式单一等缺点,与上述要求存在着较大的差距。近年来,增强现实（Augmented Reality,AR）技术已经成为研究的热门课题,它带来了超越现实的三维视觉体验和便捷的人机交互方式。针对传统沙盘的不足,本文设计和实现了一种基于AR技术的电子沙盘协同交互系统,论文主要创新成果包括:（1）研究和实现了面向AR电子沙盘的多模态自然人机交互系统。分析了电子沙盘交互流程和交互要素,设计了多模态自然人机交互框架,建立了自然人机交互语义与沙盘操作的映射关系;根据应用需求定义了中文语音指令库,基于微软Speech SDK实现了中文操控指令识别功能;基于表面肌电传感器实现了指控手势的识别。实验表明,以凝视、手势和语音三种自然交互方式不仅可以满足军事沙盘的交互操作需求,而且增强了输入的... 

【文章来源】：南京理工大学江苏省 211工程院校

【文章页数】：81 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
        1.1.1 增强现实技术
        1.1.2 增强现实电子沙盘
        1.1.3 面向增强现实电子沙盘的自然人机交互技术
        1.1.4 虚拟化身及其表情模拟技术
    1.2 研究意义
    1.3 研究现状
        1.3.1 增强现实电子沙盘技术
        1.3.2 自然人机交互技术
        1.3.3 人脸表情动画模拟技术
    1.4 研究内容和章节安排
        1.4.1 研究内容
        1.4.2 章节安排
2 增强现实电子沙盘交互系统设计
    2.1 需求分析和功能设计
        2.1.1 系统需求分析
        2.1.2 功能模块设计
    2.2 自然人机交互框架设计
        2.2.1 交互流程及交互要素分析
        2.2.2 增强现实电子沙盘自然人机交互框架设计
    2.3 技术模块设计
        2.3.1 增强现实电子沙盘模型构建
        2.3.2 自然人机交互模块
        2.3.3 表情模拟模块
    2.4 多人协同交互功能模块设计
        2.4.1 多人协同交互系统设计
        2.4.2 协同作业中并发控制策略
    2.5 本章小结
3 基于约束局部模型的人脸特征点定位
    3.1 人脸特征点定位算法流程
    3.2 Viola-Jones人脸区域检测技术
        3.2.1 Haar-like特征
        3.2.2 积分图
        3.2.3 基于AdaBoost算法的强分类器及其级联
    3.3 约束局部模型
        3.3.1 形状模型的建模
        3.3.2 Patch模型的建模
        3.3.3 CLM模型拟合过程
    3.4 基于均值漂移算法的拟合优化
        3.4.1 传统的拟合算法
        3.4.2 基于mean-shift的局部搜索优化算法
    3.5 本章小结
4 基于径向基函数插值的表情动画模拟
    4.1 基于径向基函数插值的变形算法
        4.1.1 径向基函数简介
        4.1.2 高斯核函数
    4.2 基于径向基函数插值的人脸表情模拟技术
        4.2.1 基于肌肉模型的分区域插值算法
        4.2.2 基于肌肉模型和贪心算法的特征点控制点选取算法
    4.3 数据驱动的三维人脸表情动画
    4.4 本章小结
5 系统实现与实验结果分析
    5.1 系统组成
        5.1.1 硬件组成
        5.1.2 软件平台
    5.2 实验结果与分析
        5.2.1 人脸特征点检测
        5.2.2 人脸表情模拟
        5.2.3 增强现实电子沙盘模型构建
        5.2.4 手势交互
        5.2.5 语音交互
        5.2.6 增强现实电子沙盘多人协同交互
    5.3 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献
附录



本文编号：3150688