增强现实电子沙盘的手势交互技术研究

发布时间：2023-04-17 05:49

　　增强现实电子沙盘在物理沙盘的基础上采用增强现实技术实现了动态构建虚拟三维模型,全方位展现立体地形地貌和沙盘要素;同时改变了指挥员与沙盘的交互方式,直接影响着指挥员在电子沙盘上的指挥效率。将手势交互应用在电子沙盘中,为指挥员提供高效自然的交互方式、提高其指挥效率。因此本文对手势交互和指尖跟踪技术进行研究,研究内容主要包括指尖检测方法、指尖三维运动估计与跟踪和多传感器融合的手势交互。首先,针对沙盘交互系统实时性和准确性的要求,设计了一种模板匹配与区域生长结合的指尖检测方法。根据指尖几何特征和人体肤色特性,在初始图像中采用基于模板匹配的区域生长方法分割出手部区域,然后在该区域采用细检索指尖模板匹配,完成初始指尖检测;针对区域生长算法耗时较长的问题,在后续检测过程中只在当前指尖点的一定邻域内进行匹配,从而减少计算量,实现快速准确的指尖检测。其次,根据手指尖运动生理特征,将指尖的二维运动信息映射到三维球面上,并提出了一种基于指尖运动三维映射的卡尔曼滤波方法。根据指尖运动规律,拟合出指尖运动的复合卡尔曼运动模型,对指尖位置进行预测更新,实现指尖运动的稳定跟踪。最后,本文在AR智能眼镜Hololen...

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 研究现状
        1.2.1 增强现实电子沙盘技术
        1.2.2 指尖跟踪技术
        1.2.3 手势交互技术
        1.2.4 多传感器融合技术
    1.3 课题来源
    1.4 研究内容和组织结构
        1.4.1 本文主要研究内容
        1.4.2 本文组织结构
2 指尖运动的快速检测方法
    2.1 指尖检测相关算法
        2.1.1 区域生长分割算法
        2.1.2 模板匹配算法
    2.2 区域生长与模板匹配结合的指尖检测算法
        2.2.1 粗检索肤色模板匹配
        2.2.2 基于肤色的区域生长
        2.2.3 细检索指尖模板匹配
    2.3 指尖的快速检测
    2.4 实验验证与分析
        2.4.1 实验设置
        2.4.2 实验结果与分析
    2.5 本章小结
3 指尖三维运动估计和稳定跟踪
    3.1 运动目标跟踪相关算法
        3.1.1 卡尔曼滤波算法
        3.1.2 核相关滤波算法
    3.2 指尖点二维到三维位置计算
        3.2.1 坐标系及其转换关系
        3.2.2 指尖三维坐标计算
    3.3 基于卡尔曼滤波的指尖运动估计
        3.3.1 匀速模型
        3.3.2 匀加速模型
        3.3.3 复合卡尔曼运动估计
    3.4 实验结果与分析
    3.5 本章小结
4 多传感器融合的手势交互
    4.1 多传感器融合方法
        4.1.1 多传感器数据融合原理
        4.1.2 多传感器数据融合方法
    4.2 面向电子沙盘的交互动作定义
    4.3 电子沙盘场景下的手势识别
        4.3.1 肌电信号处理
        4.3.2 多传感器融合的手势识别
    4.4 电子沙盘场景下的交互语义映射
    4.5 实验验证和分析
        4.5.1 实验设置
        4.5.2 实验结果与分析
    4.6 本章小结
5 面向电子沙盘的手势交互系统的设计与实现
    5.1 系统需求分析
    5.2 系统总体架构
        5.2.1 系统结构
        5.2.2 系统开发环境
    5.3 电子沙盘场景下的手势交互模块的实现
        5.3.1 手势数据采集
        5.3.2 电子沙盘场景下的交互流程
        5.3.3 基于电子沙盘场景的交互实例验证
    5.4 本章小结
6 总结与展望
    6.1 全文总结
    6.2 未来工作展望
致谢
参考文献
附录



本文编号：3792697