基于体感交互的花卉植物交互式可视化关键技术研究

发布时间：2020-05-05 14:55

【摘要】：花卉植物可视化是现代数字林业研究中不可或缺的组成部分,从早期的花卉植物模型构建到花卉植物形态模拟,已经形成了比较完善的研究体系。随着人机交互的全面普及,人们不再满足于简单的花卉植物展示功能,而将研究重心转向可视化交互功能的实现,提出了各种各样基于交互的花卉植物可视化系统。然而,这一类系统主要通过简单的二维或三维人机交互来实现部分模型参数的改变,从而实现对虚拟植物的模拟,缺少人为的主动介入。如何基于不断发展的人机交互技术,超越现有的简单交互方式,扩展花卉植物可视化交互的深度和维度,成为了新的研究热点。随着近年来体感交互相关技术的快速发展和花卉植物可视化仿真技术研究的不断深入,针对现有基于交互的花卉植物可视化系统中存在的问题,在分析了体感交互技术在林业工程领域应用的可行性后,本文提出了基于体感交互的花卉植物交互式可视化方法及其研究框架,并给出了基于体感交互的花卉植物交互式可视化系统的总体设计。在此基础上,对建立基于体感交互的花卉植物交互式可视化系统所面临的“虚拟手精确抓取”和“动态手势识别”两项关键技术进行了深入研究,主要的研究内容如下:(1)提出了基于体感交互的花卉植物交互式可视化实现方法,即通过对人手的感知,采用虚拟手和动态手势在Unity3D提供的三维虚拟场景中直接对花卉植物进行操纵的方法。相比现行的基于交互的花卉植物可视化系统,本文将体感交互技术与花卉植物可视化模拟紧密结合,在实现平台、人机交互与花卉植物可视化展示等方面实现了沉浸化,为花卉植物可视化交互提供了全新的思路与维度体验。(2)针对虚拟手与花卉植物交互存在的精确抓取问题,本文构建了适用于花卉植物可视化交互的Leap Motion虚拟手模型,并提出了一种基于虚拟手的精确抓取交互方法。首先通过对真实手与虚拟手之间的姿态映射及其两者的碰撞检测优化实现了虚拟手的实时交互模拟;其次提出了基于物理和视觉信息相结合的抓取算法,能够准确、稳定的抓取花卉植物模型;最后根据人手运动学约束对虚拟手与物体的相互穿透进行了优化,实现了虚拟手的精确抓取交互。(3)针对花卉植物可视化交互过程中的动态手势识别问题,本文利用Leap Motion作为输入设备,提出了一种改进HMM-PSO算法的动态手势识别方法。首先利用两个Leap Motion从不同角度获取人手运动数据并进行数据融合处理;其次构建了一种适应于花卉植物可视化交互的新特征向量;最后利用改进的HMM-PSO分类器进行动态手势识别。本文的改进方法能够高效、准确的识别手势,并实时操作花卉植物进行模拟,满足了花卉植物交互式可视化系统的人机交互功能。为验证基于体感交互的花卉植物交互式可视化方法的可行性和有效性,选择Unity3D这一成熟的开发引擎、结合体感设备Leap Motion和Oculus Rift搭建了虚拟场景和展示平台,设计并实现了原型系统。经用户测试表明,采用虚拟手抓取交互和动态手势交互的结合,可实现对三维虚拟环境中的花卉植物直接交互以及沉浸式立体可视化展示。本文的研究解决了建立花卉植物交互式可视化系统所面临的“虚拟手精确抓取”与“动态手势识别”两个关键问题,为推进花卉植物模拟向可视化交互方向发展,提高花卉植物可视化模拟提供了新的思路和方法,也为林业工程与虚拟现实相结合的研究奠定了坚实的基础。
【图文】：

系统架构

２基于体感交互的花卉植物交互式可视化系统框架设计逡逑的可行性，并有效减少虚拟手与花卉植物之间的渗透。基于体感设备获取的数据集提逡逑新的特征向量作为手势识别输入，结合改进ＨＭＭ－ＰＳＯ算法对ＨＭＭ参数进行优逡逑化，最终提高动态手势识别效率，实现实时、高效、逼真的花卉植物交互式可视化过逡逑仿真。逡逑（４）可视化应用层主要是在实际工程中有效应用本文提出的方法，在花卉植物逡逑可视化的构建过程中，主要包括虚拟场景实时交互效果的渲染和花卉植物可视化交互逡逑模型操控两项任务。逡逑基于上述四层的功能描述，设计了最终的框架，具体如图２－２所示。逡逑

工作流程图,系统仿真,工作流程,手势

基于体感交互的花卉植物交互式可视化关键技术研宄逡逑２．２．３系统仿真工作流程逡逑本文提出的系统通过Ｌｅａｐ邋Ｍｏｔｉｏｎ手势驱动，系统在检测到相应用户执行的某个逡逑交互手势后，，触发具体操作任务。具体流程如下图２－３所示。逡逑Ｉ逦逦逦逦逦—逦，逡逑
【学位授予单位】：北京林业大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：S712

【参考文献】