智能沙盘人机交互系统研发
发布时间：2021-08-28 13:35
现有的智能沙盘教学演示系统仅支持鼠标键盘等传统的交互方式,为进一步提高用户沉浸感和参与感,本文研发了基于手势操作的智能沙盘人机交互系统。智能沙盘人机交互系统采用增强现实技术、三维图形建模相关技术、体感开发技术、手势识别技术。本文将手势识别技术运用到智能沙盘上。用自然直接的手势代替鼠标键盘的输入,在无需佩戴任何交互式设备的情况下,就可获得交互式的增强现实体验。本文在Kinect v1.8的基础上实现了单手六种手势的识别、多手手势识别和动态手势识别,从而实现了丰富的智能沙盘的人机交互功能。可根据用户不同的手势触发不同的天气系统、自然灾害系统,以及判断手势与沙盘平台以及平台上虚拟物体的相对位置,识别动态手势掌心轨迹,进行放置移动沙盘上的虚拟物体等功能。在智能沙盘教学演示系统的基础上,智能沙盘人机交互系统研发了包含地形同步系统、天气系统、自然灾害系统、军事系统、手势交互系统和图形界面系统共六大系统。包含基础功能、场景功能、交互功能、同步功能共四大功能模块。智能沙盘人机交互系统将手势识别技术运用到智能沙盘上,进一步完善了智能沙盘的功能,进一步提高智能沙盘系统的沉浸感,提高用户群体的参与感。激发了...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：95 页
【学位级别】：硕士
【部分图文】：
移动增强现实三维注册技术分类基于计算机视觉的三维注册技术主要是通过计算机获取真实场景的图
哈尔滨工业大学工程硕士学位论文-8-头盔显示式设备按照实现原理大致分为光学透视式和视频透视式两类，分别如图2.2所示。光学透视式增强现实系统更加简单、直接、视觉偏差少、分辨率高。但是设备价格高、匹配定位精度要求高、视野较狭窄。视频透视式增强现实系统采用的基于视频合成的技术。图2-2(a)为光学透视式，(b)为视频透视式。（a）光学透视式（b）视频透视式图2-2头盔显示器分类一般手机、PDA、平板电脑等移动终端设备属于手持显示式。手持显示式方便随身携带，具有较高的便携性，同时这类设备是通过触摸屏进行触控操作，方便交互。投影式显示可以开发更大范围的场景，需要的设备较复杂，体积较为庞大，适用于室内多人演示的场合。在虚实融合场景显示的研究中，主要面临两方面的问题。一是如何做到真实场景和虚拟物体场景无缝连接、完美融合。二是如何解决真实场景变化时虚拟物体的叠加实时响应进行改变，防止延时带来的“漂移”现象。本系统采用投影式，主要通过程序来控制投影虚拟对象信息逐帧变化，来解决实时性的需求。2.1.1.3人机交互技术人机交互技术[33]系统针对收到的交互信息做出相应的响应的过程。目前增强现实系统中的交互方式主要有通过外接设备交互、特定标志交互以及徒手交互三种形式。较为传统的外接设备如鼠标键盘。具有成本低、响应迅速、准确率高的特点。但是沉浸感较差，操作繁琐。另外一种是借助数据手套、力反馈设备、磁传感器等一些带有传感器的设备进行交互。这种方式沉浸感较强，精度较高，但是穿戴繁琐不便，成本也相对较高。特定标志是通过设计特殊标志，赋予标志不同的含义，同时结合先进的注册算法。进行特定标志交互能够降低用户的学习成本，沉浸感要稍高于传统外接设备。
锥蔚亩サ?数据包括纹理坐标、顶点颜色等逐个进行插值，逐像素处理。光栅化阶段决定了哪些像素应该被绘制在屏幕上，并决定了像素的颜色。不难看出CPU的工作是把数据加载到缓存：所有数据都要从硬盘加载到系统内存，然后网格和纹理，顶点位置、颜色，法线，纹理坐标等数据加载到显存中。然后设置渲染状态，决定使用哪个顶点着色器和片元着色器，光源属性，材质等来渲染，最后调用绘制命令drawcall，通知GPU遵从CPU的设置来渲染图元。CPU的工作是一项复杂且繁琐的过程，而GPU的工作相对轻松，因而需要对绘制命令进行优化。图2-3GPU流水线[35]在智能沙盘的渲染中，需要配合使用Unity3D的材质Material和Shader才能达到需要的效果。材质Material是渲染虚拟物体的载体，在Unity3DShader中完成包含属性，顶点着色器，片元着色器的渲染代码，并加载到材质Material上，最后将材质赋给模型展示渲染效果。其中顶点着色器处理的是顶点数据，且是单个顶点数据。在顶点着色器一方面完成顶点坐标变换。另一方面处理好顶点光照，为后续阶段做好数据准备，比如纹理坐标，顶点颜色等。其中片元着色器获得上层准备好的每个片元的数据，对单个片元进行处理，并输出片元的颜色。在片元着色器阶段可以做类似纹理采样等很多重要
【参考文献】：
期刊论文
[1]基于AR技术的“视觉本草”草药识别软件设计与开发[J]. 杨昕彤,朱丹丹,张晶,倪心宇,关云兴. 电脑知识与技术. 2020(02)
[2]虚拟现实和增强现实在颅颌面外科中应用的研究进展[J]. 陈哲炜,郭芳芳. 东南大学学报(医学版). 2019(06)
[3]基于视觉的增强现实三维注册技术综述[J]. 侯守明,韩吉,张煜东,朱子秋. 系统仿真学报. 2019(11)
[4]户外增强现实军事仿真系统[J]. 张一凡,缪远东,陈畅宇,陈靖. 光学技术. 2019(05)
[5]基于AR与物联网融合技术在智能交通领域的应用[J]. 王成松. 中国公共安全. 2019(08)
[6]基于视觉的人机交互在机器人控制中的应用[J]. 翟英威. 信息通信. 2019(01)
[7]增强现实（AR）技术的应用及前景分析[J]. 李桐,刘文倩,邹田春,张晓敏. 电脑知识与技术. 2018(11)
[8]增强现实自然手势识别技术的应用[J]. 史晓刚. 电子技术与软件工程. 2018(04)
[9]人机交互研究综述[J]. 赵永惠. 信息与电脑(理论版). 2017(23)
[10]虚拟现实和增强现实在智慧图书馆的应用[J]. 胡国强,马来宏. 图书馆工作与研究. 2017(09)
硕士论文
[1]基于增强现实技术的智能沙盘教学演示系统[D]. 纪显俐.哈尔滨工业大学 2019
[2]基于视觉定位的人机交互示教系统[D]. 夏晗.哈尔滨工业大学 2017
[3]基于惯性传感器的手势交互方法研究[D]. 王琳琳.电子科技大学 2017
[4]基于深度图像的3D手势识别[D]. 姜克.江南大学 2015
[5]增强现实系统中人机交互技术研究[D]. 刘铁良.东北石油大学 2014
[6]基于立体视觉的指尖定位与人机交互技术研究[D]. 郗瑶颖.长安大学 2013
[7]基于视觉的实时手势跟踪与识别及其在人机交互中的应用[D]. 王辉.浙江大学 2008
本文编号：3368611
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：95 页
【学位级别】：硕士
【部分图文】：
移动增强现实三维注册技术分类基于计算机视觉的三维注册技术主要是通过计算机获取真实场景的图
哈尔滨工业大学工程硕士学位论文-8-头盔显示式设备按照实现原理大致分为光学透视式和视频透视式两类，分别如图2.2所示。光学透视式增强现实系统更加简单、直接、视觉偏差少、分辨率高。但是设备价格高、匹配定位精度要求高、视野较狭窄。视频透视式增强现实系统采用的基于视频合成的技术。图2-2(a)为光学透视式，(b)为视频透视式。（a）光学透视式（b）视频透视式图2-2头盔显示器分类一般手机、PDA、平板电脑等移动终端设备属于手持显示式。手持显示式方便随身携带，具有较高的便携性，同时这类设备是通过触摸屏进行触控操作，方便交互。投影式显示可以开发更大范围的场景，需要的设备较复杂，体积较为庞大，适用于室内多人演示的场合。在虚实融合场景显示的研究中，主要面临两方面的问题。一是如何做到真实场景和虚拟物体场景无缝连接、完美融合。二是如何解决真实场景变化时虚拟物体的叠加实时响应进行改变，防止延时带来的“漂移”现象。本系统采用投影式，主要通过程序来控制投影虚拟对象信息逐帧变化，来解决实时性的需求。2.1.1.3人机交互技术人机交互技术[33]系统针对收到的交互信息做出相应的响应的过程。目前增强现实系统中的交互方式主要有通过外接设备交互、特定标志交互以及徒手交互三种形式。较为传统的外接设备如鼠标键盘。具有成本低、响应迅速、准确率高的特点。但是沉浸感较差，操作繁琐。另外一种是借助数据手套、力反馈设备、磁传感器等一些带有传感器的设备进行交互。这种方式沉浸感较强，精度较高，但是穿戴繁琐不便，成本也相对较高。特定标志是通过设计特殊标志，赋予标志不同的含义，同时结合先进的注册算法。进行特定标志交互能够降低用户的学习成本，沉浸感要稍高于传统外接设备。
锥蔚亩サ?数据包括纹理坐标、顶点颜色等逐个进行插值，逐像素处理。光栅化阶段决定了哪些像素应该被绘制在屏幕上，并决定了像素的颜色。不难看出CPU的工作是把数据加载到缓存：所有数据都要从硬盘加载到系统内存，然后网格和纹理，顶点位置、颜色，法线，纹理坐标等数据加载到显存中。然后设置渲染状态，决定使用哪个顶点着色器和片元着色器，光源属性，材质等来渲染，最后调用绘制命令drawcall，通知GPU遵从CPU的设置来渲染图元。CPU的工作是一项复杂且繁琐的过程，而GPU的工作相对轻松，因而需要对绘制命令进行优化。图2-3GPU流水线[35]在智能沙盘的渲染中，需要配合使用Unity3D的材质Material和Shader才能达到需要的效果。材质Material是渲染虚拟物体的载体，在Unity3DShader中完成包含属性，顶点着色器，片元着色器的渲染代码，并加载到材质Material上，最后将材质赋给模型展示渲染效果。其中顶点着色器处理的是顶点数据，且是单个顶点数据。在顶点着色器一方面完成顶点坐标变换。另一方面处理好顶点光照，为后续阶段做好数据准备，比如纹理坐标，顶点颜色等。其中片元着色器获得上层准备好的每个片元的数据，对单个片元进行处理，并输出片元的颜色。在片元着色器阶段可以做类似纹理采样等很多重要
【参考文献】：
期刊论文
[1]基于AR技术的“视觉本草”草药识别软件设计与开发[J]. 杨昕彤,朱丹丹,张晶,倪心宇,关云兴. 电脑知识与技术. 2020(02)
[2]虚拟现实和增强现实在颅颌面外科中应用的研究进展[J]. 陈哲炜,郭芳芳. 东南大学学报(医学版). 2019(06)
[3]基于视觉的增强现实三维注册技术综述[J]. 侯守明,韩吉,张煜东,朱子秋. 系统仿真学报. 2019(11)
[4]户外增强现实军事仿真系统[J]. 张一凡,缪远东,陈畅宇,陈靖. 光学技术. 2019(05)
[5]基于AR与物联网融合技术在智能交通领域的应用[J]. 王成松. 中国公共安全. 2019(08)
[6]基于视觉的人机交互在机器人控制中的应用[J]. 翟英威. 信息通信. 2019(01)
[7]增强现实（AR）技术的应用及前景分析[J]. 李桐,刘文倩,邹田春,张晓敏. 电脑知识与技术. 2018(11)
[8]增强现实自然手势识别技术的应用[J]. 史晓刚. 电子技术与软件工程. 2018(04)
[9]人机交互研究综述[J]. 赵永惠. 信息与电脑(理论版). 2017(23)
[10]虚拟现实和增强现实在智慧图书馆的应用[J]. 胡国强,马来宏. 图书馆工作与研究. 2017(09)
硕士论文
[1]基于增强现实技术的智能沙盘教学演示系统[D]. 纪显俐.哈尔滨工业大学 2019
[2]基于视觉定位的人机交互示教系统[D]. 夏晗.哈尔滨工业大学 2017
[3]基于惯性传感器的手势交互方法研究[D]. 王琳琳.电子科技大学 2017
[4]基于深度图像的3D手势识别[D]. 姜克.江南大学 2015
[5]增强现实系统中人机交互技术研究[D]. 刘铁良.东北石油大学 2014
[6]基于立体视觉的指尖定位与人机交互技术研究[D]. 郗瑶颖.长安大学 2013
[7]基于视觉的实时手势跟踪与识别及其在人机交互中的应用[D]. 王辉.浙江大学 2008
本文编号：3368611
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3368611.html
最近更新
教材专著
