支持Storytelling的混合现实环境及其交互技术研究
发布时间：2021-10-30 01:16
Storytelling是一种分享故事的社会和文化活动,已经被证明可以支持写作、阅读、词汇、听力和其他语言能力的发展。混合现实环境下的Storytelling,能够将故事直观表现出来,使故事更具趣味性,进一步增强人们对Storytelling的兴趣。如今,混合现实技术不断成熟,传统的交互方式无法适应虚实融合的交互场景。实物交互通过将物理对象和数字数据进行耦合,在计算机上增强物理对象,使得交互更加自然和便利。在Storytelling中引入实物交互工具,能够使故事更加生动有趣,激发兴趣,并提供丰富的想象空间。而目前Storytelling中的实物交互,其虚拟和真实物体之间缺乏相似性,这种虚拟对象和真实对象的不匹配会降低混合现实环境的无缝体验。另外,目前基于视觉的实物交互技术,对于实际物体在特征点和数据集方面有较高的要求。手势是一种自然直观的交互方式,混合现实环境中使用手势与虚拟对象交互能够实现自然性。然而,目前市面上的混合现实设备,如HoloLens,提供的手势存在形式单一,需要凝视点配合,不适用于直接操控三维物体等弊端。手工艺制作是一种可以提高儿童动手能力和空间想象力的传统文化形式,已...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
图２－丨ＨｏｌｏＬｅｎｓ传感器??２．?ＨｏｌｏＬｅｎｓ坐标系统??ＨｏｌｏＬｅｎｓ提供空间坐标系［４４］用于描述全息图形的位置和方向
?山东大学硕士学位论文???后。该坐标系以米为单位，便于在真实世界中渲染虚拟图形。??ＨｏｌｏＬｅｎｓ提供固定参照坐标系和附加参考坐标系两种坐标系统，其中固定参??照坐标系用于实现用户移动过程中物体位置固定不变；附加参考坐标系用于实现??用户移动过程中物体跟随用户的移动而移动。ＨｏｌｏＬｅｎｓ在应用程序启动时创建一??个固定参照坐标系，该坐标系原点位于程序启动时ＨｏｌｏＬｅｎｓ头盔的中心，如图２－??２所示，在整个应用程序的生命周期中，全息物体的世界坐标即相对于该参照系的??坐标。用户移动过程中，附加参考坐标系跟随用户移动，用户可以查看放置在该参??考坐标系中的内容，例如ＨｏｌｏＬｅｎｓ系统主界面，用户在任何地方主界面都会渲染??在用户眼前，并面向用户。??Ｙ?ｄ?ｉ，??霸?ｆ??图２－２?ＨｏｌｏＬｅｎｓ固定参照坐标系位置和方向??３．?ＨｏｌｏＬｅｎｓ交互方式??ＨｏｌｏＬｅｎｓ允许用户与虚拟物体之间的交互。交互方式包括凝视、手势和语音。??（１）?凝视??ＨｏｌｏＬｅｎｓ提供的凝视点相当于计算机桌面上的光标。凝视点跟随用户头部移??动，代表用户当前注视的对象。实现原理为ＨｏｌｏＬｅｎｓ在用户头部位置和方向发射??一条射线，通过判断射线与虚拟对象的交点确定用户正在凝视的对象。??（２）?手势交互??ＨｏｌｏＬｅｎｓ能够识别几种特定的手势，允许用户通过手势与虚拟物体进行交互。??其中两个主要的手势为绽开（Ｂｌｏｏｍ）和点击（ＡｉｒＴａｐ）手势。其中淀开手势表示??１２??
?山东大学硕士学位论文???回到主界面，具体动作为伸出手，掌心向上，五指指尖并拢，然后将手张开，如图??２－３（ａ）所示；点击手势为全息物体的主要交互手势，包括按下和释放，点击手势以??凝视功能为基础，用户只有通关凝视物体才能使用手势操作物体，点击手势通过将??食指向下弯曲（按下），然后向上弯曲（松开）来完成，如图２－３（ｂ）所示。??Ｄ?ｈ?”?２）?３，??＼?＼?＾＼＼??（ａ）绽开手势?（ｂ）点击手势??图?２－３?ＨｏｌｏＬｅｎｓ?手势??ＨｏｌｏＵｍ的￥势＠过深度相机行识另ＩＪ，出相杉Ｕ见Ｉｆ范围内的手势??才会被识别，如图２－４所示为手势框，表示能够进行手势识别的区域，位置为设备??前方深度相机的视锥区域。?????…．？??Ｉ她＇?Ｉ??１／〇?Ｔａｘｉ??图２４?ＨｏｌｏＬｅｎｓ手势框??（３）?语音交互??ＨｏｌｏＬｅｍ集成四个麦克风，支持支持三种语音交互形式，分别是语音指令、语??音听写和语法识别。其中，语音指令为用户发出语音命令，程序做出相应的动作，??比如当用户发出“ｃｌｏｓｅ”指令，应用程序则关闭窗口；语音听写包括语音转文字和??文字转语音功能；语法识别负责从用户定义的语法规则中识别出用户语音输入的??单词和短语。??１３??
【参考文献】：
期刊论文
[1]实物用户界面:起源、发展与研究趋势[J]. 米海鹏,王濛,卢秋宇,徐迎庆. 中国科学:信息科学. 2018(04)
[2]面向儿童的实物交互工具及其在讲故事中的应用[J]. 张澜,孙芳,王丹力,戴国忠. 计算机辅助设计与图形学学报. 2017(03)
[3]基于Kinect深度信息的手势提取与识别研究[J]. 邓瑞,周玲玲,应忍冬. 计算机应用研究. 2013(04)
[4]基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J]. 罗元,谢彧,张毅. 机器人. 2012(01)
[5]手势识别技术及其在人机交互中的应用[J]. 李清水,方志刚,沈模卫,陈育伟. 人类工效学. 2002(01)
硕士论文
[1]基于卷积神经网络的音乐推荐系统[D]. 何蓉.南京邮电大学 2019
本文编号：3465756
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
图２－丨ＨｏｌｏＬｅｎｓ传感器??２．?ＨｏｌｏＬｅｎｓ坐标系统??ＨｏｌｏＬｅｎｓ提供空间坐标系［４４］用于描述全息图形的位置和方向
?山东大学硕士学位论文???后。该坐标系以米为单位，便于在真实世界中渲染虚拟图形。??ＨｏｌｏＬｅｎｓ提供固定参照坐标系和附加参考坐标系两种坐标系统，其中固定参??照坐标系用于实现用户移动过程中物体位置固定不变；附加参考坐标系用于实现??用户移动过程中物体跟随用户的移动而移动。ＨｏｌｏＬｅｎｓ在应用程序启动时创建一??个固定参照坐标系，该坐标系原点位于程序启动时ＨｏｌｏＬｅｎｓ头盔的中心，如图２－??２所示，在整个应用程序的生命周期中，全息物体的世界坐标即相对于该参照系的??坐标。用户移动过程中，附加参考坐标系跟随用户移动，用户可以查看放置在该参??考坐标系中的内容，例如ＨｏｌｏＬｅｎｓ系统主界面，用户在任何地方主界面都会渲染??在用户眼前，并面向用户。??Ｙ?ｄ?ｉ，??霸?ｆ??图２－２?ＨｏｌｏＬｅｎｓ固定参照坐标系位置和方向??３．?ＨｏｌｏＬｅｎｓ交互方式??ＨｏｌｏＬｅｎｓ允许用户与虚拟物体之间的交互。交互方式包括凝视、手势和语音。??（１）?凝视??ＨｏｌｏＬｅｎｓ提供的凝视点相当于计算机桌面上的光标。凝视点跟随用户头部移??动，代表用户当前注视的对象。实现原理为ＨｏｌｏＬｅｎｓ在用户头部位置和方向发射??一条射线，通过判断射线与虚拟对象的交点确定用户正在凝视的对象。??（２）?手势交互??ＨｏｌｏＬｅｎｓ能够识别几种特定的手势，允许用户通过手势与虚拟物体进行交互。??其中两个主要的手势为绽开（Ｂｌｏｏｍ）和点击（ＡｉｒＴａｐ）手势。其中淀开手势表示??１２??
?山东大学硕士学位论文???回到主界面，具体动作为伸出手，掌心向上，五指指尖并拢，然后将手张开，如图??２－３（ａ）所示；点击手势为全息物体的主要交互手势，包括按下和释放，点击手势以??凝视功能为基础，用户只有通关凝视物体才能使用手势操作物体，点击手势通过将??食指向下弯曲（按下），然后向上弯曲（松开）来完成，如图２－３（ｂ）所示。??Ｄ?ｈ?”?２）?３，??＼?＼?＾＼＼??（ａ）绽开手势?（ｂ）点击手势??图?２－３?ＨｏｌｏＬｅｎｓ?手势??ＨｏｌｏＵｍ的￥势＠过深度相机行识另ＩＪ，出相杉Ｕ见Ｉｆ范围内的手势??才会被识别，如图２－４所示为手势框，表示能够进行手势识别的区域，位置为设备??前方深度相机的视锥区域。?????…．？??Ｉ她＇?Ｉ??１／〇?Ｔａｘｉ??图２４?ＨｏｌｏＬｅｎｓ手势框??（３）?语音交互??ＨｏｌｏＬｅｍ集成四个麦克风，支持支持三种语音交互形式，分别是语音指令、语??音听写和语法识别。其中，语音指令为用户发出语音命令，程序做出相应的动作，??比如当用户发出“ｃｌｏｓｅ”指令，应用程序则关闭窗口；语音听写包括语音转文字和??文字转语音功能；语法识别负责从用户定义的语法规则中识别出用户语音输入的??单词和短语。??１３??
【参考文献】：
期刊论文
[1]实物用户界面:起源、发展与研究趋势[J]. 米海鹏,王濛,卢秋宇,徐迎庆. 中国科学:信息科学. 2018(04)
[2]面向儿童的实物交互工具及其在讲故事中的应用[J]. 张澜,孙芳,王丹力,戴国忠. 计算机辅助设计与图形学学报. 2017(03)
[3]基于Kinect深度信息的手势提取与识别研究[J]. 邓瑞,周玲玲,应忍冬. 计算机应用研究. 2013(04)
[4]基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J]. 罗元,谢彧,张毅. 机器人. 2012(01)
[5]手势识别技术及其在人机交互中的应用[J]. 李清水,方志刚,沈模卫,陈育伟. 人类工效学. 2002(01)
硕士论文
[1]基于卷积神经网络的音乐推荐系统[D]. 何蓉.南京邮电大学 2019
本文编号：3465756
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3465756.html
