基于VR的辽沈战役纪念馆场景交互设计研究

发布时间：2020-08-24 16:50

【摘要】：辽沈战役纪念馆作为三大战役中辽沈战役的精神具现,是人们了解和亲身体会革命精神、缅怀革命英烈的“红色名片”,它成立于1958年12月,建馆50多年来,它对于展现解放战争时期的人文风貌以及表现革命先驱们英勇无畏、无私奉献的精神意志起到了重要的作用,对后人进一步了解战争的残酷无情、警示人们更加珍惜现在和平年代的幸福生活也具有重要的现实意义。随着社会的发展和物质文化生活的提高,人们不再满足于到现实场馆参观,因此突破时空的限制、在网上浏览场馆内容成为了新的需求。而数字技术尤其是虚拟现实(Virtual Reality,简称VR)技术恰好能够为用户提供随时随地游览场馆的用户体验,同时又能充分发挥VR虚拟博物馆的交互性和代入感的优势。本文以辽沈战役纪念馆为研究对象,通过对辽沈战役纪念馆在VR平台上的数字化实现过程探讨VR场馆的场景交互优化尤其是基于unity3d的VR语音交互方案,期望提升VR场馆的沉浸性和漫游的整体体验。论文首先探讨VR平台上语音交互优化的可行性,从理论研究入手,通过对拟研究问题的分析,探究其在理论上的支撑,同时对语音识别的优化进行实验研究和测试,再与之前同类VR场馆对比的基础上,挖掘辽沈战役纪念馆的VR场馆的价值。其次,探讨辽沈战役纪念馆VR场馆的设计和实现过程。辽沈战役纪念馆VR场馆的实现主要分为两个部分,第一部分是对馆藏内容的还原和模拟,包括三维建模和系统实现。第二部分是在场馆还原和模拟的过程中进行交互的优化调整,尤其是声音交互的内容将在得到用户体验反馈后继续进行。最后是辽沈战役纪念馆的VR场馆的用户体验和量化评估。在完成了辽沈战役纪念馆VR场馆的实现过程的基础上,以用户的角度分解和探讨辽沈战役纪念馆VR场馆的在各个方面的实际用户体验和分析,在此基础上对存在的不足和需要完善的部分进行进一步方案的产出。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.9;TU251.3
【图文】：

语音交互,概念图

很多在交互系统中设计了交互提示标识和导航地图来提升交互体验，但在交互反馈的即时性上，只有湖南省博物馆做了相关工作，在全景漫游系统中设计了专门的交互反馈模块。尽管如此，大多数的虚拟博物馆在留言模块的提问反馈功能上的设计都有所缺失[9]。另一方面，虚拟博物馆在教育方面的作用，仍然只是播放 360 度全景的主题讲座视频，很多几乎不存在交互反馈机制，然而，实际上用户更愿意自己亲自去体验去感受场馆中的环境，在游览中主动地获取知识，而不是带着尚且沉重的头显看数十分钟无趣的讲座视频。1.2.2 语音交互技术的国内外研究现状语音识别、语音合成和语义理解是语音交互的三个关键技术。其中，当用户讲话时，所说的话会被输入为语音信号，此时需要依靠语音识别将其转化为相应的文本，而语音合成则恰好相反，它将用户输入的文本通过机器合成转化成语音信号，存储为音频格式文件或音频流，而语义理解是语音识别的下个环节，它能从语音识别到的文本中理解用户的意图。语音交互流程的概念图如图 1-1 所示：

码率,算法,压缩算法

哈尔滨工业大学工学硕士学位论文也理应体现和继续发挥这一固有优势，对声音方面有所侧重，因此下文将对 V场馆中语音交互的技术可行性进行研究和探讨。2.1.1 VR 上的语音采样和压缩语音采样需要经由采集设备进行输入，输入为 PCM 编码存储为音频流，种编码方式是无损方式，在获得后进行存储和传输，以备语音识别库获取。一采样过程在 VR 平台上大同小异，由于应用于 VR 的是空间音效，VR 空间技术在其中扮演了重要角色。在此基础上，在近期的研究中，研究者们开始把目光投向对于 VR 平台的空间声的压缩编码。Chiman Kwan 等人在 2018 年进行了对几种现有技术音压缩算法的客观性能评估实验，他们针对 MP3、AAC 和 OPUS 三种压缩算法使用 24 个不同类型和码率（Bitrate）的音频文件，以 PEAQ（Perceptual EvaluatiofAudio Quality，音频质量感知评估）模型进行测试[21]，结果如图 2-1 所示：

声学模型,语音识别,辽沈战役,整体训练

哈尔滨工业大学工学硕士学位论文定人，在这一阶段涌现许多经典系统范例。直到 20 世纪 90 年代，语上商业化和市场化，系统的研究和模型的改进陷入停滞。度神经网络的出现改变了这一困局，它用神经元多层深度传递过程的决各个领域的困难问题，给语音识别的研究带来了新的方法和思路。此，在辽沈战役纪念馆 VR 场馆交互部分语音识别的设计改进上，本度神经网络最新成果——阿里 2018 年开源的 Deep-FSMN 声学模型的 VR 语音交互场景进行改进训练，这一节将介绍整体训练和改进实验 Deep-FSMN 声学模型eep-FSMN（下文简称 D-FSMN）声学模型通过在 cFSMN 结构的基础的存储块之间引入跳过连接层。这些跳过连接层可以实现信息流向不具体结构如图 2-2 所示：

【相似文献】