虚实融合的交互式实验环境的用户意图理解应用研究
发布时间：2021-10-08 15:09
长期以来,国家对教育事业的发展都十分重视,新课程改革也越来越注重对学生自主创新能力和动手能力的培养。在国内中学实验教学中,学生动手实验经常受到区域性教育资源分布不均衡,一些危险实验、观察效果不明显的实验和材料昂贵的实验难以展开,和教师教学理念差异的影响。因此,在实际的实验教学中常采用讲授与视频教学相结合回合教学方式或使用虚拟仿真实验教学的方式展开。该方式,首先无法保证学生对实验过程的重点、实验的机理和现象的深入了解;其次缺乏体验感和沉浸感,学生很难通过探索实验体验到其中的乐趣,同时,由于缺乏实际操作感,也不利于学生动手能力的培养。2018年,国家重点研发计划项目——“多模态自然交互的虚实融合开放式实验教学环境”立项成功,该项目的主要研究问题是面向中学主干课程实验教学的多种交互模型的融合共存、多模态交互意图的精确理解等科学问题,旨在推动中学智能实验教学的发展,提供复杂实验教学环境中虚实融合的实时仿真、多通道感知（视、听、触、嗅）同步呈现等教学实验效果。并且,预期实现我国优质教学资源远程教育的共建共享,同时通过虚实融合的更具沉浸感的实验来更好地阐释和展现科学原理,并突破原有的实验教学模式,...
【文章来源】：济南大学山东省
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
融合RGB和深度图像的手势识别方法
济南大学硕士学位论文19连接层（fc6，fc7）的大小为1×1×2048，这意味着有2048个神经元链接到前一层。对于第二个通道，因为RGB图像比深度图像更复杂，包含的信息也更多，因此连接层fc6、fc7选择4096个神经元进行连接。特征映射层用于替换原始的最后一个完整连接-层（fc8）网络。每个通道的fc7层的输出被映射到这个层，形成一个特征向量由6144个神经元组成。然后，当特征向量被发送到软max层。在整个模型训练方法中采用梯度下降（SGD）方法加快训练速度，减少过拟合。2.2.2对比实验为验证该模型的有效性，我们选择了实验过程中经常出现的六种手势，进行手势分类，并且招募了120名实验者，每名实验者的同一种手势的RGB图像和深度图像分别采集3600张，其中3000张用于训练，600张用于测试。六种手势如图3.2所示。图2.6六种静态手势样本（左侧RGB图像，右侧深度图像）实验一单通道和双通道之间的手势识别比较对于上述采集的6手势样本，分别训练Caffe-Net网络模型和双通道混合的网络模型，下表展示了手势识别模型的准确率。表2.1单双通道手势识别率对比ModelstructuralTrainlossvalueAccuracyvalue(%)Channel10.002932996.55Channel20.003112296.61Dualchannel0.001263598.11实验二双通道手势识别与其它识别方法的比较为了更好地体现该方法的有效性，选择现阶段较流行的网络结构和传统的手势识别模型，并对本文提供的数据集进行实验，对比结果如下。
济南大学硕士学位论文27的衔接，使得智能显微镜具有理解用户意图的能力；另一方面，对用户的部分意图进行推理，并根据推理结果和操作效果对不合理的用户操作进行引导，对必要的实验步骤进行提示，可以起到更加智能化交互效果。交互应用层中，主要通过视觉显示和听觉指引呈现效果，其中视觉呈现即通过手机显示屏观察显微镜下的样本图像。在之后会给出显微镜操作案例说明。不失一般性，我们认为该多模态交互框架可以用到很多交互场景中。3.2.1双通道信息整合根据实际的操作经验，可以排除同时调节粗、细准焦螺旋，移动样本和观察样本的操作的组合操作，设多通道整合函数为Muf)(，未调节前的图像为P，移动变换函数为PM)(，转动变换函数为PV)(，因此，多通道整合函数可以表示为：+=PPVPPMPMuf)()1()()((3.1)其中，=)1,0(为选择参数，该值可由传感元件改变，当完成一次调节后，)("=PMufP，且P"作为当前观察图像可继续被调节。3.2.2多通道信息整合策略在整个交互系统中，需要整合三个通道的信息，来完成智能化的人机交互工作，整个管理过程中，提出一种基于多通道的状态迁移策略（MCST），把不同通道的信息作为输入，系统的调节和反馈过程作为状态，不同的触发条件会引发不同状态间的迁移变化，借此来整合信息并做出合理反馈，MCST的策略如下：图3.2MCST策略
【参考文献】：
期刊论文
[1]利用微课和数字显微镜弥补传统高中生物实验教学的不足——以“观察根尖分生组织细胞的有丝分裂”实验为例[J]. 唐慧. 中小学实验与装备. 2019(01)
[2]多通道人机交互信息融合的智能方法[J]. 杨明浩,陶建华. 中国科学:信息科学. 2018(04)
[3]双通道卷积神经网络在静态手势识别中的应用[J]. 冯家文,张立民,邓向阳. 计算机工程与应用. 2018(14)
[4]虚拟现实在教育中的应用:优势与挑战[J]. 丁楠,汪亚珉. 现代教育技术. 2017(02)
[5]虚拟环境的用户意图捕获[J]. 程成,赵东坡,卢保安. 中国图象图形学报. 2015(02)
[6]面向自然交互的多通道人机对话系统[J]. 杨明浩,陶建华,李昊,巢林林. 计算机科学. 2014(10)
[7]融合触、听、视觉的多通道认知和交互模型[J]. 路璐,田丰,戴国忠,王宏安. 计算机辅助设计与图形学学报. 2014(04)
[8]ChemLab在基础化学实验的应用[J]. 祁正兴. 科技信息(科学教研). 2008(05)
[9]模拟化学实验软件——Model Chemlab[J]. 王红斌,杨敏,叶艳青. 计算机与应用化学. 2001(01)
博士论文
[1]智能语音交互中的用户意图理解与反馈生成研究[D]. 宁义双.清华大学 2017
硕士论文
[1]基于NOBOOK的高中化学虚拟实验教学设计与实践[D]. 陈晓甜.河南大学 2019
[2]基于Unity3D的测控类虚拟仿真实验技术研究[D]. 阚研.华中科技大学 2019
[3]基于Unity3D的初中物理虚拟实验平台的设计与应用研究[D]. 赵显敏.四川师范大学 2019
[4]虚拟仿真软件在中学物理习题教学中应用的研究[D]. 王涛.南京师范大学 2018
[5]基于虚拟实验的高中生化学建模能力研究[D]. 吴雅青.上海师范大学 2018
[6]虚拟实验在初中生物教学中的实践与应用[D]. 王晓婉.河南大学 2017
[7]基于云平台的网络虚拟实验课程系统[D]. 李义成.电子科技大学 2017
[8]初中化学探究教学实施的问题与对策研究[D]. 李娟.西南大学 2015
[9]基于LabVIEW的中学化学仿真实验系统的研究[D]. 王小娟.陕西师范大学 2014
[10]虚拟实验在中学化学实验教学中的应用研究[D]. 赵红喜.河南大学 2013
本文编号：3424412
【文章来源】：济南大学山东省
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
融合RGB和深度图像的手势识别方法
济南大学硕士学位论文19连接层（fc6，fc7）的大小为1×1×2048，这意味着有2048个神经元链接到前一层。对于第二个通道，因为RGB图像比深度图像更复杂，包含的信息也更多，因此连接层fc6、fc7选择4096个神经元进行连接。特征映射层用于替换原始的最后一个完整连接-层（fc8）网络。每个通道的fc7层的输出被映射到这个层，形成一个特征向量由6144个神经元组成。然后，当特征向量被发送到软max层。在整个模型训练方法中采用梯度下降（SGD）方法加快训练速度，减少过拟合。2.2.2对比实验为验证该模型的有效性，我们选择了实验过程中经常出现的六种手势，进行手势分类，并且招募了120名实验者，每名实验者的同一种手势的RGB图像和深度图像分别采集3600张，其中3000张用于训练，600张用于测试。六种手势如图3.2所示。图2.6六种静态手势样本（左侧RGB图像，右侧深度图像）实验一单通道和双通道之间的手势识别比较对于上述采集的6手势样本，分别训练Caffe-Net网络模型和双通道混合的网络模型，下表展示了手势识别模型的准确率。表2.1单双通道手势识别率对比ModelstructuralTrainlossvalueAccuracyvalue(%)Channel10.002932996.55Channel20.003112296.61Dualchannel0.001263598.11实验二双通道手势识别与其它识别方法的比较为了更好地体现该方法的有效性，选择现阶段较流行的网络结构和传统的手势识别模型，并对本文提供的数据集进行实验，对比结果如下。
济南大学硕士学位论文27的衔接，使得智能显微镜具有理解用户意图的能力；另一方面，对用户的部分意图进行推理，并根据推理结果和操作效果对不合理的用户操作进行引导，对必要的实验步骤进行提示，可以起到更加智能化交互效果。交互应用层中，主要通过视觉显示和听觉指引呈现效果，其中视觉呈现即通过手机显示屏观察显微镜下的样本图像。在之后会给出显微镜操作案例说明。不失一般性，我们认为该多模态交互框架可以用到很多交互场景中。3.2.1双通道信息整合根据实际的操作经验，可以排除同时调节粗、细准焦螺旋，移动样本和观察样本的操作的组合操作，设多通道整合函数为Muf)(，未调节前的图像为P，移动变换函数为PM)(，转动变换函数为PV)(，因此，多通道整合函数可以表示为：+=PPVPPMPMuf)()1()()((3.1)其中，=)1,0(为选择参数，该值可由传感元件改变，当完成一次调节后，)("=PMufP，且P"作为当前观察图像可继续被调节。3.2.2多通道信息整合策略在整个交互系统中，需要整合三个通道的信息，来完成智能化的人机交互工作，整个管理过程中，提出一种基于多通道的状态迁移策略（MCST），把不同通道的信息作为输入，系统的调节和反馈过程作为状态，不同的触发条件会引发不同状态间的迁移变化，借此来整合信息并做出合理反馈，MCST的策略如下：图3.2MCST策略
【参考文献】：
期刊论文
[1]利用微课和数字显微镜弥补传统高中生物实验教学的不足——以“观察根尖分生组织细胞的有丝分裂”实验为例[J]. 唐慧. 中小学实验与装备. 2019(01)
[2]多通道人机交互信息融合的智能方法[J]. 杨明浩,陶建华. 中国科学:信息科学. 2018(04)
[3]双通道卷积神经网络在静态手势识别中的应用[J]. 冯家文,张立民,邓向阳. 计算机工程与应用. 2018(14)
[4]虚拟现实在教育中的应用:优势与挑战[J]. 丁楠,汪亚珉. 现代教育技术. 2017(02)
[5]虚拟环境的用户意图捕获[J]. 程成,赵东坡,卢保安. 中国图象图形学报. 2015(02)
[6]面向自然交互的多通道人机对话系统[J]. 杨明浩,陶建华,李昊,巢林林. 计算机科学. 2014(10)
[7]融合触、听、视觉的多通道认知和交互模型[J]. 路璐,田丰,戴国忠,王宏安. 计算机辅助设计与图形学学报. 2014(04)
[8]ChemLab在基础化学实验的应用[J]. 祁正兴. 科技信息(科学教研). 2008(05)
[9]模拟化学实验软件——Model Chemlab[J]. 王红斌,杨敏,叶艳青. 计算机与应用化学. 2001(01)
博士论文
[1]智能语音交互中的用户意图理解与反馈生成研究[D]. 宁义双.清华大学 2017
硕士论文
[1]基于NOBOOK的高中化学虚拟实验教学设计与实践[D]. 陈晓甜.河南大学 2019
[2]基于Unity3D的测控类虚拟仿真实验技术研究[D]. 阚研.华中科技大学 2019
[3]基于Unity3D的初中物理虚拟实验平台的设计与应用研究[D]. 赵显敏.四川师范大学 2019
[4]虚拟仿真软件在中学物理习题教学中应用的研究[D]. 王涛.南京师范大学 2018
[5]基于虚拟实验的高中生化学建模能力研究[D]. 吴雅青.上海师范大学 2018
[6]虚拟实验在初中生物教学中的实践与应用[D]. 王晓婉.河南大学 2017
[7]基于云平台的网络虚拟实验课程系统[D]. 李义成.电子科技大学 2017
[8]初中化学探究教学实施的问题与对策研究[D]. 李娟.西南大学 2015
[9]基于LabVIEW的中学化学仿真实验系统的研究[D]. 王小娟.陕西师范大学 2014
[10]虚拟实验在中学化学实验教学中的应用研究[D]. 赵红喜.河南大学 2013
本文编号：3424412
本文链接：https://www.wllwen.com/jiaoyulunwen/ktjx/3424412.html
