基于多模态交互的授课系统研究与设计

发布时间：2017-12-16 13:01

  本文关键词：基于多模态交互的授课系统研究与设计

  更多相关文章： 授课系统 多模态交互 Kinect体感检测器 手势识别 语音识别

【摘要】：接受良好的教育可以使我们懂得自己应该肩负的社会责任和家庭责任,让国民的整体素质不断提高。因此,提高教学水平对公民的影响深远。除了提高教师素质,完善教学方式也是提高教学水平的一种有效方法,一种新颖的授课方式,不仅可以提高教师授课的积极性,同时还可以提高学生的主观能动性,提升授课的效率,使得整体的教学效果得到很大的改善。随着计算机和各种交互设备的普及和深入,智能化、人性化的自然人机交互方式更容易人们接受。多模态的人机交互方式结合了多种模式的信息交互,使各模式发挥自己的优势,综合利用人的多种行为方式来完成信息的采集,从而准确无误的表达用户的意图,更好的完成人与计算机的交互过程。多模态交互理论应用在教学方面,把新颖的授课方式带入传统课堂,使学生学习知识的趣味性和主观能动性不断提高。本系统主要研究并设计了一种基于多模态交互的授课系统,利用手势交互、语音交互、手写交互等多通道交互模式,以一种全新的授课方式来完成授课的全过程。系统使用Kinect体感检测器采集人体的骨骼节点数据和语音数据,将人体的动作姿势、手势、语音与鼠标相结合作为系统的输入方式。通过Kinect获得的骨骼结点数据主要应用在对界面各元素操作的手势识别和对手写板绘制流程图两个方面。手势识别过程通过动态手势识别方法完成,该识别方法主要利用骨骼节点相对位置与设定阈值范围来进行判断,包括单手、双手多种手势的识别。当识别的手势与系统预定义手势匹配时,系统就会完成相应的操作。手写板主要是利用右手骨骼节点模拟画笔来完成绘制的轨迹,在绘制过程中需要结合鼠标左键按下这个手势来共同完成绘制过程。同时采集到的语音信息在识别后作为语法命令,然后与系统中预定义的语法命令进行匹配,当置信值大于某一阈值时命令匹配成功,系统执行该语法命令对应的操作。本系统利用手势交互、语音交互、手写交互等多模态交互完成了教师授课过程,提供一种了新颖的授课方式,让教师和学生能够以一种独特的方式来高效率地完成授予知识和学习知识的这一过程。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：G434;TP391.41

【参考文献】

中国期刊全文数据库 前10条

1 朱俊;聂龙生;徐云;罗准辰;;航天三维可视化系统中语音控制技术的研究与应用[J];现代电子技术;2015年08期

2 李昌岭;李伟华;;面向战场的多通道人机交互模型[J];火力与指挥控制;2014年11期

3 路璐;田丰;戴国忠;王宏安;;融合触、听、视觉的多通道认知和交互模型[J];计算机辅助设计与图形学学报;2014年04期

4 南貌;;多模态人-机交互技术及其应用[J];科技信息;2012年27期

5 张毅;张烁;罗元;徐晓东;;基于Kinect深度图像信息的手势轨迹识别及应用[J];计算机应用研究;2012年09期

6 张国华;老松杨;凌云翔;叶挺;;指挥控制中的多人多通道人机交互研究[J];国防科技大学学报;2010年05期

7 凌云翔;张国华;李锐;叶挺;;基于多点触摸的自然手势识别方法研究[J];国防科技大学学报;2010年01期

8 任波;李利军;曹伟明;王乘;;基于增强现实的交互式城市设计研究[J];华中科技大学学报(城市科学版);2006年02期

9 王悦,岳玮宁,王衡,董士海;手持移动计算中的多通道交互[J];软件学报;2005年01期

10 童莉;建构主义的学习迁移观及对数学教育的启示[J];重庆师范学院学报(自然科学版);2002年04期

中国博士学位论文全文数据库 前1条

1 陈国松;我国重点大学本科工程教育实践教学改革研究[D];华中科技大学;2012年

中国硕士学位论文全文数据库 前3条

1 王松林;基于Kinect的手势识别与机器人控制技术研究[D];北京交通大学;2014年

2 陈静;基于Kinect的手势识别技术及其在教学中的应用[D];上海交通大学;2013年

3 宋礼凤;高中生物学教学现状与对策研究[D];山东师范大学;2004年

，

本文编号：1296091