基于多模态情感识别的自适应教学系统研究与实现
发布时间：2020-07-15 22:02
【摘要】：在线教育因为其突破了传统教育模式时间、空间、授课人数的限制,并且其教育资源丰富、门槛低,成为了越来越多的人接受教育的方式。然而在线教育是一种单向教学过程,缺乏学习者与老师之间的交流互动,“情感缺失”现象严重。通过实时检测学习者情感状态并为其提供个性化辅助能有效缓解“情感缺失”问题。因此,基于多模态情感识别的自适应教学系统的研究具有重要研究意义和应用指导价值。目前在线学习领域中的情感识别研究还存在一些问题:一是视频学习作为在线教育中的一个重要环节承担着知识传授的主要责任,却很少被关注。二是在学习者观看视频学习的过程中,学习者的面部人像数据以及视频交互行为数据能够通过计算机技术获取,但是目前鲜有研究将学习者的实时交互行为考虑在学习情感模型之中,并且绝大部分研究未将视频交互行为数据与人像数据结合考虑。三是目前的研究仅仅停留于理论层面,无法体现实际应用价值。针对上述问题,本文以学习者视频学习过程中的情感识别为主线,提出了基于多模态情感识别的自适应教学系统。本文研究的主要成果总结如下:(1)针对视频学习过程,提出使用多模态模型即视频交互行为特征及学习者人像特征作为实时情感识别的特征数据。人像数据通过摄像头获取并提取出相应特征数据,视频交互行为特征数据由教育系统定义和提取。针对数据中存在的不合法数据及不平衡问题,本文首先对数据进行预清洗操作,随后使用Borderline-SMOTE1过采样方法结合Tomek Link Removal欠采样方法生成平衡数据集。(2)实时学习情感模型。本研究在总结现有情感模型研究工作的基础上提出了多模态情感模型,使用自主设计研发的客户端采集数据,通过机器学习算法训练得到基于多模态的情感分类器。本研究关注的学习情感有:高兴、困惑、专注、分心、惊讶、思考、正常及未知共八个种类。除上述情感类别外,本研究还包含了笔记行为的识别。(3)本研究设计了自适应教学系统框架并实现了基于多模态情感识别的自适应教学原型系统。针对目前情感识别仅停留于理论层面的缺陷,本研究提出了通用系统框架并将实时情感识别应用于实际系统之中,设计了个性化辅助手段以突显情感识别的应用价值。本文首先介绍基于多模态情感识别的自适应教学系统的研究意义和价值,然后介绍多模态情感识别及学习者行为分析的研究现状和存在的问题,并提出了本文的研究路线。接着,本文对学习者进行行为建模,并对特征提取、情感分类模型、数据不平衡、自适应教学系统框架设计等关键技术进行了介绍。之后是本文模型的实验验证及原型系统的设计与实现。最后是工作总结和展望。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：G434;TP311.52;TP391.41
【图文】：
上海市发展和改革委员战略新兴产业专项项目“基于务公共服务平台”、上海市经济和信息化委员会、上项目“上海市物联网技术高技能人才培养基地 RFID”两个课题支撑。日益重视的当下，传统的教育模式无法满足现代教学破了传统教育模式在时间、空间、授课人数等方面的、门槛低，目前在线教育已经成为了被越来越多的人教育平台，如 Coursera、edX、网易云课堂、腾讯课笋般上线。根据智研咨询 2017 年发布的《2017-202查研究及发展前景预测报告》报告显示[1]，2016 年在 亿元，在线教育用户规模达到 9001 万，预计 2018 2000 亿，如图 1-1 所示。越来越多的高等院校、互推进教育现代化提升全民教育水平。
上海交通大学硕士学位论文在线教育是一种单向教学过程，缺乏学习者与老师之间的交流互动，“情”现象严重。学习者在线教育时无法得到及时反馈，学习曲线陡峭，从线课程辍学率居高不下，平台用户流失严重。智能教育系统正是为了解题，其旨在为学习者提供及时和个性化的指导及反馈（通常没有教师的通过使用计算机手段让学习者高效自主学习，同时解决学习者对于教师赖的问题。通过情感识别技术，智能教育系统可以实时感知学习者的学态（如困惑、高兴、惊讶等），并根据情感状态为学习者提供个性化辅助、回放、提供辅助材料等，从而让学习者做到自适应学习。通过将在线与智能教育系统有机结合可以弥补当前在线教育平台中存在的“情感缺。
图 2-1 情感识别流程Fig.2-1 Scheme of the generic emotional detector作者设计了一个实验场景：所有的学生在笔记本电脑上通过一个在线学习平台进行学习，所有笔记本配有前置深度摄像头以获取用户的表情、脸部标定数据等，通过在线学习平台的记录日志获取上下文数据。当数据采集完毕后，作者雇佣了心理学和教育学方面的专家通过观察学生学习时的视频结合学习的内容对学生的情感状态进行标定。图像特征主要包括用户的姿势、头部位置、脸部表情等
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：G434;TP311.52;TP391.41
【图文】：
上海市发展和改革委员战略新兴产业专项项目“基于务公共服务平台”、上海市经济和信息化委员会、上项目“上海市物联网技术高技能人才培养基地 RFID”两个课题支撑。日益重视的当下，传统的教育模式无法满足现代教学破了传统教育模式在时间、空间、授课人数等方面的、门槛低，目前在线教育已经成为了被越来越多的人教育平台，如 Coursera、edX、网易云课堂、腾讯课笋般上线。根据智研咨询 2017 年发布的《2017-202查研究及发展前景预测报告》报告显示[1]，2016 年在 亿元，在线教育用户规模达到 9001 万，预计 2018 2000 亿，如图 1-1 所示。越来越多的高等院校、互推进教育现代化提升全民教育水平。
上海交通大学硕士学位论文在线教育是一种单向教学过程，缺乏学习者与老师之间的交流互动，“情”现象严重。学习者在线教育时无法得到及时反馈，学习曲线陡峭，从线课程辍学率居高不下，平台用户流失严重。智能教育系统正是为了解题，其旨在为学习者提供及时和个性化的指导及反馈（通常没有教师的通过使用计算机手段让学习者高效自主学习，同时解决学习者对于教师赖的问题。通过情感识别技术，智能教育系统可以实时感知学习者的学态（如困惑、高兴、惊讶等），并根据情感状态为学习者提供个性化辅助、回放、提供辅助材料等，从而让学习者做到自适应学习。通过将在线与智能教育系统有机结合可以弥补当前在线教育平台中存在的“情感缺。
图 2-1 情感识别流程Fig.2-1 Scheme of the generic emotional detector作者设计了一个实验场景：所有的学生在笔记本电脑上通过一个在线学习平台进行学习，所有笔记本配有前置深度摄像头以获取用户的表情、脸部标定数据等，通过在线学习平台的记录日志获取上下文数据。当数据采集完毕后，作者雇佣了心理学和教育学方面的专家通过观察学生学习时的视频结合学习的内容对学生的情感状态进行标定。图像特征主要包括用户的姿势、头部位置、脸部表情等
【参考文献】
相关期刊论文 前4条
1 李帅;张岩峰;于戈;焦明海;;MOOC平台学习行为数据的采集与分析[J];中国科技论文;2015年20期
2 李封;李婕;赵长宽;陈默;;大规模网络课程中学习者学习行为分析[J];计算机教育;2014年20期
3 魏刃佳;丁亦U
本文编号：2757069
本文链接：https://www.wllwen.com/jiaoyulunwen/jykj/2757069.html
