基于视频的学生行为分析系统
发布时间：2021-12-18 16:44
随着对学生个性化教育要求的不断提高,教育教学的侧重点逐渐向学生的个性化,专业化方向转变。在教学过程中,教师无法关注到每个学生的课堂行为状态,只能从学生的作业或考试中得出学生课堂学习状态的好坏,且一些主观因素很容易使得教师对学生学习状态的判断出现偏颇。在传统的教学过程中,对学生行为的识别及把控主要由教师人工进行,但这种方式不仅耗时耗力,还会影响教师的上课质量,如何实现对学生课堂动作进行自动化识别成为一个亟待解决的问题。针对上述问题,本文通过人工智能技术及计算机视觉技术相结合的方式对课堂场景下学生的行为状态进行识别,辅助教师获得教学反馈信息。本文首先对现有的骨骼关键点检测方法进行探讨,对选用的Open Pose模型进行详细的分析研究,阐述其骨骼关键点检测及连接过程。然后针对课堂动作行为识别数据无公开数据集的问题,采集课堂场景下教学视频并构建标准动作数据集,分为举手、趴、托腮、玩手机和写字五类。而后针对这五类动作进行关键点分析后,去除关联较弱的骨骼关键点并通过Open Pose模型进行关键点提取和归一化处理,通过对比随机森林和支持向量机两种分类模型在数据集上的分类效果最终选取多项式核支持向量...
【文章来源】：北方工业大学北京市
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
OpenPose采集系统实图
第二章基于骨骼关键点的动作识别方法研究7OpenPose算法表现优秀的原因除本文后续研究的其网络结构，关键点检测及基于部分亲和字段的骨骼关键点关联方法(PAFs)方法外，还来源于其海量的数据支持。OpenPose项目专门建立数据采集系统，如图2-1所示。图2-1OpenPose采集系统实图该系统被命名为MassivelyMultiviewSystem（大规模多视图系统），其中包含480个640*480分辨率、25fps的VGA摄像机；31台1920*1080分辨率、30fps的高清摄像机；10个KinectII型传感器及5个DLP投影仪。其结构模型如图2-2所示。图2-2大规模多视图系统结构模型目前通过该系统采集到的数据量多达150万个。OpenPose的高效率高准确度也正是基于海量的数据支持。顶点地面基础支撑结构圆顶中心正六角形正五角形连接结构
第二章基于骨骼关键点的动作识别方法研究82.2.1OpenPose总体思路及网络结构图2-3OpenPose人体姿态识别流程OpenPose的总体方法思路是将一幅w*h的彩色图片，如图2-3(a)所示，作为两个CNN网络的输入，经过一个网络预测输出人体部位检测的置信度图集合S，如图2-3(b)所示，另一个网络预测针对部位进行关联的部位的亲和立场图集合L，如图2-3(c)所示。其中集合S中包含人体中每部分的置信图共(S1，S2，…，SJ)J个置信图，L集合中包含人体中。每个肢体的矢量场共(L1，L2，…，LC)C个矢量图。最后，通过贪婪算法来解析置信度图和亲和力场，如图2-3(d)所示，以输出图像中所有人的2D关键点连接结果，如图2-3(e)所示。图2-4OpenPose网络结构如图2-4所示为OpenPose的网络结构，是一个两分支多阶段的CNN网络结构，首先输入的图片会经过卷积网络VGG-19的前10层得到特征图即图中的F，而后将特征图作为多阶段的第一阶段两个分支的输入，在第一个分支中的每个阶段当中都会进行置信度图的预测，生成一组置信度图S1=1(F)，第二个分支中每阶段都会对肢体的亲和立场图进行预测，生成一组部分亲和立场图L1=1(F)，其中1和1是在阶段一用以预测的CNN网络，而后的每个阶段都将前一阶段两分支预测的置信度图及亲和立场图结合原始图像的特征F合并作为该阶段的输入用于生成更为精准的预测。后续阶段的置信图组及亲和立场图组公式如式2-1、
【参考文献】：
期刊论文
[1]人机交互手势特征识别及其算法DSP实现[J]. 李维,侯勇,王健. 自动化与仪器仪表. 2019(08)
[2]人工神经网络的发展综述[J]. 夏瑜潞. 电脑知识与技术. 2019(20)
[3]机器学习分类问题及算法研究综述[J]. 杨剑锋,乔佩蕊,李永梅,王宁. 统计与决策. 2019(06)
[4]面向智能监控的行为识别[J]. 马钰锡,谭励,董旭,于重重. 中国图象图形学报. 2019(02)
[5]基于多示例深度学习与损失函数优化的交通标志识别算法[J]. 张永雄,王亮明,李东. 现代电子技术. 2018(15)
[6]集成学习之随机森林算法综述[J]. 王奕森,夏树涛. 信息通信技术. 2018(01)
[7]机器学习综述[J]. 赵晨阳. 数字通信世界. 2018(01)
[8]基于数值预测的机器学习相关算法综述[J]. 乔莹莹. 安阳工学院学报. 2017(04)
[9]改进的并行随机森林算法及其包外估计[J]. 钱雪忠,秦静,宋威. 计算机应用研究. 2018(06)
[10]深度学习发展综述[J]. 侯宇青阳,全吉成,王宏伟. 舰船电子工程. 2017(04)
博士论文
[1]智慧学习环境中学习画面的情感识别及其应用[D]. 徐振国.山东师范大学 2019
[2]课堂教学环境下学生学习兴趣智能化分析[D]. 罗珍珍.华中师范大学 2018
[3]自然环境下头部姿态估计方法的研究与应用[D]. 刘袁缘.华中师范大学 2015
硕士论文
[1]基于深度学习的学生课堂行为识别[D]. 秦道影.华中师范大学 2019
[2]基于卷积神经网络的医学图像超分辨率重构算法研究[D]. 高运星.济南大学 2018
[3]基于深度学习的监控视频运动目标检测及行人结构化描述关键技术[D]. 许建中.山东大学 2018
[4]课堂师生互动行为分析系统的设计与实现[D]. 范子健.华中科技大学 2018
[5]车牌识别算法及其在QT平台上的实现[D]. 张庆.北方工业大学 2017
[6]基于卷积神经网络的一般物体识别研究及应用[D]. 王功鹏.郑州大学 2017
[7]迁移学习在图像分类中的应用研究[D]. 吴国琴.安徽大学 2017
[8]激活函数导向的RNN算法优化[D]. 张尧.浙江大学 2017
[9]支持向量机核函数及关键参数选择研究[D]. 尹嘉鹏.哈尔滨工业大学 2016
[10]基于卷积神经网络的图像分类方法研究[D]. 谢宝剑.合肥工业大学 2015
本文编号：3542789
【文章来源】：北方工业大学北京市
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
OpenPose采集系统实图
第二章基于骨骼关键点的动作识别方法研究7OpenPose算法表现优秀的原因除本文后续研究的其网络结构，关键点检测及基于部分亲和字段的骨骼关键点关联方法(PAFs)方法外，还来源于其海量的数据支持。OpenPose项目专门建立数据采集系统，如图2-1所示。图2-1OpenPose采集系统实图该系统被命名为MassivelyMultiviewSystem（大规模多视图系统），其中包含480个640*480分辨率、25fps的VGA摄像机；31台1920*1080分辨率、30fps的高清摄像机；10个KinectII型传感器及5个DLP投影仪。其结构模型如图2-2所示。图2-2大规模多视图系统结构模型目前通过该系统采集到的数据量多达150万个。OpenPose的高效率高准确度也正是基于海量的数据支持。顶点地面基础支撑结构圆顶中心正六角形正五角形连接结构
第二章基于骨骼关键点的动作识别方法研究82.2.1OpenPose总体思路及网络结构图2-3OpenPose人体姿态识别流程OpenPose的总体方法思路是将一幅w*h的彩色图片，如图2-3(a)所示，作为两个CNN网络的输入，经过一个网络预测输出人体部位检测的置信度图集合S，如图2-3(b)所示，另一个网络预测针对部位进行关联的部位的亲和立场图集合L，如图2-3(c)所示。其中集合S中包含人体中每部分的置信图共(S1，S2，…，SJ)J个置信图，L集合中包含人体中。每个肢体的矢量场共(L1，L2，…，LC)C个矢量图。最后，通过贪婪算法来解析置信度图和亲和力场，如图2-3(d)所示，以输出图像中所有人的2D关键点连接结果，如图2-3(e)所示。图2-4OpenPose网络结构如图2-4所示为OpenPose的网络结构，是一个两分支多阶段的CNN网络结构，首先输入的图片会经过卷积网络VGG-19的前10层得到特征图即图中的F，而后将特征图作为多阶段的第一阶段两个分支的输入，在第一个分支中的每个阶段当中都会进行置信度图的预测，生成一组置信度图S1=1(F)，第二个分支中每阶段都会对肢体的亲和立场图进行预测，生成一组部分亲和立场图L1=1(F)，其中1和1是在阶段一用以预测的CNN网络，而后的每个阶段都将前一阶段两分支预测的置信度图及亲和立场图结合原始图像的特征F合并作为该阶段的输入用于生成更为精准的预测。后续阶段的置信图组及亲和立场图组公式如式2-1、
【参考文献】：
期刊论文
[1]人机交互手势特征识别及其算法DSP实现[J]. 李维,侯勇,王健. 自动化与仪器仪表. 2019(08)
[2]人工神经网络的发展综述[J]. 夏瑜潞. 电脑知识与技术. 2019(20)
[3]机器学习分类问题及算法研究综述[J]. 杨剑锋,乔佩蕊,李永梅,王宁. 统计与决策. 2019(06)
[4]面向智能监控的行为识别[J]. 马钰锡,谭励,董旭,于重重. 中国图象图形学报. 2019(02)
[5]基于多示例深度学习与损失函数优化的交通标志识别算法[J]. 张永雄,王亮明,李东. 现代电子技术. 2018(15)
[6]集成学习之随机森林算法综述[J]. 王奕森,夏树涛. 信息通信技术. 2018(01)
[7]机器学习综述[J]. 赵晨阳. 数字通信世界. 2018(01)
[8]基于数值预测的机器学习相关算法综述[J]. 乔莹莹. 安阳工学院学报. 2017(04)
[9]改进的并行随机森林算法及其包外估计[J]. 钱雪忠,秦静,宋威. 计算机应用研究. 2018(06)
[10]深度学习发展综述[J]. 侯宇青阳,全吉成,王宏伟. 舰船电子工程. 2017(04)
博士论文
[1]智慧学习环境中学习画面的情感识别及其应用[D]. 徐振国.山东师范大学 2019
[2]课堂教学环境下学生学习兴趣智能化分析[D]. 罗珍珍.华中师范大学 2018
[3]自然环境下头部姿态估计方法的研究与应用[D]. 刘袁缘.华中师范大学 2015
硕士论文
[1]基于深度学习的学生课堂行为识别[D]. 秦道影.华中师范大学 2019
[2]基于卷积神经网络的医学图像超分辨率重构算法研究[D]. 高运星.济南大学 2018
[3]基于深度学习的监控视频运动目标检测及行人结构化描述关键技术[D]. 许建中.山东大学 2018
[4]课堂师生互动行为分析系统的设计与实现[D]. 范子健.华中科技大学 2018
[5]车牌识别算法及其在QT平台上的实现[D]. 张庆.北方工业大学 2017
[6]基于卷积神经网络的一般物体识别研究及应用[D]. 王功鹏.郑州大学 2017
[7]迁移学习在图像分类中的应用研究[D]. 吴国琴.安徽大学 2017
[8]激活函数导向的RNN算法优化[D]. 张尧.浙江大学 2017
[9]支持向量机核函数及关键参数选择研究[D]. 尹嘉鹏.哈尔滨工业大学 2016
[10]基于卷积神经网络的图像分类方法研究[D]. 谢宝剑.合肥工业大学 2015
本文编号：3542789
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3542789.html
最近更新
教材专著
