基于骨骼数据的课堂行为识别方法研究与应用

发布时间：2021-01-02 16:22

　　课堂行为识别通过对学生在课堂环境中的行为进行分析,形成有效的教学反馈,提升课堂教学质量和学生学习效果。传统的教学评价手段单一,过于依赖主观经验。通过应用计算机视觉技术和人工智能方法对学生的课堂行为进行分析,产生的结果应该会更为客观,且更能提高动作识别的效率。本文基于课堂环境获取的学生行为骨骼数据,对多人交互群体发现和个体行为识别两个方面进行了深入研究,具体内容如下:（1）针对课堂环境下多人交互群体发现,提出了一种基于骨骼节点轨迹聚合模型的交互群体发现算法。首先,为了减小身体尺寸和初始位置对3D骨骼数据采集的影响,将骨骼数据进行标准化处理;其次,为了描述骨骼行为的轨迹信息,引入了一种速度调节的轨迹优化方法,该过程利用估计的骨骼行为速度来调节最佳收缩位置。最后,对聚合后的骨骼轨迹进行聚类,实现交互群体的发现。实验部分,针对课堂实测数据,对本文方法和对比方法进行了交互群体发现结果的验证,结果表明:基于轨迹方法在多人交互群体发现方面有很好的准确性。（2）针对课堂采集视频数量有限,且要求计算效率较高的问题,提出了一种基于人工特征的多核SVM行为识别方法。通过定义骨骼坐标间的距离和旋转角度为骨骼数... 

【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

人体骨架图

工程硕士专业学位论文16InteractivePopulationDiscoveryAlgorithmBasedonSkeletonPointTrajectoryClusteringModel)课堂环境下交互行为单一，且动作变化的距离、方向等参数不明显，不能直接应用多种复杂特征融合的方法。观察中发现，对于有交互行为产生的骨骼数据，在空间和时间上形成了一系列的运动轨迹，并且有相互靠近的运动趋势或者有共同的终点目标，因此考虑使用轨迹聚类方法，通过对多人骨骼节点的运动轨迹进行聚类，实现课堂环境下交互群体的发现。本文提出了一种基于骨骼节点轨迹聚合模型的交互群体发现算法SPTC，该方法将运动目标产生的时空信息表示为骨骼节点运动轨迹，降低了骨骼节点缺失对交互行为发现造成的影响，避免了复杂的骨骼数据特征提取过程，仅从空间相似、速度相似和目标相似三个角度出发对骨骼轨迹进行核函数表示，充分利用核函数对流形空间下刚体运动良好的表达能力，达到准确、快速发现交互群体的目的。3.3.1骨骼节点轨迹的定义（1）骨骼节点的获取为了获取骨骼关节点坐标，我们将Kinect采集到的RGB图片输入Openpose。Openpose[119]是基于卷积神经网络和监督学习并以caffe为框架的开源库,可以实现人的面部表情、躯干和四肢甚至手指的跟踪，它提供了18和25个人体关节点的检测提取定位，25个关节点的检测比18个关节点的检测多了左、右脚部的关节点。输出的25个人体关节点的骨架图如图3-1所示。由于课堂环境中，学生的下肢体被桌椅遮挡，所以这里我们只选取25个关节点中的15个上肢体关节点坐标。图3-1Openpose骨架图Figure3-1OpenposeskeletonFigure（2）骨骼节点数据的标准化3.3基于骨骼节点轨迹聚合模型的交互群体发现算法(An

3课堂环境多人交互群体发现方法研究19a.两人有交互b.两人无交互c.三人交互d.三人中两人交互e.四人中两人交互f.四人无交互图3-2视频实例Figure3-2Videoinstance本实验使用matlab进行编程实现，matlab软件版本是matlabR2016a。硬件环境为Inter(R)Core(TM)i5-8250UCPU1.6GHz,内存8GB。3.4.2实验参数设置算法的主要参数有：邻域的半径,，高斯核函数，Sigmoid核函数,，多项式核函数,，多核函数权值，正则化参数和迭代次数。其中邻域的半径,，正则化参数和迭代次数设置方法见论文。对于给定的,，核的带宽也随之设定，高斯核函数=,3，Sigmoid核函数=,3，=0~3，多项式核函数=,3，=0.1，=3。这样的配置确保了邻域外点的影响可以被忽略。根据文献[120]可知，全局性核函数和局部性核函数能够互补，即局部性核函数的权值与全局性核函数的权值基本相等，所以我们设置高斯核函数权值1=0.5，多项式核函数和Sigmoid核函数权值分别为2=3=0.25。

【参考文献】：
期刊论文
[1]基于动态评价理论的微观经济学大班课堂教学评价研究——以邵阳学院为例[J]. 李英一.  科技风. 2020(06)
[2]基于CDIO的翻转课堂教学评价体系构建与应用——以程序设计课程为例[J]. 江天仿.  河北职业教育. 2020(01)
[3]高校学生学习效果评价方式革新探究——以广告学专业为例[J]. 冯华.  教育现代化. 2019(89)
[4]基于三维骨骼节点的人体行为识别方法[J]. 杨赛烽,高彬,冯仕民,丁恩杰,陈庆峰.  传感技术学报. 2018(12)
[5]课堂教学视频中的S-T行为智能识别研究[J]. 周鹏霄,邓伟,郭培育,刘清堂.  现代教育技术. 2018(06)
[6]基于深度学习的学生课堂异常行为检测与分析系统[J]. 廖鹏,刘宸铭,苏航,李启芳,韩延巾.  电子世界. 2018(08)
[7]基于骨骼数据的三维人体行走姿态模拟[J]. 李锦,童立靖,英祥,杨金秋.  数字技术与应用. 2017(10)
[8]课堂考勤及学生行为监控系统的设计研究[J]. 沙树静,王毓樟,王健龙.  内蒙古科技与经济. 2017(14)
[9]学生学习评价的国际性尝试:“高等教育学习结果评价”解读[J]. 吴洪富,韩红敏.  现代教育管理. 2016(09)
[10]多核模糊聚类[J]. 戴思薇,吴小俊,高翠芳.  计算机工程与应用. 2016(02)

硕士论文
[1]全局模糊聚类算法研究[D]. 谭洁琼.哈尔滨理工大学 2018
[2]人体行为识别及在教育录播系统中的应用[D]. 党冬利.西安科技大学 2017
[3]课堂学习行为测量系统的设计与实现[D]. 张鸿宇.华中科技大学 2016
[4]学生课堂行为视频观察记录系统关键技术研究[D]. 杨渊博.国防科学技术大学 2015
[5]基于Kinect的动作识别研究及在教学中的应用[D]. 陈凌琛.昆明理工大学 2015



本文编号：2953238