基于视频图像的课堂点名及听课状态检测

发布时间：2020-04-09 05:14

【摘要】：课堂点名和听课状态检测是课堂教学管理的重要组成部分。针对传统的课堂点名和听课状态检测存在的效率低等问题,本文研究并实现了基于视频图像的课堂点名与听课状态检测系统。课堂点名部分主要采用了基于深度学习的人脸识别算法。听课状态检测部分采用人脸检测算法统计听课时间,并且基于人体关键点检测算法对学生课堂状态进行分析。本文的主要工作如下:1.构建课堂点名图像集及听课状态检测视频集。课堂点名图像集中共有200幅图像,分辨率为1280×1024。听课状态检测视频集中共有10段视频,每段视频时长为5分钟,分辨率为1280×1024。图像和视频均使用手机在真实课堂环境下采集。2.利用基于深度学习的SeetaFace人脸识别引擎设计并实现了课堂自动点名功能。①基于漏斗型级联结构模型进行人脸检测,并裁剪出人脸图像。②采用深度自编码器网络实现人脸对齐。③与人脸模板库中所有人脸图像匹配,统计人数得到课堂点名结果。基于深度学习的课堂点名正确率为98.9%,优于人工提取特征算法。3.设计并实现了听课状态检测功能。①采用基于深度学习的SeetaFace人脸检测算法统计每名同学的听课时间,平均正确率为96.4%。②利用OpenPose人体关键点检测获得的坐标对三种课堂状态(低头、侧身、举手)进行分析,其平均正确率分别为90.1%、84.7%和 92.0%。4.基于Android设计并实现了课堂点名及听课状态检测系统。①课堂点名部分将Windows系统下实现的代码移植到Android系统,检测一幅图像平均用时为25s。②听课状态检测部分利用Android Studio以及Beego开发平台,实现手机端与服务器的异步通信传输。5分钟的视频从传输到返回检测结果所用时长在50s左右。
【图文】：

图像尺寸,实时性,初始值,尺度

Ｆ为初始特征值大小，Ｆ＇为归一化特征值，ｎ为矩形框中的像素个数的和。逡逑设定检测窗口初始值为２０ｘ２０，每次扩大５％寻找人脸区域。ｘ和ｙ方向的滑动步长逡逑初始值均为４，随检测窗口扩大等比例变大，如图２．５所示。逡逑８逡逑

尺寸变化,模板,尺度

？逦＿逦＿逦＃逡逑分类器逡逑图２．４图像尺寸变化逡逑Ｆｉｇ．邋２．４邋Ｃｈａｎｇｅ邋ｔｈｅ邋ｉｍａｇｅ邋ｓｉｚｅ逡逑由于对输入图像进行尺度缩放所用时间较长，影响人脸检测的实时性，因此本章采逡逑用模板尺度缩放方法，即保持输入图像大小不变，按尺度放大检测窗口遍历图像寻找人逡逑脸区域。在模板尺度缩放方法中，由于检测窗口大小不一，需要对特征值进行归一化处逡逑理，归一■化由公式（２．１）所不。逡逑Ｆ＇邋＝邋—逦（２．１）逡逑ｎ逡逑其中，Ｆ为初始特征值大小，Ｆ＇为归一化特征值，，ｎ为矩形框中的像素个数的和。逡逑设定检测窗口初始值为２０ｘ２０，每次扩大５％寻找人脸区域。ｘ和ｙ方向的滑动步长逡逑初始值均为４，随检测窗口扩大等?
【学位授予单位】：大连交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41;G434

【参考文献】