基于视频的学生课堂行为检测算法研究
发布时间：2021-09-03 09:41
随着科技的发展,越来越多的行业都有着视频监控的存在。通过视频监控,可以对指定环境中的情况进行观察,从而进行相应的分析。基于视频的行为检测工程、社区等行业都得到了长足的应用,但是在教育行业的发展较为缓慢。利用计算机技术对学生的上课视频进行分析,将目标检测与行为分类相结合,对学生的课堂行为进行检测,可以减少老师的教学压力,将更多的注意力投入到本职的教学工作当中。此外,老师和学生在课后都可以查看相应的行为分析结果,这样可以更加好的引导学生认真听讲,从而使老师的教学效果更好,增加学生的效率。基于上述情况,本文围绕基于视频的学生课堂行为检测算法这一课题进行分析和研究,通过目标检测与行为识别相结合的方式实现行为检测。研究内容主要分为如下三个部分:首先,对目标检测算法进行研究,根据课题特点进行数据集的研究和设计。通过对应用场景和识别要求进行分析,选择yolo-v3算法作为基础算法。在yolo-v3算法的基础之上对loss函数的权重和损失计算方式进行了改进,此外通过多尺度特征加和的方式改进网络结构,最终得到yolo-op4算法作为本文的目标检测算法。并且根据课题的特点制作了对应的目标检测数据集。之后,...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
Haar-like特征示例（从左到右：边缘、线、点、对角线）
哈尔滨工业大学专业硕士学位论文-9-采集的图像的质量无法保持在一个稳定的程度。因此，需要对收集到的初始图像进行预先处理，将这些图像的质量和效果进行调整，突出需要的特征。主要的调整方式有灰度化、Gamma校正。对于RGB彩色图像，通过如下公式将其转换为灰度图像：Grey0.299R0.587G0.114B(2-8)在图像中的光照程度不均匀的情况下，采用Gamma校正的方式对图像的整体亮度进行调整，根据图像的实际情况进行整体亮度的提升与降低，采用如下公式进行校正，gamma值小于1时，图像在高灰度值区域的对比度降低，显得亮一些；gamma值大于1时，图像在在低灰度值区域内对比度降低，显得暗淡一些。Y(x,y)I(x,y)(2-9)图2-2Gamma校正进行学生图像处理（左侧为原图，右侧为处理图像）二、梯度计算。在归一化处理之后，通过一阶微分计算梯度，用不同的梯度算子计算对图像两个方向上的梯度分量，采用的公式如下所示：(,)(1,)(1,)xGxyIxyIxy(2-10)(,)(,1)(,1)yGxyIxyIxy(2-11)22(,)(,)(,)xyGxyGxyGxy(2-12)1(,)(,)tan(,)yxGxyxyGxy(2-13)其中，x是水平方向(正向为右)，y是竖直方向(正向为上)，I(x,y)表示的是(x,y)处的图像像素点灰度值。Gx(x,y)和Gy(x,y)分别表示的是图像在(x,y)处水平和竖直方向的梯度，G(x,y)则是图像在(x,y)处的梯度，而α(x,y)则表示梯度方向。三、cell划分。将图像分割成多个cell，一个cell有64（8×8）个像素点，邻接cell之间互不重叠。
哈尔滨工业大学专业硕士学位论文-11-图2-3SelectiveSearch对课题视频图像进行候选区域生成特征提取:在利用SelectiveSearch算法生成了足够多的（一般情况下为2000个）候选区域以后，对他们进行归一化，然后输入到CNN网络当中，通过卷积、池化等操作，来提取候选区域当中的特征，并进行特征向量输出。图像分类:对CNN输出的向量采用SVM的方式进行分类。边界回归:采用线性回归算法对生成的候选区域的边框进行边框回归运算，使得候选区域边框的位置向着真实边框的位置靠拢。R-CNN虽然在当时是目标检测与CNN结合的一个非常成功的产物，有着很好的特征提取和分类的性能，但是它依旧存在不少缺点。第一，由于采用传统算法对图像进行遍历计算的，候选框的计算时间比较长。第二，传统CNN的训练过程中，图像的输入是固定尺寸的，因此在归一化的过程中就会对原始图像进行拉伸或者截断，导致信息丢失。第三，每一个候选区域都会输入到CNN网络当中进行运算，而这些候选区域往往会有很多部分重叠，对于这些重复特征的提取和计算会降低算法的效率。之后，Fast-RCNN算法被提出，该算法提出了RoIpooling(兴趣区域池化，Regionofinterestpooling)这一池化方式，它可以在输入特征图的尺寸不相同的情况之下，输出相同尺寸的特征图，解决了图像输入固定尺寸的问题。此外，在损失函数方面，Fast-RCNN采用多任务损失函数，对边框回归和分类概率进行联合训练。RoIpooling是在输入的数据中同时存在图像的特征向量和图像兴趣区域边界框的情况下，对兴趣区域进行池化的一种方式。与普通的maxpooling的区别是，RoIpooling的池化窗口的内部分割区域中，各自包含的特征值数量不一样。如下图所示，取向下为y的正方向，向右为x的正方向，假设图像的输入大小是4×4，区域的左
【参考文献】：
期刊论文
[1]基于人体骨架信息提取的学生课堂行为自动识别[J]. 徐家臻,邓伟,魏艳涛. 现代教育技术. 2020(05)
[2]基于多模态数据的课堂学生行为识别技术的探究[J]. 林灿然,许伟亮,李逸. 现代计算机. 2020(06)
[3]基于CNN深度学习模型的大学生课堂行为检测研究[J]. 左国才,苏秀芝,王海东,吴小平. 智能计算机与应用. 2020(02)
[4]基于视频的学生动作识别方法研究[J]. 白雨亭. 仪器仪表用户. 2020(01)
[5]基于深度学习的学生课堂行为识别[J]. 魏艳涛,秦道影,胡佳敏,姚璜,师亚飞. 现代教育技术. 2019(07)
[6]基于三维卷积与双向LSTM的行为识别研究[J]. 王毅,马翠红,毛志强. 现代电子技术. 2019(14)
[7]结合目标检测的人体行为识别[J]. 周波,李俊峰. 自动化学报. 2020(09)
[8]基于傅里叶-隐马尔科夫模型的人体行为识别方法研究[J]. 胡炜. 电子设计工程. 2018(07)
[9]基于主题隐马尔科夫模型的人体异常行为识别[J]. 朱旭东,刘志镜. 计算机科学. 2012(03)
本文编号：3380879
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
Haar-like特征示例（从左到右：边缘、线、点、对角线）
哈尔滨工业大学专业硕士学位论文-9-采集的图像的质量无法保持在一个稳定的程度。因此，需要对收集到的初始图像进行预先处理，将这些图像的质量和效果进行调整，突出需要的特征。主要的调整方式有灰度化、Gamma校正。对于RGB彩色图像，通过如下公式将其转换为灰度图像：Grey0.299R0.587G0.114B(2-8)在图像中的光照程度不均匀的情况下，采用Gamma校正的方式对图像的整体亮度进行调整，根据图像的实际情况进行整体亮度的提升与降低，采用如下公式进行校正，gamma值小于1时，图像在高灰度值区域的对比度降低，显得亮一些；gamma值大于1时，图像在在低灰度值区域内对比度降低，显得暗淡一些。Y(x,y)I(x,y)(2-9)图2-2Gamma校正进行学生图像处理（左侧为原图，右侧为处理图像）二、梯度计算。在归一化处理之后，通过一阶微分计算梯度，用不同的梯度算子计算对图像两个方向上的梯度分量，采用的公式如下所示：(,)(1,)(1,)xGxyIxyIxy(2-10)(,)(,1)(,1)yGxyIxyIxy(2-11)22(,)(,)(,)xyGxyGxyGxy(2-12)1(,)(,)tan(,)yxGxyxyGxy(2-13)其中，x是水平方向(正向为右)，y是竖直方向(正向为上)，I(x,y)表示的是(x,y)处的图像像素点灰度值。Gx(x,y)和Gy(x,y)分别表示的是图像在(x,y)处水平和竖直方向的梯度，G(x,y)则是图像在(x,y)处的梯度，而α(x,y)则表示梯度方向。三、cell划分。将图像分割成多个cell，一个cell有64（8×8）个像素点，邻接cell之间互不重叠。
哈尔滨工业大学专业硕士学位论文-11-图2-3SelectiveSearch对课题视频图像进行候选区域生成特征提取:在利用SelectiveSearch算法生成了足够多的（一般情况下为2000个）候选区域以后，对他们进行归一化，然后输入到CNN网络当中，通过卷积、池化等操作，来提取候选区域当中的特征，并进行特征向量输出。图像分类:对CNN输出的向量采用SVM的方式进行分类。边界回归:采用线性回归算法对生成的候选区域的边框进行边框回归运算，使得候选区域边框的位置向着真实边框的位置靠拢。R-CNN虽然在当时是目标检测与CNN结合的一个非常成功的产物，有着很好的特征提取和分类的性能，但是它依旧存在不少缺点。第一，由于采用传统算法对图像进行遍历计算的，候选框的计算时间比较长。第二，传统CNN的训练过程中，图像的输入是固定尺寸的，因此在归一化的过程中就会对原始图像进行拉伸或者截断，导致信息丢失。第三，每一个候选区域都会输入到CNN网络当中进行运算，而这些候选区域往往会有很多部分重叠，对于这些重复特征的提取和计算会降低算法的效率。之后，Fast-RCNN算法被提出，该算法提出了RoIpooling(兴趣区域池化，Regionofinterestpooling)这一池化方式，它可以在输入特征图的尺寸不相同的情况之下，输出相同尺寸的特征图，解决了图像输入固定尺寸的问题。此外，在损失函数方面，Fast-RCNN采用多任务损失函数，对边框回归和分类概率进行联合训练。RoIpooling是在输入的数据中同时存在图像的特征向量和图像兴趣区域边界框的情况下，对兴趣区域进行池化的一种方式。与普通的maxpooling的区别是，RoIpooling的池化窗口的内部分割区域中，各自包含的特征值数量不一样。如下图所示，取向下为y的正方向，向右为x的正方向，假设图像的输入大小是4×4，区域的左
【参考文献】：
期刊论文
[1]基于人体骨架信息提取的学生课堂行为自动识别[J]. 徐家臻,邓伟,魏艳涛. 现代教育技术. 2020(05)
[2]基于多模态数据的课堂学生行为识别技术的探究[J]. 林灿然,许伟亮,李逸. 现代计算机. 2020(06)
[3]基于CNN深度学习模型的大学生课堂行为检测研究[J]. 左国才,苏秀芝,王海东,吴小平. 智能计算机与应用. 2020(02)
[4]基于视频的学生动作识别方法研究[J]. 白雨亭. 仪器仪表用户. 2020(01)
[5]基于深度学习的学生课堂行为识别[J]. 魏艳涛,秦道影,胡佳敏,姚璜,师亚飞. 现代教育技术. 2019(07)
[6]基于三维卷积与双向LSTM的行为识别研究[J]. 王毅,马翠红,毛志强. 现代电子技术. 2019(14)
[7]结合目标检测的人体行为识别[J]. 周波,李俊峰. 自动化学报. 2020(09)
[8]基于傅里叶-隐马尔科夫模型的人体行为识别方法研究[J]. 胡炜. 电子设计工程. 2018(07)
[9]基于主题隐马尔科夫模型的人体异常行为识别[J]. 朱旭东,刘志镜. 计算机科学. 2012(03)
本文编号：3380879
本文链接：https://www.wllwen.com/jiaoyulunwen/ktjx/3380879.html
