面向教室场景的举手动作识别算法的研究与实现

发布时间：2021-05-12 04:40

　　随着视觉技术的发展,在教育信息技术领域,自动化的课堂观察成为一个重要问题。通过观察课堂中教师和学生的行为及其交互特征,有助于对学生进行客观的评估,对教师因人而异的制定教学计划,改善老师的教学质量。举手动作作为最为典型的学生动作行为,其检测和识别是自动化课堂观察的重要支撑技术。本文针对真实的课堂教学场景,提出了一种有效的举手识别方法,使用普通RGB图像作为输入,输出课堂中哪些学生有举手的动作。真实场景下,举手的识别面临许多挑战,例如未知的学生数量和他们的位置,学生之间部位的相互遮挡,小分辨率的手部信息。为了解决上述挑战,本文把举手识别的过程分为两个阶段,首先做姿态估计得到以手为主体候选区域,然后通过手势识别判断候选区域是否为举手姿势。本文使用了自下而上的姿态估计方式,只需要集成学生手臂上的关键点而不需要整个骨骼结构,减轻了遮挡下检测带来的难度,并且通过多尺度的信息融合,很好解决了后排小分辨率学生的定位问题,为了降低复杂环境的干扰,本文结合手臂关键点信息,通过候选区域筛选仅仅得到手臂抬起后以手腕为中心的局部区域,并使用简单的卷积神经网络,对候选区域做举手或者非举手的判断。本文组建了真实场景... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 项目来源以及研究内容
    1.4 论文组织结构
2 相关技术综述
    2.1 卷积神经网络
    2.2 姿态估计经典结构
    2.3 深度学习Caffe框架
    2.4 本章小结
3 算法的网络设计
    3.1 算法难点分析
    3.2 两阶段算法整体流程
    3.3 姿态估计算法
    3.4 举手手势识别算法
    3.5 本章小结
4 算法的实现
    4.1 姿态估计算法的实现
    4.2 举手手势识别算法的实现
    4.3 本章小结
5 算法的评价和测试
    5.1 评价思路
    5.2 姿态估计的评价和测试
    5.3 举手手势识别的评价和测试
    5.4 两阶段算法的对比实验
    5.5 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献
附录



本文编号：3182750