Resnet和DS证据融合的双模态学习情况识别研究

发布时间：2021-05-08 23:35

　　在信息时代,人们希望计算机能像人类一样智能地感知对方的情感,实现有效的人机情感交互。传统意义上的通过表情、声音等单一模态信息来分析人的情感往往具有一定的局限性和不准确性,这是因为人的情感往往是多个模态信息的综合呈现。近年来,在情感识别中采用多模态分析技术成为人工智能发展的一个热点。在教育领域,准确地把握学生上课时的学习情况有利于增强课堂教学效果。而课堂中学生的情感表达往往是多种模态信息的综合,因此对其进行多模态信息分析显得尤为重要。本文选取课堂中学生上课时的面部表情和坐姿两种模态信息作为评价学生课堂情感的基本指标,设计了一种改进的Resnet,利用DS证据理论分析两种模态信息融合后的识别情况,从而对课堂中学生的情感进行实时把握。混淆矩阵扮演着桥梁的角色,对改进的Resnet和DS证据理论进行衔接。本文所做的主要工作为:1.设计了一种改进的含残差模块的网络（Resnet₅0_v2）传统意义上用做识别分类的卷积神经网络会随着网络层数的增加而出现梯度消失或者梯度爆炸的情况,从而使得目标函数无法按照预期收敛。为了避免这种情况的发生,本文采用Resnet... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：55 页

【学位级别】：硕士

【文章目录】：
摘要
Abstrac
1 绪论
    1.1 课题研究背景及意义
    1.2 单模态信息情感识别研究现状
        1.2.1 面部表情识别研究现状
        1.2.2 坐姿识别研究现状
    1.3 双模态信息情感识别研究现状
    1.4 论文的主要内容和章节安排
        1.4.1 论文的主要内容
        1.4.2 论文的章节安排
2 深度学习及相关技术
    2.1 深度学习理论
        2.1.1 深度学习发展概述
        2.1.2 深度学习应用领域
        2.1.3 深度学习常见框架
    2.2 两种模态信息的映射
        2.2.1 面部表情模态信息的映射
        2.2.2 坐姿模态信息的映射
    2.3 卷积神经网络
        2.3.1 卷积操作
        2.3.2 池化操作
        2.3.3 激活函数
        2.3.4 全连接操作
        2.3.5 网络的选取
    2.4 VGG19网络
    2.5 Resnet
    2.6 本章小结
3 基于神经网络技术的单模态信息情感识别研究
    3.1 数据集的处理与环境简介
        3.1.1 基于数字图像处理的数据增强
        3.1.2 基于生成对抗网络的数据增强
        3.1.3 数据集展示
        3.1.4 实验环境简介
    3.2 模型的构建与参数设置
        3.2.1 VGG19网络的模型实现
        3.2.2 Resnet_50_v2的模型实现
    3.3 两种网络模型结果的对比与分析
    3.4 本章小结
4 DS证据理论技术
    4.1 DS证据理论
        4.1.1 DS证据理论的演变与应用场景
        4.1.2 经典DS证据理论
        4.1.3 经典DS证据理论的局限性
        4.1.4 经典DS证据理论的改进
    4.2 DS证据理论的概率分配函数构造
    4.3 DS证据理论的融合方法和决策准则
    4.4 本章小结
5 基于DS证据理论的双模态信息学习情况识别研究
    5.1 基于DS证据理论的双模态信息情感识别
        5.1.1 数据的预处理
        5.1.2 数据融合过程与实验分析
        5.1.3 基于DS证据理论的双模态信息情感识别测试分析
    5.2 基于DS证据理论的双模态信息情感识别对比分析
        5.2.1 与单模态信息情感识别对比分析
        5.2.2 与其它算法对比分析
    5.3 本章小结
6 总结与展望
    6.1 论文总结
    6.2 论文展望
参考文献
攻读硕士期间发表的相关论文
致谢



本文编号：3176190