基于广义主角和时空域信息的视频情感内容分析方法研究

发布时间：2023-11-24 18:48

　　随着智能时代的到来,情感识别任务成为众多学者研究的热点问题之一。研究情感识别不仅能够优化人机交互的体验,而且在个性化推荐、健康监督、交互式游戏等等方面具有广泛的应用前景。视频作为一种被广泛利用的信息载体,包含了大量的情感信息。这使得学者们对视频中的情感识别问题产生了浓厚的兴趣。摄像头和移动设备的普及带来了视频数据量的急剧增长。早期靠人工手动标注视频的情感内容的方式已经远远不能适应视频数据增长的速度,因此,自动地识别视频的情感内容变成了一种迫切的需求。如何从多模态视频中的音频模态和视觉模态提取更具表征力的特征来表达视频的情感内容是视频情感内容分析任务中的一大难点。针对这个难点,本文提出了两种视频情感分析方法。(1)本文基于手工特征和深度学习,提出了基于广义主角的视频情感内容分析方法。通过观察发现,视频中不同角色在视频中起到的作用不同,其中主要的角色对视频的情感表达起了更为重要的作用。与大多数学者将所有人脸不分主次全部考虑的做法不同,在众多的角色中根据一定的标准,本方法挑选出在视频表达情感中起重要作用的角色,并将这样的角色命名为广义主角。在众多的视频帧中,基于广义主角来提取其中的关键帧并获...

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题研究的背景及意义
    1.2 国内外研究现状及分析
        1.2.1 国内外研究现状
        1.2.2 主要存在的问题
    1.3 内容及章节安排
        1.3.1 研究内容
        1.3.2 组织结构
第2章 相关技术基础理论
    2.1 情感描述模型
    2.2 卷积神经网络
        2.2.1 AlexNet网络
        2.2.2 VGGNet网络
    2.3 R2plus1d网络
    2.4 深度信念网络
    2.5 评价标准
        2.5.1 均方误差
        2.5.2 准确率
    2.6 本章小结
第3章 基于广义主角的视频情感内容分析方法
    3.1 引言
    3.2 HFPD方法基本思想
    3.3 广义主角的定义与检测
        3.3.1 主要脸的定义
        3.3.2 广义主角的检测
    3.4 基于广义主角的关键帧提取算法
        3.4.1 基于颜色直方图的候选帧提取
        3.4.2 基于聚类的候选帧提取
        3.4.3 基于广义主角的关键帧提取
    3.5 基于变分理论的高精度光流提取
    3.6 特征提取
        3.6.1 深度特征提取
        3.6.2 音频和视觉手工特征提取
    3.7 三种模态的特征融合及特征映射
    3.8 实验结果及分析
        3.8.1 数据集简介
        3.8.2 实验设置与环境
        3.8.3 实验分析
    3.9 本章小结
第4章 基于时空域信息的视频情感内容分析方法
    4.1 引言
    4.2 MSTFF方法基本思想
    4.3 视频的预处理
        4.3.1 音频的预处理
        4.3.2 视觉片段预处理
    4.4 网络训练及特征提取
        4.4.1 音频网络训练
        4.4.2 视觉网络训练
        4.4.3 混合网络训练
    4.5 两种模态的特征融合及特征映射
    4.6 实验结果及分析
        4.6.1 数据集简介
        4.6.2 实验设置与环境
        4.6.3 实验分析
    4.7 本章小结
第5章 总结与展望
参考文献
致谢
攻读硕士学位期间的研究成果



本文编号：3866384