多模态连续维度情感识别研究

发布时间：2023-03-24 01:34

　　人工智能的出现让生活变得高效且便捷,人们也因此开始意识到人机交互的重要性。情感是人类生活中必不可少的元素,但由于机器无法像人类一样感知情感,在很多情况下机器无法真正的融入人类生活,并且对人类造成了负担与伤害。因此,计算机情感计算尤为重要。在情感计算中,人们将其分为离散情感计算和连续维度情感计算。离散情感仅仅包含了几类情感,而连续维度情感则是通过多维度的方式表现全部情感状态。本文通过利用多模态信号预测连续维度情感,针对于不同模态间的相互关系与单一模态的特性,提出了组合型回归网络(W-SVR-GBRT),提高预测的准确性。本文也关注到模态间存在的负面影响,提出了一种新型模态间融合策略,即模糊加权在线支持向量回归模型(FWOSVR),从而解决了模态内异常情感帧的问题。本文主要研究内容有以下几点。1.本文首先从人类情感的复杂性与模糊性角度分析连续维度情感空间与离散情感的差异性。通过对听觉模态与视觉模态的分析,明确了哪些特征能够充分地表达连续维度情感,分别提取相关情感特征,使用主成分分析融合了浅层特征和深层特征并达到降维效果,从而提高对情感的表达效果,并分析维度对全局特征的影响,选取最优维度。2...

【文章页数】：94 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 研究现状及难点分析
        1.2.1 国外研究现状
        1.2.2 国内研究现状
        1.2.3 研究难点分析
    1.3 本文主要研究内容及结构安排
        1.3.1 本文主要研究内容及创新点
        1.3.2 本文结构安排
第二章 基于音频的连续维度情感识别研究
    2.1 音频信号预处理
    2.2 音频情感特征提取
    2.3 基于音频的连续维度情感预测方法研究
        2.3.1 音频连续维度情感分析模型概述
        2.3.2 支持向量回归模型原理
    2.4 情感数据集以及评价指标
        2.4.1 维度情感数据库简介
        2.4.2 本文使用的数据库
        2.4.3 情感识别评价准则
    2.5 音频模态情感预测实验结果与分析
    2.6 本章小结
第三章 基于视频的连续维度情感识别方法研究
    3.1 视频预处理
    3.2 视频部分情感特征提取
        3.2.1 颜色特征
        3.2.2 纹理特征
        3.2.3 颜色和纹理联合特征
    3.3 基于视频的连续维度情感预测方法研究
        3.3.1 决策树
        3.3.2 提升树
        3.3.3 梯度提升回归树(GBRT)
    3.4 实验结果
        3.4.1 融合不同视频特征预测结果比较
        3.4.2 视频模态多模型情感预测结果与分析
    3.5 本章小结
第四章 连续维度情感预测模型建立
    4.1 多模态情感识别流程
    4.2 多模态连续维度情感预测模型原理
    4.3 多模态情感识别融合方法研究
        4.3.1 基于PCA的特征级融合方法介绍
        4.3.2 基于改进线性回归的决策级融合方法介绍
    4.4 实验结果及分析
        4.4.1 PCA降维后效果展示
        4.4.2 多模态与情感空间的关系比较
        4.4.3 决策级融合方法比较
    4.5 本章小结
第五章 基于异常点的多模态情感融合
    5.1 多模态离群点分析
    5.2 基于改进融合方法的消除离群点研究
        5.2.1 模糊理论
        5.2.2 模糊加权支持向量回归算法
    5.3 实验分析及比较
        5.3.1 单模态与融合模态预测效果比较与分析
        5.3.2 FWOSVR与 SVR算法比较与分析
        5.3.3 建立W-SVR-GBRT模型后的融合结果比较
    5.4 本章小结
第六章 总结与展望
    6.1 全文总结
    6.2 工作展望
参考文献
致谢
作者简介



本文编号：3769169