基于语音和人脸表情的多模态情感识别算法研究

发布时间：2022-05-05 19:46

　　自然人机交互技术是当前计算机应用技术研究的重要方向,情感的自动识别是实现自然人机交互的关键技术之一。考虑到卷积神经网络可以同时进行图像特征提取和模式分类,且局部连接和权值共享这两大机制可以减少训练参数,因此,在对卷积神经网络理论进行深入研究的基础上,为避免传统方法中特征提取等复杂过程,本文将卷积神经网络应用于情感识别领域。本文基于卷积神经网络提出一种新的可以分别用于语音情感识别和人脸表情识别的算法,然后提出一种多模态融合的情感识别算法。本文主要研究内容如下:（1）卷积神经网络理论的研究。分析了卷积神经网络的基本原理及参数学习算法,为本文将卷积神经网络与情感识别相结合提供理论基础。（2）提出一种新的基于声谱图和卷积神经网络的语音情感识别的算法。由于声谱图是能够反映语音时频特征的二维图像,为了解决传统识别算法中特征提取复杂以及特征质量不佳等问题,提出将声谱图作为卷积神经网络的输入数据。利用卷积神经网络对声谱图特征进行自动学习,实现对声谱图端到端的处理,进行有监督学习和训练以得到相应的网络模型。通过在CASIA汉语情感语料库和德国柏林语料库上分别进行实验,对应的语音情感识别率分别可达到79.... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 选题背景和意义
    1.2 语音情感识别的国内外研究现状
    1.3 人脸表情识别的国内外研究现状
    1.4 多模态情感识别的国内外研究现状
    1.5 本文主要工作和内容
    1.6 本文的组织结构
第二章 卷积神经网络相关理论
    2.1 概述
    2.2 人工神经元
    2.3 反向传播算法
    2.4 卷积神经网络
        2.4.1 卷积神经网络结构
        2.4.2 卷积层
        2.4.3 池化层
        2.4.4 全连接层
        2.4.5 SoftMax回归
    2.5 本章小结
第三章 基于声谱图和卷积神经网络的语音情感识别算法
    3.1 概述
    3.2 声谱图
        3.2.1 声谱图生成
        3.2.2 声谱图预处理
    3.3 基于语音声谱图的语音情感识别
        3.3.1 语音情感语料库
        3.3.2 基于CNN的语音情感识别
        3.3.3 实验相关设置
        3.3.4 实验结果及分析
    3.4 本章小结
第四章 融合语音和人脸表情的情感识别算法
    4.1 概述
    4.2 基于卷积神经网络的人脸表情识别算法
        4.2.1 人脸表情数据库
        4.2.2 基于CNN的人脸表情识别算法
        4.2.3 实验结果及分析
    4.3 融合语音和人脸表情的情感识别算法
        4.3.1 多模态信息融合方法
        4.3.2 多模态情感数据库
        4.3.3 融合语音和人脸表情的情感识别方法
        4.3.4 实验结果及分析
    4.4 本章小结
总结与展望
    工作总结
    工作展望
参考文献
攻读硕士学位期间取得的科研成果
致谢



本文编号：3650896