基于视听觉感知系统的情感识别技术研究
发布时间：2022-02-19 10:52
大脑在进行情感识别时主要有三个特性:时序性、变化性、多模态。本文从这三个特性着手,从语音和表情帧序列中提取随时间变化的情感特征,并进行融合。然后构建基于语音和表情图像的多模态情感识别系统。借鉴人类视听觉感知系统信息处理机制,使计算机进行的情感识别更加接近于人脑对信息的处理方式,从而获得更加快速高效的识别性能。研究内容如下:针对语音,提出了一种基于Mel尺度小波包分解的子带能量特征。使用小波包函数代替Mel滤波器组,按照Mel尺度的带宽分解语音信号,然后对各子带信号提取能量特征。这样既保留了人耳听觉特性又解决Mel滤波器抗噪性弱的问题。分帧提取的情感特征仅能反应出单帧语音的静态信息,无法体现出连续变化的特征。为了使特征更好的体现时域连续性,提出一种基于一阶差分的动态语音情感特征,并将静态的声学特征与动态差分特征相结合,提高识别率。根据视觉感知系统信息处理机制,提出了两种基于动态序列的表情特征提取方案,第一种方案首先进行特征点标定,采用DMFMeanShift算法对眉毛、眼睛、鼻子、嘴、下巴等表情关键部位进行精确定位,减少不必要的信息干扰。然后对特征点进行光流计算,得...
【文章来源】：天津理工大学天津市
【文章页数】：53 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景和意义
1.2 情感的定义与表示
1.3 国内外研究现状
1.3.1 表情识别研究现状
1.3.2 语音情感识别研究现状
1.3.3 视听觉结合的多模态情感识别研究现状
1.4 主要研究内容及结构安排
1.4.1 主要研究内容
1.4.2 结构安排
第二章 视听觉感知系统
2.1 与情感有关的特征及其变化性分析
2.1.1 声音中的情感特征
2.1.2 人脸表情中的情感特征
2.2 视听觉情感信息融合与时序性分析
2.3 大脑对情感信息的处理
2.3.1 信息的分层传递与处理
2.3.2 神经元的记忆与反馈
2.4 本章小结
第三章 基于人耳听觉机理的语音情感识别
3.1 Mel频率倒谱系数
3.2 基于Mel尺度小波包分解的子带能量
3.2.1 小波包变换
3.2.2 基于Mel尺度小波包子带能量
3.3 一阶差分动态特征
3.4 实验与分析
3.4.1 单一特征识别性能
3.4.2 分类方法比较
3.5 本章小结
第四章 模拟视觉感知的动态表情识别
4.1 基于DMF_MeanShift的表情特征点提取
4.2 光流运动特征计算
4.3 基于“what”通路的表情特征提取
4.3.1 局部不变性特征
4.3.2 全局不变性特征
4.4 基于改进循环神经网络的动态表情识别
4.4.1 动态特征提取方案设计
4.4.2 循环神经网络分类器设计
4.5 实验与分析
4.5.1 特征点标定实验
4.5.2 表情识别结果
4.6 本章小结
第五章 表情和语音相融合的多模态情感识别
5.1 循环神经网络
5.1.1 RNN基本结构
5.1.2 前向传播
5.1.3 BPTT训练
5.2 联合视听觉信息的情感识别方法
5.2.1 决策层融合
5.2.2 特征层融合
5.3 实验与分析
5.3.1 表情语音感数据库
5.3.2 单模态情感识别实验
5.3.3 多模态情感识别实验
5.4 本章小结
第六章 总结与展望
6.1 全文总结
6.2 展望
参考文献
发表论文和科研情况说明
致谢
【参考文献】：
期刊论文
[1]基于语音特征的情感分类[J]. 李强,刘晓峰,贺静. 小型微型计算机系统. 2016(02)
[2]基于融合DCT和LBP特征提取的面部表情识别[J]. 罗元,崔叶,王艳,张毅. 半导体光电. 2014(02)
[3]人类早期视皮层对边缘所有权的选择性以及注意的调节作用[J]. 方方,Huseyin Boyaci,Daniel Kersten. 中国基础科学. 2009(04)
[4]语音信号中的情感特征分析和识别的研究[J]. 赵力,将春辉,邹采荣,吴镇扬. 电子学报. 2004(04)
[5]基于Agent的人机情感交互系统研究[J]. 薛为民,石志国,谷学静,王志良. 计算机工程与应用. 2002(19)
博士论文
[1]基于表情认知的服务机器人情感计算研究[D]. 刘欣.北京科技大学 2015
[2]语音情感识别的关键技术研究[D]. 尤鸣宇.浙江大学 2007
[3]基于语音信号的情感识别研究[D]. 林奕琳.华南理工大学 2006
硕士论文
[1]基于多级分类的语音情感识别[D]. 任浩.哈尔滨工业大学 2016
[2]基于特征融合的语音情感识别方法的研究[D]. 巨晓正.东南大学 2016
[3]基于表情识别的儿童情绪能力评测系统[D]. 胡建国.东南大学 2015
[4]语音情感计算的研究及应用[D]. 孙黉杰.浙江工业大学 2007
本文编号：3632765
【文章来源】：天津理工大学天津市
【文章页数】：53 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景和意义
1.2 情感的定义与表示
1.3 国内外研究现状
1.3.1 表情识别研究现状
1.3.2 语音情感识别研究现状
1.3.3 视听觉结合的多模态情感识别研究现状
1.4 主要研究内容及结构安排
1.4.1 主要研究内容
1.4.2 结构安排
第二章 视听觉感知系统
2.1 与情感有关的特征及其变化性分析
2.1.1 声音中的情感特征
2.1.2 人脸表情中的情感特征
2.2 视听觉情感信息融合与时序性分析
2.3 大脑对情感信息的处理
2.3.1 信息的分层传递与处理
2.3.2 神经元的记忆与反馈
2.4 本章小结
第三章 基于人耳听觉机理的语音情感识别
3.1 Mel频率倒谱系数
3.2 基于Mel尺度小波包分解的子带能量
3.2.1 小波包变换
3.2.2 基于Mel尺度小波包子带能量
3.3 一阶差分动态特征
3.4 实验与分析
3.4.1 单一特征识别性能
3.4.2 分类方法比较
3.5 本章小结
第四章 模拟视觉感知的动态表情识别
4.1 基于DMF_MeanShift的表情特征点提取
4.2 光流运动特征计算
4.3 基于“what”通路的表情特征提取
4.3.1 局部不变性特征
4.3.2 全局不变性特征
4.4 基于改进循环神经网络的动态表情识别
4.4.1 动态特征提取方案设计
4.4.2 循环神经网络分类器设计
4.5 实验与分析
4.5.1 特征点标定实验
4.5.2 表情识别结果
4.6 本章小结
第五章 表情和语音相融合的多模态情感识别
5.1 循环神经网络
5.1.1 RNN基本结构
5.1.2 前向传播
5.1.3 BPTT训练
5.2 联合视听觉信息的情感识别方法
5.2.1 决策层融合
5.2.2 特征层融合
5.3 实验与分析
5.3.1 表情语音感数据库
5.3.2 单模态情感识别实验
5.3.3 多模态情感识别实验
5.4 本章小结
第六章 总结与展望
6.1 全文总结
6.2 展望
参考文献
发表论文和科研情况说明
致谢
【参考文献】：
期刊论文
[1]基于语音特征的情感分类[J]. 李强,刘晓峰,贺静. 小型微型计算机系统. 2016(02)
[2]基于融合DCT和LBP特征提取的面部表情识别[J]. 罗元,崔叶,王艳,张毅. 半导体光电. 2014(02)
[3]人类早期视皮层对边缘所有权的选择性以及注意的调节作用[J]. 方方,Huseyin Boyaci,Daniel Kersten. 中国基础科学. 2009(04)
[4]语音信号中的情感特征分析和识别的研究[J]. 赵力,将春辉,邹采荣,吴镇扬. 电子学报. 2004(04)
[5]基于Agent的人机情感交互系统研究[J]. 薛为民,石志国,谷学静,王志良. 计算机工程与应用. 2002(19)
博士论文
[1]基于表情认知的服务机器人情感计算研究[D]. 刘欣.北京科技大学 2015
[2]语音情感识别的关键技术研究[D]. 尤鸣宇.浙江大学 2007
[3]基于语音信号的情感识别研究[D]. 林奕琳.华南理工大学 2006
硕士论文
[1]基于多级分类的语音情感识别[D]. 任浩.哈尔滨工业大学 2016
[2]基于特征融合的语音情感识别方法的研究[D]. 巨晓正.东南大学 2016
[3]基于表情识别的儿童情绪能力评测系统[D]. 胡建国.东南大学 2015
[4]语音情感计算的研究及应用[D]. 孙黉杰.浙江工业大学 2007
本文编号：3632765
本文链接：https://www.wllwen.com/kejilunwen/dianzigongchenglunwen/3632765.html
