融合语音信号和脑电信号的多模态情感识别
发布时间：2022-01-22 12:36
情感识别是实现机器智能化的关键技术之一,它通过对人类情感的研究与分析,可以使机器理解人类情感并按照人类意愿完成相关指令。在众多的情感信号中,语音信号是最直接且最有利的表达方式,而脑电信号可靠性强且采集方便简单,二者对于情感识别相辅相成。本文结合语音信号和脑电信号构造了多模态情感识别系统,分析了语音信号和脑电信号与情感之间的关系,提取了二者表征情感差异度的有效情感信息,采用特征融合和决策融合技术构建了多模态情感识别系统,并通过对比实验验证了多模态情感识别系统的可靠性和鲁棒性。论文研究内容及创新点如下:（1）详细介绍了语音情感识别系统的构成。根据语音信号的语速、音调、自然度、清晰度等基本特性提取了语音信号的传统特征;从语音信号的属性特性和几何结构两方面分析并提取了表征情感信息的非线性特征;选取TYUT2.0为语音情感数据库,采用支持向量机（Support Vector Machine,SVM）进行情感判别,实验结果证明,以语音信号为载体的情感识别系统可以有效的实现情感分类。（2）提取了新的情感脑电特征并构造出有效情感特征子集。针对脑电信号的非线性特性,利用相空间重构技术通过对相空间中几何结...
【文章来源】：太原理工大学山西省 211工程院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
语音信号预处理操作流程
图 2-4 情感语音特征框架图Figure 2-4 The diagram of emotional speech feature信号传统特征参数提取征特征主要从语音信号的平滑度、清晰度、连续度和包含的情感信息等方号的非言语信息，本文提取的韵律特征如下：速：语速是表征说话人说话速度快慢的物理量，语速往往受多重因素的场合、表达能力以及说话人情绪等。人类在表达不同情感时，言语速度别；频：基频主要用来表征说话人自身的声带物理特性以及发声习惯，人类感时，声带的物理特性(如扩张程度)有所不同，从而产生的基频也不同
图 2-8 MFCC 特征提取过程图Figure 2-8 Flow diagram of the extraction process of MFCC feature parameters理音信号进行时频域的转换，如下式(2-2)所示：( , ) ( ( ))iX i k FFT x m域中用 i 表示第 i帧 语音信号，在频域中用 k 表示第 k条谱线。(2-3)计算谱线能量，即：2E (i , k ) [ X (i , k)]③中得到的谱线能量通过 MEL 滤波器计算 MEL 滤波能量，计算公10( , ) ( , ) ( ),0NmkS i m E i k H k m M
【参考文献】：
期刊论文
[1]基于信息熵的加权基因关联网络融合方法[J]. 伍度志,杨帆,赵静. 电子科技大学学报. 2018(02)
[2]一种改进脑电特征提取算法及其在情感识别中的应用[J]. 李昕,蔡二娟,田彦秀,孙小棋,范梦頔. 生物医学工程学杂志. 2017(04)
[3]相空间重构的情感语音特征提取及优化[J]. 孙颖,宋春晓. 西安电子科技大学学报. 2017(06)
[4]基于排列熵与多重分形指数结合的特征提取算法在情感识别中的应用[J]. 李昕,齐晓英,田彦秀,孙小棋,范梦頔,蔡二娟. 高技术通讯. 2016(07)
[5]基于脑电信号分类的高速公路上驾驶疲劳识别[J]. 罗旭,王宏,王福旺. 汽车工程. 2015(02)
[6]基于改进功率谱熵的抑郁症脑电信号活跃性研究[J]. 王凯明,钟宁,周海燕. 物理学报. 2014(17)
[7]基于语音信号与心电信号的多模态情感识别[J]. 黄程韦,金赟,王青云,赵力,邹采荣. 东南大学学报(自然科学版). 2010(05)
[8]基于MFCC的语音情感识别[J]. 韩一,王国胤,杨勇. 重庆邮电大学学报(自然科学版). 2008(05)
[9]基于长短时特征融合的语音情感识别方法[J]. 韩文静,李海峰,韩纪庆. 清华大学学报(自然科学版). 2008(S1)
博士论文
[1]基于EEG和ERP信号分析的情感认知研究[D]. 畅江.太原理工大学 2018
[2]语音信号动力学特性递归分析[D]. 闫润强.上海交通大学 2006
硕士论文
[1]情感语音的非线性特征提取及特征优化的研究[D]. 宋春晓.太原理工大学 2018
[2]基于表情和语音的双模态情感识別研究[D]. 朱娜.南京邮电大学 2017
[3]基于语音和图像的多模态情感识别研究[D]. 贺奇.哈尔滨工业大学 2017
[4]情感语音的非线性特征研究[D]. 姚慧.太原理工大学 2016
[5]融合人脸表情和语音的双模态情感识别研究[D]. 谢坷珍.中国海洋大学 2015
[6]极限学习机在语音情感识别中的应用研究[D]. 何淑琳.太原理工大学 2015
本文编号：3602209
【文章来源】：太原理工大学山西省 211工程院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
语音信号预处理操作流程
图 2-4 情感语音特征框架图Figure 2-4 The diagram of emotional speech feature信号传统特征参数提取征特征主要从语音信号的平滑度、清晰度、连续度和包含的情感信息等方号的非言语信息，本文提取的韵律特征如下：速：语速是表征说话人说话速度快慢的物理量，语速往往受多重因素的场合、表达能力以及说话人情绪等。人类在表达不同情感时，言语速度别；频：基频主要用来表征说话人自身的声带物理特性以及发声习惯，人类感时，声带的物理特性(如扩张程度)有所不同，从而产生的基频也不同
图 2-8 MFCC 特征提取过程图Figure 2-8 Flow diagram of the extraction process of MFCC feature parameters理音信号进行时频域的转换，如下式(2-2)所示：( , ) ( ( ))iX i k FFT x m域中用 i 表示第 i帧 语音信号，在频域中用 k 表示第 k条谱线。(2-3)计算谱线能量，即：2E (i , k ) [ X (i , k)]③中得到的谱线能量通过 MEL 滤波器计算 MEL 滤波能量，计算公10( , ) ( , ) ( ),0NmkS i m E i k H k m M
【参考文献】：
期刊论文
[1]基于信息熵的加权基因关联网络融合方法[J]. 伍度志,杨帆,赵静. 电子科技大学学报. 2018(02)
[2]一种改进脑电特征提取算法及其在情感识别中的应用[J]. 李昕,蔡二娟,田彦秀,孙小棋,范梦頔. 生物医学工程学杂志. 2017(04)
[3]相空间重构的情感语音特征提取及优化[J]. 孙颖,宋春晓. 西安电子科技大学学报. 2017(06)
[4]基于排列熵与多重分形指数结合的特征提取算法在情感识别中的应用[J]. 李昕,齐晓英,田彦秀,孙小棋,范梦頔,蔡二娟. 高技术通讯. 2016(07)
[5]基于脑电信号分类的高速公路上驾驶疲劳识别[J]. 罗旭,王宏,王福旺. 汽车工程. 2015(02)
[6]基于改进功率谱熵的抑郁症脑电信号活跃性研究[J]. 王凯明,钟宁,周海燕. 物理学报. 2014(17)
[7]基于语音信号与心电信号的多模态情感识别[J]. 黄程韦,金赟,王青云,赵力,邹采荣. 东南大学学报(自然科学版). 2010(05)
[8]基于MFCC的语音情感识别[J]. 韩一,王国胤,杨勇. 重庆邮电大学学报(自然科学版). 2008(05)
[9]基于长短时特征融合的语音情感识别方法[J]. 韩文静,李海峰,韩纪庆. 清华大学学报(自然科学版). 2008(S1)
博士论文
[1]基于EEG和ERP信号分析的情感认知研究[D]. 畅江.太原理工大学 2018
[2]语音信号动力学特性递归分析[D]. 闫润强.上海交通大学 2006
硕士论文
[1]情感语音的非线性特征提取及特征优化的研究[D]. 宋春晓.太原理工大学 2018
[2]基于表情和语音的双模态情感识別研究[D]. 朱娜.南京邮电大学 2017
[3]基于语音和图像的多模态情感识别研究[D]. 贺奇.哈尔滨工业大学 2017
[4]情感语音的非线性特征研究[D]. 姚慧.太原理工大学 2016
[5]融合人脸表情和语音的双模态情感识别研究[D]. 谢坷珍.中国海洋大学 2015
[6]极限学习机在语音情感识别中的应用研究[D]. 何淑琳.太原理工大学 2015
本文编号：3602209
本文链接：https://www.wllwen.com/yixuelunwen/swyx/3602209.html
