基于深度学习的多模态老人情感识别方法研究
发布时间：2021-01-28 10:46
为了让计算机具有理解、识别、读懂和表达人类情感的能力,情感计算技术开始被深入研究,使得人类与计算机可以实现相互理解、高效互动。可是人类是一个复杂的群体,人类表达情感有着多种载体,包括表情、语音、生理信号、身体姿态等等,通过对多种模态的情感识别研究,可以帮助计算机更好地理解人类,创建更轻松的人机交互环境。本文从建立多模态老年人情感数据库、语音情感特征的提取和识别以及人脸表情特征的提取和情感识别等方面展开研究。其主要研究工作及成果总结如下:1.从情感研究的现状中,可以发现以老年人为对象的情感研究还不够充分,同时国内外研究者们建立的情感数据库中,情感表达对象几乎是年轻人,而且模态单一。针对这个问题,本文在名为《空巢姥爷》的电视连续剧上构建了视频情感数据库、语音情感语料库和人脸表情图像库,并阐述了多模态情感库的构建方法和过程。实验结果表明,构建多模态老人情感数据库是合理的和有效的。2.在自建的多模态情感数据库的基础上,采用自编码神经网络进行特征降维,并选择支持向量机作为分类器,进行语音情感识别研究。本文分别提取傅里叶系数特征（Fourier parameter,FP）、动态特征（一阶差分和二阶...
【文章来源】：安徽建筑大学安徽省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
空巢姥爷语料库的情感分布
这样后续程序再去处理分析降明显提高了工作效率，并且运行后的从宏观意义上说，特征降维就是要防有监督信息，降维算法可以划分为监分分析)[48]、LPP(局部保留投影)[49]和而 LDA(线性判别分析)[51]和 MMC(文中，我们使用无监督型降维方法—维，以更精炼的形式保存特征信息。构出原始的特征，它们能有效地找出效的方式来表示样本数据。eep Learning)思想的自编码神经网络数据尽可能来重构输入数据。
位论文 第三章 语音特别率结果和表 3-2 混淆矩阵中看到的那样，它而言，分析认为不平衡的数据分布会导致问如表 3-3 所示。表 3-3 每种情感的样本数量 1 2 3 4 5 6 123 103 17 32 80 100 能是 106，数据分布不均。考虑到相对较小的充分的理由相信它是最终扰乱实验结果的主用方法是采样，包括过采样，欠采样，过采样。图 3-2 显示了采样后的数据重新分配。
【参考文献】：
期刊论文
[1]基于稀疏自动编码器的深度神经网络实现[J]. 张光建. 现代计算机(专业版). 2017(35)
[2]一种基于小波包主成分分析的语音情感识别方法[J]. 朱宗宝,王坤侠,肖玲玲,刘文静. 安徽建筑大学学报. 2017(05)
[3]中国人口老龄化形势与养老服务的发展[J]. 杜鹏. 人口与计划生育. 2015(07)
[4]深度学习理论及其在语音识别领域的应用[J]. 杨俊安,王一,刘辉,李晋徽,陆俊. 通信对抗. 2014(03)
[5]基于表情和语音的多模态情感识别研究[J]. 王蓓,王晓兰. 信息化研究. 2014(01)
[6]一种新的基于MMC和LSE的监督流形学习算法[J]. 袁暋,程雷,朱然刚,雷迎科. 自动化学报. 2013(12)
[7]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳. 软件学报. 2014(01)
[8]表情和姿态的双模态情感识别[J]. 闫静杰,郑文明,辛明海,邱伟. 中国图象图形学报. 2013(09)
[9]基于改进的快速稀疏编码的图像特征提取[J]. 尚丽,苏品刚,周燕. 计算机应用. 2013(03)
[10]人类情绪的外周自主反应与中枢神经机制的整合——情绪信息加工脑功能网络模型的初步构想[J]. 蔡厚德. 南京师大学报(社会科学版). 2012(04)
博士论文
[1]语音情感识别方法研究[D]. 王坤侠.合肥工业大学 2015
[2]基于语音和人脸的情感识别研究[D]. 张石清.电子科技大学 2012
[3]情感计算关键技术研究[D]. 于冬梅.东华大学 2009
[4]决策神经网络模型及应用研究[D]. 南晋华.华中科技大学 2008
[5]人脸表情识别中若干关键技术的研究[D]. 何良华.东南大学 2005
硕士论文
[1]基于PAD三维情感模型的情感语音研究[D]. 张婷.太原理工大学 2018
[2]基于语音和面部表情融合的情绪识别算法研究及其实现[D]. 王喆.北方工业大学 2018
[3]基于卷积神经网络的图像识别算法研究[D]. 张荣磊.山东理工大学 2017
[4]基于深度学习的手写数字集特征提取算法[D]. 任沙.湖南师范大学 2016
[5]基于深度学习的图像目标定位识别研究[D]. 程欣.电子科技大学 2016
[6]基于自编码神经网络文本特征选择的研究[D]. 李时峰.天津科技大学 2016
[7]基于语音信息的多特征情绪识别算法研究[D]. 丁倩.山东大学 2015
[8]基于条件神经域的语音情感识别研究[D]. 李琼.天津师范大学 2014
[9]基于PCA与LDA的表情识别算法研究[D]. 赵春伟.西安电子科技大学 2014
[10]人脸面部表情的情感识别研究[D]. 陈鑫.天津大学 2014
本文编号：3004860
【文章来源】：安徽建筑大学安徽省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
空巢姥爷语料库的情感分布
这样后续程序再去处理分析降明显提高了工作效率，并且运行后的从宏观意义上说，特征降维就是要防有监督信息，降维算法可以划分为监分分析)[48]、LPP(局部保留投影)[49]和而 LDA(线性判别分析)[51]和 MMC(文中，我们使用无监督型降维方法—维，以更精炼的形式保存特征信息。构出原始的特征，它们能有效地找出效的方式来表示样本数据。eep Learning)思想的自编码神经网络数据尽可能来重构输入数据。
位论文 第三章 语音特别率结果和表 3-2 混淆矩阵中看到的那样，它而言，分析认为不平衡的数据分布会导致问如表 3-3 所示。表 3-3 每种情感的样本数量 1 2 3 4 5 6 123 103 17 32 80 100 能是 106，数据分布不均。考虑到相对较小的充分的理由相信它是最终扰乱实验结果的主用方法是采样，包括过采样，欠采样，过采样。图 3-2 显示了采样后的数据重新分配。
【参考文献】：
期刊论文
[1]基于稀疏自动编码器的深度神经网络实现[J]. 张光建. 现代计算机(专业版). 2017(35)
[2]一种基于小波包主成分分析的语音情感识别方法[J]. 朱宗宝,王坤侠,肖玲玲,刘文静. 安徽建筑大学学报. 2017(05)
[3]中国人口老龄化形势与养老服务的发展[J]. 杜鹏. 人口与计划生育. 2015(07)
[4]深度学习理论及其在语音识别领域的应用[J]. 杨俊安,王一,刘辉,李晋徽,陆俊. 通信对抗. 2014(03)
[5]基于表情和语音的多模态情感识别研究[J]. 王蓓,王晓兰. 信息化研究. 2014(01)
[6]一种新的基于MMC和LSE的监督流形学习算法[J]. 袁暋,程雷,朱然刚,雷迎科. 自动化学报. 2013(12)
[7]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳. 软件学报. 2014(01)
[8]表情和姿态的双模态情感识别[J]. 闫静杰,郑文明,辛明海,邱伟. 中国图象图形学报. 2013(09)
[9]基于改进的快速稀疏编码的图像特征提取[J]. 尚丽,苏品刚,周燕. 计算机应用. 2013(03)
[10]人类情绪的外周自主反应与中枢神经机制的整合——情绪信息加工脑功能网络模型的初步构想[J]. 蔡厚德. 南京师大学报(社会科学版). 2012(04)
博士论文
[1]语音情感识别方法研究[D]. 王坤侠.合肥工业大学 2015
[2]基于语音和人脸的情感识别研究[D]. 张石清.电子科技大学 2012
[3]情感计算关键技术研究[D]. 于冬梅.东华大学 2009
[4]决策神经网络模型及应用研究[D]. 南晋华.华中科技大学 2008
[5]人脸表情识别中若干关键技术的研究[D]. 何良华.东南大学 2005
硕士论文
[1]基于PAD三维情感模型的情感语音研究[D]. 张婷.太原理工大学 2018
[2]基于语音和面部表情融合的情绪识别算法研究及其实现[D]. 王喆.北方工业大学 2018
[3]基于卷积神经网络的图像识别算法研究[D]. 张荣磊.山东理工大学 2017
[4]基于深度学习的手写数字集特征提取算法[D]. 任沙.湖南师范大学 2016
[5]基于深度学习的图像目标定位识别研究[D]. 程欣.电子科技大学 2016
[6]基于自编码神经网络文本特征选择的研究[D]. 李时峰.天津科技大学 2016
[7]基于语音信息的多特征情绪识别算法研究[D]. 丁倩.山东大学 2015
[8]基于条件神经域的语音情感识别研究[D]. 李琼.天津师范大学 2014
[9]基于PCA与LDA的表情识别算法研究[D]. 赵春伟.西安电子科技大学 2014
[10]人脸面部表情的情感识别研究[D]. 陈鑫.天津大学 2014
本文编号：3004860
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3004860.html
