基于多模态融合的社交情感分类研究

发布时间：2021-07-27 14:28

　　情感计算是一个新兴的跨学科研究领域,汇集了人工智能,自然语言处理,认知科学和社会科学等不同领域的研究人员和实践者。随着在线发布的关于产品评论,电影评论,政治观点等视频的泛滥,网上多模态内容的数量呈指数级增长,情感计算分析研究已经从传统的单模分析演变为更复杂的多模态分析。现有的情感分析大部分关注视频中图片的情感分类,忽视了图片帧序列的时空信息以及文本和音频信息。另一方面,现有的多核学习易忽略不具鉴别性的基本特征,不能充分利用不同模态的基特征。针对以上问题,本文进行了如下研究:1.本文提出了一种基于视觉信息的3DCLS（3D Conv-Long Short Term Memory）模型,通过三维卷积神经网络和卷积长短期记忆递归神经网络的级联组合来为视觉情感识别任务建立时空信息。对于视频中的文本信息,通过卷积神经网络和长短期记忆递归神经网络的级联组合进行文本情感分类。对于音频信息,利用openSMILE软件提取相应的特征,使用支持向量机对其情感进行分类预测。2.本文提出了一种基于间隔维度约束的多核学习（Margin Dimension Constrained Multiple Kernel ... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

不同内核时间深度对比

图 5.2 3DCLS 模型准确率实验图.3 显示了使用不同算法对视觉信息进行情感分类的准确率比较， 3DCLS 模型，在数据集 MOUD 上进行实验，准确率优于现有数的增加，3DCLS 模型与 C3D、CNN、RNN 相比，优势越来越 卷积神经网络进行视觉情感分类实验时，准确率达到 87.23%。结合能够达到 92.12%的准确率。使用我们所提出的 3DCLS 模型到 95.25%，比单独使用 C3D 准确率高。那是因为在 C3D 从输特征后，卷积 LSTM 进一步学习长期的时空特征，同时能够很的局部特征，从而达到更高的准确率。相比 CNN、RNN 网络，使确率高 10%左右。

图 5.2 3DCLS 模型准确率实验图.3 显示了使用不同算法对视觉信息进行情感分类的准确率比较， 3DCLS 模型，在数据集 MOUD 上进行实验，准确率优于现有数的增加，3DCLS 模型与 C3D、CNN、RNN 相比，优势越来越 卷积神经网络进行视觉情感分类实验时，准确率达到 87.23%。结合能够达到 92.12%的准确率。使用我们所提出的 3DCLS 模型进到 95.25%，比单独使用 C3D 准确率高。那是因为在 C3D 从输特征后，卷积 LSTM 进一步学习长期的时空特征，同时能够很的局部特征，从而达到更高的准确率。相比 CNN、RNN 网络，使确率高 10%左右。

【参考文献】：
期刊论文
[1]一种基于多特征融合的图像检索方法[J]. 孔凡辉,柏晓辉,竺如生.  哈尔滨商业大学学报(自然科学版). 2010(03)
[2]Zernike矩及它们的应用[J]. 王耀明.  上海电机学院学报. 2008(01)
[3]情感建模与情感识别[J]. 张颖,罗森林.  计算机工程与应用. 2003(33)
[4]图像的情感语义研究进展[J]. 王伟凝,余英林.  电路与系统学报. 2003(05)

硕士论文
[1]基于主角和卷积神经网络的视频情感内容分析方法研究[D]. 江政波.深圳大学 2017
[2]基于惊奇模型与声谱图的音频事件检测与识别研究[D]. 程小雪.合肥工业大学 2015



本文编号：3305962