基于FACS和多模态融合的网民情感分类研究

发布时间：2024-02-24 22:02

　　互联网时代,网民越来越多地参与突发事件和社会话题的讨论,网络舆情对于政府和企业的影响越来越大,及时、准确地了解网民情感至关重要。目前,关于网民情感分类的研究大多基于单一的文本数据,但社交网络平台上图文结合的现象非常普遍,图片往往也蕴含着网民的情感信息,是对网民情感判断的重要补充,尤其是含有人脸的图片。面部表情,作为情感表达的主要外在表现,能够直观、可靠地揭示网民情感。因此,本文将网民面部表情与文本情感信息相结合,研究网民情感分类问题。面部动作编码系统(FACS)基于一组称为动作单元(AU)的面部肌肉运动来描述所有可能的面部表情,解决了丰富的面部表情和低级可视特征间的语义鸿沟问题,为面部表情提供了更加精确的解释。本文基于FACS和多模态融合技术构建多模态情感分类模型,包括文本情感分类、面部图片情感分类和多模态情感融合三个子模型。利用文本表示模型对文本进行词向量表示,通过双向长短期记忆模型(Bi LSTM)提取文本情感分类特征,识别正面、中性、负面三类情感;基于AU区域分割面部图片,降低特征维度,识别AU,判断网民情感;基于通用的融合策略实现多模态情感融合,并结合舆情多模态数据进行实证研究...

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图1.1论文总结

硕士学位论文基于FACS和多模态融合的网民情感分类研究31.3研究思路与组织结构1.3.1研究思路本论文采用理论、实证研究相结合的方法，按照图1.1所示的研究思路开展研究工作。首先，对网民文本情感分类、FACS面部表情识别以及多模态情感融合的现有研究进行文献综述，为后续研究提供坚....

图2.1FACS定义的AU示例及其解释

硕士学位论文基于FACS和多模态融合的网民情感分类研究11图2.1FACS定义的AU示例及其解释与基本表情分类方法相比，FACS是全面而客观的。因为任何面部表情都是由一组面部肌肉的激活产生的，开心时，眉头舒展，眉毛下弯，脸颊抬起，嘴角上扬；悲伤时双眉紧锁，嘴角下垂；愤怒时双眉倒竖....

图2.2面部表情的AU标注AU2AU1

硕士学位论文基于FACS和多模态融合的网民情感分类研究11图2.1FACS定义的AU示例及其解释与基本表情分类方法相比，FACS是全面而客观的。因为任何面部表情都是由一组面部肌肉的激活产生的，开心时，眉头舒展，眉毛下弯，脸颊抬起，嘴角上扬；悲伤时双眉紧锁，嘴角下垂；愤怒时双眉倒竖....

图3.1网民多模态文本数据集提取是别

硕士学位论文基于FACS和多模态融合的网民情感分类研究173网民多模态情感分类模型构建为实现高效识别网络舆情事件发生过程中网民的多模态情感，本文构建了网民多模态情感分类模型，模型结构如图3.1所示，包括面部图片情感分类模型、文本情感分类模型和多模态融合模型三个子模型。图3.1网民....

本文编号：3909624