基于卷积神经网络的图文情感分析技术研究

发布时间：2019-09-06 09:30

【摘要】：科技的进步与发展,软硬件的不断普及,上网阅读与评论逐渐变为人们的日常活动,那么网络上也就隐藏着各种有价值的信息。情感分析是自然语言处理领域中一个基础且重要的研究方向,它利用情感分析技术,分析出人们对于某一事物的情感态度,主要包括积极、消极二种情感。传统且大量的研究工作主要是针对文本数据,随着微博、Twitter、Facebook等平台的发展,人们可以轻松的发布图像、视频等信息,研究者们也不局限于文本情感分类,将图像、视频等多媒体信息考虑进来,进行跨模态的情感分类研究。本文使用词向量表示工具word2vec与GloVe模型来表示文本,利用深度学习模型,从文本、图像及两者融合三个方面进行情感分类的研究,具体如下。一、多尺度卷积循环神经网络的情感分类。在这部分,本文利用卷积神经网络方便灵活的提取具有丰富上下文关系的词特征的特点,长短时记忆模型在处理任意句子长度序列和长时间依赖的优点,对英文文本进行情感分类。实验表明多尺度卷积循环神经网络模型相比于其他模型,分类结果有了部分提升。二、结合图像全局与局部特征的图像情感分类。在这部分使用卷积神经网络模型对图像进行情感分类。该模型可以拆分为四个部分的神经网络,第一部分的网络,提取图像的低级特征,第二、三部分的网络,利用提取到的低维特征,再经过卷积、全连接等操作,分别提取出图像的全局特征和局部特征,第四部分,融合图像局部与全局特征,根据得到的融合特征进行图像情感分类。实验表明该模型在与现有的深度学习图像情感分类方法的对比中,获得了更好的情感分类结果。三、基于紧凑双线性融合的图文跨模态情感分类。该模型使用预训练的152层残差网络提取图像特征,使用长短时记忆模型获取文本特征,通过拼接两种特征,经过一些操作产生软注意力图,再与图像特征进行加权求和,得到最终视觉表示。接着使用多模态紧凑双线性融合算法融合视觉表示和文本特征,最后对融合后特征进行跨模态的情感分类。在实验对比分析中,该模型较其它方法取得了较好的分类结果。
【图文】：

模型图,模型,目标词,上下文

图 2.1 CBOW 模型c 表示目标词对应的上下文，由于没有隐藏层，CBOW 模型的输入层就是直接使用不包含词序信息的上下文表示。CBOW 模型就是根据上下文的表示，直接对目标词进行预测，如式 2.8：'exp( '( ) )( | )exp( '( ') )TTw VwP w cw e xe x(2.8)上述 2.7、2.8 二式中，w表示目标词，c 表示目标词对应的上下文。对于整个训练语料来说，CBOW 的优化目标为最大化式 2.9，其中D代表整个训练语料：( , )log ( | )w c DP w c (2.9)如图 2.2，Skip-gram 模型的结构图，相似的是 Skip-gram 模型也没有隐藏层。而不同的是，Skip-gram 模型是将从目标词w 的上下文c 中选择的一个词的词向量作为模型的输入 x。Skip-gram 模型是通过目标词预测上下文，对于整个训练

模型结构,采样技术

图 2.2 Skip-gram 模型结构图为了再次提升模型的效率[74]，Mikolov 等人于 2013 年又提出负采样技术（Negative Sampling）。负采样技术是借鉴 C&W 模型构造负样本的方法，并参考了 ivLBL 模型的 NCE 方法，然后构造一个优化目标，最大化正样本的似然，同时最小化负样本的似然。负采样技术与 C&W 模型中对应部分的区别主要是，负采样技术并不采用 pairwise 方式训练，因此，一个正样本可以对应多个负样本，Mikolov 等人在实验中也论述了使用多个负样本（一般选 5）可以有效的提升模型的性能。负采样技术与 NCE 技术的主要区别是，负采样技术只是优化正负样本的似然，并不对输出层做概率归一化。NCE 技术则是通过噪声样本对概率进行估计。在实验中，Mikolov 等人也论述了负采样技术相比 NCE 技术少了一些约束，并且对于词向量的生成是有帮助的。通常情况下，在大规模语料中的高频词就是停用词（如英语中的“the”，汉语中的“的”）。一方面，这些高频词只会包含非常少量的语义信息，，例如绝大多数的词都会和“的”共同出现，但是这并不能证明这些词的语义相似。另一
【学位授予单位】：华侨大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.1;TP183

【相似文献】