基于注意力机制的方面级别情感分类算法研究

发布时间：2021-07-04 10:17

　　方面级别情感分类的目的是识别一个句子关于给定方面所表达出来的情感极性。目前,基于注意力机制的深度学习算法已经成为解决该任务的主流方法之一。本文在对现有基于注意力机制的方面级别情感分类算法的设计思路和建模机制进行深入分析后,发现这些方法存在以下几点不足之处:首先,在方面级别情感分类领域采用的注意力机制,通常只构建一个记忆矩阵,从而无法同时利用到句子中潜在的词级别特征和短语级别特征。其次,现有工作中的注意力机制在计算注意力权重时,通常只考虑到了部分句子信息,缺乏对句子整体环境的考虑。最后,现有工作中常用的位置注意力机制的基本假设存在不合理之处。针对上述问题进行研究,本文提出两个相应的算法。第一个算法引入双重记忆矩阵实现对两种类型特征的利用。第二个算法则提出了两种新奇的注意力机制分别来解决后面两个问题。本文的主要贡献如下:1.提出一个基于双重记忆注意力机制的方面级别情感分类算法。该算法基于RNN Encoder-Decoder构建,在记忆模块中包含了词级别和短语级别记忆矩阵。解码器拥有多个计算层,每个计算层由注意力层和门限循环单元组成,用来捕获并整合与给定方面的情感极性相关的重要信息。另外,... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：94 页

【学位级别】：硕士

【部分图文】：

端到端记忆网络的单层和多层版本[41]

图 2-2 深度记忆网络示意图[34]级别情感分类领域，Tang 等人提出了深层记忆网络 Mem[34]。图 2-2 给出 MemNet 的模型示意图。对于输入句子{s 输入模块首先将其划分为两个部分：上下文部分1 1{ , , i w w { }iw （为了便于说明，这里假设方面只有一个词）。对于上其中的每个词映射为对应的词向量，并将这些向量堆叠起矩阵d ( n 1)m 。对于方面，同样将其转化为对应的向量et 的输出模块是一个多计算层模型，每一个计算层由一个注成。输出模块在产生输出向量的过程中，不断从记忆矩阵第一层，以方面表示aspectv 作为输入，注意力层基于方面表应选择重要的信息，与此同时，线性层对输入的方面表示后，将注意力层和线性层的输出进行加和，结果作为第一个计算层则以前一个计算层的输出作为输入，并执行与前后续的计算层亦是如此。在经过多个计算层的处理后，得

3 基于注意力机制的机器翻译模型示域中，Bahdanau 等人首先将注先前的基于编码器-解码器结构的为固定长度的向量，这种行为将时将使模型难以有效处理较长的（注意力模型），如图 2-3 所示, , }T x中检索出一组与它最相关先前已经生成的目标词来预测当来达到的。在图中t ,i 表示在生成配的注意力权重，通过权重的数2-5）给出t ,i 的计算方式。, 1( , )t i t ie a sh ,,exp( )t it iTe

【参考文献】：
期刊论文
[1]文本意见挖掘综述[J]. 姚天昉,程希文,徐飞玉,汉思·乌思克尔特,王睿.  中文信息学报. 2008(03)



本文编号：3264605