基于注意力机制的情感分类算法及应用研究

发布时间：2021-06-24 16:38

　　情感分类是指对文本的情感极性进行分析判断,应用于意见挖掘、情绪识别、舆情分析等方面。注意力机制在自然语言处理领域应用十分广泛,在许多分类任务上有较高的准确率。循环神经网络与注意力机制都是端到端的结构,都具备结合上下文的能力。循环神经网络沿着时间方向学习,能记忆顺序信息。但当句子过长时,即便是RNN的变体LSTM也无法学习到较远的词语信息。自注意力机制可以作为编码器,使每个词都能获得全局范围内的上下文信息。对于情感分类算法而言,将情感信息嵌入到网络中以丰富文本表示,这是很重要的。自注意力机制虽然能全局范围注意,但也会由此引入噪音词。较为复杂的语境足以混淆自注意力机制的视听,出现每个带情感的词都很重要的情况,所以自注意力机制仍然有许多改进的空间。考虑将词性嵌入融合到自注意力机制中,本文提出基于融合词性嵌入的自注意力机制的情感分类算法,具体包括两种情感分类算法,分别是基于Pos-IdSA（Part Of Speech Independent Self Attention）的情感分类算法与基于 Pos-ItSA（Part Of Speech interactive Self Attention... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图２－３中，设置三个门控机制，输入门（ｉｎｐｕｔ?ｇａｔｅ），遗忘门（ｆｏｒｇｅｔ?ｇａｔｅ），输??

?电子科技大学硕士学位论文???ｙ??Ｄｅｃｏｄｅｒ??ｉ?ｉ??Ｃ??Ｅｎｃｏｄｅｒ??ｌｉ?ａ?ｎ?ｎ??＾２?工３?＂＾Ｌ??图?２－６?ＲＮＮ?Ｓｅｑｕｅｎｃｅ?ｔｏ?ｓｅｑｕｅｎｃｅ??图２－６计算公式简化如下：??ｙ＝ｍ．?（２－１０）??注意力机制也是Ｅｎｃｏｄｅｒ?ｔｏ?Ｄｅｃｏｄｅｒ的框架，但它认为应该有区别的看待不同??时刻的输入对输出的影响，而不是无差别的计算ｙ，即Ｘ，．，ｉ取值不同，对分类结??果ｙ造成的影响是不同的。图２－７为注意力机制在情感分类算法中的框架。其中，??Ｃｌ，?〇２，…，Ｃｉ分别与Ｘｉ，Ｘ２，?．．？，处对应。??Ｄｅｃｏｄｅｒ??ｎ?未??Ｃ，?］?Ｃ２?ｃ３?Ｉ?ｃＬ??Ｅｎｃｏｄｅｒ??＾?ｆ?｜??－＾１?＾２?－＾２??？?２－７?Ａｔｔｅｎｔｉｏｎ?Ｓｅｑｕｅｎｃｅ?ｔｏ?ｓｅｑｕｅｎｃｅ??如下公式为注意力机制的简化公式。??ｙ＝ｆ（Ｃｌ，Ｃ２，．．．，ＣＬ）．?（２－１１）??输入端到输出端有对齐机制，而输入端自身也可以构建注意力机制，并且跨??距离学习全局的词语信息，这就是自注意力机制。自注意力机制可以像ＲＮＮ—样??学习上下文信息，并且拥有长距离学习能力。??１４??

注意力机制可以表示为如下公式：??Ｌｘ??Ａｔｔｅｎｔｉｏｎ（Ｑｕｅｒｙ，?Ｓｏｕｒｃｅ）?＝?Ｓｉｍｉｌａｒｉｔｙ?（Ｑｕｅｒｙ，?Ｋｅｙ；）?＊?Ｖａｌｕｅｊ．?（３－１）??ｉ＝＼??公式中，Ｓｏｕｒｃｅ指输入信息，包括句子Ｓ与标签＿ｙ，Ｑｕｅｒｙ作为查询向??量，Ｋｅｙ与Ｖａｌｕｅ成对出现，Ｓｉｍｉｌａｒｉｔｙ?（Ｑｕｅｒｙ，?Ｋｅｙ，．）指Ｖａｌｕｅ，．的注意力权重值，??Ａｔｔｅｎｔｉｏｎ（Ｑｕｅｒｙ，Ｓｏｕｒｃｅ）即为经过注意力机制加权求和后的注意力向量，这个公式??代表了注意力机制解码句子Ｓ的方式。??结合图３－１，我们看到４个输入的ｖａｌｕｅ值，对齐一个输出的Ａｔｔｅｎｔｉｏｎ?Ｖａｌｕｅ值，??０与输出端关联，尤与输入端关联。??

【参考文献】：
期刊论文
[1]结合词性信息的基于注意力机制的双向LSTM的中文文本分类[J]. 高成亮,徐华,高凯.  河北科技大学学报. 2018(05)
[2]情感词典自动构建方法综述[J]. 王科,夏睿.  自动化学报. 2016(04)
[3]情感计算理论与技术[J]. 罗森林,潘丽敏.  系统工程与电子技术. 2003(07)



本文编号：3247455