基于注意力深度学习的情感分类研究

发布时间：2021-03-31 00:08

　　进入二十一世纪以来,随着互联网的发展与普及,微博、博客、论坛及电子商城等一系列平台为人民提供了自由发表言论的舞台。互联网中每天会产生大量的文本信息,如何从大量的文本信息中精准获取到文本包含的情感信息,是目前文本情感分析领域研究的热点。但是传统的文本情感分析存在以下缺点:（1）人工定制的特征提取策略主观性太强,有些隐藏的情感信息得不到有效的表达;（2）提取到的特征过于简单,无法有效表达文本中几个关键词的依赖关系。近年来深度学习在多个领域都取得了瞩目的成就,从而也证明了其在文本分析上的独特优势。本文使用双向门控循环单元（BiGRU）深度学习模型与内容注意力机制（Content Attention Mechanism）相结合的方式来对文本情感分析做了深入的研究。本文主要包括以下工作:（1）针对文本情感分析问题,本文使用双向门控循环单元（BiGRU）网络模型和双向长短期记忆（BiLSTM）网络模型、双向循环神经网络模型（BiRNN）、门控循环单元（GRU）网络模型、长短期记忆（LSTM）网络模型、循环神经网络（RNN）模型、卷积神经网络（CNN）模型做对比,分析不同深度学习模型在情感分析上的效... 

【文章来源】：西北大学陕西省 211工程院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

前馈神经网络模型图

图 2 CBOW 和 Skip_gram 模型图CBOW：通过目标词的上下文的词预测目标词，图中就是取大小为 2 的窗口，通过目标词前后两个词预测目标词。具体的做法是，设定词向量的维度 d，对所有的词随机初始化为一个 d 维的向量，然后要对上下文所有的词向量编码得到一个隐藏层的向量，通过这个隐藏层的向量预测目标词，CBOW 中的做法是简单的相加，然后做一个 Softmax的分类，例如词汇表中一个有 V 个不同的词，就是隐藏层 d 维的向量乘以一个 W 矩阵（d VR ）转化为一个 V 维的向量，然后做一个 Softmax 的分类。由于 V 词汇的数量一般是很大的，每次训练都要更新整个 W 矩阵计算量会很大，同时这是一个样本不均衡的问题，不同的词的出现次数会有很大的差异，所以论文中采用了两种不同的优化方法多层Softmax 和负采样。Skip-gram：它的输入是目标词，先是将目标词映射为一个隐藏层向量，根据这个向量预测目标词上下文两个词，因为词汇表大和样本不均衡，同样也会采用多层 Softmax

第二章 相关技术量还是相对整张图片的特征，这是卷积神经网络能够减少模型的参数的同时还能保证模型有效性的根本原因。在卷积神经网络[35]在图像领域取得巨大成绩之后，有研究人员开始在自然语言处理领域使用卷积神经网络[36]。在 NLP 领域很多方面，CNN 也取得了出色的效果，比如语义分析、查询检索、文本分类等任务。在处理文本数据时，在卷积层前面要加入一个输入层，需要对数据做一些预处理操作，比如将数据集中的单词映射成词向量来表示，经过了转换之后一句话就变成了一个矩阵，矩阵中的一行就代表了一个单词，那么对于一个长度为 n 的句子，则就会转换成一个n k的矩阵。转换之后的处理就可以参考图像的处理方式，用卷积神经网络来解决自然语言处理的相关问题。自然语言处理的卷积神经网络结构图如图 3 所示：


本文编号：3110396