基于注意力机制及深度学习的文本情感分析研究

发布时间：2021-02-01 01:46

　　随着互联网行业的发展,电商评论和社交平台的推广,积累了大量的文本数据。通过提取这些文本信息中蕴含的观点和情感,能够帮助人们做一些决策和推广。文本情感分析已经成为自然语言处理领域中国内外研究的热点方向。传统的文本情感分析模型需要在人工标注的特征工程基础上,并结合语法规则才能取得不错的效果。随着深度学习模型在处理文本序列上的发展,在没有人工标注的特征工程前提下,引入注意力机制,关注文本信息中关键部分,在文本情感分析任务中有着优异的表现。本文主要是以文本情感极性分类和不同主题文本情感分类为研究出发点,构建了正反向序列AT-LSTM模型和融合主题特征的深层注意力的LSTM模型（deeper attention LSTM with aspect embedding,AE-DATT-LSTM）来处理文本情感分析任务。针对文本情感极性分类研究,首先在LSTM网络的模型基础上,为了关注文本中的关键信息,引入注意力机制,构建AT-LSTM模型,采用预训练好的Glove词向量,同时将文本的正反向序列采用注意力机制进行分析,然后进行特征融合和分类处理,构建了正反向序列的AT-LSTM模型。在SemEval-... 

【文章来源】：华北电力大学河北省 211工程院校 教育部直属院校

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

研究方向框架图

华北电力大学硕士学位论文练结果的准确率和加速训练过程，与 CBOW 相同tive Sampling 两种方式进行优化。主要对 Hierarc构如图 2-2 所示，该模型去掉了映射层，直接将输相连接。输出层的概率分布转变成 Huffman 树，每，非叶子节点是将词向量分类到具体的孩子节点上

V 表示语料的大小，iv 表示iw 作为目标词的词向量，jv 表示jw 作为上下文词的词向量，ib 表示词向量 的偏移量，jb 表示词向量jw 的偏移量， ijf X 表示权重计算函数，对于词频越高的单词在损失函数中所起到的作用应该越大，因此将 f x 的定义为 maxmax,1,xx xf xxotherwise 　　　　(2-7)其中， 和maxx 都是根据语料情况待设定的参数。2.2.4 蕴含情感信息的词向量在文本序列的处理过程中，通过传统的词向量模型获取到的文本语义信息，对于情感词汇的使用还比较欠缺。Collobert 等人[42]在 2011 年提出 C&W 模型，能够获取到文本中包含的语义信息，Tang 等人[43]在 2014 年对 C&W 模型进行了改进，提出 SSWE 模型能够获取到文本中包含的情感词信息。C&W、hSSWE 和uSSWE 三个模型的结构如图 2-3 所示。

【参考文献】：
期刊论文
[1]基于多注意力卷积神经网络的特定目标情感分析[J]. 梁斌,刘全,徐进,周倩,章鹏.  计算机研究与发展. 2017(08)
[2]基于SVM和CRF多特征组合的微博情感分析[J]. 李婷婷,姬东鸿.  计算机应用研究. 2015(04)
[3]混合激活函数对BP算法收敛速度的影响[J]. 周玲,孙军,袁宇波,丁晓群.  河海大学学报(自然科学版). 1999(05)

硕士论文
[1]基于深度学习的微博评论情感倾向性分析[D]. 胡西祥.哈尔滨工业大学 2017
[2]基于贝叶斯算法的多语言文档分类[D]. 朱娟.苏州大学 2016
[3]基于Attention-Based LSTM模型的文本分类技术的研究[D]. 张冲.南京大学 2016
[4]基于深度学习的情感词向量及文本情感分析的研究[D]. 张志华.华东师范大学 2016
[5]基于LSTM的语义关系分类研究[D]. 胡新辰.哈尔滨工业大学 2015



本文编号：3011972