基于CNN和BLSTM特征融合的情感分析研究

发布时间：2020-11-19 22:13

　　 互联网的快速发展方便了人们的沟通交流,众多的网民通过微博,微信等公开平台发表自己的言论,由此产生大量具有主观情绪的社交网络数据。情感分析技术通过分析、研究大量社交网络数据,挖掘出其潜在的信息,以此来分析网民对社会热点话题的关注度和情感倾向情况,从而为相关部门的政策制定提供支持及正确引导网民的情绪传播。早期情感分析领域研究的文本主要集中在新闻,博客等长文本数据,随着新浪微博,微信等社交网络的迅速发展,基于产品评论、电影评论、社会热点事件评论等短文本情感分析逐渐成为情感分析领域的研究热点之一。伴随着研究的不断深入,针对短文本的粗粒度情感分析现已较为完善,但细粒度的情感分析还有很大的发展空间。然而,针对细粒度的中文评论情感分析数据集还很缺乏。基于这一问题,本文以新浪微博平台中的社会热点话题的微博评论为研究对象,分别爬取了不同话题的评论数据,包括计划生育二胎政策、扶贫政策、环保事件以及雾霾事件,并依据一定的数据处理准则和标注标准对数据集进行了预处理和细粒度的情感标注,从而得到了面向不同话题的情感分析数据集。在此基础上,本文构建了基于卷积神经网络(CNN)和双向长短期记忆网络(BLSTM)特征融合的情感分析模型CNN-BLSTM,该模型基于现有模型中将卷积神经网络建模和循环神经网络(RNN)建模分离的状况,提出将CNN提取的短语特征和BLSTM提取的序列特征结合,用于有效地增强对文本信息的提取能力。鉴于文本中特定情感词对文本情感分析具有更重要的影响,本文在CNN-BLSTM模型的基础上,进一步提出CNN-BLSTMATT模型,该模型通过引入注意力(attention)机制,将CNN提取的局部特征表示引入到BLSTM模块的情感特征表示上,有效增强了BLSTM对情感语义信息的捕获能力,从而达到文本情感特征增强效果。最后,在构建的数据集和公开的英文数据集Stanford Sentiment Treebank(SST)[1]上的实验结果表明,本文提出的CNN-BLSTM模型比使用单一的CNN或者BLSTM模型能取得更好的实验效果。此外,本文提出的(CNN-BLSTMATT模型相较于CNN-BLSTM模型,在显式情感表达的文本中具有更好的情感分类精度。
【学位单位】：华中师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.1;TP18
【部分图文】：

图２－１卷积神经网络结构图??确定了输入矩阵后，模型通过不同的卷积窗口对输入矩阵进行卷积，从而得到??不同的局部特征。如图２－１所示，假设卷积窗口为２和３，每个卷积核的个数为１０。??那么卷积窗口为２的卷积核大小为２＊６，经过一个卷积核的卷积后，一个维度为９＊６??的矩阵被映射为一个９＊１的矩阵（假设我们用的是宽卷积），那么１０个卷积核对输??入文本进行卷积操作后，模型会得到１０个９＊１的矩阵。通过卷积操作后，我们得??到了该文本的局部特征，接下来，卷积神经网络通过池化操作来获取卷积后特征矩??阵的最大值得到最大局部特征（假设模型用的是最大池化），将１０个卷积核的池化??值进行拼接，我们得到卷积窗口为２的文本的最终语义表示向量的维度为丨０＊１。同??理，卷积窗口为３的卷积池化后也得到一个维度为１０＊１的向量表示。最后模型将??高维向量进行拼接

图２－２?ＬＳＴＭ神经网络结构图??每一个ＬＳＴＭ细胞由三个门（输入门、遗忘门、输出门）和一个细胞状态组成。??如图２－３所示，每一个细胞在接收到上一个细胞的隐藏层状态ｈｔｙ和本细胞输入ｘｔ后，??通过一个遗忘门输出一个在０到１的数值给细胞状态ｃｔ＿ｉ，由此来决定应该从细胞状??态中丢弃什么。输入门则决定什么新信息被存放到当前细胞中。这里首先通过输入??门来决定模型将要更新什么信息，然后ｔａｎｈ层生成一个新的候选向量加入到细胞中。??最后模型根据更新后的细胞状态和输出门的输出生成当前的隐藏层向量。??？?？?？??．?Ｔ一―?Ｉ?——??Ｉ?Ａ?ｒｌ?ｒｌＬ［＾?Ａ?ｔ??？?？?？??图２－３?ＬＳＴＭ内部结构图??２．３．５注意力机制的使用??（１）注意力机制在ＲＮＮ中的使用??注意力机制在ＮＬＰ领域中最早使用在机器翻译中的Ｓｅｑ２Ｓｅｑ模型中，随着深度??学习在情感分析领域的发展，人们也开始在文本分类任务中尝试注意力机制，并取??１６??

＃］＾ｉ?＼ｍｈ２?（＃??？?＿?參Ｉ?＞］？??？?！？?鲁＃??？?Ｔ?Ｔ??ＬＳＴＭ?Ｈ?ＬＳＴＭ?｜－＞?…－＾｜?ＬＳＴＭ??春攀??？?參?參??？?？?？??Ｗ｜?Ｗ２??图２－２?ＬＳＴＭ神经网络结构图??每一个ＬＳＴＭ细胞由三个门（输入门、遗忘门、输出门）和一个细胞状态组成。??如图２－３所示，每一个细胞在接收到上一个细胞的隐藏层状态ｈｔｙ和本细胞输入ｘｔ后，??通过一个遗忘门输出一个在０到１的数值给细胞状态ｃｔ＿ｉ，由此来决定应该从细胞状??态中丢弃什么。输入门则决定什么新信息被存放到当前细胞中。这里首先通过输入??门来决定模型将要更新什么信息，然后ｔａｎｈ层生成一个新的候选向量加入到细胞中。??最后模型根据更新后的细胞状态和输出门的输出生成当前的隐藏层向量。??
【参考文献】

相关期刊论文 前2条

1 柳位平;朱艳辉;栗春亮;向华政;文志强;;中文基础情感词词典构建方法研究[J];计算机应用;2009年10期

2 王素格;李德玉;魏英杰;宋晓雷;;基于同义词的词汇情感倾向判别方法[J];中文信息学报;2009年05期

本文编号：2890511