基于深度学习的短文本情感分析研究
发布时间：2021-11-21 08:30
短文本情感分析是通过使用采集、处理、分析等方式来获取文本的情感极性。目前,基于深度神经网络的情感分类方法能够有效克服传统方法对情感词典和复杂特征工程的依赖,并取得了显著的情感分类效果。然而,短文本情感分类研究存在以下问题:文本自身句式短小、不规范、信息丰富,且神经网络模型训练时间长、易忽视句子中的上下文依赖关系。针对上述问题,本文提出两种情感分析模型并且针对短文本构造三组情感特征,主要研究内容如下:（1）针对循环神经网络模型存在信息记忆丢失、忽略上下文非连续词之间相关性和梯度弥散的问题,提出基于自注意力机制和树形长短时记忆网络（Tree-LSTM）的情感分析模型。该模型考虑到Tree-LSTM缺乏对情感词的捕获能力,首先在Tree-LSTM的输入端添加自注意力机制,然后在Tree-LSTM模型中学习长距离节点之间的语义搭配关系,最后在输出端引入Maxout神经元解决随机梯度下降算法中存在的梯度弥散问题。将该模型与六个情感分类模型进行对比,在公开数据集COAE2014上完成情感二分类实验,实验结果表明该模型在评价指标准确率、精确率、查全率、F1值上优于所选取的对比模...
【文章来源】：郑州大学河南省 211工程院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
基于情感词典的情感分类流程
1绪论4构造是否合适会严重影响机器学习分类的效果。图1.2基于机器学习的情感分类流程上述两种方法过度依赖词典或特征工程的构建。近年来兴起的深度学习技术受到关注，其加速了图像处理[17]、机器人[18]、自然语言处理[19]等领域的发展。深度学习技术可以自动学习到无标注文本中隐藏的深层特征，同时能够完成端到端的分类，从而提高分类效果。因此，深度学习技术被大量应用于自然语言处理领域。基于深度学习的情感分类方法关键技术是深度神经网络模型，其不需要过度依赖特征工程，而且取得了比传统方法更优的分类效果[20][21]。图1.3显示的是基于深度学习的情感分类流程。如何将深度学习技术应用到情感分析领域成为研究者的研究重点，同时是自然语言处理领域的研究热点[22]。深度神经网络模型较好地解决了上述两种情感分析方法的缺陷，摆脱了词典和特征工程的束缚，使用多层神经网络将低层词向量合成高层文本情感语义特征向量，从而得到文本最终的情感语义表示，并进一步使用神经网络模型识别文本的情感极性，加速了情感分析领域的发展。Kim等[23]使用卷积神经网络（ConvolutionalNeuralNetworks，CNN）对短文本进行建模来完成句子级别的文本情感分类，CNN平行化接收词向量矩阵，在情感分析任务中的分类效果优于传统机器学习方法。在跨语言的情感分析任务中，Zhou等人[24]提出了一种结合注意力机制（AttentionMechanism）和长短时记忆网络（LongShort-termMemoryNetworks，LSTM）的深度网络模型。该模型中的LSTM模型能够接收词语的时序化输入，并学习文本中词语间的依赖关系，同时通过注意力机制高度关注文本中的重要信息；循环神经网络（RecurrentNeuralNetworks，RNN）[25]和长短时记忆网络（LSTM）[26]也是情感分析中常用的深度学习模型。
1绪论5充分利用短文本中丰富的情感信息。该方法有利于提高短文本情感分类的性能。Sahni等人[28]提出可加快情感分析计算过程的技术，使用Twitter文本主观性来选择正确的训练样本，同时还介绍了EFWS（有效词得分）的概念，可用于短文本情感分类。何炎祥等人[29]提出一种新颖的情感分析模型，该模型将文本中表情符号映射到情感空间中，并使用卷积神经网络进行特征提取和分类。该模型有效增强了卷积神经网络捕捉文本情感特征信息的能力，从而提高短文本情感分类性能。陈珂等人[30]提出使用多通道卷积神经网络对多种情感组合特征进行学习。张仰森等人[31]构建了微博情感符号库，该符号库包含了情感词、否定词、情感符号、程度副词和常用网络用语，实验验证了丰富的情感符号信息对短文本情感分类具有更大的帮助。上述深度网络模型结合情感特征学习短文本中隐藏的情感信息，提高了短文本识别情感类别的性能。图1.3基于深度学习的情感分类流程此外，不管是机器学习还是深度学习方法都离不开文本的向量化，即将文本分词后的词语映射为多维向量。情感分析任务中经常使用One-hot表示方法和分布式表示方法对文本进行特征映射。其中One-hot表示方法将文本中的词语特征映射为多维的0-1向量，缺点是映射后的向量无法表示词语本身的语义以及词语之间的依赖关系。为解决此问题，Bengio等人[32]提出基于神经网络构建统计语言模型框架。利用该框架学习词向量的权重和概率模型参数，并用多维连续的实数值向量表示词语。此种向量表示方法能够考虑到词语与词语之间的语义以及依赖关系。Mikolov等人[33]于2013年提出使用CBOW和Skip-gram两种模型
【参考文献】：
期刊论文
[1]基于多通道卷积神经网络的中文微博情感分析[J]. 陈珂,梁斌,柯文德,许波,曾国超. 计算机研究与发展. 2018(05)
[2]一种结合深度学习和集成学习的情感分析模型[J]. 金志刚,韩玥,朱琦. 哈尔滨工业大学学报. 2018(11)
[3]基于双重注意力模型的微博情感分析方法[J]. 张仰森,郑佳,黄改娟,蒋玉茹. 清华大学学报(自然科学版). 2018(02)
[4]基于网格聚类的情感分析研究[J]. 缪裕青,高韩,刘同来,文益民. 中国科学技术大学学报. 2016(10)
[5]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[6]面向短文本情感分类的特征拓扑聚合模型[J]. 胡杨,冯旭鹏,黄青松,付晓东,刘骊,刘利军. 中文信息学报. 2016(05)
[7]Study of Sentiment Classification for Chinese Microblog Based on Recurrent Neural Network[J]. ZHANG Yangsen,JIANG Yuru,TONG Yixuan. Chinese Journal of Electronics. 2016(04)
[8]基于HNC语境框架和情感词典的文本情感倾向分析[J]. 张克亮,黄金柱,曹蓉,李峰. 山东大学学报(理学版). 2016(07)
[9]短文本理解研究[J]. 王仲远,程健鹏,王海勋,文继荣. 计算机研究与发展. 2016(02)
[10]基于多样化特征的中文微博情感分类方法研究[J]. 张志琳,宗成庆. 中文信息学报. 2015(04)
硕士论文
[1]基于深度学习的文本情感分析研究[D]. 梁斌.苏州大学 2018
[2]基于微博平台的中文情感分析技术的研究[D]. 葛达明.沈阳工业大学 2017
[3]基于深度学习的文本情感分析研究[D]. 曹宇慧.哈尔滨工业大学 2016
本文编号：3509147
【文章来源】：郑州大学河南省 211工程院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
基于情感词典的情感分类流程
1绪论4构造是否合适会严重影响机器学习分类的效果。图1.2基于机器学习的情感分类流程上述两种方法过度依赖词典或特征工程的构建。近年来兴起的深度学习技术受到关注，其加速了图像处理[17]、机器人[18]、自然语言处理[19]等领域的发展。深度学习技术可以自动学习到无标注文本中隐藏的深层特征，同时能够完成端到端的分类，从而提高分类效果。因此，深度学习技术被大量应用于自然语言处理领域。基于深度学习的情感分类方法关键技术是深度神经网络模型，其不需要过度依赖特征工程，而且取得了比传统方法更优的分类效果[20][21]。图1.3显示的是基于深度学习的情感分类流程。如何将深度学习技术应用到情感分析领域成为研究者的研究重点，同时是自然语言处理领域的研究热点[22]。深度神经网络模型较好地解决了上述两种情感分析方法的缺陷，摆脱了词典和特征工程的束缚，使用多层神经网络将低层词向量合成高层文本情感语义特征向量，从而得到文本最终的情感语义表示，并进一步使用神经网络模型识别文本的情感极性，加速了情感分析领域的发展。Kim等[23]使用卷积神经网络（ConvolutionalNeuralNetworks，CNN）对短文本进行建模来完成句子级别的文本情感分类，CNN平行化接收词向量矩阵，在情感分析任务中的分类效果优于传统机器学习方法。在跨语言的情感分析任务中，Zhou等人[24]提出了一种结合注意力机制（AttentionMechanism）和长短时记忆网络（LongShort-termMemoryNetworks，LSTM）的深度网络模型。该模型中的LSTM模型能够接收词语的时序化输入，并学习文本中词语间的依赖关系，同时通过注意力机制高度关注文本中的重要信息；循环神经网络（RecurrentNeuralNetworks，RNN）[25]和长短时记忆网络（LSTM）[26]也是情感分析中常用的深度学习模型。
1绪论5充分利用短文本中丰富的情感信息。该方法有利于提高短文本情感分类的性能。Sahni等人[28]提出可加快情感分析计算过程的技术，使用Twitter文本主观性来选择正确的训练样本，同时还介绍了EFWS（有效词得分）的概念，可用于短文本情感分类。何炎祥等人[29]提出一种新颖的情感分析模型，该模型将文本中表情符号映射到情感空间中，并使用卷积神经网络进行特征提取和分类。该模型有效增强了卷积神经网络捕捉文本情感特征信息的能力，从而提高短文本情感分类性能。陈珂等人[30]提出使用多通道卷积神经网络对多种情感组合特征进行学习。张仰森等人[31]构建了微博情感符号库，该符号库包含了情感词、否定词、情感符号、程度副词和常用网络用语，实验验证了丰富的情感符号信息对短文本情感分类具有更大的帮助。上述深度网络模型结合情感特征学习短文本中隐藏的情感信息，提高了短文本识别情感类别的性能。图1.3基于深度学习的情感分类流程此外，不管是机器学习还是深度学习方法都离不开文本的向量化，即将文本分词后的词语映射为多维向量。情感分析任务中经常使用One-hot表示方法和分布式表示方法对文本进行特征映射。其中One-hot表示方法将文本中的词语特征映射为多维的0-1向量，缺点是映射后的向量无法表示词语本身的语义以及词语之间的依赖关系。为解决此问题，Bengio等人[32]提出基于神经网络构建统计语言模型框架。利用该框架学习词向量的权重和概率模型参数，并用多维连续的实数值向量表示词语。此种向量表示方法能够考虑到词语与词语之间的语义以及依赖关系。Mikolov等人[33]于2013年提出使用CBOW和Skip-gram两种模型
【参考文献】：
期刊论文
[1]基于多通道卷积神经网络的中文微博情感分析[J]. 陈珂,梁斌,柯文德,许波,曾国超. 计算机研究与发展. 2018(05)
[2]一种结合深度学习和集成学习的情感分析模型[J]. 金志刚,韩玥,朱琦. 哈尔滨工业大学学报. 2018(11)
[3]基于双重注意力模型的微博情感分析方法[J]. 张仰森,郑佳,黄改娟,蒋玉茹. 清华大学学报(自然科学版). 2018(02)
[4]基于网格聚类的情感分析研究[J]. 缪裕青,高韩,刘同来,文益民. 中国科学技术大学学报. 2016(10)
[5]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[6]面向短文本情感分类的特征拓扑聚合模型[J]. 胡杨,冯旭鹏,黄青松,付晓东,刘骊,刘利军. 中文信息学报. 2016(05)
[7]Study of Sentiment Classification for Chinese Microblog Based on Recurrent Neural Network[J]. ZHANG Yangsen,JIANG Yuru,TONG Yixuan. Chinese Journal of Electronics. 2016(04)
[8]基于HNC语境框架和情感词典的文本情感倾向分析[J]. 张克亮,黄金柱,曹蓉,李峰. 山东大学学报(理学版). 2016(07)
[9]短文本理解研究[J]. 王仲远,程健鹏,王海勋,文继荣. 计算机研究与发展. 2016(02)
[10]基于多样化特征的中文微博情感分类方法研究[J]. 张志琳,宗成庆. 中文信息学报. 2015(04)
硕士论文
[1]基于深度学习的文本情感分析研究[D]. 梁斌.苏州大学 2018
[2]基于微博平台的中文情感分析技术的研究[D]. 葛达明.沈阳工业大学 2017
[3]基于深度学习的文本情感分析研究[D]. 曹宇慧.哈尔滨工业大学 2016
本文编号：3509147
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3509147.html
