基于生成式对抗网络与异质集成学习的文本情感分类研究

发布时间：2021-01-01 21:10

　　随着WEB2.0时代的飞速发展,人们获取信息的方式,已经由最初的报纸、期刊、广播等传统单向宣传媒介逐渐转变成新型互联网双向沟通媒介。电商、新闻、社交等互联网平台上出现大量的短文本评论,并呈现指数级增长的态势。如何对这类数据进行情感倾向分析和挖掘是自然语言处理（Natural Language Processing,NLP）领域的研究热点之一。该研究不仅可以创造巨大的商业价值,而且能为企业和政府机构的社会舆论监督提供十分重要的参考依据。针对该研究挑战,本文的主要研究工作和创新点如下:1、通过文本情感分类任务的相关研究发现,将循环神经网络（Recurrent Neural Network,RNN）和卷积神经网络（Convolutional Neural Network,CNN）进行合理地组合,可使得模型在学习过程中充分地综合其二者的优势性能。相对于仅使用其单一的模型来说,效果有显著提,但其中标准RNN和CNN分别存在梯度异常和重要性特征不明显等问题,因此本文首先将双向门控循环单元（Bidirectional Gated Recurrent Unit,Bi GRU）和深度循环神经网络（Dee... 

【文章来源】：南京邮电大学江苏省

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

Word2Vec两种结构

南京邮电大学专业学位硕士研究生学位论文第二章相关背景知识介绍23的任意词汇对生成新序列的影响是完全一致的，当然如果是极短的文本序列数据对其结果造成的影响不会很大，但如果拥有一定规模的文本序列数据，生成过程持续共用相同的语义编码会导致局部词汇数据的语义丢失，造成最终的文本序列数据输出不会达到预期的结果。因此将注意力机制的思想融入至语义编码过程便可以使该问题得到有效解决，如图2.3所示。对于目标新序列的生成，可表示为：1=(1)(2.33)2=(2,1)(2.34)3=(3,1,2)(2.35)其即为针对原始文本序列数据中的不同词汇分配不同的注意力，即：=∑=1(2.36)其中表示注意力分配的权重参数，表示当前时刻输入词汇后隐藏层的状态。图2.3基于注意力机制的编码器-解码器模型如果将原始文本词序列数据表示为,的形式，目标文本词序列数据表示为，那么便是和的相似度，便是本身，注意力计算公式亦可表示为：=∑(,)=1(2.37)策略梯度RL主要由环境、机器人、状态、动作、奖励等基本概念构成。一个机器人在环境中会做

南京邮电大学专业学位硕士研究生学位论文第三章基于DBGRU-MFCNN的文本情感分类研究26图3.1长短时记忆网络GRU是对LSTM的进一步改进，如图3.2所示。通过将输入门与遗忘门合二为一，通过重置门r来控制历史信息的保留比例，更新门Z来控制输入信息的更新比例，极大程度上缩减了网络参数并简化了计算过程，在文本量较大的情况下，GRU的训练效率要优于LSTM的训练效率。图3.2门控循环单元网络标准GRU仅仅是将RNN的循环单元进行了替换，其只能有效地利用输入词的过去序列的信息，而无法利用未来序列的信息，导致无法针对全局的语义信息进行文本生成。当文本规模比较大时，数据的特征向量表示仍会受其最后时刻的隐藏层状态较大的影响，并且文本存在领域性或倾向性时，无法准确地学习特殊的表达方式。因此DBGRU从双向的角度出发，并采用其方向迭代交替的模式将网络的隐藏层数进行一定程度地扩展，成功地综合了输入词全局时序的特征信息与特殊性的表示信息，使其生成的文本语义表达更加准确，其网络如图3.3所示。


本文编号：2951999