面向产品评论情感分类的领域适应问题研究

发布时间：2021-06-22 22:53

　　文本情感分类技术具有很高的商业价值,是自然语言处理领域中的重要问题之一。目前基于有监督的深度学习算法在解决情感分类问题上取得了显著进展,然而训练深度模型需要大量标记数据,限制了这类算法在新产品领域的进一步推广。最近几年,如何解决训练数据缺乏的问题,已经成为自然语言处理领域的研究热点。对于新产品领域的情感分类,我们分别从构建跨领域模型和增强领域语义两个方面,展开面向情感分类的领域适应方法研究,本文的主要内容和创新点有:（1）提出一种基于多领域注意力机制-对抗训练的双向门控循环单元（MDAMATBiGRU）模型的多源跨领域情感分类方法,该方法克服了传统单源跨领域方法的局限性。本文为了在多个领域均存在标记数据的情况下有效利用所有标记数据,在注意力层中加入了一组用于学习领域特性的参数矩阵,使得注意力层能够依据领域特性进一步区别对待输入数据,给予每条数据不同的注意力权重,帮助模型有效学习所有数据中的情感特征。另外,为抑制文本建模中领域变化的影响,使捕获到的特征能够在领域之间共享,我们对BiGRU层进行了领域对抗训练。在亚马逊多领域产品评论语料上的实验表明,本文提出的模型具有良好的跨领域分类性能,... 

【文章来源】：中北大学山西省

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

CBOW结构示意图

中北大学学位论文9连续词袋模型的思想是根据一个待预测词的上下文单词（t1w，2wt...,t1w,2tw...）预测目标单词tw本身，其结构如图2-1所示。图2-1CBOW结构示意图Figure2-1CBOWstructurediagramskip-gram模型则是根据一个单词tw预测它的上下文单词(t1w，2wt...，t1w,2tw...)其结构如图2-2所示。这两类模型在训练完成后，模型的参数矩阵就是其他自然语言处理任务中所需的词向量了。图2-2skip-gram结构示意图Figure2-2Schematicdiagramofskip-gramstructure相比于新出现的大规模语言表示模型，Word2vec结构简单，参数量少，训练成本

中北大学学位论文10低，适用于训练集较小的情况。但是在一般情况下，Word2vec使用维基百科等大型语料库进行训练。2.2深度学习深度学习网络模拟了人脑的分层结构，通过多个隐藏层进行堆叠，每一层对上一层的输出进行处理，使得网络能够捕捉到由低级特征组合并抽象而成的高级特征和属性类别。这种机制能够将初始状态下看似与输出目标无关的输入表示，转化成与输出目标具有密切相关性的表示[30]。因此可以将深度学习看成一种“表示学习”。在情感分类任务中，深度学习模型通常包含一个输入层，利用词嵌入矩阵将文本中的每一个单词表示成一个较低维度的向量，接下来通过不同类型的网络架构将词向量组合并抽象成文本的高级特征表示向量，用于情感分类。常用于情感分类的深度神经网络模型主要有循环神经网络和卷积神经网络。2.2.1循环神经网络循环神经网络(RecurrentNeuralNetwork，RNN)能够捕获数据中的时序特征，通常使用序列数据作为输入。不同于前馈神经网络，RNN包含了一个反馈输入，其神经元通过相互连接形成了一个有向循环，如图2-3所示。使得RNN在输出时能够“综合考虑”上一时刻的输出和当前时刻的输入，因此RNN具有了一定的记忆能力，可以在网络中保留一部分之前输入的信息。图2-3循环神经网络示意图Figure2-3SchematicdiagramofrecurrentneuralnetworkRNN可以用于对句子进行建模，句子中的单词被依次输入到RNN中，句子中第t个词就被认为是第t个时刻的输入，整个句子都被输入之后，通常使用RNN最后一个

【参考文献】：
期刊论文
[1]CNNIC发布第44次《中国互联网络发展状况统计报告》[J]. 于朝晖.  网信军民融合. 2019(09)
[2]基于集成深度迁移学习的多源跨领域情感分类[J]. 赵传君,王素格,李德玉.  山西大学学报(自然科学版). 2018(04)
[3]情感分类研究进展[J]. 陈龙,管子玉,何金红,彭进业.  计算机研究与发展. 2017(06)

博士论文
[1]迁移学习问题与方法研究[D]. 龙明盛.清华大学 2014



本文编号：3243684