基于特征表示及密集门控循环卷积网络的短文本分类研究

发布时间：2024-05-20 04:27

　　随着社交网络与网购平台的迅猛发展,电子文本广泛存在,其所占比例较高是短文本数据,例如新闻标题、Twitter文本以及网购评论等。面向短文本进行准确分类所蕴含的商业价值和实际应用已广泛引起了学术界的关注。目前,短文本分类已成功应用于个性化推荐、情感分析、舆情跟踪以及问答选择等多个领域。最近,深度学习技术的快速崛起推动了文本分类的研究与发展。在分类器性能方面,深度神经网络比机器学习算法更优越,其随着网络深度的增加,可以提取文本更高阶特征,从而促进分类性能的提升,但在训练更深层网络时容易出现梯度消失和梯度爆炸等问题。另一方面,由于短文的稀疏性和歧义性也会影响其分类性能,因而针对以上情况,本文分别从分类模型与文本特征表示两个方面,进行了以下研究:(1)针对循环神经网络与卷积神经网络的关于文本序列建模的优劣性,以及更深层次的网络容易产生梯度消失或梯度爆炸缺陷性,本文提出了基于密集连接门控循环卷积网络的混合模型(DC-BiGRU_CNN)。该模型首先用一个标准的卷积神经网络训练出字符级词向量,然后将其与词级词向量进行拼接并作为网络输入层。受密集连接卷积网络的启发,在对文本进行高...

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图2.7卷积神经网络工作原理图

第二章相关技术与理论20输入层卷积层(convolutionlayer)池化层(poolinglayer)全连接层输出层[8]。图2.7卷积神经网络工作原理图卷积层通过线性的卷积滤波器和非线性函数提取输入的图像或者文本的局部特征。卷积计算如公式(2.26)所示：11((*))nn....

图2.10RNN网络结构图

第二章相关技术与理论22图2.10RNN网络结构图RNN最大的特点是一种迭代的网络结构，其时序展开结构如图2.10所示，其中来自先前时间点的信息可以用作下一时间点的输入，因而预测分类标签y时，网络不仅使用来自当前输入x的信息，还使用来自先前层的信息。RNN计算方法如下式：1()t....

图3.5MR数据集的句子长度分布

安徽大学硕士学位论文33一般地，我们在对模型进行训练时，需要对其指定一个最大句子长度值。为了研究最大句子长度的选取对分类任务准确率的影响，我们选取MR数据集进行实验。本文统计的MR数据集句子长度分布如图3.5所示。实验结果如图3.6所示，对于MR数据集，句子最大长度取值为35时的....

图3.6句子的最大长度值对准确率的影响

安徽大学硕士学位论文33一般地，我们在对模型进行训练时，需要对其指定一个最大句子长度值。为了研究最大句子长度的选取对分类任务准确率的影响，我们选取MR数据集进行实验。本文统计的MR数据集句子长度分布如图3.5所示。实验结果如图3.6所示，对于MR数据集，句子最大长度取值为35时的....

本文编号：3978959