基于结构优化循环神经网络的文本分类研究

发布时间：2024-12-10 22:58

　　信息资源的充分开发和总量扩张,创造了一个“信息过载”的时代。信息过载产生大量的冗余数据信息,严重影响了受众对信息的有效利用。人们面临的问题不再是如何获取信息,而是如何在面对大量信息时有效地选择、集成、利用和决策。其中,大量的信息主要由文本构成。对文本内容和产品进行分类,对于解决信息混乱的问题具有重要的现实意义。本文系统地分析文本分类的应用场景,文本分类技术与自然语言处理在发展过程中所经历的三次浪潮,以及当前循环神经网络等深度学习方法在文本分类中的研究现状。重点介绍了文本的特征表示方法和一些常用的文本分类方法。在深入总结和借鉴目前的相关成果及方法的基础上,针对短文本特征提取和循环神经网络在全局表示上存在的缺陷,提出了相关的一些改进方法,并取得了有效的成果。主要的研究内容如下:针对短文本数据特征少、提供信息有限,池化操作破坏局部空间时序的特点,该模型在卷积层中去除池化操作,采用串并行卷积结构以提取词语的多尺度的特征组合,获取局部上下文信息作为RNN的输入。选择GRU作为RNN的组成结构,利用文本的时序信息生成句子的向量表示。同时在Softmax分类器中引入附加边缘距离,引导网络学习出具有区分...

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

图2.1CBOW和Skip-gram模型

验分布均满足Dirichlet分布。文档生成的过程，是以Dirichlet分布的概个主题，然后再在这个主题下以Dirichlet分布的概率选出某一个词。不个选择主题，再根据主题选择词的过程，就生成了整篇文章。LDA的参程就是求解这两个Dirichlet分布的过程....

图2.3二维空间样本分布

硕士学位论文第2章文本的特征表示题讨论的是基于特征空间是线性可分的假设基础上的。当空间内线性不可分的情况时，可将原始特征空间的样本映中。因为低维空间上线性不可分的样本，在高维空间中是可.3和图2.4所示，在图2.3的二维空间内难以找到一条直线，但将它们映射到图....

图2.4三维空间样本分布

但将它们映射到图2.4的三维空间时，即可轻松的找到一个图2.3二维空间样本分布

图3.2RNN展开图

图3.2RNN展开依靠误差和梯度下降的反向传播来需要沿着时间展开求导，计算误差BPTT(Backpropagationthroughtim易产生梯度消失和梯度爆炸的训练过小时，经由BPTT链式累乘梯度度消失。在当从输出层回传而来的使得回传的梯度指数级增大，而出际应用中....

本文编号：4015791